目前我们了解的AI类型工具，几乎都是处于云端，需要用户联网才能使用。当然了全世界最知名的那几个AI聊天软件，国内大多数用户联网都没用。这类AI工具使用起来倒是方便，包含的内容也比较广阔，毕竟它们是把整个互联网当做数据库，不过响应速度慢也是个问题，而且一些应用场景也不是那么精通。而如果需要在某些应用上做得比较好，同时响应速度还快的话，可能就需要本地部署数据库了，比如LLM，虽然有那么些麻烦。
不过NVIDIA最近推出了一款名为Chat with RTX的AI聊天工具，就是一个将数据库部署在本地不需要联网的AI助手。NVIDIA表示，Chat with RTX是一个技术演示应用，可以让用户以自己的内容定制一个聊天机器人。这个应用结合了检索增强生成、TensorRT-LLM和NVIDIA RTX加速技术。用户可以把PC上的本地文件作为数据集连接到开源的LLM如Mistral或Llama 2上，这样就能询问AI获得答案和相关的文件，而不必自己动手寻找。
NVIDIA表示，这个AI助手支持.txt，.pdf，.doc/docx，.xml等多种文件类型，只需要给出文件夹路径，AI就会在数秒内把它们加载到库中。也就是说它的数据库全部基于用户电脑存储的内容，通过收集这些内容，再使用开源的AI模型上，然后协助用户达到一些目的。比如聊天、获得相关文件以及实现强大的检索功能。
当然某一些功能还是可以和网络挂钩，比如用户可以让AI理解并提取油管视频中的内容，只需要添加油管的视频或者用户的播放清单的链接，就可以向AI提问，可以实现让AI总结视频内容这样的功能。当然这样的功能要实现肯定就需要访问网络了，不过AI的计算是全程在本地进行的。
我们自己也试了一下，下载整个DEMO需要35G的空间，然后还需要额外安装的空间，安装过程比较漫长，中途还经历了多次失败。按照NVIDIA所说，用户需要一张8GB显存起步的RTX 30或40系显卡，16GB以上的内存，Windows 11系统和535.11及更新的驱动，硬件要求其实并不算高，安装好运行就会在本地PC上部署几种AI模型。
从我们的体验来看，作为一个聊天工具，NVIDIA这个软件其实并不好用，因为它能回答的东西很有限，只限于本地的内容，所以无法像其他聊天工具那样可以和用户随便聊任意东西都有一个答案。大多数时候，Chat with RTX的回答是不会让人满意的，比如问天气都无法获得答案，这方面显然基于互联网云端的AI软件会更有用。不过Chat with RTX的响应速度的确非常快，回答的内容都是基于本地的文档搜索，所以问一些有效的问题或者进行检索功能，这款软件的速度会给人一个惊喜。
总的来说，对于普通用户来说，这个Chat with RTX不要对其期待太高，本地部署AI模型的软件，通常都是针对一些单一的应用，而不是让大家泛泛而谈。而且现在NVIDIA这个只是一个DEMO，或许未来会有更多的功能。另外大家要下载的话，可以去NVIDIA美国官网下载，中文官网暂时还没有开放。
