快速导读：Nvidia推出了一款名为Chat with RTX的新工具，允许用户在Windows PC上离线运行AI聊天机器人。该工具可以让用户自定义一个GenAI模型，并将其连接到文档、文件和笔记进行查询。尽管Chat with RTX有一些限制，比如不记得上下文和其响应的相关性受到各种因素的影响，但它被视为向本地使用AI模型的民主化迈出的一步。
可定制的Windows PC AI聊天机器人
Nvidia推出了Chat with RTX，一款可以让用户在Windows PC上离线运行AI聊天机器人的工具。这个工具允许用户自定义一个GenAI模型，并将其连接到他们的本地文件、文档和笔记，以便轻松查询。通过简单地输入查询，用户可以访问存储在他们的文件中的信息，比如餐厅推荐或其他相关信息。尽管Chat with RTX支持各种基于文本的模型，但需要注意的是，下载所需的文件可能会消耗大量的存储空间。
限制和注意事项
使用Chat with RTX时，用户应该注意一些限制。该工具不记得上下文，也就是说在回答后续查询时不考虑之前的问题。此外，响应的相关性可能会受到问题措辞、模型性能和微调数据集的大小等因素的影响。从少量文档中获取具体事实的请求可能会比请求多个文档的摘要产生更好的结果。尽管存在这些限制，像Chat with RTX这样的工具的可用性有助于本地运行AI模型的增长趋势。
民主化的AI模型和潜在的关注点
世界经济论坛预测，能够离线运行AI模型的价格实惠设备将大幅增加。这包括个人电脑、智能手机、物联网设备和网络设备。离线模型相比于云托管模型具有增加的隐私、更低的延迟和更具成本效益的优势。然而，运行和训练模型的工具的可访问性也引发了对潜在滥用的担忧。虽然在有毒内容上微调模型可能存在风险，但支持者认为像Chat with RTX这样的工具的优势超过了潜在的危害。
