当前位置: 华文世界 > 科技

Chat with RTX——NVIDIA 个人专属本地AI聊天机器人

2024-02-15科技

小伙伴们应该都知道,NVIDIA的芯片在人工智能领域广泛应用,但面向消费者的业务仍然主要集中在游戏领域。现在,NVIDIA打算通过引入Chat with RTX将这两个领域结合起来。

Chat with RTX 是一个在个人电脑上本地运行的AI聊天机器人。 利用内置在NVIDIA游戏显卡中的Tensor-RT核心 RTX 30或40系列的显卡 ), 使用大语言模型(LLM) ,对你提供的 个人数据进行分析 ,然后 提供 答案

与ChatGPT和Copilot不同,Chat with RTX完全在你的个人电脑上运行,不会将任何数据发送到云服务器。根据你提供相关的数据集,它分析其中包含的信息并提供答案。它还可以根据YouTube链接,解释视频中的内容并回答问题——这是通过提取来自字幕文件的数据来完成的。

Chat with RTX可以通过以下地址免费下载,安装程序为35GB。

https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

运行C h at with RTX 的电脑需满足以下要求

  • 一张至少有8GB VRAM的RTX 30或40系列显卡。

  • 一台至少有16GB内存的计算机。

  • 尽管NVIDIA推荐使用Windows 11,但我在Windows 10上使用该实用程序时没有任何问题。

  • 提示 :目前Chat with RTX仅适用于Windows,尚未提及何时将在Linux上推出。

    安装两个语言模型(Mistral 7B和LLaMA 2)需要大约一个小时的时间,它们占用差不多70GB的空间。安装完成后,会启动一个命令提示符窗口,其中有一个活动会话,你可以通过基于浏览器的界面提问。

    NVIDIA提供了一个默认数据集来测试Chat with RTX,但我尝试指向了我的下载文件夹,里面有几百个新闻稿、评论和以文本(.txt)格式保存的文章。Chat with RTX能够解析PDF、Word文档和纯文本,正如前面提到的,你可以链接YouTube视频并提问。

    Chat with RTX在总结细节方面做得很好,并且在针对性问题上表现也不错。目前还没有提供追问问题的功能,但这可能会在以后的版本中改变。

    但也存在一些问题。 比如我问聊天机器人Corsair的MP600 mini是否使用TLC存储,它只能在第二次回答时提供正确的答案(是的,该驱动器使用TLC存储)。

    Chat with RTX仍处于测试阶段,但显然具有很大的潜力。在本地运行一个自己的AI聊天机器人很有意思,它能够很好地从你提供的数据中获取信息。

    根据我自己的初步使用情况,它可以帮我总结文稿并突出有用细节,我打算继续试用,看还有什么惊喜。

    小伙伴们也可以轻松地在自己的计算机上安装Chat with RTX并尝试一下,它可能没有ChatGPT那么强大,但他是你个人专属的聊天机器人。