當前位置: 華文世界 > 科技

Chat with RTX——NVIDIA 個人專屬本地AI聊天機器人

2024-02-15科技

小夥伴們應該都知道,NVIDIA的芯片在人工智能領域廣泛套用,但面向消費者的業務仍然主要集中在遊戲領域。現在,NVIDIA打算透過引入Chat with RTX將這兩個領域結合起來。

Chat with RTX 是一個在個人電腦上本地執行的AI聊天機器人。 利用內建在NVIDIA遊戲顯卡中的Tensor-RT核心 RTX 30或40系列的顯卡 ), 使用大語言模型(LLM) ,對你提供的 個人數據進行分析 ,然後 提供 答案

與ChatGPT和Copilot不同,Chat with RTX完全在你的個人電腦上執行,不會將任何數據發送到雲伺服器。根據你提供相關的數據集,它分析其中包含的資訊並提供答案。它還可以根據YouTube連結,解釋影片中的內容並回答問題——這是透過提取來自字幕檔的數據來完成的。

Chat with RTX可以透過以下地址免費下載,安裝程式為35GB。

https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

執行C h at with RTX 的電腦需滿足以下要求

  • 一張至少有8GB VRAM的RTX 30或40系列顯卡。

  • 一台至少有16GB記憶體的電腦。

  • 盡管NVIDIA推薦使用Windows 11,但我在Windows 10上使用該實用程式時沒有任何問題。

  • 提示 :目前Chat with RTX僅適用於Windows,尚未提及何時將在Linux上推出。

    安裝兩個語言模型(Mistral 7B和LLaMA 2)需要大約一個小時的時間,它們占用差不多70GB的空間。安裝完成後,會啟動一個命令提示字元視窗,其中有一個活動會話,你可以透過基於瀏覽器的界面提問。

    NVIDIA提供了一個預設數據集來測試Chat with RTX,但我嘗試指向了我的下載資料夾,裏面有幾百個新聞稿、評論和以文本(.txt)格式保存的文章。Chat with RTX能夠解析PDF、Word文件和純文本,正如前面提到的,你可以連結YouTube影片並提問。

    Chat with RTX在總結細節方面做得很好,並且在針對性問題上表現也不錯。目前還沒有提供追問問題的功能,但這可能會在以後的版本中改變。

    但也存在一些問題。 比如我問聊天機器人Corsair的MP600 mini是否使用TLC儲存,它只能在第二次回答時提供正確的答案(是的,該驅動器使用TLC儲存)。

    Chat with RTX仍處於測試階段,但顯然具有很大的潛力。在本地執行一個自己的AI聊天機器人很有意思,它能夠很好地從你提供的數據中獲取資訊。

    根據我自己的初步使用情況,它可以幫我總結文稿並突出有用細節,我打算繼續試用,看還有什麽驚喜。

    小夥伴們也可以輕松地在自己的電腦上安裝Chat with RTX並嘗試一下,它可能沒有ChatGPT那麽強大,但他是你個人專屬的聊天機器人。