機器之心報道
機器之心編輯部
OpenAI 進軍芯片領域，輝達自己造聊天機器人，這是 Sam vs Jensen 的時代？
下載地址：https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
在這波 AI 淘金熱裏，輝達經常被稱為那個「賣鏟子的人」，而且賣的是難以替代的鏟子。依靠這個角色，輝達市值已經超越亞馬遜，成美股第四大公司，離谷歌市值僅一步之遙。
但值得註意的是，輝達本身也在這波 AI 浪潮裏淘金。剛剛，他們釋出了一個對話機器人 ——「Chat with RTX」，面向 GeForce RTX 30 系列和 40 系列顯卡使用者（至少有 8GB VRAM）。有人開玩笑說，Sam Altman 進軍芯片領域，黃仁勛進入聊天機器人的領域，這是 Sam vs Jensen 的時代。
與 ChatGPT 等需要聯網使用的聊天機器人不同，Chat with RTX 可以在本地執行，幫你檢索、分析保存在電腦上的檔（支持文本、PDF、.doc、.docx 和 .xml 等格式）。比如，你可以問它「在拉斯維加斯時，我的搭檔推薦了哪家餐廳？」Chat with RTX 將掃描你指向的本地檔，並提供帶有上下文的答案。
此外，它還可以幫你分析、總結 Youtube 上的視訊，而且只需要你提供網址。科技媒體 The Verge 資深編輯 Tom Warren 在試用之後表示，Chat with RTX 在視訊中找參考資料的速度非常快，只需要幾秒就能給答案，不過有時也會出錯，找到驢唇不對馬嘴的視訊文字記錄。
據悉，Chat with RTX 預設使用人工智慧初創公司 Mistral 的開源模型，但也支持其他基於文本的模型，包括 Meta 的 Llama 2。它會利用 RTX GPU 上的 Nvidia Tensor core 來加快查詢速度。Nvidia 警告說，下載所有必要檔會占用相當大的儲存空間 ——50GB 到 100GB，具體取決於所選模型。
Tom Warren 表示，他的電腦采用英特爾酷睿 i9-14900K 處理器，配備 RTX 4090 GPU，安裝 Chat with RTX 大約花了 30 分鐘。在他系統可用的 64GB 記憶體中，Python 例項占用了大約 3GB 記憶體。程式執行後，他可以透過瀏覽器存取 Chat with RTX，而背景執行的命令提示字元會顯示正在處理的內容和任何錯誤程式碼。
Tom Warren 還發現，Chat with RTX 在掃描 PDF 檔和核對數據時非常有用。微軟自己的 Copilot 系統在 Word 中不能很好地處理 PDF 檔，但 Chat with RTX 聊天系統可以毫無問題地提取出所有關鍵資訊，回復也近乎即時，沒有通常使用基於雲的 ChatGPT 或 Copilot 聊天機器人時的延遲。
不過，作為一款早期產品，Chat with RTX 還有很多不完善的地方。
一個比較大的缺點是，它不能記憶上下文。比如，你問「北美常見的鳥類是什麽？」，然後接著問「它是什麽顏色？」，它就不知道你是在問鳥的顏色。
輝達還承認，Chat with RTX 回復的相關性會受到一系列因素的影響，其中有些因素比較容易控制，包括問題的措辭、所選模型的效能和微調數據集的大小。詢問幾份文件中涉及的事實可能比詢問一份文件或一組文件的摘要得到更好的結果。輝達表示，隨著數據集的增大，響應品質通常也會提高，將 Chat with RTX 指向有關特定主題的更多內容也是如此。
所以，整體來看，Chat with RTX 還是一個初級的產品，暫時不太適合用於生產。但它代表了一種趨勢，即讓 AI 模型更容易地在本地執行。
世界經濟論壇在最近的一份報告中預測，能夠離線執行生成式 AI 模型的經濟型裝置將「大幅」增長，其中包括個人電腦、智慧型手機、物聯網裝置和網路裝置。報告表示，原因在於其明顯的優勢：離線模型不僅在本質上更加私密 —— 它們處理的數據永遠不會離開執行的裝置，而且與雲托管模型相比，它們的延遲更低，成本效益更高。
輝達公司創始人兼執行長黃仁勛表示：「生成式人工智慧是計算史上最重要的一次平台轉型，它將改變包括遊戲在內的每一個行業。輝達擁有超過 1 億台 RTX AI PC 和工作站，是開發者和遊戲玩家享受生成式人工智慧魔力的龐大安裝基礎。」
Chat with RTX 技術 demo 由 GitHub 上的 TensorRT-LLM RAG 開發人員參考計畫構建而成。開發人員可以使用該參考計畫為 RTX 開發和部署自己的基於 RAG 的應用程式，並透過 TensorRT-LLM 進行加速。
計畫地址：https://github.com/NVIDIA/trt-llm-rag-windows
參考連結：
https://baijiahao.baidu.com/s?id=1790835158166619050&wfr=spider&for=pc
https://techcrunch.com/2024/02/13/nvidias-new-tool-lets-you-run-genai-models-on-a-pc/
https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbot-chat-with-rtx-tech-demo-hands-on
