目前我們了解的AI類別工具，幾乎都是處於雲端，需要使用者聯網才能使用。當然了全世界最知名的那幾個AI聊天軟件，國內大多數使用者聯網都沒用。這類AI工具使用起來倒是方便，包含的內容也比較廣闊，畢竟它們是把整個互聯網當做數據庫，不過響應速度慢也是個問題，而且一些套用場景也不是那麽精通。而如果需要在某些套用上做得比較好，同時響應速度還快的話，可能就需要本地部署數據庫了，比如LLM，雖然有那麽些麻煩。
不過NVIDIA最近推出了一款名為Chat with RTX的AI聊天工具，就是一個將數據庫部署在本地不需要聯網的AI助手。NVIDIA表示，Chat with RTX是一個技術演示套用，可以讓使用者以自己的內容客製一個聊天機器人。這個套用結合了檢索增強生成、TensorRT-LLM和NVIDIA RTX加速技術。使用者可以把PC上的本地檔作為數據集連線到開源的LLM如Mistral或Llama 2上，這樣就能詢問AI獲得答案和相關的檔，而不必自己動手尋找。
NVIDIA表示，這個AI助手支持.txt，.pdf，.doc/docx，.xml等多種檔類別，只需要給出資料夾路徑，AI就會在數秒內把它們載入到庫中。也就是說它的數據庫全部基於使用者電腦儲存的內容，透過收集這些內容，再使用開源的AI模型上，然後協助使用者達到一些目的。比如聊天、獲得相關檔以及實作強大的檢索功能。
當然某一些功能還是可以和網絡掛鉤，比如使用者可以讓AI理解並提取油管影片中的內容，只需要添加油管的影片或者使用者的播放清單的連結，就可以向AI提問，可以實作讓AI總結影片內容這樣的功能。當然這樣的功能要實作肯定就需要存取網絡了，不過AI的計算是全程在本地進行的。
我們自己也試了一下，下載整個DEMO需要35G的空間，然後還需要額外安裝的空間，安裝過程比較漫長，中途還經歷了多次失敗。按照NVIDIA所說，使用者需要一張8GB視訊記憶體起步的RTX 30或40系顯卡，16GB以上的記憶體，Windows 11系統和535.11及更新的驅動，硬件要求其實並不算高，安裝好執行就會在本地PC上部署幾種AI模型。
從我們的體驗來看，作為一個聊天工具，NVIDIA這個軟件其實並不好用，因為它能回答的東西很有限，只限於原生的內容，所以無法像其他聊天工具那樣可以和使用者隨便聊任意東西都有一個答案。大多數時候，Chat with RTX的回答是不會讓人滿意的，比如問天氣都無法獲得答案，這方面顯然基於互聯網雲端的AI軟件會更有用。不過Chat with RTX的響應速度的確非常快，回答的內容都是基於原生的文件搜尋，所以問一些有效的問題或者進行檢索功能，這款軟件的速度會給人一個驚喜。
總的來說，對於普通使用者來說，這個Chat with RTX不要對其期待太高，本地部署AI模型的軟件，通常都是針對一些單一的套用，而不是讓大家泛泛而談。而且現在NVIDIA這個只是一個DEMO，或許未來會有更多的功能。另外大家要下載的話，可以去NVIDIA美國官網下載，中文官網暫時還沒有開放。
