如何使用 Nvidia 全新的 RTX AI 聊天機器人

自從 ChatGPT 發佈以來,計算機世界一直在期待一款可以脱離雲運行的本地人工智能聊天機器人。

最近更新時間 2024-02-18 14:15:47

如何下載 Chat with RTX

第一步是下載並配置 Chat with RTX,這其實比想象中要複雜一些。您只需運行安裝程序即可,但安裝程序很容易失敗,而且您還需要滿足一些最低系統要求。

您需要配備至少 8GB VRAM 的 RTX 40 系列或 30 系列 GPU,以及 16GB 系統內存、100GB 磁盤空間和 Windows 11。

第 1 步:從 Nvidia 網站下載 Chat with RTX 安裝程序。該壓縮文件夾容量為 35GB,因此下載可能需要一些時間。

第 2 步:下載完成後,右鍵單擊文件夾並選擇全部解壓縮。

第 3 步:在該文件夾中,你會發現一些文件和文件夾。選擇 setup.exe,進入安裝程序。

第 4 步:安裝開始前,安裝程序會詢問您想將 Chat with RTX 存放在哪裏。請確保您選擇的位置至少有 100GB 的磁盤空間,因為 Chat with RTX 會下載人工智能模型。

第 5 步:安裝程序可能需要 45 分鐘以上才能完成,因此如果出現短暫掛起,請不要擔心。安裝程序也會降低電腦運行速度,尤其是在配置人工智能模型時,因此我們建議在安裝完成後離開一會兒。

第 6 步:安裝可能會失敗。如果出現這種情況,只需重新運行安裝程序,選擇與之前相同的數據位置即可。安裝程序將恢復到之前的位置。

第 7 步:安裝程序完成後,您的桌面上會出現 "與 RTX 聊天 "的快捷方式,該應用程序將在瀏覽器窗口中打開。


如何使用自己數據

使用 Chat with RTX 的最大優勢在於,您可以使用自己的數據。它使用一種叫做檢索增強生成(或 RAG)的方法來翻閲文檔,並根據這些文檔給出答案。與回答任何問題不同,Chat with RTX 擅長回答有關特定數據集的具體問題。

Nvidia 提供了一些示例數據,您可以試用該工具,但需要添加自己的數據才能充分釋放 RTX 的潛力。

第 1 步:創建一個存放數據集的文件夾。注意位置,因為您需要將 Chat with RTX 指向該文件夾。目前,Chat with RTX 支持 .txt、.pdf 和 .doc 文件。

第 2 步:打開 Chat with RTX,在 "數據集 "部分選擇鋼筆圖標。

第 3 步:導航至存儲數據的文件夾並選擇該文件夾。

第 4 步:在 Chat with RTX 中,選擇數據集部分的刷新圖標。這將根據新數據重新生成模型。每次向文件夾添加新數據或選擇不同的數據集時,都需要刷新模型。

第 5 步:添加數據後,在人工智能模型部分選擇要使用的模型。與 RTX 聊天包括 Llama 2 和 Mistral,後者是默認模型。您可以嘗試使用這兩種模型,但對於新用户來説,最好使用 Mistral。

第 6 步:從這裏開始,你就可以提問了。Nvidia 指出,RTX 聊天不考慮上下文,因此之前的回覆不會影響未來的回覆。此外,具體問題通常會比一般問題產生更好的結果。最後,Nvidia 指出,在提供回覆時,RTX 聊天功能有時會引用錯誤的數據,因此請牢記這一點。

第 7 步:如果 "與 RTX 聊天 "停止工作,而重啓又無法解決,Nvidia 表示可以刪除 preferences.json 文件來解決問題。該文件位於 C:\Users\AppData\Local\NVIDIA\ChatWithRTX\RAG\tr-llm-rag-windows-main\config\preferences.json。

rss_feed