？ Windows 上的 RAG 使用 TensorRT-LLM 和 LlamaIndex ？

ChatRTX 是一款演示應用程序，可讓您個性化連接到您自己的內容（文件、筆記、照片）的 GPT 大語言模型 (LLM)。利用檢索增強生成 (RAG)、TensorRT-LLM 和 RTX 加速，您可以查詢自訂聊天機器人以快速獲得上下文相關的答案。該應用程式還可以讓您透過語音進行查詢。由於這一切都在您的 Windows RTX PC 上本地運行，因此您將獲得快速、安全的結果。 ChatRTX 支援各種文件格式，包括文字、pdf、doc/docx、xml、png、jpg、bmp。只需將應用程式指向包含檔案的資料夾，它就會在幾秒鐘內將它們載入到庫中。

該應用程式支援的AI模型：

拉瑪 2 13B
米斯特拉爾7B
聊天GLM3 6B
Whisper Medium（用於支援語音輸入）
CLIP（用於影像）

此管道包含上述 AI 模型、TensorRT-LLM、LlamaIndex 和 FAISS 向量搜尋庫。在此處的範例應用程式中，我們有一個資料集，其中包含來自 NVIDIA Gefore News 的最新文章。

什麼是RAG？？

適用於大型語言模型 (LLM) 的檢索增強生成 (RAG)，旨在透過在推理過程中將 LLM 連接到資料來提高預測準確性。這種方法建構了一個全面的提示，其中豐富了上下文、歷史資料以及最近或相關的知識。

存儲庫詳細信息

ChatRTX_API：ChatRTX API 允許開發人員將其應用程式與 TensorRT-LLM 支援的推理引擎無縫集成，並利用 ChatRTX 支援的各種 AI 模型。這種整合使開發人員能夠將先進的 AI 推理和 RAG 功能合併到他們的應用程式中。這些 API 是 ChatRTX 應用程式的基礎。更多詳細資訊請參閱 ChatRTX_APIs 目錄。
ChatRTX_App：ChatRTX_App 是一個演示應用程序，它使用電子容器建立在 ChatRTX API 之上。 UI 是使用 Material UI 函式庫在 React 中建構的。有關如何建立 UI 的更多詳細信息，請參閱 ChatRTX_App 目錄。