？ Windows 上的 RAG 使用 TensorRT-LLM 和 LlamaIndex ？

ChatRTX 是一款演示应用程序，可让您个性化连接到您自己的内容（文档、笔记、照片）的 GPT 大语言模型 (LLM)。利用检索增强生成 (RAG)、TensorRT-LLM 和 RTX 加速，您可以查询自定义聊天机器人以快速获得上下文相关的答案。该应用程序还可以让您通过语音进行查询。由于这一切都在您的 Windows RTX PC 上本地运行，因此您将获得快速、安全的结果。 ChatRTX 支持各种文件格式，包括文本、pdf、doc/docx、xml、png、jpg、bmp。只需将应用程序指向包含文件的文件夹，它就会在几秒钟内将它们加载到库中。

该应用程序支持的AI模型：

拉玛 2 13B
米斯特拉尔7B
聊天GLM3 6B
Whisper Medium（用于支持语音输入）
CLIP（用于图像）

该管道包含上述 AI 模型、TensorRT-LLM、LlamaIndex 和 FAISS 矢量搜索库。在此处的示例应用程序中，我们有一个数据集，其中包含来自 NVIDIA Gefore News 的最新文章。

什么是RAG？？

适用于大型语言模型 (LLM) 的检索增强生成 (RAG)，旨在通过在推理过程中将 LLM 连接到数据来提高预测准确性。这种方法构建了一个全面的提示，其中丰富了上下文、历史数据以及最近或相关的知识。

存储库详细信息

ChatRTX_API：ChatRTX API 允许开发人员将其应用程序与 TensorRT-LLM 支持的推理引擎无缝集成，并利用 ChatRTX 支持的各种 AI 模型。这种集成使开发人员能够将先进的 AI 推理和 RAG 功能合并到他们的应用程序中。这些 API 是 ChatRTX 应用程序的基础。更多详细信息请参见 ChatRTX_APIs 目录。
ChatRTX_App：ChatRTX_App 是一个演示应用程序，它使用电子容器构建在 ChatRTX API 之上。 UI 是使用 Material UI 库在 React 中构建的。有关如何构建 UI 的更多详细信息，请参阅 ChatRTX_App 目录。