nvidia NIM RAG

RAG 使用 NVIDIA NIM 和 LangChain

概述

该项目通过设置和运行检索增强生成 (RAG) 管道，展示了 NVIDIA NIM（NVIDIA 推理模型）（一套优化的云原生微服务）的强大功能和简单性。 NVIDIA NIM 旨在简化生成式 AI 模型在各种环境（包括云平台、数据中心和 GPU 加速工作站）中的部署和上市时间。通过抽象化 AI 模型开发的复杂性并利用行业标准 API，NIM 使更广泛的开发人员可以使用先进的 AI 技术。

入门

先决条件

• Python 3.8 或更高版本
• pip 和 virtualenv
• API 密钥来自 https://build.nvidia.com/mistralai/mixtral-8x7b-instruct

安装

1. 克隆存储库

    git clone https://github.com/mickymultani/nvidia-NIM-RAG.git
   cd nvidia-NIM-RAG
   

2. 设置虚拟环境

   创建名为nvidia的虚拟环境：

    python -m venv nvidia
   

   激活虚拟环境：

   • 在 Windows 上：

     nvidia S cripts a ctivate

   • 在 macOS/Linux 上：

      source nvidia/bin/activate
     

3. 安装依赖项

   使用 pip 安装所需的包：

    pip install -r requirements.txt
   

4. 环境变量

   在项目的根目录中创建一个.env文件，并添加您的 NVIDIA API 密钥：

    NVIDIA_API_KEY=your_nvidia_api_key_here
   

   将your_nvidia_api_key_here替换为您的实际 NVIDIA API 密钥。

用法

要运行该项目，请执行以下命令：

python nim.py

贡献

欢迎对此项目做出贡献！

执照

根据 MIT 许可证分发。