nvidia NIM RAG

RAG 使用 NVIDIA NIM 和 LangChain

概述

該專案透過設定和運行檢索增強生成 (RAG) 管道，展示了 NVIDIA NIM（NVIDIA 推理模型）（一套優化的雲端原生微服務）的強大功能和簡單性。 NVIDIA NIM 旨在簡化生成式 AI 模型在各種環境（包括雲端平台、資料中心和 GPU 加速工作站）中的部署和上市時間。透過抽象化 AI 模型開發的複雜性並利用行業標準 API，NIM 使更廣泛的開發人員可以使用先進的 AI 技術。

入門

先決條件

• Python 3.8 或更高版本
• pip 和 virtualenv
• API 金鑰來自 https://build.nvidia.com/mistralai/mixtral-8x7b-instruct

安裝

1. 克隆儲存庫

    git clone https://github.com/mickymultani/nvidia-NIM-RAG.git
   cd nvidia-NIM-RAG
   

2. 設定虛擬環境

   建立名為nvidia的虛擬環境：

    python -m venv nvidia
   

   啟動虛擬環境：

   • 在 Windows 上：

     nvidia S cripts a ctivate

   • 在 macOS/Linux 上：

      source nvidia/bin/activate
     

3. 安裝依賴項

   使用 pip 安裝所需的套件：

    pip install -r requirements.txt
   

4. 環境變數

   在專案的根目錄中建立一個.env文件，並新增您的 NVIDIA API 金鑰：

    NVIDIA_API_KEY=your_nvidia_api_key_here
   

   將your_nvidia_api_key_here替換為您的實際 NVIDIA API 金鑰。

用法

若要執行該項目，請執行以下命令：

python nim.py

貢獻

歡迎對此專案做出貢獻！

執照

根據 MIT 許可證分發。