nvidia NIM RAG

RAG nutzt NVIDIA NIM mit LangChain

Überblick

Dieses Projekt demonstriert die Leistungsfähigkeit und Einfachheit von NVIDIA NIM (NVIDIA Inference Model), einer Suite optimierter Cloud-nativer Mikrodienste, durch die Einrichtung und den Betrieb einer Retrieval-Augmented Generation (RAG)-Pipeline. NVIDIA NIM wurde entwickelt, um die Bereitstellung und Markteinführung generativer KI-Modelle in verschiedenen Umgebungen, einschließlich Cloud-Plattformen, Rechenzentren und GPU-beschleunigten Workstations, zu optimieren. Durch die Abstraktion der Komplexität der KI-Modellentwicklung und die Nutzung branchenüblicher APIs macht NIM fortschrittliche KI-Technologien einem breiteren Spektrum von Entwicklern zugänglich.

Erste Schritte

Voraussetzungen

• Python 3.8 oder höher
• pip und virtualenv
• API-Schlüssel von https://build.nvidia.com/mistralai/mixtral-8x7b-instruct

Installation

1. Klonen Sie das Repository

    git clone https://github.com/mickymultani/nvidia-NIM-RAG.git
   cd nvidia-NIM-RAG
   

2. Richten Sie eine virtuelle Umgebung ein

   Erstellen Sie eine virtuelle Umgebung mit dem Namen nvidia :

    python -m venv nvidia
   

   Aktivieren Sie die virtuelle Umgebung:

   • Unter Windows:

     nvidia S cripts a ctivate

   • Unter macOS/Linux:

      source nvidia/bin/activate
     

3. Abhängigkeiten installieren

   Installieren Sie die erforderlichen Pakete mit pip:

    pip install -r requirements.txt
   

4. Umgebungsvariablen

   Erstellen Sie eine .env Datei im Stammverzeichnis des Projekts und fügen Sie Ihren NVIDIA-API-Schlüssel hinzu:

    NVIDIA_API_KEY=your_nvidia_api_key_here
   

   Ersetzen Sie your_nvidia_api_key_here durch Ihren tatsächlichen NVIDIA-API-Schlüssel.

Verwendung

Um das Projekt auszuführen, führen Sie den folgenden Befehl aus:

python nim.py

Mitwirken

Beiträge zu diesem Projekt sind willkommen!

Lizenz

Verteilt unter der MIT-Lizenz.