nvidia NIM RAG

RAG menggunakan NVIDIA NIM dengan LangChain

Ringkasan

Proyek ini mendemonstrasikan kekuatan dan kesederhanaan NVIDIA NIM (NVIDIA Inference Model), serangkaian layanan mikro cloud-native yang dioptimalkan, dengan menyiapkan dan menjalankan pipeline Retrieval-Augmented Generation (RAG). NVIDIA NIM dirancang untuk menyederhanakan penerapan dan waktu pemasaran model AI generatif di berbagai lingkungan, termasuk platform cloud, pusat data, dan stasiun kerja yang dipercepat GPU. Dengan mengabstraksi kompleksitas pengembangan model AI dan memanfaatkan API standar industri, NIM membuat teknologi AI canggih dapat diakses oleh lebih banyak pengembang.

Memulai

Prasyarat

• Python 3.8 atau lebih tinggi
• pip dan virtualenv
• Kunci API dari https://build.nvidia.com/mistralai/mixtral-8x7b-instruct

Instalasi

1. Kloning repositori

    git clone https://github.com/mickymultani/nvidia-NIM-RAG.git
   cd nvidia-NIM-RAG
   

2. Siapkan lingkungan virtual

   Buat lingkungan virtual bernama nvidia :

    python -m venv nvidia
   

   Aktifkan lingkungan virtual:

   • Di Windows:

     nvidia S cripts a ctivate

   • Di macOS/Linux:

      source nvidia/bin/activate
     

3. Instal dependensi

   Instal paket yang diperlukan menggunakan pip:

    pip install -r requirements.txt
   

4. Variabel Lingkungan

   Buat file .env di direktori root proyek, dan tambahkan kunci API NVIDIA Anda:

    NVIDIA_API_KEY=your_nvidia_api_key_here
   

   Ganti your_nvidia_api_key_here dengan kunci API NVIDIA Anda yang sebenarnya.

Penggunaan

Untuk menjalankan proyek, jalankan perintah berikut:

python nim.py

Berkontribusi

Kontribusi untuk proyek ini dipersilakan!

Lisensi

Didistribusikan di bawah Lisensi MIT.