nvidia NIM RAG

RAG с использованием NVIDIA NIM с LangChain

Обзор

Этот проект демонстрирует мощь и простоту NVIDIA NIM (NVIDIA Inference Model), набора оптимизированных облачных микросервисов, путем настройки и запуска конвейера дополненной генерации (RAG). NVIDIA NIM предназначен для оптимизации развертывания и сокращения времени вывода на рынок генеративных моделей искусственного интеллекта в различных средах, включая облачные платформы, центры обработки данных и рабочие станции с графическим ускорением. Абстрагируя сложности разработки моделей ИИ и используя стандартные API-интерфейсы, NIM делает передовые технологии ИИ доступными для более широкого круга разработчиков.

Начиная

Предварительные условия

• Питон 3.8 или выше
• пип и виртуальное окружение
• Ключ API с https://build.nvidia.com/mistralai/mixtral-8x7b-instruct.

Установка

1. Клонировать репозиторий

    git clone https://github.com/mickymultani/nvidia-NIM-RAG.git
   cd nvidia-NIM-RAG
   

2. Настройте виртуальную среду

   Создайте виртуальную среду с именем nvidia :

    python -m venv nvidia
   

   Активируйте виртуальную среду:

   • В Windows:

     nvidia S cripts a ctivate

   • В macOS/Linux:

      source nvidia/bin/activate
     

3. Установить зависимости

   Установите необходимые пакеты с помощью pip:

    pip install -r requirements.txt
   

4. Переменные среды

   Создайте файл .env в корневом каталоге проекта и добавьте свой ключ API NVIDIA:

    NVIDIA_API_KEY=your_nvidia_api_key_here
   

   Замените your_nvidia_api_key_here своим фактическим ключом API NVIDIA.

Использование

Чтобы запустить проект, выполните следующую команду:

python nim.py

Содействие

Вклад в этот проект приветствуется!

Лицензия

Распространяется по лицензии MIT.