nvidia NIM RAG

RAG usando NVIDIA NIM com LangChain

Visão geral

Este projeto demonstra o poder e a simplicidade do NVIDIA NIM (NVIDIA Inference Model), um conjunto de microsserviços otimizados nativos da nuvem, configurando e executando um pipeline de geração aumentada de recuperação (RAG). O NVIDIA NIM foi projetado para agilizar a implantação e o tempo de lançamento no mercado de modelos generativos de IA em vários ambientes, incluindo plataformas de nuvem, data centers e estações de trabalho aceleradas por GPU. Ao abstrair as complexidades do desenvolvimento de modelos de IA e aproveitar APIs padrão do setor, o NIM torna as tecnologias avançadas de IA acessíveis a uma gama mais ampla de desenvolvedores.

Começando

Pré-requisitos

• Python 3.8 ou superior
• pip e virtualenv
• Chave de API de https://build.nvidia.com/mistralai/mixtral-8x7b-instruct

Instalação

1. Clonar o repositório

    git clone https://github.com/mickymultani/nvidia-NIM-RAG.git
   cd nvidia-NIM-RAG
   

2. Configure um ambiente virtual

   Crie um ambiente virtual chamado nvidia :

    python -m venv nvidia
   

   Ative o ambiente virtual:

   • No Windows:

     nvidia S cripts a ctivate

   • No macOS/Linux:

      source nvidia/bin/activate
     

3. Instalar dependências

   Instale os pacotes necessários usando pip:

    pip install -r requirements.txt
   

4. Variáveis ​​de ambiente

   Crie um arquivo .env no diretório raiz do projeto e adicione sua chave de API NVIDIA:

    NVIDIA_API_KEY=your_nvidia_api_key_here
   

   Substitua your_nvidia_api_key_here pela sua chave de API NVIDIA real.

Uso

Para executar o projeto, execute o seguinte comando:

python nim.py

Contribuindo

Contribuições para este projeto são bem-vindas!

Licença

Distribuído sob a licença MIT.