nvidia NIM RAG

RAG usando NVIDIA NIM con LangChain

Descripción general

Este proyecto demuestra el poder y la simplicidad de NVIDIA NIM (NVIDIA Inference Model), un conjunto de microservicios nativos de la nube optimizados, mediante la configuración y ejecución de una canalización de generación aumentada de recuperación (RAG). NVIDIA NIM está diseñado para agilizar la implementación y el tiempo de comercialización de modelos de IA generativa en diversos entornos, incluidas plataformas en la nube, centros de datos y estaciones de trabajo aceleradas por GPU. Al abstraer las complejidades del desarrollo de modelos de IA y aprovechar las API estándar de la industria, NIM hace que las tecnologías avanzadas de IA sean accesibles a una gama más amplia de desarrolladores.

Empezando

Requisitos previos

• Python 3.8 o superior
• pip y virtualenv
• Clave API de https://build.nvidia.com/mistralai/mixtral-8x7b-instruct

Instalación

1. Clonar el repositorio

    git clone https://github.com/mickymultani/nvidia-NIM-RAG.git
   cd nvidia-NIM-RAG
   

2. Configurar un entorno virtual

   Crea un entorno virtual llamado nvidia :

    python -m venv nvidia
   

   Activar el entorno virtual:

   • En Windows:

     nvidia S cripts a ctivate

   • En macOS/Linux:

      source nvidia/bin/activate
     

3. Instalar dependencias

   Instale los paquetes requeridos usando pip:

    pip install -r requirements.txt
   

4. Variables de entorno

   Cree un archivo .env en el directorio raíz del proyecto y agregue su clave API de NVIDIA:

    NVIDIA_API_KEY=your_nvidia_api_key_here
   

   Reemplace your_nvidia_api_key_here con su clave API de NVIDIA real.

Uso

Para ejecutar el proyecto, ejecute el siguiente comando:

python nim.py

Contribuyendo

¡Las contribuciones a este proyecto son bienvenidas!

Licencia

Distribuido bajo la licencia MIT.