nvidia NIM RAG

LangChain과 함께 NVIDIA NIM을 사용하는 RAG

개요

이 프로젝트는 RAG(Retrieval-Augmented Generation) 파이프라인을 설정하고 실행하여 최적화된 클라우드 네이티브 마이크로서비스 제품군인 NVIDIA NIM(NVIDIA Inference Model)의 강력함과 단순성을 보여줍니다. NVIDIA NIM은 클라우드 플랫폼, 데이터 센터, GPU 가속 워크스테이션 등 다양한 환경에서 생성적 AI 모델의 배포와 출시 기간을 간소화하도록 설계되었습니다. NIM은 AI 모델 개발의 복잡성을 추상화하고 업계 표준 API를 활용함으로써 더 광범위한 개발자가 고급 AI 기술에 액세스할 수 있도록 합니다.

시작하기

전제 조건

• 파이썬 3.8 이상
• 핍과 virtualenv
• https://build.nvidia.com/mistralai/mixtral-8x7b-instruct의 API 키

설치

1. 저장소 복제

    git clone https://github.com/mickymultani/nvidia-NIM-RAG.git
   cd nvidia-NIM-RAG
   

2. 가상 환경 설정

   nvidia 라는 가상 환경을 만듭니다.

    python -m venv nvidia
   

   가상 환경을 활성화합니다:

   • Windows의 경우:

     nvidia S cripts a ctivate

   • macOS/Linux의 경우:

      source nvidia/bin/activate
     

3. 종속성 설치

   pip를 사용하여 필수 패키지를 설치합니다.

    pip install -r requirements.txt
   

4. 환경 변수

   프로젝트의 루트 디렉터리에 .env 파일을 생성하고 NVIDIA API 키를 추가합니다.

    NVIDIA_API_KEY=your_nvidia_api_key_here
   

   your_nvidia_api_key_here 실제 NVIDIA API 키로 바꾸세요.

용법

프로젝트를 실행하려면 다음 명령을 실행합니다.

python nim.py

기여

이 프로젝트에 대한 기여를 환영합니다!

특허

MIT 라이센스에 따라 배포됩니다.