그라디오_RAG

검색 증강 생성

이 저장소에는 Llama-2와 같은 LLM(대형 언어 모델)의 데이터 최신성 문제를 해결하기 위해 설계된 기술인 RAG(검색 증강 생성)와 관련된 코드 및 리소스가 포함되어 있습니다. LLM은 최근 사건과 최신 정보에 대한 인식이 부족한 경우가 많습니다. RAG는 ​​지식 기반의 외부 지식을 LLM 응답에 통합하여 정확하고 근거가 풍부한 응답을 가능하게 합니다.

저장소 내용

• src : RAG 기술을 구현하고 지식 기반과의 상호 작용을 위한 소스 코드가 포함되어 있습니다.
• data : 지식 베이스 구축을 위한 데이터 세트 및 관련 리소스를 저장합니다.
• db : 지식 기반 검색을 위한 토큰 임베딩 또는 벡터 표현을 관리하고 저장합니다.
• requirements.txt : 이 리포지토리에서 코드를 실행하는 데 필요한 Python 패키지입니다.

RAG(검색 증강 생성) 소개

RAG는 ​​생성된 응답의 품질과 신선도를 향상시키기 위해 LLM(대형 언어 모델) 기능을 외부 지식 기반과 결합한 새로운 접근 방식입니다. 외부 소스에서 상황에 맞는 관련 지식을 검색하고 이를 LLM 생성 콘텐츠에 통합하여 오래된 정보 문제를 해결합니다.

그라디오 소개

Gradio는 기계 학습 모델용 UI를 빠르게 생성하는 데 도움이 되는 Python 라이브러리입니다. 이를 통해 모델을 빠르게 배포하고 광범위한 프런트엔드 개발 없이 사용자 친화적인 인터페이스를 통해 모델에 액세스할 수 있습니다.

gradio_chatbot.py 코드가 실행되면 Gradio 앱이 실행됩니다. 여기에는 임베딩 모델, 생성 모델, 편집 가능한 시스템 프롬프트 및 선택한 LLM의 조정 가능한 매개변수와 같은 수정 가능한 요소가 포함되어 있습니다.

단계

이 저장소의 코드를 사용하려면 다음 단계를 따르세요.

1. 리포지토리를 로컬 머신에 복제합니다.

2. 명령줄을 사용하여 저장소 디렉터리로 이동합니다.

3. 다음 명령을 사용하여 필수 패키지를 설치합니다.

   pip install -r requirements.txt

4. 다음 명령을 사용하여 챗봇 애플리케이션을 실행합니다.

   python src/gradio_chatbot.py

5. Gradio 앱이 실행되면 문서(pdf 또는 csv)를 업로드하고, 모델(임베딩 및 생성)을 선택하고, 조정 가능한 매개변수를 조정하고, 시스템 프롬프트를 조작하고, 필요한 모든 것을 물어보세요!