bRAG langchain

검색증강세대(RAG) 프로젝트

If this project helps you, consider buying me a coffee ☕. Your support helps me keep contributing to the open-source community!

bRAGAI의 공식 플랫폼이 곧 출시될 예정입니다. 대기자 명단에 등록하여 얼리 어답터 중 한 명이 되세요!

---

이 저장소에는 다양한 애플리케이션에 대한 RAG(검색 증강 생성)에 대한 포괄적인 탐색이 포함되어 있습니다. 각 노트북은 다중 쿼리 및 사용자 정의 RAG 빌드를 포함하여 입문 수준부터 고급 구현까지 RAG를 설정하고 실험하는 데 대한 자세한 실습 가이드를 제공합니다.

프로젝트 구조

바로 시작하고 싶다면 full_basic_rag.ipynb 파일을 확인하세요. -> 이 파일은 완전히 사용자 정의 가능한 RAG 챗봇의 상용구 시작 코드를 제공합니다.

가상 환경에서 파일을 실행해야 합니다(체크아웃 섹션 Get Started ).

다음 노트북은 tutorial_notebooks/ 디렉터리에서 찾을 수 있습니다.

[1]_rag_setup_overview.ipynb

이 소개용 노트북은 RAG 아키텍처와 기본 설정에 대한 개요를 제공합니다. 노트북은 다음을 안내합니다.

• 환경 설정 : 환경을 구성하고, 필요한 라이브러리를 설치하며, API 설정을 합니다.
• 초기 데이터 로딩 : 기본 문서 로더 및 데이터 전처리 방법.
• Embedding Generation : OpenAI의 임베딩을 포함한 다양한 모델을 이용하여 임베딩을 생성합니다.
• Vector Store : 효율적인 유사성 검색을 위한 벡터 저장소(ChromaDB/Pinecone)를 설정합니다.
• 기본 RAG 파이프라인 : 기준선 역할을 할 간단한 검색 및 생성 파이프라인을 만듭니다.

[2]_rag_with_multi_query.ipynb

기본 사항을 바탕으로 이 노트북은 RAG 파이프라인의 다중 쿼리 기술을 소개하며 다음을 탐구합니다.

• 다중 쿼리 설정 : 검색을 다양화하기 위해 다중 쿼리를 구성합니다.
• 고급 임베딩 기술 : 여러 임베딩 모델을 활용하여 검색을 개선합니다.
• 다중 쿼리가 포함된 파이프라인 : 응답 생성의 관련성을 향상하기 위해 다중 쿼리 처리를 구현합니다.
• 비교 및 분석 : 단일 쿼리 파이프라인과 결과를 비교하고 성능 개선을 분석합니다.

[3]_rag_routing_and_query_construction.ipynb

이 노트북에서는 RAG 파이프라인 사용자 정의에 대해 자세히 설명합니다. 그것은 다음을 다룬다:

• 논리적 라우팅: 프로그래밍 언어를 기반으로 적절한 데이터 소스에 대한 사용자 쿼리를 분류하기 위한 기능 기반 라우팅을 구현합니다.
• 의미론적 라우팅: 임베딩 및 코사인 유사성을 사용하여 질문을 수학 또는 물리학 프롬프트로 연결하여 응답 정확도를 최적화합니다.
• 메타데이터 필터에 대한 쿼리 구조화: YouTube 튜토리얼 메타데이터에 대한 구조화된 검색 스키마를 정의하여 고급 필터링(예: 조회수, 게시 날짜 기준)을 활성화합니다.
• 구조화된 검색 프롬프트: LLM 프롬프트를 활용하여 사용자 입력을 기반으로 관련 콘텐츠를 검색하기 위한 데이터베이스 쿼리를 생성합니다.
• 벡터 저장소와의 통합: 효율적인 데이터 검색을 위해 구조화된 쿼리를 벡터 저장소에 연결합니다.

[4]_rag_indexing_and_advanced_retrieval.ipynb

이전 사용자 정의에 이어 이 노트북에서는 다음을 탐색합니다.

• 문서 청킹에 대한 서문: 문서 청킹 기술에 대한 외부 리소스를 가리킵니다.
• 다중 표현 인덱싱: 다양한 임베딩 및 표현이 포함된 문서를 처리하기 위한 다중 벡터 인덱싱 구조를 설정합니다.
• 요약용 메모리 내 저장소: InMemoryByteStore를 사용하여 상위 문서와 함께 문서 요약을 저장하므로 효율적인 검색이 가능합니다.
• MultiVectorRetriever 설정: 여러 벡터 표현을 통합하여 사용자 쿼리를 기반으로 관련 문서를 검색합니다.
• RAPTOR 구현: 심층 리소스에 연결되는 고급 인덱싱 및 검색 모델인 RAPTOR를 살펴봅니다.
• ColBERT 통합: ColBERT 기반 토큰 수준 벡터 인덱싱 및 검색을 시연하여 세부적인 수준에서 문맥적 의미를 캡처합니다.
• ColBERT를 사용한 Wikipedia 예제: 데모용 ColBERT 검색 모델을 사용하여 미야자키 하야오에 대한 정보를 검색합니다.

[5]_rag_retrieval_and_reranking.ipynb

이 최종 노트북은 확장성과 최적화에 중점을 두고 RAG 시스템 구성 요소를 통합합니다.

• 문서 로드 및 분할: 인덱싱을 위해 문서를 로드하고 청크하여 벡터 저장을 위해 준비합니다.
• RAG-Fusion을 사용한 다중 쿼리 생성: 프롬프트 기반 접근 방식을 사용하여 단일 입력 질문에서 여러 검색 쿼리를 생성합니다.
• RRF(Reciprocal Rank Fusion): 여러 검색 목록의 순위를 다시 매기고 관련성을 높이기 위해 결과를 병합하기 위해 RRF를 구현합니다.
• 검색기 및 RAG 체인 설정: 융합된 순위 및 RAG 체인을 사용하여 상황에 맞는 관련 정보를 가져오고 쿼리에 응답하기 위한 검색 체인을 구성합니다.
• Cohere Re-Ranking: 추가적인 상황별 압축 및 개선을 위해 Cohere 모델을 사용하여 순위를 다시 매기는 방법을 보여줍니다.
• CRAG 및 Self-RAG 검색: 예시 링크와 함께 CRAG 및 Self-RAG와 같은 고급 검색 접근 방식을 살펴봅니다.
• 장기 컨텍스트 영향 탐색: RAG 모델에 대한 장기 컨텍스트 검색의 영향을 설명하는 리소스에 대한 링크입니다.

시작하기

전제조건: Python 3.11.7(선호)

1. 저장소를 복제하십시오 .

    git clone https://github.com/bRAGAI/bRAG-langchain.git 
   
   cd bRAG-langchain
   

2. 가상 환경 만들기

    python -m venv venv
   
   source venv/bin/activate
   

3. 종속성 설치 : requirements.txt 에 나열된 필수 패키지를 설치해야 합니다.

   pip install -r requirements.txt

4. 노트북 실행 : [1]_rag_setup_overview.ipynb 로 시작하여 설정 프로세스에 익숙해집니다. 다른 Notebook을 순차적으로 진행하여 더욱 발전된 RAG 개념을 구축하고 실험해 보세요.

5. 환경 변수 설정 :

   • 루트 디렉터리에 .env.example 파일을 복제하고 이름을 .env 로 지정하고 다음 키를 포함합니다(실제 키로 대체).

      #LLM Modal
     OPENAI_API_KEY="your-api-key"
     
     #LangSmith
     LANGCHAIN_TRACING_V2=true
     LANGCHAIN_ENDPOINT="https://api.smith.langchain.com"
     LANGCHAIN_API_KEY="your-api-key"
     LANGCHAIN_PROJECT="your-project-name"
     
     #Pinecone Vector Database
     PINECONE_INDEX_NAME="your-project-index"
     PINECONE_API_HOST="your-host-url"
     PINECONE_API_KEY="your-api-key"
     

6. 노트북 순서 : 구조화된 방식으로 프로젝트를 따르려면:

   • [1]_rag_setup_overview.ipynb 로 시작하세요.

   • [2]_rag_with_multi_query.ipynb 로 진행하세요.

   • 그런 다음 [3]_rag_routing_and_query_construction.ipynb 를 통해 이동합니다.

   • [4]_rag_indexing_and_advanced_retrieval.ipynb 로 계속하세요.

   • [5]_rag_retrieval_and_reranking.ipynb 로 마무리

용법

환경을 설정하고 노트북을 순서대로 실행한 후 다음을 수행할 수 있습니다.

1. 검색 증강 생성 실험 : [1]_rag_setup_overview.ipynb 의 기본 설정을 사용하여 RAG의 기본 사항을 이해합니다.

2. 다중 쿼리 구현 : [2]_rag_with_multi_query.ipynb 에 다중 쿼리 기술을 도입하여 응답 관련성을 향상시키는 방법을 알아보세요.

수신 노트북(작업 진행 중)

1. RAGAS + LangSmith를 사용한 상황 정밀도
   • RAGAS 및 LangSmith를 사용하여 RAG의 상황 정밀도, 관련성 및 응답 정확도를 평가하는 방법에 대한 안내입니다.
2. RAG 애플리케이션 배포
   • RAG 애플리케이션 배포 방법에 대한 가이드

 The notebooks and visual diagrams were inspired by Lance Martin's LangChain Tutorial.