rag arena 다운로드 - rag arena 소스 코드 다운로드

rag arena

AI 소스 코드

1.0.0

다운로드

RAG 아레나

RAG Arena는 쿼리가 여러 응답을 받는 RAG 챗봇 경험을 제공하기 위해 LangChain과 인터페이스하는 mendable.ai를 만든 오픈 소스 Next.js 프로젝트입니다. 사용자는 이러한 응답에 투표한 다음 흐리게 처리되지 않은 리트리버를 표시하여 데이터 RAG 방법으로 챗봇을 차별화합니다. 이 프로젝트는 데이터베이스 운영을 위해 Supabase를 활용하고 데이터베이스의 데이터를 표시하는 실시간 순위표를 제공합니다.

설치

시스템에 pnpm 설치되어 있는지 확인하십시오. 그렇지 않은 경우 다음을 통해 설치하십시오.

npm install -g pnpm

프로젝트 저장소를 복제합니다.

git clone https://github.com/mendableai/rag-arena

프로젝트 디렉터리로 이동하여 종속성을 설치합니다.

 cd RAG-arena
pnpm i

환경 변수를 구성합니다.

 # probably in: https://platform.openai.com/api-keys
OPENAI_API_KEY=

# probably in: https://supabase.com/dashboard/ project>project settings>api
NEXT_PUBLIC_SUPABASE_URL=
NEXT_PUBLIC_SUPABASE_PRIVATE_KEY=

# probably in: https://console.upstash.com/redis/
UPSTASH_REDIS_REST_URL=
UPSTASH_REDIS_REST_TOKEN=

PRODUCTION=false

PYTHON_MICRO_SERVER=

개발(nextjs) 웹 서버를 시작합니다:

pnpm dev

파이썬 서버 실행

 cd python_service

poetry install

*(시가 없으면 pip install poem을 사용하여 ID를 추가하세요)

Neo4j 그래프 저장소 활성화

Graph Rag 검색기의 경우 그래프 저장소를 구축하거나 다음 줄의 주석 처리를 제거하여 서버가 'create_neo4j_graph_store' 함수( /python_service/retrievers/neo4j_retriever.py 에 현지화됨)를 자동으로 실행하도록 해야 합니다.

 # if not os.path.exists(storage_dir) or not os.listdir(storage_dir):
# create_neo4j_graph_store()

data/chunks 에 사용된 데이터에 따라 시간이 좀 걸릴 것입니다. 마지막에는 로컬 그래프 저장소에 대한 지속 데이터로 채워진 neo/storage 디렉터리를 갖게 됩니다.

처음으로 인덱스 로드

Graph RAG를 사용할 수 있으려면 인덱스를 로드하고 캐시해야 합니다. load_index() 함수는 python_service/app.py 내에서 이를 수행합니다. 따라서 첫 실행 시 python_service/index/cache 에 캐시된 .pkl 파일을 생성하는 데 시간이 걸릴 수 있습니다.

디버그 모드를 사용하여 로컬에서 플라스크 서버 실행

poetry run flask run --debug

브라우저에서 http://localhost:3000을 열어 결과를 확인하세요.

아키텍처 개요

섭취 시스템

경로: app/api/ingest/route.ts
설명: 이 모듈은 기사를 벡터 데이터베이스에 수집하여 향후 쿼리를 위해 검색할 수 있도록 하는 역할을 합니다.
구현 세부정보:
- Splitter: 효과적인 텍스트 분할을 위해 LangChain의 RecursiveCharacterTextSplitter 를 활용합니다.
- 임베딩: 문서 임베딩 생성을 위해 OpenAIEmbeddings 활용합니다.
- 저장소: 처리된 문서를 Supabase에 저장하기 위해 SupabaseVectorStore 를 사용합니다.

다이나믹 리트리버

경로: app/api/retrievers/dynamic-retriever/route.ts
설명: 사용자 입력을 기반으로 다양한 검색기를 동적으로 선택하고 사용하여 관련 문서를 가져옵니다.
주요 특징:
- 속도 제한: 부하를 관리하고 공정한 사용을 보장하기 위해 속도 제한을 구현합니다.
- 문서 RAG: 사용자의 쿼리와 가장 관련성이 높은 문서를 검색합니다.
- OpenAI 통합: 문서 일치를 위해 SupabaseVectorStore가 제공하는 OpenAI의 API와 상호 작용하여 채팅 완료를 향상합니다.

투표 시스템

경로: actions/voting-system.ts
목적: 검색된 답변에 대한 투표 이면의 논리를 감독합니다. 이는 시스템 학습 및 적응에 중요합니다.
기능:
- 투표 추적: 각 검색기의 투표 수, 테스트 횟수 및 Elo 등급을 업데이트합니다.
- Elo 조정: 검색자가 테스트된 평균 횟수를 기준으로 Elo 등급을 조정하여 공정성과 정확성을 높입니다.

 // calculation used for the elo
function calculateEloAdjustment(timesTested: number, averageTimesTested: number): number {
    if (averageTimesTested === 0) return 10;
    const adjustmentFactor = timesTested / averageTimesTested;
    return (1 / adjustmentFactor) * 10;
}

데이터베이스 스키마

테이블 이름: 리더보드
내용: id , retriever , elo , votes , times_tested , full_name , description 및 link 포함하여 각 검색기에 대한 중요한 데이터를 보유합니다.

RAG 기능 개요

(https://js.langchain.com/docs/modules/data_connection/retrievers/)

이 섹션에서는 app/api/retrievers/dynamic-retriever/tools/functions.ts 에 정의된 다양한 RAG 기능을 간략하게 설명하고 프로젝트 아키텍처 내에서의 목적과 구현을 자세히 설명합니다. 이러한 기능은 문서 RAG 프로세스에서 중요한 역할을 하며 다양한 전략과 기술을 활용하여 성능과 정확성을 최적화합니다.

벡터 스토어

사용 시기: 빠르고 간단한 솔루션을 찾는 초보자에게 이상적입니다.
설명: 이 기능은 각 텍스트 조각에 대한 삽입 생성의 단순성을 활용하여 문서 RAG의 가장 접근하기 쉬운 시작점이 됩니다.

상위 문서

사용 시기: 개별적으로 색인화되지만 전체적으로 검색되어야 하는 더 작고 고유한 정보 덩어리로 분할된 문서에 가장 적합합니다.
설명: 문서당 여러 청크를 인덱싱하여 삽입 공간에서 가장 유사한 청크를 식별하여 개별 청크가 아닌 전체 상위 문서를 검색합니다.

다중 벡터

사용 시기: 문서의 텍스트 자체보다 색인화를 위해 더 관련성 있는 정보를 추출할 수 있는 경우에 적합합니다.
설명: 각 문서에 대해 여러 벡터를 생성합니다. 각 벡터는 잠재적으로 텍스트 요약, 가상 질문 또는 기타 형태의 증류 정보를 나타냅니다.

상황별 압축

사용 시기: 검색된 문서에 관련 없는 정보가 과도하게 포함되어 핵심 쿼리 응답을 방해할 때 유용합니다.
설명: 다른 검색기에 사후 처리 단계를 추가하여 검색된 문서에서 가장 관련성이 높은 정보만 추출합니다. 이는 임베딩 또는 LLM을 사용하여 수행할 수 있습니다.

시간가중

사용 시기: 의미론적 유사성과 최근성을 기반으로 가장 최근 문서를 검색하는 것을 목표로 하는 관련 타임스탬프가 있는 문서에 이상적입니다.
설명: 의미론적 유사성과 문서 타임스탬프의 균형을 유지하여 문서를 검색하여 RAG 프로세스에서 최신 문서의 우선 순위를 지정합니다.

다중 쿼리 검색기

사용 시기: 포괄적인 응답을 위해 여러 개의 고유한 정보가 필요한 복잡한 쿼리에 가장 적합합니다.
설명: 단일 입력에서 여러 쿼리를 생성하여 원래 쿼리에 완전히 답하기 위해 다양한 주제에 대한 정보의 필요성을 해결합니다. 이 접근 방식은 생성된 각 쿼리에 대한 문서를 가져와 철저한 응답을 보장합니다.