llm search

pyLLMSearch - 고급 RAG

선적 서류 비치

이 패키지의 목적은 여러 로컬 문서 컬렉션과 상호 작용할 수 있는 간단한 YAML 기반 구성을 갖춘 편리한 RAG(질문 응답) 시스템을 제공하는 것입니다. 기본 LLM 기반 RAG 외에도 시스템의 다양한 구성 요소 개선에 특별한 주의를 기울였습니다. 더 나은 문서 구문 분석, 하이브리드 검색, HyDE 지원 검색, 채팅 기록, 딥 링크, 순위 재지정, 임베딩 사용자 정의 기능 등 . 이 패키지는 OpenAI에서든 로컬로 설치하든 상관없이 맞춤형 LLM(대형 언어 모델)과 함께 작동하도록 설계되었습니다.

특징

• 지원되는 형식

  • 내장 파서:
    • .md - 제목, 하위 제목 및 코드 블록과 같은 논리적 구성 요소를 기반으로 파일을 나눕니다. 이미지 링크 정리, 사용자 정의 메타데이터 추가 등과 같은 추가 기능을 지원합니다.
    • .pdf - MuPDF 기반 파서.
    • .docx - 사용자 정의 파서, 중첩 테이블을 지원합니다.
  • 기타 일반적인 형식은 Unstructured 전처리기에서 지원됩니다.
    • 형식 목록은 여기를 참조하세요.

• 오픈 소스 gmft(https://github.com/conjuncts/gmft) 또는 Azure Document Intelligence를 통한 테이블 구문 분석을 지원합니다.

• Gemini API를 사용한 이미지 구문 분석에 대한 선택적 지원.

• 여러 문서 컬렉션을 지원하고 컬렉션별로 결과를 필터링합니다.

• 전체 문서 기반을 다시 색인화할 필요 없이 포함을 점진적으로 업데이트하는 기능입니다.

• 문서 폴더에서 조밀한 임베딩을 생성하고 이를 벡터 데이터베이스(ChromaDB)에 저장합니다.

  • 다음 임베딩 모델이 지원됩니다.
    • 포옹 얼굴 임베딩.
    • 문장 변환기 기반 모델(예: multilingual-e5-base )
    • 강사 기반 모델(예: instructor-large )

• SPLADE(https://github.com/naver/splad)를 사용하여 희소 임베딩을 생성하여 하이브리드 검색(희소 + 조밀)을 활성화합니다.

• 의미론적 검색을 위한 "검색 및 순위 재지정" 전략을 지원합니다. 여기를 참조하세요.

  • 원래 ms-marco-MiniLM 크로스 인코더 외에도 보다 현대적인 bge-reranker 지원됩니다.

• HyDE(가설 문서 삽입) 지원 - 여기를 참조하세요.

  • 경고: HyDE를 활성화하면(config 또는 webapp을 통해) 결과의 품질이 크게 바뀔 수 있습니다. 활성화하기 전에 반드시 해당 문서를 읽어보시기 바랍니다.
  • 내 실험에 따르면 HyDE를 활성화하면 사용자가 주제의 도메인별 언어를 사용하여 질문을 공식화할 수 없는 주제(예: 새로운 주제를 학습할 때)에 대한 출력 품질이 크게 향상됩니다.

• RAG Fusion 에서 영감을 받은 다중 쿼리 지원 - https://towardsdatascience.com/forget-rag-the-future-is-rag-fusion-1147298d8ad1

  • 다중 쿼리가 켜져 있으면(config 또는 webapp) 원래 쿼리가 동일한 쿼리의 3가지 변형으로 대체되어 기사에 따르면 용어의 차이를 메우고 "다른 각도 또는 관점을 제공"할 수 있습니다.

• 질문 상황화를 통해 선택적 채팅 기록을 지원합니다.

• 내장된 문서와의 상호 작용을 허용하며 내부적으로 다음 모델 및 방법(로컬 호스팅 포함)을 지원합니다.

  • OpenAI 모델(ChatGPT 3.5/4 및 Azure OpenAI).
  • HuggingFace 모델.
  • Llama cpp 지원 모델 - 전체 목록은 여기를 참조하세요.
  • AutoGPTQ 모델(종속성 손상으로 인해 일시적으로 비활성화됨)

• 수백 가지의 다양한 모델을 지원하는 OpenAI API를 통한 LiteLLM + Ollama와의 상호 운용성(LiteLLM의 모델 구성 참조)

• 기타 기능

  • 간단한 CLI 및 웹 인터페이스.
  • 문서 섹션에 대한 딥 링크 - 개별 PDF 페이지 또는 마크다운 파일의 헤더로 이동합니다.
  • 향후 분석을 위해 오프라인 데이터베이스에 응답을 저장하는 기능.
  • 실험적인 API

데모

선적 서류 비치

문서 찾아보기