kollektiv

kollektiv - LLM + 최신 지식

? 개요

kollektiv 는 한 가지 목적으로 설계된 검색 증강 생성(RAG) 시스템입니다. 즉, 즐겨찾는 문서(주로 라이브러리, 프레임워크, 도구)와 쉽게 채팅할 수 있도록 해줍니다.

이 프로젝트의 목표는 LLM이 단 두 번의 클릭만으로 최신 지식을 활용할 수 있도록 하여 최고의 LLM과 협력할 때 잘못된 답변, 환각 또는 부정확성에 대해 걱정할 필요가 없도록 하는 것입니다.

❓왜요?

이 프로젝트는 개인적인 가려움 에서 탄생했습니다. 제가 가장 좋아하는 라이브러리에 새로운 기능이 나타날 때마다 LLM이 이를 활용하는 데 도움을 줄 수 없다는 것을 알고 있습니다. LLM은 단순히 그것에 대해 모르기 때문입니다!

근본 원인 - LLM은 오래 전에(때로는 1년 이상 전에) 축적된 데이터 세트에 대해 교육을 받았기 때문에 최신 문서나 개인 지식에 대한 액세스가 부족합니다.

영향 - 답변에 대한 환각, 부정확하거나 부정확하거나 오래된 정보로 인해 LLM 사용의 생산성과 유용성이 직접적으로 감소합니다.

하지만 더 좋은 방법이 있습니다...

LLM이 귀하가 구축하고 있는 라이브러리, 도구, 프레임워크에 대한 최신 정보 소스를 활용할 수 있다면 어떨까요?

LLM이 문서 소스를 확인해야 할 시기를 지능적으로 결정하고 항상 정확한 응답을 제공할 수 있다고 상상해 보십시오.

목표

kollektiv 만나보세요 -> 쉽게 도와주는 오픈 소스 RAG 앱:

• 좋아하는 라이브러리의 문서를 구문 분석하세요.
• 로컬 벡터 저장소에 효율적으로 저장하고 삽입합니다.
• 신뢰할 수 있는 LLM 채팅을 설정하세요

이는 v.0.1.6이며 시스템의 신뢰성은 다음과 같이 특성화될 수 있습니다.

• 50%의 경우 매번 작동합니다!

문제가 발생하는 경우 알려주시면 해결하도록 노력하겠습니다.

주요 특징

• ?️ 지능형 웹 크롤링 : FireCrawl API를 활용하여 지정된 문서 웹사이트에서 콘텐츠를 효율적으로 크롤링하고 추출합니다.
• ? 고급 문서 처리 : 문서 저장 및 검색을 최적화하기 위해 사용자 정의 청크 전략을 구현합니다.
• ? 벡터 검색 : 문서 청크에 대한 고성능 유사성 검색을 위해 Chroma DB를 사용합니다.
• 멀티 쿼리 확장 : 각 사용자 입력에 대해 여러 관련 쿼리를 생성하여 검색 정확도를 향상시킵니다.
• Smart Re-ranking : Cohere의 re-ranking API를 활용하여 검색결과의 관련성을 향상시킵니다.
• ? AI 기반 응답 : Claude 3.5 Sonnet과 통합되어 인간과 유사한 상황 인식 응답을 생성합니다.
• ? 동적 시스템 프롬프트 : RAG 의사결정을 개선하기 위해 내장된 문서를 자동으로 요약합니다.

기술 스택

• 백엔드 : Python/FastAPI
• 저장 :
  • Supabase(인증/데이터)
  • ChromaDB(벡터)
  • Redis(큐/실시간)
• AI/ML :
  • OpenAI 텍스트 임베딩-3-소형(임베딩)
  • Anthropic Claude 3.5 소네트(채팅)
  • Cohere(재순위)
• UI : 체인릿
• 추가 : tiktoken, pydantic, pytest, ruff

빠른 시작

1. 저장소를 복제합니다.

   git clone https://github.com/alexander-zuev/kollektiv.git
   cd kollektiv

2. 환경 변수 설정: 다음을 사용하여 프로젝트 루트에 .env 파일을 만듭니다.

   FIRECRAWL_API_KEY= " your_firecrawl_api_key "
   OPENAI_API_KEY= " your_openai_api_key "
   ANTHROPIC_API_KEY= " your_anthropic_api_key "
   COHERE_API_KEY= " your_cohere_api_key "

3. 종속성을 설치합니다.

   poetry install

4. 애플리케이션을 실행합니다.

   poetry run kollektiv 

용법

1. 애플리케이션을 시작합니다:

    # Run both API and Chainlit UI
   poetry run kollektiv
   
   # Or run only Chainlit UI
   chainlit run main.py

2. 문서 추가:

   @docs add https://your-docs-url.com

   시스템은 다음을 안내합니다.

   • 크롤링 깊이 설정
   • 제외 패턴 추가(선택사항)
   • 콘텐츠 처리 및 삽입

3. 문서 관리:

   @docs list                  # List all documents
   @docs remove [ID]          # Remove a document
   @help                      # Show all commands

4. 문서와 채팅: 자연어로 질문하기만 하면 됩니다. 시스템은 다음을 수행합니다.

   • 관련 문서 검색
   • 정확성을 위해 결과 순위 다시 매기기
   • 상황별 응답 생성

❤️‍? 현재 제한 사항

• 이미지 콘텐츠가 지원되지 않음(텍스트 전용 임베딩)
• 문서의 자동 재인덱싱 없음
• 일반적인 형식으로 제한된 URL 검증
• 제외 패턴은 / 로 시작해야 합니다.

?️ 로드맵

간략한 로드맵을 보려면 프로젝트 위키 페이지를 확인하세요.

? 성능 지표

평가는 현재 ragas 라이브러리를 사용하여 수행됩니다. 평가되는 주요 부분은 2가지입니다.

1. 엔드투엔드 세대
   • 충실
   • 답변 관련성
   • 답변 정확성
2. 리트리버(미정)
   • 맥락 회상
   • 상황 정밀도

특허

kollektiv Apache License 2.0의 수정된 버전에 따라 라이센스가 부여됩니다. 비상업적 목적으로는 무료 사용, 수정, 배포가 허용되지만, 상업적으로 사용하려면 저작권 소유자의 명시적인 허가가 필요합니다.

• 비상업적 용도: Apache 라이센스 2.0의 조건에 따라 이 소프트웨어를 자유롭게 사용, 수정 및 배포할 수 있습니다.
• 상업적 용도: [email protected]에 문의하여 상업용 라이센스를 얻으세요.

전체 라이선스 텍스트와 추가 조건은 LICENSE 파일을 참조하세요.

프로젝트 이름 변경 공지

프로젝트 이름이 OmniClaude 에서 kollektiv 로 변경되었습니다.

• Anthropic의 혼란/의도하지 않은 저작권 침해를 방지하세요
• 지식에 대한 접근을 단순화함으로써 협업을 강화하는 도구가 되겠다는 목표를 강조합니다.
• 전체적으로 멋진 이름(맞죠?)

개명과 관련해 궁금한 점이 있으면 언제든지 문의해 주세요.

감사의 말

• 탁월한 웹 크롤링을 위한 FireCrawl
• 쉬운 벡터 저장 및 검색을 위한 Chroma DB
• 클로드를 위한 인류학 3.5 소네트
• 텍스트 임베딩을 위한 OpenAI
• 재순위 기능을 위한 Cohere

? 지원하다

질문이나 문제가 있는 경우 문제를 열어주세요.

---

AZ의 ❤️으로 제작됨