자유 채팅

기계 학습에 대한 지식이 없어도 Mixtral 또는 Llama 2와 같은 오픈 소스 LLM(대형 언어 모델)을 기반으로 하는 완전 자체 호스팅 챗봇 웹 서비스를 쉽게 구성하고 배포할 수 있습니다.

UI와 API를 갖춘 무료 오픈 소스 챗봇 웹 서비스입니다.
? 어떤 서비스에도 연결되지 않고 완전히 자체 호스팅되며 오프라인이 가능합니다. API 키는 잊어버리세요! 모델과 임베딩을 미리 다운로드할 수 있으며, 필요한 경우 교육 및 추론 프로세스를 오프라인으로 실행할 수 있습니다.
? OpenAPI 사양을 사용하여 설명된 웹 API: GET/POST 작업, 스트리밍 응답을 위한 웹소켓
? 스트리밍 응답 및 마크다운 렌더링을 통해 데스크톱 및 모바일에서 잘 작동하는 채팅 웹 UI입니다. 대체 그라데이션 기반 UI도 사용할 수 있습니다.
설정이 쉽고 프로그래밍할 필요가 없으며 YAML 파일로 서비스를 구성하고 1개의 명령으로 시작하기만 하면 됩니다.
? pip 패키지로 사용 가능합니까? 또는 docker image로 사용 가능합니까?
GPU가 필요하지 않습니다. 노트북 CPU에서도 작동합니다! 즉, CPU에서 실행하는 것만으로도 상당히 느릴 수 있습니다(최근 노트북에서 문서 기반 질문에 답변하는 데 최대 1분 소요).
? 로컬에서 추론을 수행하기 위해 LangChain 및 llama.cpp 로 구동됩니다.
? 다양한 유형의 에이전트를 배포할 수 있습니다.
- 일반 대화 : 별도의 교육이 필요하지 않으며 템플릿 프롬프트 등의 설정만 구성하면 됩니다.
- 문서 기반 질문 답변 (실험): API UI를 통해 업로드된 문서에서 유사성 벡터를 자동으로 구축하고, 챗봇은 이를 사용하여 질문에 답변하고, 답변을 생성하는 데 사용된 문서(PDF, CSV, HTML, JSON, 마크다운 등이 지원됩니다).
? 무슨 일이 일어나고 있는지 이해하기 위해 읽을 수 있는 로그입니다.

선적 서류 비치

Libre Chat 사용 방법에 대한 자세한 내용은 vemonet.github.io/libre-chat 에서 문서를 확인하세요.

작업 진행 중

경고

이 프로젝트는 진행 중인 작업이므로 주의해서 사용하세요.

이러한 체크포인트는 향후 작업할 예정인 기능입니다. 의견이나 요청 사항이 있으면 언제든지 문제에 알려주시기 바랍니다.

생성된 단어를 표시하기 위해 웹소켓에 대한 응답을 스트리밍합니다.
사용자가 챗봇 생성을 중지할 수 있는 추가 버튼
인증 메커니즘을 추가하시겠습니까? (OAuth/OpenID Connect) #5
대화 기록을 추가하시겠습니까? https://milvus.io/blog/conversational-memory-in-langchain.md
사용자가 QA를 위해 문서를 업로드/검사/삭제하고 챗봇 구성을 확인/편집할 수 있도록 관리 대시보드 웹 UI를 추가합니다.
Kubernetes 배포(Helm 차트?)

? Docker를 사용하여 배포

사전 훈련된 모델 Mixtral-8x7B-Instruct 사용하여 신속하게 배포하려는 경우 docker를 사용할 수 있습니다.

docker run -it -p 8000:8000 ghcr.io/vemonet/libre-chat:main

환경 변수를 사용하여 배포를 구성할 수 있습니다. 이를 위해 docker compose 와 .env 파일을 사용하는 것이 더 쉽습니다. 먼저 docker-compose.yml 파일을 만듭니다.

 version : " 3 "
services :
  libre-chat :
    image : ghcr.io/vemonet/libre-chat:main
    volumes :
      # ️ Share folders from the current directory to the /data dir in the container
      - ./chat.yml:/data/chat.yml
      - ./models:/data/models
      - ./documents:/data/documents
      - ./embeddings:/data/embeddings
      - ./vectorstore:/data/vectorstore
    ports :
      - 8000:8000

그리고 docker-compose.yml 과 동일한 폴더에 구성을 사용하여 chat.yml 파일을 만듭니다.

 llm :
  model_path : ./models/mixtral-8x7b-instruct-v0.1.Q2_K.gguf
  model_download : https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q2_K.gguf
  temperature : 0.01    # Config how creative, but also potentially wrong, the model can be. 0 is safe, 1 is adventurous
  max_new_tokens : 1024 # Max number of words the LLM can generate
  # Always use input for the human input variable with a generic agent
  prompt_variables : [input, history]
  prompt_template : |
    Your are an assistant, please help me

    {history}
    User: {input}
    AI Assistant:

vector :
  vector_path : null # Path to the vectorstore to do QA retrieval, e.g. ./vectorstore/db_faiss
  # Set to null to deploy a generic conversational agent
  vector_download : null
  embeddings_path : ./embeddings/all-MiniLM-L6-v2 # Path to embeddings used to generate the vectors, or use directly from HuggingFace: sentence-transformers/all-MiniLM-L6-v2
  embeddings_download : https://public.ukp.informatik.tu-darmstadt.de/reimers/sentence-transformers/v0.2/all-MiniLM-L6-v2.zip
  documents_path : ./documents # Path to documents to vectorize
  chunk_size : 500             # Maximum size of chunks, in terms of number of characters
  chunk_overlap : 50           # Overlap in characters between chunks
  chain_type : stuff           # Or: map_reduce, reduce, map_rerank. More details: https://docs.langchain.com/docs/components/chains/index_related_chains
  search_type : similarity     # Or: similarity_score_threshold, mmr. More details: https://python.langchain.com/docs/modules/data_connection/retrievers/vectorstore
  return_sources_count : 2     # Number of sources to return when generating an answer
  score_threshold : null       # If using the similarity_score_threshold search type. Between 0 and 1

info :
  title : " Libre Chat "
  version : " 0.1.0 "
  description : |
    Open source and free chatbot powered by [LangChain](https://python.langchain.com) and [llama.cpp](https://github.com/ggerganov/llama.cpp)
  examples :
  - What is the capital of the Netherlands?
  - Which drugs are approved by the FDA to mitigate Alzheimer symptoms?
  - How can I create a logger with timestamp using python logging?
  favicon : https://raw.github.com/vemonet/libre-chat/main/docs/docs/assets/logo.png
  repository_url : https://github.com/vemonet/libre-chat
  public_url : https://chat.semanticscience.org
  contact :
    name : Vincent Emonet
    email : [email protected]
  license_info :
    name : MIT license
    url : https://raw.github.com/vemonet/libre-chat/main/LICENSE.txt

마지막으로 다음을 사용하여 채팅 서비스를 시작하세요.

docker compose up

?️ pip 사용

이 패키지에는 Python >=3.8이 필요합니다. pipx 또는 pip 사용하여 설치하면 됩니다.

pip install libre-chat

⌨️ 명령줄 인터페이스로 사용

터미널을 사용하여 UI 및 API를 포함한 새로운 채팅 웹 서비스를 쉽게 시작할 수 있습니다.

libre-chat start

특정 구성 파일을 제공하십시오.

libre-chat start config/chat-vectorstore-qa.yml

벡터스토어를 다시 빌드하려면:

libre-chat build --vector vectorstore/db_faiss --documents documents

다음을 통해 사용 가능한 옵션에 대한 전체 개요를 확인하세요.

libre-chat --help

? 파이썬과 함께 사용

또는 Python 스크립트에서 이 패키지를 사용할 수 있습니다.

 import logging

import uvicorn
from libre_chat import ChatConf , ChatEndpoint , Llm

logging . basicConfig ( level = logging . getLevelName ( "INFO" ))
conf = ChatConf (
  model_path = "./models/mixtral-8x7b-instruct-v0.1.Q2_K.gguf" ,
  vector_path = None
)
llm = Llm ( conf = conf )
print ( llm . query ( "What is the capital of the Netherlands?" ))

# Create and deploy a FastAPI app based on your LLM
app = ChatEndpoint ( llm = llm , conf = conf )
uvicorn . run ( app )