自由聊天

轻松配置和部署基于开源大型语言模型 (LLM)（例如 Mixtral 或 Llama 2）的完全自托管聊天机器人 Web 服务，无需具备机器学习知识。

具有 UI 和 API 的免费开源聊天机器人 Web 服务。
？完全自托管，不依赖于任何服务，并且具有离线功能。忘记 API 密钥！模型和嵌入可以预先下载，并且训练和推理过程可以在必要时离线运行。
？使用 OpenAPI 规范描述的 Web API：GET/POST 操作、用于流响应的 websocket
？聊天 Web UI 在桌面和移动设备上运行良好，具有流响应和 Markdown 渲染。还可以使用基于渐变的替代 UI。
易于设置，无需编程，只需使用 YAML 文件配置服务，然后用 1 个命令启动它
？可作为pip包？或docker镜像？
无需 GPU，这甚至可以在您的笔记本电脑 CPU 上运行！也就是说，仅在 CPU 上运行可能会非常慢（在最近的笔记本电脑上回答基于文档的问题最多需要 1 分钟）。
？由LangChain和llama.cpp提供支持，可在本地进行推理。
？可以部署各种类型的代理：
- 通用对话：不需要任何额外的培训，只需配置模板提示等设置即可
- 基于文档的问答（实验性）：根据通过 API UI 上传的文档自动构建相似向量，聊天机器人将使用它们来回答您的问题，并返回用于生成答案的文档（PDF、CSV、HTML、JSON、 markdown，以及更多支持）。
？可读日志以了解发生了什么。

文档

有关如何使用 Libre Chat 的更多详细信息，请查看vemonet.github.io/libre-chat上的文档

工作正在进行中

警告

该项目正在开发中，请谨慎使用。

这些检查点是我们计划在未来开发的功能，如果您有任何意见或要求，请随时在问题中告诉我们。

将响应流式传输到 websocket 以显示生成的单词
添加按钮以让用户停止聊天机器人生成
添加身份验证机制？（OAuth/OpenID 连接）#5
添加对话历史记录？ https://milvus.io/blog/conversational-memory-in-langchain.md
添加管理仪表板 Web UI，使用户能够上传/检查/删除 QA 文档，查看/编辑聊天机器人的配置。
Kubernetes 部署（Helm 图表？）

？使用docker部署

如果您只是想使用预训练的模型Mixtral-8x7B-Instruct快速部署它，您可以使用 docker：

docker run -it -p 8000:8000 ghcr.io/vemonet/libre-chat:main

您可以使用环境变量配置部署。为此，使用docker compose和.env文件更容易，首先创建docker-compose.yml文件：

 version : " 3 "
services :
  libre-chat :
    image : ghcr.io/vemonet/libre-chat:main
    volumes :
      # ️ Share folders from the current directory to the /data dir in the container
      - ./chat.yml:/data/chat.yml
      - ./models:/data/models
      - ./documents:/data/documents
      - ./embeddings:/data/embeddings
      - ./vectorstore:/data/vectorstore
    ports :
      - 8000:8000

并在与docker-compose.yml相同的文件夹中使用您的配置创建一个chat.yml文件：

 llm :
  model_path : ./models/mixtral-8x7b-instruct-v0.1.Q2_K.gguf
  model_download : https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q2_K.gguf
  temperature : 0.01    # Config how creative, but also potentially wrong, the model can be. 0 is safe, 1 is adventurous
  max_new_tokens : 1024 # Max number of words the LLM can generate
  # Always use input for the human input variable with a generic agent
  prompt_variables : [input, history]
  prompt_template : |
    Your are an assistant, please help me

    {history}
    User: {input}
    AI Assistant:

vector :
  vector_path : null # Path to the vectorstore to do QA retrieval, e.g. ./vectorstore/db_faiss
  # Set to null to deploy a generic conversational agent
  vector_download : null
  embeddings_path : ./embeddings/all-MiniLM-L6-v2 # Path to embeddings used to generate the vectors, or use directly from HuggingFace: sentence-transformers/all-MiniLM-L6-v2
  embeddings_download : https://public.ukp.informatik.tu-darmstadt.de/reimers/sentence-transformers/v0.2/all-MiniLM-L6-v2.zip
  documents_path : ./documents # Path to documents to vectorize
  chunk_size : 500             # Maximum size of chunks, in terms of number of characters
  chunk_overlap : 50           # Overlap in characters between chunks
  chain_type : stuff           # Or: map_reduce, reduce, map_rerank. More details: https://docs.langchain.com/docs/components/chains/index_related_chains
  search_type : similarity     # Or: similarity_score_threshold, mmr. More details: https://python.langchain.com/docs/modules/data_connection/retrievers/vectorstore
  return_sources_count : 2     # Number of sources to return when generating an answer
  score_threshold : null       # If using the similarity_score_threshold search type. Between 0 and 1

info :
  title : " Libre Chat "
  version : " 0.1.0 "
  description : |
    Open source and free chatbot powered by [LangChain](https://python.langchain.com) and [llama.cpp](https://github.com/ggerganov/llama.cpp)
  examples :
  - What is the capital of the Netherlands?
  - Which drugs are approved by the FDA to mitigate Alzheimer symptoms?
  - How can I create a logger with timestamp using python logging?
  favicon : https://raw.github.com/vemonet/libre-chat/main/docs/docs/assets/logo.png
  repository_url : https://github.com/vemonet/libre-chat
  public_url : https://chat.semanticscience.org
  contact :
    name : Vincent Emonet
    email : [email protected]
  license_info :
    name : MIT license
    url : https://raw.github.com/vemonet/libre-chat/main/LICENSE.txt

最后启动你的聊天服务：

docker compose up

?️ 与 pip 一起使用

该软件包需要 Python >=3.8，只需使用pipx或pip安装即可：

pip install libre-chat

⌨️ 用作命令行界面

您可以使用终端轻松启动新的聊天 Web 服务，包括 UI 和 API：

libre-chat start

提供具体的配置文件：

libre-chat start config/chat-vectorstore-qa.yml

重建向量库：

libre-chat build --vector vectorstore/db_faiss --documents documents

通过以下方式获取可用选项的完整列表：

libre-chat --help

？与 python 一起使用

或者你可以在 python 脚本中使用这个包：

 import logging

import uvicorn
from libre_chat import ChatConf , ChatEndpoint , Llm

logging . basicConfig ( level = logging . getLevelName ( "INFO" ))
conf = ChatConf (
  model_path = "./models/mixtral-8x7b-instruct-v0.1.Q2_K.gguf" ,
  vector_path = None
)
llm = Llm ( conf = conf )
print ( llm . query ( "What is the capital of the Netherlands?" ))

# Create and deploy a FastAPI app based on your LLM
app = ChatEndpoint ( llm = llm , conf = conf )
uvicorn . run ( app )