Bate-papo grátis

Configure e implante facilmente um serviço web de chatbot totalmente auto-hospedado baseado em Large Language Models (LLMs) de código aberto, como Mixtral ou Llama 2, sem a necessidade de conhecimento em aprendizado de máquina.

Serviço web de chatbot gratuito e de código aberto com UI e API.
? Totalmente auto-hospedado, não vinculado a nenhum serviço e com capacidade off-line. Esqueça as chaves de API! Modelos e incorporações podem ser pré-baixados e os processos de treinamento e inferência podem ser executados off-line, se necessário.
? API Web descrita usando especificações OpenAPI: operações GET/POST, websocket para resposta de streaming
? A IU da web de bate-papo funciona bem em desktops e dispositivos móveis, com resposta de streaming e renderização de redução. UI alternativa baseada em gradio também está disponível.
Fácil de configurar, sem necessidade de programar, basta configurar o serviço com um arquivo YAML e iniciá-lo com 1 comando
? Disponível como um pacote pip ? Ou imagem docker ?
Não há necessidade de GPU, isso funcionará até mesmo na CPU do seu laptop! Dito isto, apenas rodar em CPUs pode ser bastante lento (até 1 minuto para responder a uma pergunta baseada em documentos em laptops recentes).
? Desenvolvido por LangChain e llama.cpp para realizar inferências localmente.
? Vários tipos de agentes podem ser implantados:
- Conversa genérica : não precisa de nenhum treinamento adicional, apenas defina configurações como o prompt do modelo
- Resposta a perguntas baseadas em documentos (experimental): crie automaticamente vetores de similaridade a partir de documentos carregados através da API UI, o chatbot os utilizará para responder sua pergunta e retornará quais documentos foram usados para gerar a resposta (PDF, CSV, HTML, JSON, markdown e mais suporte).
? Logs legíveis para entender o que está acontecendo.

Documentação

Para mais detalhes sobre como usar o Libre Chat, verifique a documentação emvemonet.github.io/libre-chat

Trabalho em andamento

Aviso

Este projeto é um trabalho em andamento, use-o com cautela.

Esses pontos de verificação são recursos nos quais planejamos trabalhar no futuro. Sinta-se à vontade para nos informar sobre os problemas se tiver algum comentário ou solicitação.

Transmita a resposta ao websocket para mostrar as palavras à medida que são geradas
Adicionar botão para permitir que o usuário interrompa a geração do chatbot
Adicionar mecanismos de autenticação? (Conexão OAuth/OpenID) #5
Adicionar histórico de conversa? https://milvus.io/blog/conversational-memory-in-langchain.md
Adicione uma interface de usuário da web do painel de administração para permitir que os usuários carreguem/inspecionem/excluam documentos para controle de qualidade e vejam/editem a configuração do chatbot.
Implantação do Kubernetes (gráfico Helm?)

? Implantar com docker

Se você deseja apenas implantá-lo rapidamente usando o modelo pré-treinado Mixtral-8x7B-Instruct , você pode usar o docker:

docker run -it -p 8000:8000 ghcr.io/vemonet/libre-chat:main

Você pode configurar a implantação usando variáveis de ambiente. Para isso é mais fácil usar um docker compose e um arquivo .env , primeiro crie o arquivo docker-compose.yml :

 version : " 3 "
services :
  libre-chat :
    image : ghcr.io/vemonet/libre-chat:main
    volumes :
      # ️ Share folders from the current directory to the /data dir in the container
      - ./chat.yml:/data/chat.yml
      - ./models:/data/models
      - ./documents:/data/documents
      - ./embeddings:/data/embeddings
      - ./vectorstore:/data/vectorstore
    ports :
      - 8000:8000

E crie um arquivo chat.yml com sua configuração na mesma pasta que docker-compose.yml :

 llm :
  model_path : ./models/mixtral-8x7b-instruct-v0.1.Q2_K.gguf
  model_download : https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q2_K.gguf
  temperature : 0.01    # Config how creative, but also potentially wrong, the model can be. 0 is safe, 1 is adventurous
  max_new_tokens : 1024 # Max number of words the LLM can generate
  # Always use input for the human input variable with a generic agent
  prompt_variables : [input, history]
  prompt_template : |
    Your are an assistant, please help me

    {history}
    User: {input}
    AI Assistant:

vector :
  vector_path : null # Path to the vectorstore to do QA retrieval, e.g. ./vectorstore/db_faiss
  # Set to null to deploy a generic conversational agent
  vector_download : null
  embeddings_path : ./embeddings/all-MiniLM-L6-v2 # Path to embeddings used to generate the vectors, or use directly from HuggingFace: sentence-transformers/all-MiniLM-L6-v2
  embeddings_download : https://public.ukp.informatik.tu-darmstadt.de/reimers/sentence-transformers/v0.2/all-MiniLM-L6-v2.zip
  documents_path : ./documents # Path to documents to vectorize
  chunk_size : 500             # Maximum size of chunks, in terms of number of characters
  chunk_overlap : 50           # Overlap in characters between chunks
  chain_type : stuff           # Or: map_reduce, reduce, map_rerank. More details: https://docs.langchain.com/docs/components/chains/index_related_chains
  search_type : similarity     # Or: similarity_score_threshold, mmr. More details: https://python.langchain.com/docs/modules/data_connection/retrievers/vectorstore
  return_sources_count : 2     # Number of sources to return when generating an answer
  score_threshold : null       # If using the similarity_score_threshold search type. Between 0 and 1

info :
  title : " Libre Chat "
  version : " 0.1.0 "
  description : |
    Open source and free chatbot powered by [LangChain](https://python.langchain.com) and [llama.cpp](https://github.com/ggerganov/llama.cpp)
  examples :
  - What is the capital of the Netherlands?
  - Which drugs are approved by the FDA to mitigate Alzheimer symptoms?
  - How can I create a logger with timestamp using python logging?
  favicon : https://raw.github.com/vemonet/libre-chat/main/docs/docs/assets/logo.png
  repository_url : https://github.com/vemonet/libre-chat
  public_url : https://chat.semanticscience.org
  contact :
    name : Vincent Emonet
    email : [email protected]
  license_info :
    name : MIT license
    url : https://raw.github.com/vemonet/libre-chat/main/LICENSE.txt

Finalmente inicie seu serviço de chat com:

docker compose up

?️ Uso com pip

Este pacote requer Python >=3.8, basta instalá-lo com pipx ou pip :

pip install libre-chat

⌨️ Use como interface de linha de comando

Você pode iniciar facilmente um novo serviço de bate-papo da web, incluindo UI e API, usando seu terminal:

libre-chat start

Forneça um arquivo de configuração específico:

libre-chat start config/chat-vectorstore-qa.yml

Para reconstruir o vectorstore:

libre-chat build --vector vectorstore/db_faiss --documents documents

Obtenha um resumo completo das opções disponíveis com:

libre-chat --help

? Usar com python

Ou você pode usar este pacote em scripts python:

 import logging

import uvicorn
from libre_chat import ChatConf , ChatEndpoint , Llm

logging . basicConfig ( level = logging . getLevelName ( "INFO" ))
conf = ChatConf (
  model_path = "./models/mixtral-8x7b-instruct-v0.1.Q2_K.gguf" ,
  vector_path = None
)
llm = Llm ( conf = conf )
print ( llm . query ( "What is the capital of the Netherlands?" ))

# Create and deploy a FastAPI app based on your LLM
app = ChatEndpoint ( llm = llm , conf = conf )
uvicorn . run ( app )