Chat libre

Configure e implemente fácilmente un servicio web de chatbot totalmente autohospedado basado en modelos de lenguajes grandes (LLM) de código abierto, como Mixtral o Llama 2, sin necesidad de conocimientos en aprendizaje automático.

Servicio web de chatbot gratuito y de código abierto con UI y API.
? Totalmente autohospedado, no vinculado a ningún servicio y con capacidad sin conexión. ¡Olvídate de las claves API! Los modelos y las incrustaciones se pueden descargar previamente y los procesos de capacitación e inferencia se pueden ejecutar sin conexión si es necesario.
? API web descrita utilizando las especificaciones de OpenAPI: operaciones GET/POST, websocket para respuesta de transmisión
? La interfaz de usuario web de chat funciona bien en computadoras de escritorio y dispositivos móviles, con respuesta de transmisión y representación de rebajas. También está disponible una interfaz de usuario alternativa basada en gradio.
Fácil de configurar, no es necesario programar, simplemente configure el servicio con un archivo YAML e inícielo con 1 comando
? ¿Disponible como paquete pip ? ¿O imagen docker ?
No se necesita GPU, ¡esto funcionará incluso en la CPU de su computadora portátil! Dicho esto, simplemente ejecutarlo en CPU puede ser bastante lento (hasta 1 minuto para responder una pregunta basada en documentos en computadoras portátiles recientes).
? Desarrollado por LangChain y llama.cpp para realizar inferencias localmente.
? Se pueden implementar varios tipos de agentes:
- Conversación genérica : no necesita ninguna capacitación adicional, solo configure ajustes como el mensaje de plantilla
- Respuesta a preguntas basada en documentos (experimental): cree automáticamente vectores de similitud a partir de documentos cargados a través de la interfaz de usuario API, el chatbot los usará para responder su pregunta y devolverá qué documentos se usaron para generar la respuesta (PDF, CSV, HTML, JSON, rebajas y más compatibles).
? Registros legibles para comprender lo que está sucediendo.

Documentación

Para obtener más detalles sobre cómo usar Libre Chat, consulte la documentación en vemonet.github.io/libre-chat

Trabajo en progreso

Advertencia

Este proyecto es un trabajo en progreso, utilícelo con precaución.

Esos puntos de control son características en las que planeamos trabajar en el futuro; no dude en hacérnoslo saber en los problemas si tiene algún comentario o solicitud.

Transmita la respuesta al websocket para mostrar las palabras a medida que se generan.
Agregar botón para permitir que el usuario detenga la generación del chatbot
¿Agregar mecanismos de autenticación? (Conexión OAuth/OpenID) #5
¿Agregar historial conversacional? https://milvus.io/blog/conversational-memory-in-langchain.md
Agregue una interfaz de usuario web del panel de administración para permitir a los usuarios cargar/inspeccionar/eliminar documentos para control de calidad, ver/editar la configuración del chatbot.
Implementación de Kubernetes (¿gráfico de Helm?)

? Implementar con Docker

Si solo desea implementarlo rápidamente usando el modelo previamente entrenado Mixtral-8x7B-Instruct , puede usar la ventana acoplable:

docker run -it -p 8000:8000 ghcr.io/vemonet/libre-chat:main

Puede configurar la implementación utilizando variables de entorno. Para esto, usar un docker compose y un archivo .env es más fácil, primero cree el archivo docker-compose.yml :

 version : " 3 "
services :
  libre-chat :
    image : ghcr.io/vemonet/libre-chat:main
    volumes :
      # ️ Share folders from the current directory to the /data dir in the container
      - ./chat.yml:/data/chat.yml
      - ./models:/data/models
      - ./documents:/data/documents
      - ./embeddings:/data/embeddings
      - ./vectorstore:/data/vectorstore
    ports :
      - 8000:8000

Y cree un archivo chat.yml con su configuración en la misma carpeta que docker-compose.yml :

 llm :
  model_path : ./models/mixtral-8x7b-instruct-v0.1.Q2_K.gguf
  model_download : https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q2_K.gguf
  temperature : 0.01    # Config how creative, but also potentially wrong, the model can be. 0 is safe, 1 is adventurous
  max_new_tokens : 1024 # Max number of words the LLM can generate
  # Always use input for the human input variable with a generic agent
  prompt_variables : [input, history]
  prompt_template : |
    Your are an assistant, please help me

    {history}
    User: {input}
    AI Assistant:

vector :
  vector_path : null # Path to the vectorstore to do QA retrieval, e.g. ./vectorstore/db_faiss
  # Set to null to deploy a generic conversational agent
  vector_download : null
  embeddings_path : ./embeddings/all-MiniLM-L6-v2 # Path to embeddings used to generate the vectors, or use directly from HuggingFace: sentence-transformers/all-MiniLM-L6-v2
  embeddings_download : https://public.ukp.informatik.tu-darmstadt.de/reimers/sentence-transformers/v0.2/all-MiniLM-L6-v2.zip
  documents_path : ./documents # Path to documents to vectorize
  chunk_size : 500             # Maximum size of chunks, in terms of number of characters
  chunk_overlap : 50           # Overlap in characters between chunks
  chain_type : stuff           # Or: map_reduce, reduce, map_rerank. More details: https://docs.langchain.com/docs/components/chains/index_related_chains
  search_type : similarity     # Or: similarity_score_threshold, mmr. More details: https://python.langchain.com/docs/modules/data_connection/retrievers/vectorstore
  return_sources_count : 2     # Number of sources to return when generating an answer
  score_threshold : null       # If using the similarity_score_threshold search type. Between 0 and 1

info :
  title : " Libre Chat "
  version : " 0.1.0 "
  description : |
    Open source and free chatbot powered by [LangChain](https://python.langchain.com) and [llama.cpp](https://github.com/ggerganov/llama.cpp)
  examples :
  - What is the capital of the Netherlands?
  - Which drugs are approved by the FDA to mitigate Alzheimer symptoms?
  - How can I create a logger with timestamp using python logging?
  favicon : https://raw.github.com/vemonet/libre-chat/main/docs/docs/assets/logo.png
  repository_url : https://github.com/vemonet/libre-chat
  public_url : https://chat.semanticscience.org
  contact :
    name : Vincent Emonet
    email : [email protected]
  license_info :
    name : MIT license
    url : https://raw.github.com/vemonet/libre-chat/main/LICENSE.txt

Finalmente inicia tu servicio de chat con:

docker compose up

?️ Uso con pip

Este paquete requiere Python >=3.8, simplemente instálelo con pipx o pip :

pip install libre-chat

⌨️ Úselo como interfaz de línea de comandos

Puede iniciar fácilmente un nuevo servicio web de chat que incluye UI y API usando su terminal:

libre-chat start

Proporcione un archivo de configuración específico:

libre-chat start config/chat-vectorstore-qa.yml

Para reconstruir la tienda de vectores:

libre-chat build --vector vectorstore/db_faiss --documents documents

Obtenga un resumen completo de las opciones disponibles con:

libre-chat --help

? Usar con Python

O puede utilizar este paquete en scripts de Python:

 import logging

import uvicorn
from libre_chat import ChatConf , ChatEndpoint , Llm

logging . basicConfig ( level = logging . getLevelName ( "INFO" ))
conf = ChatConf (
  model_path = "./models/mixtral-8x7b-instruct-v0.1.Q2_K.gguf" ,
  vector_path = None
)
llm = Llm ( conf = conf )
print ( llm . query ( "What is the capital of the Netherlands?" ))

# Create and deploy a FastAPI app based on your LLM
app = ChatEndpoint ( llm = llm , conf = conf )
uvicorn . run ( app )