Бесплатный чат

Легко настройте и разверните полностью автономный веб-сервис чат-бота на основе моделей больших языков (LLM) с открытым исходным кодом, таких как Mixtral или Llama 2, без необходимости знаний в области машинного обучения.

Бесплатный веб-сервис чат-бота с открытым исходным кодом, пользовательским интерфейсом и API.
? Полностью автономный, не привязанный к каким-либо сервисам и работающий в автономном режиме. Забудьте об API-ключах! Модели и внедрения можно предварительно загрузить, а процессы обучения и вывода при необходимости можно запустить в автономном режиме.
? Веб-API, описанный с использованием спецификаций OpenAPI: операции GET/POST, веб-сокет для потоковой передачи ответа.
? Веб-интерфейс чата хорошо работает на настольных компьютерах и мобильных устройствах, с потоковой передачей ответов и рендерингом уценки. Также доступен альтернативный пользовательский интерфейс на основе градиента.
Легко настроить, не нужно программировать, просто настройте сервис с помощью файла YAML и запустите его с помощью одной команды.
? Доступен в виде пакета pip или образа docker ?
Нет необходимости в графическом процессоре, это будет работать даже на процессоре вашего ноутбука! Тем не менее, простая работа на процессорах может быть довольно медленной (до 1 минуты, чтобы ответить на вопрос из базы документов на последних ноутбуках).
? Работает на базе LangChain и llama.cpp для локального выполнения вывода.
? Могут быть развернуты различные типы агентов:
- Общий разговор : не требуется никакого дополнительного обучения, просто настройте такие параметры, как приглашение шаблона.
- Ответ на вопросы на основе документов (экспериментальный): автоматически строит векторы сходства из документов, загруженных через пользовательский интерфейс API, чат-бот будет использовать их для ответа на ваш вопрос и возвращает, какие документы использовались для генерации ответа (PDF, CSV, HTML, JSON, уценка и многое другое).
? Читаемые журналы, чтобы понять, что происходит.

Документация

Более подробную информацию о том, как использовать Libre Chat, можно найти в документации по адресу vemonet.github.io/libre-chat.

Работа в процессе

Предупреждение

Этот проект находится в стадии разработки, используйте его с осторожностью.

Эти контрольные точки — это функции, над которыми мы планируем работать в будущем. Не стесняйтесь сообщать нам об этом в вопросах, если у вас есть какие-либо комментарии или запросы.

Поток ответа на веб-сокет, чтобы показывать слова по мере их генерации.
Добавить кнопку, позволяющую пользователю остановить создание чат-бота
Добавить механизмы аутентификации? (Подключение OAuth/OpenID) #5
Добавить историю разговоров? https://milvus.io/blog/conversational-memory-in-langchain.md
Добавьте веб-интерфейс панели администратора, чтобы пользователи могли загружать/проверять/удалять документы для контроля качества, просматривать/редактировать конфигурацию чат-бота.
Развертывание Kubernetes (Helm-диаграмма?)

? Развертывание с помощью докера

Если вы просто хотите быстро развернуть его с помощью предварительно обученной модели Mixtral-8x7B-Instruct , вы можете использовать docker:

docker run -it -p 8000:8000 ghcr.io/vemonet/libre-chat:main

Вы можете настроить развертывание с помощью переменных среды. Для этого проще использовать docker compose и файл .env : сначала создайте файл docker-compose.yml :

 version : " 3 "
services :
  libre-chat :
    image : ghcr.io/vemonet/libre-chat:main
    volumes :
      # ️ Share folders from the current directory to the /data dir in the container
      - ./chat.yml:/data/chat.yml
      - ./models:/data/models
      - ./documents:/data/documents
      - ./embeddings:/data/embeddings
      - ./vectorstore:/data/vectorstore
    ports :
      - 8000:8000

И создайте chat.yml с вашей конфигурацией в той же папке, что и docker-compose.yml :

 llm :
  model_path : ./models/mixtral-8x7b-instruct-v0.1.Q2_K.gguf
  model_download : https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q2_K.gguf
  temperature : 0.01    # Config how creative, but also potentially wrong, the model can be. 0 is safe, 1 is adventurous
  max_new_tokens : 1024 # Max number of words the LLM can generate
  # Always use input for the human input variable with a generic agent
  prompt_variables : [input, history]
  prompt_template : |
    Your are an assistant, please help me

    {history}
    User: {input}
    AI Assistant:

vector :
  vector_path : null # Path to the vectorstore to do QA retrieval, e.g. ./vectorstore/db_faiss
  # Set to null to deploy a generic conversational agent
  vector_download : null
  embeddings_path : ./embeddings/all-MiniLM-L6-v2 # Path to embeddings used to generate the vectors, or use directly from HuggingFace: sentence-transformers/all-MiniLM-L6-v2
  embeddings_download : https://public.ukp.informatik.tu-darmstadt.de/reimers/sentence-transformers/v0.2/all-MiniLM-L6-v2.zip
  documents_path : ./documents # Path to documents to vectorize
  chunk_size : 500             # Maximum size of chunks, in terms of number of characters
  chunk_overlap : 50           # Overlap in characters between chunks
  chain_type : stuff           # Or: map_reduce, reduce, map_rerank. More details: https://docs.langchain.com/docs/components/chains/index_related_chains
  search_type : similarity     # Or: similarity_score_threshold, mmr. More details: https://python.langchain.com/docs/modules/data_connection/retrievers/vectorstore
  return_sources_count : 2     # Number of sources to return when generating an answer
  score_threshold : null       # If using the similarity_score_threshold search type. Between 0 and 1

info :
  title : " Libre Chat "
  version : " 0.1.0 "
  description : |
    Open source and free chatbot powered by [LangChain](https://python.langchain.com) and [llama.cpp](https://github.com/ggerganov/llama.cpp)
  examples :
  - What is the capital of the Netherlands?
  - Which drugs are approved by the FDA to mitigate Alzheimer symptoms?
  - How can I create a logger with timestamp using python logging?
  favicon : https://raw.github.com/vemonet/libre-chat/main/docs/docs/assets/logo.png
  repository_url : https://github.com/vemonet/libre-chat
  public_url : https://chat.semanticscience.org
  contact :
    name : Vincent Emonet
    email : [email protected]
  license_info :
    name : MIT license
    url : https://raw.github.com/vemonet/libre-chat/main/LICENSE.txt

Наконец, запустите свой чат с помощью:

docker compose up

?️ Использование с пипсом

Для этого пакета требуется Python >=3.8, просто установите его с помощью pipx или pip :

pip install libre-chat

⌨️ Использование в качестве интерфейса командной строки.

Вы можете легко запустить новый веб-сервис чата, включая пользовательский интерфейс и API, используя свой терминал:

libre-chat start

Укажите конкретный файл конфигурации:

libre-chat start config/chat-vectorstore-qa.yml

Для пересборки векторного магазина:

libre-chat build --vector vectorstore/db_faiss --documents documents

Получите полное описание доступных опций с помощью:

libre-chat --help

? Использовать с питоном

Или вы можете использовать этот пакет в скриптах Python:

 import logging

import uvicorn
from libre_chat import ChatConf , ChatEndpoint , Llm

logging . basicConfig ( level = logging . getLevelName ( "INFO" ))
conf = ChatConf (
  model_path = "./models/mixtral-8x7b-instruct-v0.1.Q2_K.gguf" ,
  vector_path = None
)
llm = Llm ( conf = conf )
print ( llm . query ( "What is the capital of the Netherlands?" ))

# Create and deploy a FastAPI app based on your LLM
app = ChatEndpoint ( llm = llm , conf = conf )
uvicorn . run ( app )