Chat2Anything

Chat2Qualquer coisa

|

Chat2Anything é um sistema de perguntas e respostas de base de conhecimento de modelo grande (LLM) para ambientes internos corporativos.

• Inclui o cliente (Chat2Anything) e o sistema de gerenciamento de backend (Chat2Anything Admin). O sistema de gerenciamento de backend é responsável pela criação e gerenciamento da base de conhecimento do modelo grande. Os usuários podem adicionar conhecimento interno corporativo (mecanismo Langchain) ao modelo grande. upload de arquivos Excel, Word, PDF e outros ); o sistema de gerenciamento inclui permissões completas de usuário, funções, organizações, gerenciamento de dicionário de dados e outras funções.

• Suporta grandes modelos convencionais, como ChatGPT, ChatGLM e Vicuna. Os usuários podem alternar modelos grandes a qualquer momento ao usar ChatGLM e Vicuna, todo o sistema pode obter implantação completa de domínio privado e 100% de circulação interna de dados corporativos;

• Suporta acesso ao banco de dados do sistema de negócios, seleção manual/automática de tabelas envolvidas na análise de consultas e text2SQL com base nas descrições dos problemas do usuário (a serem melhoradas), e os resultados da consulta são automaticamente executados e visualizados (a serem desenvolvidos)

  
  

implantar

Chat2Anything (cliente)

1. Configure localmente ChatGLM (https://github.com/THUDM/ChatGLM-6B) / Vicuna (https://github.com/lm-sys/FastChat) e outros modelos grandes, como usar ChatGPT, em Chat2Anything/configs/ openai_config.Configure OPENAI_API_KEY e OPENAI_API_BASE no arquivo py

2. Execute o controlador:

   python3 -m fastchat.serve.controller

3. Execute model_worker (ChatGLM-6B, ChatGLM2-6B recomendado (https://github.com/THUDM/ChatGLM2-6B)):

   python3 -m fastchat.serve.model_worker_chatglm --model-path /path/to/model/weights

   ou

   Execute model_worker (vicunha):

   python3 -m fastchat.serve.model_worker --model-path /path/to/model/weights

4. Execute o servidor web cliente

   python3 -m fastchat.serve.chat2anything_web_server

   Se estiver usando ChatGPT, adicione o parâmetro de inicialização --add-chatgpt

5. Ambiente de teste básico

   Ubuntu 20.04 CUDA 11.7 Python 3.9 PyTorch 1.13
   Tesla V100 32GB * 1

Chat2Anything Admin (terminal de gerenciamento de back-end)

1. Configuração do banco de dados (MySQL):

    # MySql配置信息
     MYSQL_HOST =数据库地址
     MYSQL_PORT =数据库端口
     MYSQL_DATABASE = chat2anything_db
     MYSQL_USERNAME =账户
     MYSQL_PASSWORD =密码
     
   # 密钥配置
     SECRET_KEY = '一定要改'

2. Configuração relacionada ao modelo:

    # model_config.py
     embedding_model_dict = {
     'text2vec": "/Path/to/text2vec-large-chinese' ,
    }
     
   # 密钥配置
     VECTOR_ROOT_PATH = os . path . join ( '/Path/to/Chat2Anything' , 'vector_stores' )

3. Inicialização do banco de dados:

     flask db init
     flask db migrate
     flask db upgrade
     flask admin init

4. correr:

     # Windows
     run.bat
   
     # Linux
     chmod +x run.sh
     ./run.sh
   
     # 管理员默写账户密码
     admin 123456

Projetos relacionados

Agradeço as seguintes contribuições:

• THUDM/chatglm-6b
• lm-sys/FastChat
• THUDM/chatglm2-6b
• chatchat-space/langchain-ChatGLM
• Frasco de administração de pêra