Chat2Anything
1.0.0
| 깃허브 |
Chat2Anything은 기업 내부 환경을 위한 대규모 모델(LLM) 지식 기반 질문 및 답변 시스템입니다.
여기에는 클라이언트(Chat2Anything)와 백엔드 관리 시스템(Chat2Anything Admin)이 포함됩니다. 백엔드 관리 시스템은 대규모 모델 지식 기반의 생성 및 관리를 담당합니다. 사용자는 다음을 통해 대규모 모델에 기업 내부 지식(Langchain 메커니즘)을 추가할 수 있습니다. Excel, Word, PDF 및 기타 파일 업로드 ) 관리 시스템에는 완전한 사용자 권한, 역할, 조직, 데이터 사전 관리 및 기타 기능이 포함됩니다.
ChatGPT, ChatGLM 및 Vicuna와 같은 주류 대형 모델을 지원합니다. 사용자는 ChatGLM 및 Vicuna를 사용할 때 언제든지 대형 모델을 전환할 수 있으며 전체 시스템에서 완전한 개인 도메인 배포 및 기업 데이터의 100% 내부 순환을 달성할 수 있습니다.
비즈니스 시스템 데이터베이스 접속, 쿼리 분석에 포함된 테이블 수동/자동 선택, 사용자 문제 설명 기반 text2SQL 지원(개선 예정), 쿼리 결과 자동 실행 및 시각화(개발 예정)
Chat2Anything/configs/에서 ChatGLM(https://github.com/THUDM/ChatGLM-6B)/Vicuna(https://github.com/lm-sys/FastChat) 및 ChatGPT 사용과 같은 기타 대규모 모델을 로컬로 구성합니다. openai_config.py 파일에서 OPENAI_API_KEY 및 OPENAI_API_BASE를 구성합니다.
컨트롤러 실행:
python3 -m fastchat.serve.controllermodel_worker 실행(ChatGLM-6B, ChatGLM2-6B 권장(https://github.com/THUDM/ChatGLM2-6B)):
python3 -m fastchat.serve.model_worker_chatglm --model-path /path/to/model/weights또는
model_worker(비쿠나) 실행:
python3 -m fastchat.serve.model_worker --model-path /path/to/model/weights클라이언트 웹 서버 실행
python3 -m fastchat.serve.chat2anything_web_serverChatGPT를 사용하는 경우 시작 매개변수 --add-chatgpt를 추가하세요.
기본 테스트 환경
Ubuntu 20.04 CUDA 11.7 Python 3.9 PyTorch 1.13
Tesla V100 32GB * 1데이터베이스(MySQL) 구성:
# MySql配置信息
MYSQL_HOST =数据库地址
MYSQL_PORT =数据库端口
MYSQL_DATABASE = chat2anything_db
MYSQL_USERNAME =账户
MYSQL_PASSWORD =密码
# 密钥配置
SECRET_KEY = '一定要改'모델 관련 구성:
# model_config.py
embedding_model_dict = {
'text2vec": "/Path/to/text2vec-large-chinese' ,
}
# 密钥配置
VECTOR_ROOT_PATH = os . path . join ( '/Path/to/Chat2Anything' , 'vector_stores' )데이터베이스 초기화:
flask db init
flask db migrate
flask db upgrade
flask admin init달리다:
# Windows
run.bat
# Linux
chmod +x run.sh
./run.sh
# 管理员默写账户密码
admin 123456다음 기여에 감사드립니다.
