codegen

Codegen

Codegen Salesforce, THUDM/ChatGLM-6B avec serveur Web

Fourche de https://github.com/salesforce/CodeGen

Ajouter la prise en charge du serveur Web

Supporte THUDM/ChatGLM-6B maintenant

Démo en ligne

https://gitclone.com/aiit/chat/

Extension de code Visual Studio

https://github.com/git-cloner/codegeeker

référence

https://zhuanlan.zhihu.com/p/598982945 Créez un chatbot de niveau production similaire à ChatGPT
https://www.zhihu.com/zvideo/1596160335995641856 Robot de discussion basé sur gpt-j-6b
https://zhuanlan.zhihu.com/p/594946225 Créez le modèle gpt-j-6b sur l'hôte cloud Amazon AWS
https://zhuanlan.zhihu.com/p/588616069 Créez un générateur de code gratuit similaire à github copilot
https://zhuanlan.zhihu.com/p/620233511 Pratique du modèle Tsinghua ChatGLM-6B
https://zhuanlan.zhihu.com/p/620070973 Pratique du raisonnement ColossalAI
https://zhuanlan.zhihu.com/p/619954588 Pratique chinoise-LLaMA-Alpaga
https://zhuanlan.zhihu.com/p/624286959 Déploiement de FastChat et pratique des appels en streaming

usage

Code de clonage

git clone https://gitclone.com/github.com/git-cloner/codegen

Installer

1.installez la carte graphique et le pilote Nvidia

2.installer conda

3.init environnement d'exécution virtuel

conda create -n codegen python=3.8
conda activate codegen
pip install pillow -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install torch torchvision torchaudio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install transformers==4.25.1 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install accelerate -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp==3.8.3 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp_cors==0.7.0 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
# pip install huggingface for gpt-neo
pip install datasets -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install gradio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install sentencepiece==0.1.91 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com

Télécharger le modèle

wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-nl.tar.gz && tar -xvf checkpoints/codegen-350M-nl.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-multi.tar.gz && tar -xvf checkpoints/codegen-350M-multi.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-mono.tar.gz && tar -xvf checkpoints/codegen-350M-mono.tar.gz -C checkpoints/

exécuter en tant que serveur Web

conda activate codegen
python codegen.py

test

message : http://127.0.0.1:5001/codegen ou message direct sur :https://gitclone.com/aiit/codegen

Utiliser le codegen Salesforce

paramètres d'entrée : {"context": "def hello_world():", "maxlength": 128}

paramètres de retour : { "result": "n print("Hello world")n hello_world()n ", "time": 1.9620850095525384 }

Utiliser THUDM/ChatGLM-6B

paramètres d'entrée : {"context": "Écrire une version python du tri des tableaux", "maxlength": 128}