codegen

Codegen

Salesforce-Codegen,THUDM/ChatGLM-6B mit Webserver

Fork von https://github.com/salesforce/CodeGen

Fügen Sie Webserver-Unterstützung hinzu

Unterstützen Sie jetzt THUDM/ChatGLM-6B

Online-Demo

https://gitclone.com/aiit/chat/

Visual Studio Code-Erweiterung

https://github.com/git-cloner/codegeeker

Referenz

https://zhuanlan.zhihu.com/p/598982945 Erstellen Sie einen Chatbot auf Produktionsebene ähnlich wie ChatGPT
https://www.zhihu.com/zvideo/1596160335995641856 Chat-Roboter basierend auf gpt-j-6b
https://zhuanlan.zhihu.com/p/594946225 Erstellen Sie das gpt-j-6b-Modell auf dem Amazon AWS Cloud-Host
https://zhuanlan.zhihu.com/p/588616069 Erstellen Sie einen kostenlosen Codegenerator ähnlich dem Github-Copilot
https://zhuanlan.zhihu.com/p/620233511 Tsinghua ChatGLM-6B Modellpraxis
https://zhuanlan.zhihu.com/p/620070973 ColossalAI-Denkungspraxis
https://zhuanlan.zhihu.com/p/619954588 Chinesische-LLaMA-Alpaka-Praxis
https://zhuanlan.zhihu.com/p/624286959 FastChat-Bereitstellung und Streaming-Anrufpraxis

Verwendung

Code klonen

Git-Klon https://gitclone.com/github.com/git-cloner/codegen

Installieren

1. Installieren Sie die Nvidia-Grafikkarte und den Treiber

2.Conda installieren

3.Init virtuelle Laufzeit

conda create -n codegen python=3.8
conda activate codegen
pip install pillow -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install torch torchvision torchaudio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install transformers==4.25.1 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install accelerate -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp==3.8.3 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp_cors==0.7.0 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
# pip install huggingface for gpt-neo
pip install datasets -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install gradio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install sentencepiece==0.1.91 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com

Modell herunterladen

wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-nl.tar.gz && tar -xvf checkpoints/codegen-350M-nl.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-multi.tar.gz && tar -xvf checkpoints/codegen-350M-multi.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-mono.tar.gz && tar -xvf checkpoints/codegen-350M-mono.tar.gz -C checkpoints/

als Webserver laufen

conda activate codegen
python codegen.py

prüfen

Beitrag: http://127.0.0.1:5001/codegen oder direkter Beitrag an: https://gitclone.com/aiit/codegen

Verwenden Sie Salesforce-Codegen

Eingabeparameter: {"context": "def hello_world():", "maxlength":128}

Rückgabeparameter: { "result": "n print("Hello world")n hello_world()n ", "time": 1.9620850095525384 }

Verwenden Sie THUDM/ChatGLM-6B

Eingabeparameter: {"context": "Schreiben Sie eine Python-Version der Array-Sortierung", "maxlength":128}