codegen

codegen

Codegen de Salesforce,THUDM/ChatGLM-6B con servidor web

Bifurcación de https://github.com/salesforce/CodeGen

Agregar soporte de servidor web

Soporte THUDM/ChatGLM-6B ahora

Demostración en línea

https://gitclone.com/aiit/chat/

Extensión de código de Visual Studio

https://github.com/git-cloner/codegeeker

referencia

https://zhuanlan.zhihu.com/p/598982945 Cree un chatbot de nivel de producción similar a ChatGPT
https://www.zhihu.com/zvideo/1596160335995641856 Robot de chat basado en gpt-j-6b
https://zhuanlan.zhihu.com/p/594946225 Cree el modelo gpt-j-6b en el host en la nube de Amazon AWS
https://zhuanlan.zhihu.com/p/588616069 Cree un generador de código gratuito similar al copiloto de github
https://zhuanlan.zhihu.com/p/620233511 Práctica del modelo Tsinghua ChatGLM-6B
https://zhuanlan.zhihu.com/p/620070973 Práctica de razonamiento colosal AI
https://zhuanlan.zhihu.com/p/619954588 Práctica de Alpaca-LLaMA-China
https://zhuanlan.zhihu.com/p/624286959 Implementación de FastChat y práctica de llamadas en tiempo real

uso

clonar código

clon de git https://gitclone.com/github.com/git-cloner/codegen

Instalar

1.instale la tarjeta gráfica y el controlador Nvidia

2.instalar conda

3.iniciar el tiempo de ejecución virtual

conda create -n codegen python=3.8
conda activate codegen
pip install pillow -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install torch torchvision torchaudio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install transformers==4.25.1 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install accelerate -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp==3.8.3 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp_cors==0.7.0 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
# pip install huggingface for gpt-neo
pip install datasets -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install gradio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install sentencepiece==0.1.91 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com

Descargar modelo

wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-nl.tar.gz && tar -xvf checkpoints/codegen-350M-nl.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-multi.tar.gz && tar -xvf checkpoints/codegen-350M-multi.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-mono.tar.gz && tar -xvf checkpoints/codegen-350M-mono.tar.gz -C checkpoints/

ejecutar como servidor web

conda activate codegen
python codegen.py

prueba

publicar: http://127.0.0.1:5001/codegen o publicar directamente en: https://gitclone.com/aiit/codegen

Utilice el código de Salesforce

parámetros de entrada: {"context":"def hello_world():","maxlength":128}

parámetros de retorno: { "resultado": "n print("Hola mundo")n hola_mundo()n ", "hora": 1.9620850095525384 }

Utilice THUDM/ChatGLM-6B

parámetros de entrada: {"context":"Escribir una versión Python de clasificación de matrices","maxlength":128}