codegen

โคเดเจน

โค้ดเจนของ Salesforce, THUDM/ChatGLM-6B พร้อมเว็บเซิร์ฟเวอร์

ทางแยกจาก https://github.com/salesforce/CodeGen

เพิ่มการสนับสนุนเว็บเซิร์ฟเวอร์

สนับสนุน THUDM/ChatGLM-6B ทันที

การสาธิตออนไลน์

https://gitclone.com/aiit/chat/

ส่วนขยายโค้ด Visual Studio

https://github.com/git-cloner/codegeeker

อ้างอิง

https://zhuanlan.zhihu.com/p/598982945 สร้าง chatbot ระดับการผลิตที่คล้ายกับ ChatGPT
https://www.zhihu.com/zvideo/1596160335995641856 หุ่นยนต์แชทที่ใช้ gpt-j-6b
https://zhuanlan.zhihu.com/p/594946225 สร้างโมเดล gpt-j-6b บนโฮสต์คลาวด์ Amazon AWS
https://zhuanlan.zhihu.com/p/588616069 สร้างโปรแกรมสร้างโค้ดฟรีที่คล้ายกับ github copilot
https://zhuanlan.zhihu.com/p/620233511 แบบฝึกหัดโมเดล Tsinghua ChatGLM-6B
https://zhuanlan.zhihu.com/p/620070973 แบบฝึกหัดการให้เหตุผล ColossalAI
https://zhuanlan.zhihu.com/p/619954588 ฝึกภาษาจีน-LLaMA-Alpaca
https://zhuanlan.zhihu.com/p/624286959 การใช้งาน FastChat และการฝึกปฏิบัติการโทรแบบสตรีมมิ่ง

การใช้งาน

รหัสโคลน

โคลนคอมไพล์ https://gitclone.com/github.com/git-cloner/codegen

ติดตั้ง

1.ติดตั้งการ์ดกราฟิก Nvidia และไดรเวอร์

2.ติดตั้งคอนดา

3.เริ่มต้นรันไทม์เสมือน

conda create -n codegen python=3.8
conda activate codegen
pip install pillow -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install torch torchvision torchaudio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install transformers==4.25.1 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install accelerate -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp==3.8.3 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp_cors==0.7.0 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
# pip install huggingface for gpt-neo
pip install datasets -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install gradio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install sentencepiece==0.1.91 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com

ดาวน์โหลดโมเดล

wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-nl.tar.gz && tar -xvf checkpoints/codegen-350M-nl.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-multi.tar.gz && tar -xvf checkpoints/codegen-350M-multi.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-mono.tar.gz && tar -xvf checkpoints/codegen-350M-mono.tar.gz -C checkpoints/

ทำงานเป็นเว็บเซิร์ฟเวอร์

conda activate codegen
python codegen.py

ทดสอบ

โพสต์: http://127.0.0.1:5001/codegen หรือโพสต์โดยตรงไปที่ :https://gitclone.com/aiit/codegen

ใช้โค้ดเจนของ Salesforce

พารามิเตอร์อินพุต: {"context":def hello_world():"maxlength":128}

ส่งคืนพารามิเตอร์: { "result": "n print("Hello world")n hello_world()n ", "time": 1.9620850095525384 }

ใช้ THUDM/ChatGLM-6B

พารามิเตอร์อินพุต: {"context": เขียนเวอร์ชันหลามของการเรียงลำดับอาร์เรย์ ","maxlength":128}