codegen

Кодеген

Генератор кода Salesforce, THUDM/ChatGLM-6B с веб-сервером

Форк с https://github.com/salesforce/CodeGen.

Добавить поддержку веб-сервера

Поддержите THUDM/ChatGLM-6B прямо сейчас

Онлайн демо

https://gitclone.com/aiit/chat/

Расширение кода Visual Studio

https://github.com/git-cloner/codegeeker

ссылка

https://zhuanlan.zhihu.com/p/598982945 Создайте чат-бот производственного уровня, похожий на ChatGPT.
https://www.zhihu.com/zvideo/1596160335995641856 Чат-робот на базе gpt-j-6b
https://zhuanlan.zhihu.com/p/594946225 Сборка модели gpt-j-6b на облачном хосте Amazon AWS
https://zhuanlan.zhihu.com/p/588616069 Создайте бесплатный генератор кода, похожий на github copilot.
https://zhuanlan.zhihu.com/p/620233511 Модельная практика Tsinghua ChatGLM-6B
https://zhuanlan.zhihu.com/p/620070973 Колоссальная практика рассуждений AI
https://zhuanlan.zhihu.com/p/619954588 Китайская-LLaMA-Практика Альпаки
https://zhuanlan.zhihu.com/p/624286959 Практика развертывания FastChat и потоковой передачи звонков

использование

Клонировать код

git-клон https://gitclone.com/github.com/git-cloner/codegen

Установить

1.установите видеокарту Nvidia и драйвер.

2.установить Конду

3.init виртуальная среда выполнения

conda create -n codegen python=3.8
conda activate codegen
pip install pillow -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install torch torchvision torchaudio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install transformers==4.25.1 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install accelerate -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp==3.8.3 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp_cors==0.7.0 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
# pip install huggingface for gpt-neo
pip install datasets -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install gradio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install sentencepiece==0.1.91 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com

Скачать модель

wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-nl.tar.gz && tar -xvf checkpoints/codegen-350M-nl.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-multi.tar.gz && tar -xvf checkpoints/codegen-350M-multi.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-mono.tar.gz && tar -xvf checkpoints/codegen-350M-mono.tar.gz -C checkpoints/

запускать как веб-сервер

conda activate codegen
python codegen.py

тест

сообщение: http://127.0.0.1:5001/codegen или прямое сообщение по адресу: https://gitclone.com/aiit/codegen.

Используйте генератор кода Salesforce

входные параметры: {"context":"def hello_world():","maxlength":128}

return params: { "result": "n print("Hello world")n hello_world()n ", "time": 1.9620850095525384 }

Используйте THUDM/ChatGLM-6B

входные параметры: {"context":"Напишите версию сортировки массива на Python","maxlength":128}