codegen

コードジェネ

Salesforce codegen、THUDM/ChatGLM-6B と Web サーバー

https://github.com/salesforce/CodeGen からフォーク

Web サーバーのサポートを追加する

THUDM/ChatGLM-6B を今すぐサポート

オンラインデモ

https://gitclone.com/aiit/chat/

Visual Studio コード拡張機能

https://github.com/git-cloner/codegeeker

参照

https://zhuanlan.zhihu.com/p/598982945 ChatGPT に似た運用レベルのチャットボットを作成する
https://www.zhihu.com/zvideo/1596160335995641856 gpt-j-6b ベースのチャット ロボット
https://zhuanlan.zhihu.com/p/594946225 Amazon AWS クラウド ホスト上に gpt-j-6b モデルを構築する
https://zhuanlan.zhihu.com/p/588616069 github copilot に似た無料のコード ジェネレーターを作成する
https://zhuanlan.zhihu.com/p/620233511 清華ChatGLM-6Bモデルの練習
https://zhuanlan.zhihu.com/p/620070973 ColossalAI 推論演習
https://zhuanlan.zhihu.com/p/619954588 中国語-LLaMA-アルパカの実践
https://zhuanlan.zhihu.com/p/624286959 FastChat の導入とストリーミング通話の実践

使用法

コードのクローンを作成する

git clone https://gitclone.com/github.com/git-cloner/codegen

インストール

1.Nvidiaグラフィックカードとドライバーをインストールします

2.condaをインストールする

3.init仮想ランタイム

conda create -n codegen python=3.8
conda activate codegen
pip install pillow -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install torch torchvision torchaudio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install transformers==4.25.1 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install accelerate -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp==3.8.3 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp_cors==0.7.0 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
# pip install huggingface for gpt-neo
pip install datasets -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install gradio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install sentencepiece==0.1.91 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com

ダウンロードモデル

wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-nl.tar.gz && tar -xvf checkpoints/codegen-350M-nl.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-multi.tar.gz && tar -xvf checkpoints/codegen-350M-multi.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-mono.tar.gz && tar -xvf checkpoints/codegen-350M-mono.tar.gz -C checkpoints/

Webサーバーとして実行

conda activate codegen
python codegen.py

テスト

投稿: http://127.0.0.1:5001/codegen または直接投稿:https://gitclone.com/aiit/codegen

Salesforce codegen を使用する

入力パラメータ: {"context":"def hello_world():","maxlength":128}

return params: { "result": "n print("Hello world")n hello_world()n ", "time": 1.9620850095525384 }

THUDM/ChatGLM-6Bを使用する

入力パラメータ: {"context":"配列ソートの Python バージョンを作成します","maxlength":128}