codegen

코드젠

Salesforce codegen, THUDM/ChatGLM-6B(웹 서버 포함)

https://github.com/salesforce/CodeGen의 포크

웹 서버 지원 추가

지금 THUDM/ChatGLM-6B 지원

온라인 데모

https://gitclone.com/aiit/chat/

Visual Studio 코드 확장

https://github.com/git-cloner/codegeeker

참조

https://zhuanlan.zhihu.com/p/598982945 ChatGPT와 유사한 프로덕션 수준의 챗봇 만들기
https://www.zhihu.com/zvideo/1596160335995641856 gpt-j-6b 기반 채팅 로봇
https://zhuanlan.zhihu.com/p/594946225 Amazon AWS 클라우드 호스트에서 gpt-j-6b 모델 구축
https://zhuanlan.zhihu.com/p/588616069 github copilot과 유사한 무료 코드 생성기를 만드세요
https://zhuanlan.zhihu.com/p/620233511 Tsinghua ChatGLM-6B 모델 실습
https://zhuanlan.zhihu.com/p/620070973 ColossalAI 추론 실습
https://zhuanlan.zhihu.com/p/619954588 중국어-LLaMA-알파카연습
https://zhuanlan.zhihu.com/p/624286959 FastChat 배포 및 스트리밍 통화 실습

용법

코드 복제

자식 클론 https://gitclone.com/github.com/git-cloner/codegen

설치하다

1. Nvidia 그래픽 카드 및 드라이버 설치

2. 콘다 설치

3. 가상 런타임 초기화

conda create -n codegen python=3.8
conda activate codegen
pip install pillow -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install torch torchvision torchaudio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install transformers==4.25.1 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install accelerate -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp==3.8.3 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install aiohttp_cors==0.7.0 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
# pip install huggingface for gpt-neo
pip install datasets -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install gradio -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com
pip install sentencepiece==0.1.91 -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com

모델 다운로드

wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-nl.tar.gz && tar -xvf checkpoints/codegen-350M-nl.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-multi.tar.gz && tar -xvf checkpoints/codegen-350M-multi.tar.gz -C checkpoints/
wget -P checkpoints https://storage.googleapis.com/sfr-codegen-research/checkpoints/codegen-350M-mono.tar.gz && tar -xvf checkpoints/codegen-350M-mono.tar.gz -C checkpoints/

웹 서버로 실행

conda activate codegen
python codegen.py

시험

게시: http://127.0.0.1:5001/codegen 또는 직접 게시: https://gitclone.com/aiit/codegen

Salesforce 코드 생성 사용

입력 매개변수: {"context":"def hello_world():","maxlength":128}

반환 매개변수: { "result": "n print("Hello world")n hello_world()n ", "time": 1.9620850095525384 }

THUDM/ChatGLM-6B 사용

입력 매개변수: {"context":"배열 정렬의 Python 버전 작성","maxlength":128}