AMchat

AI 소스 코드

1.0.0

다운로드

AMchat 고급 수학 대형 모델

?포옹얼굴 |

소식

[2024.08.09] Q8_0 양자화 모델 AMchat-q8_0.gguf를 출시했습니다.

[2024.06.23] InternLM2-Math-Plus-20B 모델 미세 조정.

[2024.06.22] InternLM2-Math-Plus-1.8B 모델 미세 조정, 오픈 소스 소규모 데이터 세트.

[2024.06.21] README, InternLM2-Math-Plus-7B 모델 미세 조정 업데이트되었습니다.

[2024.03.24] 2024 푸위안 대형 모델 시리즈 챌린지(봄 대회) 혁신창의상 상위 12위.

[2024.03.14] HuggingFace에 모델이 업로드 되었습니다.

[2024.03.08] README 개선, 카탈로그 및 기술 루트 추가. README_en-US.md를 추가했습니다.

[2024.02.06] Docker 배포가 지원됩니다.

[2024.02.01] AMchat 첫 번째 버전 온라인 배포 https://openxlab.org.cn/apps/detail/youngdon/AMchat

사용방법

빠른 시작

모델 다운로드

ModelScope에서

참조 모델 다운로드.

pip install modelscope

 from modelscope . hub . snapshot_download import snapshot_download
model_dir = snapshot_download ( 'yondong/AMchat' , cache_dir = './' )

FromOpenXLab

다운로드 모델을 참조하세요.

pip install openxlab

 from openxlab . model import download
download ( model_repo = 'youngdon/AMchat' , 
        model_name = 'AMchat' , output = './' )

로컬 배포

git clone https://github.com/AXYZdong/AMchat.git
python start.py

도커 배포

docker run -t -i --rm --gpus all -p 8501:8501 guidonsdocker/amchat:latest bash start.sh

재교육

환경설정

이 프로젝트를 복제하세요

git clone https://github.com/AXYZdong/AMchat.git
cd AMchat

가상 환경 만들기

conda env create -f environment.yml
conda activate AMchat
pip install xtuner

XTuner 미세 조정

구성 파일 준비

 # 列出所有内置配置
xtuner list-cfg

mkdir -p /root/math/data
mkdir /root/math/config && cd /root/math/config

xtuner copy-cfg internlm2_chat_7b_qlora_oasst1_e3 .

모델 다운로드

mkdir -p /root/math/model

download.py

 import torch
from modelscope import snapshot_download , AutoModel , AutoTokenizer
import os
model_dir = snapshot_download ( 'Shanghai_AI_Laboratory/internlm2-math-7b' , cache_dir = '/root/math/model' )

구성 파일 수정

웨어하우스의 config 폴더에 미세 조정된 구성 파일이 제공됩니다. internlm_chat_7b_qlora_oasst1_e3_copy.py 를 참조하세요. 직접 사용할 수 있습니다. pretrained_model_name_or_path 및 data_path 경로를 수정하는 데 주의하세요.

 cd /root/math/config
vim internlm_chat_7b_qlora_oasst1_e3_copy.py

 # 修改模型为本地路径
- pretrained_model_name_or_path = 'internlm/internlm-chat-7b'
+ pretrained_model_name_or_path = './internlm2-math-7b'

# 修改训练数据集为本地路径
- data_path = 'timdettmers/openassistant-guanaco'
+ data_path = './data'

미세 조정 시작

xtuner train /root/math/config/internlm2_chat_7b_qlora_oasst1_e3_copy.py

HuggingFace 모델로 변환된 PTH 모델

mkdir hf
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_chat_7b_qlora_oasst1_e3_copy.py 
                         ./work_dirs/internlm2_chat_7b_qlora_oasst1_e3_copy/epoch_3.pth 
                         ./hf

HuggingFace 모델이 대규모 언어 모델로 병합되었습니다.

 # 原始模型参数存放的位置
export NAME_OR_PATH_TO_LLM=/root/math/model/Shanghai_AI_Laboratory/internlm2-math-7b

# Hugging Face格式参数存放的位置
export NAME_OR_PATH_TO_ADAPTER=/root/math/config/hf

# 最终Merge后的参数存放的位置
mkdir /root/math/config/work_dirs/hf_merge
export SAVE_PATH=/root/math/config/work_dirs/hf_merge

# 执行参数Merge
xtuner convert merge 
    $NAME_OR_PATH_TO_LLM 
    $NAME_OR_PATH_TO_ADAPTER 
    $SAVE_PATH 
    --max-shard-size 2GB

데모

streamlit run web_demo.py --server.address=0.0.0.0 --server.port 7860

OpenXLab 애플리케이션 배포

이 리포지토리를 포크한 다음 OpenXLab에서 새 프로젝트를 생성하고 포크 리포지토리를 새 프로젝트와 연결하기만 하면 OpenXLab에 AMchat을 배포할 수 있습니다.

통합에 대한 동일한 문제에 대한 AMchat 및 InternLM2-Math-7B의 솔루션입니다. AMchat이 올바르게 응답했지만 InternLM2-Math-7B가 잘못 응답했습니다.

LMDeploy 정량화

먼저 LMDeploy를 설치합니다.

pip install -U lmdeploy

그런 다음 모델을 turbomind 형식으로 변환합니다.

--dst-path: 변환된 모델 저장 위치를 지정할 수 있습니다.

lmdeploy convert internlm2-chat-7b  要转化的模型地址 --dst-path 转换后的模型地址

LMDeploy 채팅 대화

lmdeploy chat turbomind 转换后的turbomind模型地址

오픈컴퍼스 리뷰

설치OpenCompass

git clone https://github.com/open-compass/opencompass
cd opencompass
pip install -e .

압축이 풀린 데이터 세트 다운로드

cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip

평가가 시작됩니다!

python run.py 
    --datasets math_gen 
    --hf-path 模型地址 
    --tokenizer-path tokenizer地址 
    --tokenizer-kwargs padding_side= ' left ' truncation= ' left '     trust_remote_code=True 
    --model-kwargs device_map= ' auto ' trust_remote_code=True 
    --max-seq-len 2048 
    --max-out-len 16 
    --batch-size 2  
    --num-gpus 1 
    --debug

LMDeploy 및 OpenCompass 정량적 및 정량적 평가

W4 정량평가

W4 정량화

lmdeploy lite auto_awq 要量化的模型地址 --work-dir 量化后的模型地址

TurbMind 로 변환

lmdeploy convert internlm2-chat-7b 量化后的模型地址  --model-format awq --group-size 128 --dst-path 转换后的模型地址

평가 config 작성

 from mmengine . config import read_base
from opencompass . models . turbomind import TurboMindModel

with read_base ():
 # choose a list of datasets   
 from . datasets . ceval . ceval_gen import ceval_datasets 
 # and output the results in a choosen format
#  from .summarizers.medium import summarizer

datasets = [ * ceval_datasets ]

internlm2_chat_7b = dict (
     type = TurboMindModel ,
     abbr = 'internlm2-chat-7b-turbomind' ,
     path = '转换后的模型地址' ,
     engine_config = dict ( session_len = 512 ,
         max_batch_size = 2 ,
         rope_scaling_factor = 1.0 ),
     gen_config = dict ( top_k = 1 ,
         top_p = 0.8 ,
         temperature = 1.0 ,
         max_new_tokens = 100 ),
     max_out_len = 100 ,
     max_seq_len = 512 ,
     batch_size = 2 ,
     concurrency = 1 ,
     #  meta_template=internlm_meta_template,
     run_cfg = dict ( num_gpus = 1 , num_procs = 1 ),
)
models = [ internlm2_chat_7b ]

평가가 시작됩니다!

python run.py configs/eval_turbomind.py -w 指定结果保存路径

KV 캐시 정량평가

TurbMind 로 변환

lmdeploy convert internlm2-chat-7b  模型路径 --dst-path 转换后模型路径

양자화 매개변수 계산 및 획득

 # 计算
lmdeploy lite calibrate 模型路径 --calib-dataset ' ptb ' --calib-samples 128 --calib-seqlen 2048 --work-dir 参数保存路径
# 获取量化参数
lmdeploy lite kv_qparams 参数保存路径 转换后模型路径/triton_models/weights/ --num-tp 1

quant_policy 4 로 변경하고 위 config 에서 경로를 변경합니다.
평가가 시작됩니다!

python run.py configs/eval_turbomind.py -w 结果保存路径

결과 파일과 평가 데이터 세트는 동일한 디렉터리의 결과 파일에서 얻을 수 있습니다.

?

프로젝트 구성원

Zhang Youdong - 프로젝트 리더(Datawhale 회원 학자 Puyu 실습 캠프 조교는 모델 교육, OpenXlab 애플리케이션 배포, 데이터 수집, RAG 콘텐츠 구성, InternLM2-Math-Plus 미세 조정 계획을 담당합니다)
Song Zhixue - 프로젝트 리더(Datawhale 회원 학자 및 Puyu 실습 캠프 조교가 프로젝트 기획, RAG 프레임워크 담당)
Xiao Hongru - 프로젝트 리더(Datawhale 회원 Tongji University 학자 및 Puyu 실습 캠프 조교는 데이터 수집, 데이터 세트 정렬 및 개선, 모델 정량화 및 평가, RAG 추론 및 검증을 담당합니다)
Cheng Hong(Scholar·Puyu Practical Camp 조교 및 Datawhale Jingying InternLM2-Math-Plus-7B 모델 미세 조정 및 배포 조교)
Mo Baoqi(Yuchai 공학 연구소 InternLM2-Math-Plus-1.8B 모델 미세 조정)
Chen Fuyuan(간쑤 정법 대학 InternLM2-Math-Plus-20B 모델 미세 조정)
공허양(중국과기대학교 통계학박사, LMDeploy 모델 정량화)
Jie Rongyang(datawhale 회원 하얼빈 공업대학교(위해) 데이터 수집 RAG 콘텐츠 편집)
Peng Chen (Datawhale 회원 데이터 수집)
왕신밍(데이터 수집)
Liu Zhiwen (산동 여자 대학교 데이터 수집, Datawhale 회원)
Wang Ruiyue(북동대학 데이터 수집)
Chen Yihan (Datawhale 회원 베이징 우편 통신 대학 데이터 수집)
guidons(북동대학교 도커 배포)
eltociear (I-Tecnology Co., Ltd. 이사, 일본어 README 추가)

특별한 감사

학자 Puyu 실습 캠프 학습 활동을 조직한 상하이 인공지능 연구소에 감사드립니다~

프로젝트 배포를 위한 컴퓨팅 성능 지원을 제공한 OpenXLab에 감사드립니다~

프로젝트를 지원해주신 Puyu Assistant님께 감사드립니다~

우리 프로젝트에 귀중한 기술 지침과 강력한 컴퓨팅 성능 지원을 제공하는 Scholar·Puyu 대형 모델 실습 캠프를 시작한 상하이 인공 지능 연구소에 감사드립니다!

InternLM-튜토리얼 , InternStudio , xtuner , InternLM-Math

소환

 @misc { 2024AMchat ,
    title = { AMchat: A large language model integrating advanced math concepts, exercises, and solutions } ,
    author = { AMchat Contributors } ,
    howpublished = { url{https://github.com/AXYZdong/AMchat} } ,
    year = { 2024 }
}