AMchat

Code Source AI

1.0.0

Télécharger

Grand modèle de mathématiques avancées AMchat

?CâlinVisage |

Nouvelles

[2024.08.09] Nous avons publié le modèle de quantification Q8_0 AMchat-q8_0.gguf.

[2024.06.23] Mise au point du modèle InternLM2-Math-Plus-20B.

[2024.06.22] Ajustement du modèle InternLM2-Math-Plus-1.8B, ensemble de données open source à petite échelle.

[2024.06.21] Mise à jour du fichier README, réglage fin du modèle InternLM2-Math-Plus-7B.

[2024.03.24] Top 12 du Défi Puyuan Large Model Series 2024 (Concours de printemps), Prix de l'innovation et de la créativité.

[2024.03.14] Le modèle est téléchargé sur HuggingFace.

[2024.03.08] README amélioré, ajout d'un catalogue et d'un itinéraire technique. Ajout de README_en-US.md.

[2024.02.06] Le déploiement de Docker est pris en charge.

[2024.02.01] La première version d'AMchat est déployée en ligne https://openxlab.org.cn/apps/detail/youngdon/AMchat

Comment utiliser

démarrage rapide

Télécharger le modèle

À partir de ModelScope

Téléchargement du modèle de référence.

pip install modelscope

 from modelscope . hub . snapshot_download import snapshot_download
model_dir = snapshot_download ( 'yondong/AMchat' , cache_dir = './' )

DeOpenXLab

Voir modèle de téléchargement.

pip install openxlab

 from openxlab . model import download
download ( model_repo = 'youngdon/AMchat' , 
        model_name = 'AMchat' , output = './' )

déploiement local

git clone https://github.com/AXYZdong/AMchat.git
python start.py

Déploiement Docker

docker run -t -i --rm --gpus all -p 8501:8501 guidonsdocker/amchat:latest bash start.sh

recycler

Configuration de l'environnement

cloner ce projet

git clone https://github.com/AXYZdong/AMchat.git
cd AMchat

Créer un environnement virtuel

conda env create -f environment.yml
conda activate AMchat
pip install xtuner

Réglage fin de XTuner

Préparer le fichier de configuration

 # 列出所有内置配置
xtuner list-cfg

mkdir -p /root/math/data
mkdir /root/math/config && cd /root/math/config

xtuner copy-cfg internlm2_chat_7b_qlora_oasst1_e3 .

Téléchargement du modèle

mkdir -p /root/math/model

download.py

 import torch
from modelscope import snapshot_download , AutoModel , AutoTokenizer
import os
model_dir = snapshot_download ( 'Shanghai_AI_Laboratory/internlm2-math-7b' , cache_dir = '/root/math/model' )

Modifier le fichier de configuration

Un fichier de configuration affiné a été fourni dans le dossier config de l'entrepôt. Vous pouvez vous référer à internlm_chat_7b_qlora_oasst1_e3_copy.py . Il peut être utilisé directement, veuillez faire attention à modifier les chemins de pretrained_model_name_or_path et data_path .

 cd /root/math/config
vim internlm_chat_7b_qlora_oasst1_e3_copy.py

 # 修改模型为本地路径
- pretrained_model_name_or_path = 'internlm/internlm-chat-7b'
+ pretrained_model_name_or_path = './internlm2-math-7b'

# 修改训练数据集为本地路径
- data_path = 'timdettmers/openassistant-guanaco'
+ data_path = './data'

Commencer le réglage fin

xtuner train /root/math/config/internlm2_chat_7b_qlora_oasst1_e3_copy.py

Modèle PTH converti en modèle HuggingFace

mkdir hf
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_chat_7b_qlora_oasst1_e3_copy.py 
                         ./work_dirs/internlm2_chat_7b_qlora_oasst1_e3_copy/epoch_3.pth 
                         ./hf

Modèle HuggingFace fusionné dans un grand modèle de langage

 # 原始模型参数存放的位置
export NAME_OR_PATH_TO_LLM=/root/math/model/Shanghai_AI_Laboratory/internlm2-math-7b

# Hugging Face格式参数存放的位置
export NAME_OR_PATH_TO_ADAPTER=/root/math/config/hf

# 最终Merge后的参数存放的位置
mkdir /root/math/config/work_dirs/hf_merge
export SAVE_PATH=/root/math/config/work_dirs/hf_merge

# 执行参数Merge
xtuner convert merge 
    $NAME_OR_PATH_TO_LLM 
    $NAME_OR_PATH_TO_ADAPTER 
    $SAVE_PATH 
    --max-shard-size 2GB

Démo

streamlit run web_demo.py --server.address=0.0.0.0 --server.port 7860

Déploiement d'applications OpenXLab

Il vous suffit de Fork ce référentiel, puis de créer un nouveau projet sur OpenXLab, d'associer le référentiel Fork au nouveau projet et vous pouvez déployer AMchat sur OpenXLab.

Démo

Solution d'AMchat et InternLM2-Math-7B au même problème d'intégration. AMchat a répondu correctement, InternLM2-Math-7B a répondu incorrectement.

Démo Démo

Quantification LMDéploy

Installez d’abord LMDeploy

pip install -U lmdeploy

Convertissez ensuite le modèle au format turbomind

--dst-path : vous pouvez spécifier l'emplacement de stockage du modèle converti.

lmdeploy convert internlm2-chat-7b  要转化的模型地址 --dst-path 转换后的模型地址

Conversation par chat LMDeploy

lmdeploy chat turbomind 转换后的turbomind模型地址

Examen d'OpenCompass

InstallerOpenCompass

git clone https://github.com/open-compass/opencompass
cd opencompass
pip install -e .

Téléchargez l'ensemble de données décompressé

cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip

L'évaluation commence !

python run.py 
    --datasets math_gen 
    --hf-path 模型地址 
    --tokenizer-path tokenizer地址 
    --tokenizer-kwargs padding_side= ' left ' truncation= ' left '     trust_remote_code=True 
    --model-kwargs device_map= ' auto ' trust_remote_code=True 
    --max-seq-len 2048 
    --max-out-len 16 
    --batch-size 2  
    --num-gpus 1 
    --debug

Évaluation quantitative et quantitative LMDeploy & OpenCompass

Évaluation quantitative W4

Quantification W4

lmdeploy lite auto_awq 要量化的模型地址 --work-dir 量化后的模型地址

Convertir en TurbMind

lmdeploy convert internlm2-chat-7b 量化后的模型地址  --model-format awq --group-size 128 --dst-path 转换后的模型地址

Écriture config d'évaluation

 from mmengine . config import read_base
from opencompass . models . turbomind import TurboMindModel

with read_base ():
 # choose a list of datasets   
 from . datasets . ceval . ceval_gen import ceval_datasets 
 # and output the results in a choosen format
#  from .summarizers.medium import summarizer

datasets = [ * ceval_datasets ]

internlm2_chat_7b = dict (
     type = TurboMindModel ,
     abbr = 'internlm2-chat-7b-turbomind' ,
     path = '转换后的模型地址' ,
     engine_config = dict ( session_len = 512 ,
         max_batch_size = 2 ,
         rope_scaling_factor = 1.0 ),
     gen_config = dict ( top_k = 1 ,
         top_p = 0.8 ,
         temperature = 1.0 ,
         max_new_tokens = 100 ),
     max_out_len = 100 ,
     max_seq_len = 512 ,
     batch_size = 2 ,
     concurrency = 1 ,
     #  meta_template=internlm_meta_template,
     run_cfg = dict ( num_gpus = 1 , num_procs = 1 ),
)
models = [ internlm2_chat_7b ]

L'évaluation commence !

python run.py configs/eval_turbomind.py -w 指定结果保存路径

Évaluation quantitative du cache KV

Convertir en TurbMind

lmdeploy convert internlm2-chat-7b  模型路径 --dst-path 转换后模型路径

Calculer et obtenir les paramètres de quantification

 # 计算
lmdeploy lite calibrate 模型路径 --calib-dataset ' ptb ' --calib-samples 128 --calib-seqlen 2048 --work-dir 参数保存路径
# 获取量化参数
lmdeploy lite kv_qparams 参数保存路径 转换后模型路径/triton_models/weights/ --num-tp 1

Remplacez quant_policy par 4 et modifiez le chemin dans la config ci-dessus
L'évaluation commence !

python run.py configs/eval_turbomind.py -w 结果保存路径

Les fichiers de résultats et les ensembles de données d'évaluation peuvent être obtenus dans le fichier de résultats dans le même répertoire.

? Remerciements

Membres du projet

Zhang Youdong - chef de projet (l'assistant pédagogique du camp pratique Puyu, membre de Datawhale, est responsable de la formation des modèles, du déploiement de l'application OpenXlab, de la collecte de données, de l'organisation du contenu RAG, de la planification des réglages fins d'InternLM2-Math-Plus)
Song Zhixue - chef de projet (un chercheur membre de Datawhale et assistant pédagogique du camp pratique de Puyu est responsable de la planification du projet, cadre RAG)
Xiao Hongru - Chef de projet (un chercheur de l'Université Tongji, membre de Datawhale et assistant pédagogique du camp pratique de Puyu, est responsable de la collecte de données, du tri et de l'amélioration des ensembles de données, de la quantification et de l'évaluation des modèles, de l'inférence et de la vérification RAG)
Cheng Hong (assistant d'enseignement du camp pratique Scholar·Puyu et assistant d'enseignement de Datawhale Jingying InternLM2-Math-Plus-7B Model-tuning & Deployment)
Mo Baoqi (mise au point du modèle InternLM2-Math-Plus-1.8B du Yuchai Engineering Research Institute)
Chen Fuyuan (Stagiaire de l'Université de sciences politiques et de droit du Gansu, LM2-Math-Plus-20B, mise au point du modèle)
Gong Heyang (Doctorat en statistiques, Université des sciences et technologies de Chine, quantification du modèle LMDeploy)
Jie Rongyang (membre de datawhale Harbin Institute of Technology (Weihai) collecte de données compilation de contenu RAG)
Peng Chen (Collecte de données des membres Datawhale)
Wang Xinming (collecte de données)
Liu Zhiwen (collecte de données de l'Université des femmes du Shandong, membre de Datawhale)
Wang Ruiyue (collecte de données de l'Université du Nord-Est)
Chen Yihan (collecte de données de l'Université des postes et télécommunications de Pékin, membre de Datawhale)
guidons (déploiement de dockers à l'Université du Nord-Est)
eltociear (membre du conseil d'administration d'I-Tecnology Co., Ltd., ajouter le fichier README en japonais)

merci spécial

Merci au Laboratoire d'intelligence artificielle de Shanghai pour avoir organisé l'activité d'apprentissage du camp pratique Scholar Puyu ~

Merci à OpenXLab pour son support en puissance de calcul pour le déploiement de projets~

Merci à Puyu Assistant pour son soutien au projet~

Merci au Laboratoire d'intelligence artificielle de Shanghai pour le lancement du camp pratique Scholar·Puyu Large Model, qui fournit de précieux conseils techniques et un puissant support de puissance de calcul pour notre projet !

Tutoriel InternLM , InternStudio , xtuner , InternLM-Math

Citation

 @misc { 2024AMchat ,
    title = { AMchat: A large language model integrating advanced math concepts, exercises, and solutions } ,
    author = { AMchat Contributors } ,
    howpublished = { url{https://github.com/AXYZdong/AMchat} } ,
    year = { 2024 }
}