AMchat

Código-Fonte de IA

1.0.0

Baixar

Modelo grande de matemática avançada AMchat

?AbraçandoFace |

Notícias

[2024.08.09] Lançamos o modelo de quantização Q8_0 AMchat-q8_0.gguf.

[2024.06.23] Ajuste fino do modelo InternLM2-Math-Plus-20B.

[2024.06.22] InternLM2-Math-Plus-1.8B ajuste fino do modelo, conjunto de dados de pequena escala de código aberto.

[2024.06.21] README atualizado, ajuste fino do modelo InternLM2-Math-Plus-7B.

[2024.03.24] Os 12 primeiros no Desafio Puyuan Large Model Series 2024 (Competição de Primavera), Prêmio de Inovação e Criatividade.

[2024.03.14] O modelo é carregado no HuggingFace.

[2024.03.08] README aprimorado, catálogo e rota técnica adicionados. Adicionado README_en-US.md.

[2024.02.06] A implantação do Docker é suportada.

[2024.02.01] A primeira versão do AMchat é implantada online https://openxlab.org.cn/apps/detail/youngdon/AMchat

Como usar

início rápido

Baixar modelo

Do ModelScope

Download do modelo de referência.

pip install modelscope

 from modelscope . hub . snapshot_download import snapshot_download
model_dir = snapshot_download ( 'yondong/AMchat' , cache_dir = './' )

DoOpenXLab

Veja modelo de download.

pip install openxlab

 from openxlab . model import download
download ( model_repo = 'youngdon/AMchat' , 
        model_name = 'AMchat' , output = './' )

implantação local

git clone https://github.com/AXYZdong/AMchat.git
python start.py

Implantação do Docker

docker run -t -i --rm --gpus all -p 8501:8501 guidonsdocker/amchat:latest bash start.sh

reciclar

Configuração do ambiente

clonar este projeto

git clone https://github.com/AXYZdong/AMchat.git
cd AMchat

Crie um ambiente virtual

conda env create -f environment.yml
conda activate AMchat
pip install xtuner

Ajuste fino do XTuner

Preparar arquivo de configuração

 # 列出所有内置配置
xtuner list-cfg

mkdir -p /root/math/data
mkdir /root/math/config && cd /root/math/config

xtuner copy-cfg internlm2_chat_7b_qlora_oasst1_e3 .

Baixar modelo

mkdir -p /root/math/model

download.py

 import torch
from modelscope import snapshot_download , AutoModel , AutoTokenizer
import os
model_dir = snapshot_download ( 'Shanghai_AI_Laboratory/internlm2-math-7b' , cache_dir = '/root/math/model' )

Modificar arquivo de configuração

Um arquivo de configuração ajustado foi fornecido na pasta config no warehouse. Você pode consultar internlm_chat_7b_qlora_oasst1_e3_copy.py . Ele pode ser usado diretamente, preste atenção para modificar os caminhos de pretrained_model_name_or_path e data_path .

 cd /root/math/config
vim internlm_chat_7b_qlora_oasst1_e3_copy.py

 # 修改模型为本地路径
- pretrained_model_name_or_path = 'internlm/internlm-chat-7b'
+ pretrained_model_name_or_path = './internlm2-math-7b'

# 修改训练数据集为本地路径
- data_path = 'timdettmers/openassistant-guanaco'
+ data_path = './data'

Comece o ajuste fino

xtuner train /root/math/config/internlm2_chat_7b_qlora_oasst1_e3_copy.py

Modelo PTH convertido para modelo HuggingFace

mkdir hf
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_chat_7b_qlora_oasst1_e3_copy.py 
                         ./work_dirs/internlm2_chat_7b_qlora_oasst1_e3_copy/epoch_3.pth 
                         ./hf

Modelo HuggingFace mesclado em modelo de linguagem grande

 # 原始模型参数存放的位置
export NAME_OR_PATH_TO_LLM=/root/math/model/Shanghai_AI_Laboratory/internlm2-math-7b

# Hugging Face格式参数存放的位置
export NAME_OR_PATH_TO_ADAPTER=/root/math/config/hf

# 最终Merge后的参数存放的位置
mkdir /root/math/config/work_dirs/hf_merge
export SAVE_PATH=/root/math/config/work_dirs/hf_merge

# 执行参数Merge
xtuner convert merge 
    $NAME_OR_PATH_TO_LLM 
    $NAME_OR_PATH_TO_ADAPTER 
    $SAVE_PATH 
    --max-shard-size 2GB

Demonstração

streamlit run web_demo.py --server.address=0.0.0.0 --server.port 7860

Implantação de aplicativo OpenXLab

Você só precisa bifurcar este repositório, criar um novo projeto no OpenXLab, associar o repositório Fork ao novo projeto e poderá implantar o AMchat no OpenXLab.

Demonstração

Solução de AMchat e InternLM2-Math-7B para o mesmo problema de integração. AMchat respondeu corretamente, InternLM2-Math-7B respondeu incorretamente.

Demonstração

Quantificação LMDeploy

Primeiro instale o LMDeploy

pip install -U lmdeploy

Em seguida, converta o modelo para o formato turbomind

--dst-path: você pode especificar o local de armazenamento do modelo convertido.

lmdeploy convert internlm2-chat-7b  要转化的模型地址 --dst-path 转换后的模型地址

Conversa de bate-papo LMDeploy

lmdeploy chat turbomind 转换后的turbomind模型地址

Revisão do OpenCompass

InstalarOpenCompass

git clone https://github.com/open-compass/opencompass
cd opencompass
pip install -e .

Baixe o conjunto de dados descompactado

cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip

A avaliação começa!

python run.py 
    --datasets math_gen 
    --hf-path 模型地址 
    --tokenizer-path tokenizer地址 
    --tokenizer-kwargs padding_side= ' left ' truncation= ' left '     trust_remote_code=True 
    --model-kwargs device_map= ' auto ' trust_remote_code=True 
    --max-seq-len 2048 
    --max-out-len 16 
    --batch-size 2  
    --num-gpus 1 
    --debug

Avaliação quantitativa e quantitativa do LMDeploy e OpenCompass

Avaliação quantitativa W4

Quantificação W4

lmdeploy lite auto_awq 要量化的模型地址 --work-dir 量化后的模型地址

Converter para TurbMind

lmdeploy convert internlm2-chat-7b 量化后的模型地址  --model-format awq --group-size 128 --dst-path 转换后的模型地址

Escrita config de avaliação

 from mmengine . config import read_base
from opencompass . models . turbomind import TurboMindModel

with read_base ():
 # choose a list of datasets   
 from . datasets . ceval . ceval_gen import ceval_datasets 
 # and output the results in a choosen format
#  from .summarizers.medium import summarizer

datasets = [ * ceval_datasets ]

internlm2_chat_7b = dict (
     type = TurboMindModel ,
     abbr = 'internlm2-chat-7b-turbomind' ,
     path = '转换后的模型地址' ,
     engine_config = dict ( session_len = 512 ,
         max_batch_size = 2 ,
         rope_scaling_factor = 1.0 ),
     gen_config = dict ( top_k = 1 ,
         top_p = 0.8 ,
         temperature = 1.0 ,
         max_new_tokens = 100 ),
     max_out_len = 100 ,
     max_seq_len = 512 ,
     batch_size = 2 ,
     concurrency = 1 ,
     #  meta_template=internlm_meta_template,
     run_cfg = dict ( num_gpus = 1 , num_procs = 1 ),
)
models = [ internlm2_chat_7b ]

A avaliação começa!

python run.py configs/eval_turbomind.py -w 指定结果保存路径

Avaliação quantitativa do cache KV

Converter para TurbMind

lmdeploy convert internlm2-chat-7b  模型路径 --dst-path 转换后模型路径

Calcular e obter parâmetros de quantização

 # 计算
lmdeploy lite calibrate 模型路径 --calib-dataset ' ptb ' --calib-samples 128 --calib-seqlen 2048 --work-dir 参数保存路径
# 获取量化参数
lmdeploy lite kv_qparams 参数保存路径 转换后模型路径/triton_models/weights/ --num-tp 1

Altere quant_policy para 4 e altere o caminho na config acima
A avaliação começa!

python run.py configs/eval_turbomind.py -w 结果保存路径

Os arquivos de resultados e conjuntos de dados de avaliação podem ser obtidos no arquivo de resultados no mesmo diretório.

? Agradecimentos

Membros do projeto

Zhang Youdong - líder do projeto (o pesquisador membro da Datawhale, Puyu, assistente de ensino do acampamento prático é responsável pelo treinamento do modelo, implantação de aplicativos OpenXlab, coleta de dados, organização de conteúdo RAG, planejamento de ajuste fino do InternLM2-Math-Plus)
Song Zhixue - líder do projeto (acadêmico membro da Datawhale e assistente de ensino do acampamento prático Puyu é responsável pelo planejamento do projeto, estrutura RAG)
Xiao Hongru - Líder do projeto (estudioso da Universidade Tongji, membro da Datawhale e assistente de ensino do acampamento prático Puyu, é responsável pela coleta de dados, classificação e aprimoramento do conjunto de dados, quantificação e avaliação do modelo, inferência e verificação RAG)
Cheng Hong (Assistente de Ensino do Acampamento Prático Acadêmico·Puyu e Assistente de Ensino do Datawhale Jingying InternLM2-Math-Plus-7B Ajuste fino e implantação do modelo)
Mo Baoqi (ajuste fino do modelo Yuchai Engineering Research Institute InternLM2-Math-Plus-1.8B)
Chen Fuyuan (ajuste fino do modelo LM2-Math-Plus-20B da Universidade de Ciência Política e Direito de Gansu)
Gong Heyang (Ph.D. em Estatística, Universidade de Ciência e Tecnologia da China, quantificação do modelo LMDeploy)
Jie Rongyang (membro do datawhale Harbin Institute of Technology (Weihai) coleta de dados compilação de conteúdo RAG)
Peng Chen (coleta de dados de membros do Datawhale)
Wang Xinming (coleta de dados)
Liu Zhiwen (coleta de dados da Universidade Feminina de Shandong, membro da Datawhale)
Wang Ruiyue (coleta de dados da Universidade do Nordeste)
Chen Yihan (membro da Datawhale, coleta de dados da Universidade de Correios e Telecomunicações de Pequim)
guidons (implantação do docker da Northeast University)
eltociear (membro do conselho da I-Tecnology Co., Ltd., adicione README em japonês)

agradecimento especial

Agradecimentos ao Laboratório de Inteligência Artificial de Xangai por organizar a Atividade de Aprendizagem do Acampamento Prático Scholar Puyu ~

Obrigado ao OpenXLab por seu suporte de poder computacional para implantação de projetos ~

Obrigado ao Puyu Assistant por apoiar o projeto ~

Agradecemos ao Laboratório de Inteligência Artificial de Xangai pelo lançamento do Acampamento Prático de Grandes Modelos Scholar·Puyu, que fornece orientação técnica valiosa e poderoso suporte de poder computacional para nosso projeto!

Tutorial InternLM , InternStudio , xtuner , InternLM-Math

Citação

 @misc { 2024AMchat ,
    title = { AMchat: A large language model integrating advanced math concepts, exercises, and solutions } ,
    author = { AMchat Contributors } ,
    howpublished = { url{https://github.com/AXYZdong/AMchat} } ,
    year = { 2024 }
}