AMchat

Código Fuente de IA

1.0.0

Descargar

Modelo grande de matemáticas avanzadas de AMchat

?AbrazandoCara |

Noticias

[2024.08.09] Lanzamos el modelo de cuantificación Q8_0 AMchat-q8_0.gguf.

[2024.06.23] Ajuste del modelo InternLM2-Math-Plus-20B.

[2024.06.22] Ajuste fino del modelo InternLM2-Math-Plus-1.8B, conjunto de datos a pequeña escala de código abierto.

[2024.06.21] README actualizado, ajuste del modelo InternLM2-Math-Plus-7B.

[2024.03.24] Top 12 en el Desafío de la Serie de Modelos Grandes de Puyuan 2024 (Concurso de Primavera), Premio a la Innovación y la Creatividad.

[2024.03.14] El modelo se sube a HuggingFace.

[2024.03.08] README mejorado, catálogo agregado y ruta técnica. Se agregó README_en-US.md.

[2024.02.06] Se admite la implementación de Docker.

[2024.02.01] La primera versión de AMchat se implementa en línea https://openxlab.org.cn/apps/detail/youngdon/AMchat

como usar

inicio rápido

Descargar modelo

Desde ModelScope

Descarga del modelo de referencia.

pip install modelscope

 from modelscope . hub . snapshot_download import snapshot_download
model_dir = snapshot_download ( 'yondong/AMchat' , cache_dir = './' )

DeOpenXLab

Ver modelo de descarga.

pip install openxlab

 from openxlab . model import download
download ( model_repo = 'youngdon/AMchat' , 
        model_name = 'AMchat' , output = './' )

implementación local

git clone https://github.com/AXYZdong/AMchat.git
python start.py

Implementación de Docker

docker run -t -i --rm --gpus all -p 8501:8501 guidonsdocker/amchat:latest bash start.sh

volver a entrenar

Configuración del entorno

clonar este proyecto

git clone https://github.com/AXYZdong/AMchat.git
cd AMchat

Crear un entorno virtual

conda env create -f environment.yml
conda activate AMchat
pip install xtuner

Ajuste fino de XTuner

Preparar archivo de configuración

 # 列出所有内置配置
xtuner list-cfg

mkdir -p /root/math/data
mkdir /root/math/config && cd /root/math/config

xtuner copy-cfg internlm2_chat_7b_qlora_oasst1_e3 .

Descarga de modelo

mkdir -p /root/math/model

download.py

 import torch
from modelscope import snapshot_download , AutoModel , AutoTokenizer
import os
model_dir = snapshot_download ( 'Shanghai_AI_Laboratory/internlm2-math-7b' , cache_dir = '/root/math/model' )

Modificar archivo de configuración

Se ha proporcionado un archivo de configuración ajustado en la carpeta config del almacén. Puede consultar internlm_chat_7b_qlora_oasst1_e3_copy.py . Se puede usar directamente, preste atención para modificar las rutas de pretrained_model_name_or_path y data_path .

 cd /root/math/config
vim internlm_chat_7b_qlora_oasst1_e3_copy.py

 # 修改模型为本地路径
- pretrained_model_name_or_path = 'internlm/internlm-chat-7b'
+ pretrained_model_name_or_path = './internlm2-math-7b'

# 修改训练数据集为本地路径
- data_path = 'timdettmers/openassistant-guanaco'
+ data_path = './data'

Comience a realizar ajustes

xtuner train /root/math/config/internlm2_chat_7b_qlora_oasst1_e3_copy.py

Modelo PTH convertido al modelo HuggingFace

mkdir hf
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_chat_7b_qlora_oasst1_e3_copy.py 
                         ./work_dirs/internlm2_chat_7b_qlora_oasst1_e3_copy/epoch_3.pth 
                         ./hf

El modelo HuggingFace se fusionó con un modelo de lenguaje grande

 # 原始模型参数存放的位置
export NAME_OR_PATH_TO_LLM=/root/math/model/Shanghai_AI_Laboratory/internlm2-math-7b

# Hugging Face格式参数存放的位置
export NAME_OR_PATH_TO_ADAPTER=/root/math/config/hf

# 最终Merge后的参数存放的位置
mkdir /root/math/config/work_dirs/hf_merge
export SAVE_PATH=/root/math/config/work_dirs/hf_merge

# 执行参数Merge
xtuner convert merge 
    $NAME_OR_PATH_TO_LLM 
    $NAME_OR_PATH_TO_ADAPTER 
    $SAVE_PATH 
    --max-shard-size 2GB

Manifestación

streamlit run web_demo.py --server.address=0.0.0.0 --server.port 7860

Implementación de aplicaciones OpenXLab

Solo necesita bifurcar este repositorio, luego crear un nuevo proyecto en OpenXLab, asociar el repositorio de Fork con el nuevo proyecto y podrá implementar AMchat en OpenXLab.

Manifestación

La solución de AMchat e InternLM2-Math-7B al mismo problema de integración. AMchat respondió correctamente, InternLM2-Math-7B respondió incorrectamente.

Manifestación

Cuantificación de LMDeploy

Primero instale LMDeploy

pip install -U lmdeploy

Luego convierta el modelo al formato turbomind .

--dst-path: puede especificar la ubicación de almacenamiento del modelo convertido.

lmdeploy convert internlm2-chat-7b  要转化的模型地址 --dst-path 转换后的模型地址

Conversación de chat de LMDeploy

lmdeploy chat turbomind 转换后的turbomind模型地址

Revisión de OpenCompass

InstalarOpenCompass

git clone https://github.com/open-compass/opencompass
cd opencompass
pip install -e .

Descargue el conjunto de datos descomprimido

cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip

¡Empieza la evaluación!

python run.py 
    --datasets math_gen 
    --hf-path 模型地址 
    --tokenizer-path tokenizer地址 
    --tokenizer-kwargs padding_side= ' left ' truncation= ' left '     trust_remote_code=True 
    --model-kwargs device_map= ' auto ' trust_remote_code=True 
    --max-seq-len 2048 
    --max-out-len 16 
    --batch-size 2  
    --num-gpus 1 
    --debug

Evaluación cuantitativa y cuantitativa de LMDeploy y OpenCompass

Evaluación cuantitativa W4

Cuantificación W4

lmdeploy lite auto_awq 要量化的模型地址 --work-dir 量化后的模型地址

Convertir a TurbMind

lmdeploy convert internlm2-chat-7b 量化后的模型地址  --model-format awq --group-size 128 --dst-path 转换后的模型地址

Escritura config de evaluación

 from mmengine . config import read_base
from opencompass . models . turbomind import TurboMindModel

with read_base ():
 # choose a list of datasets   
 from . datasets . ceval . ceval_gen import ceval_datasets 
 # and output the results in a choosen format
#  from .summarizers.medium import summarizer

datasets = [ * ceval_datasets ]

internlm2_chat_7b = dict (
     type = TurboMindModel ,
     abbr = 'internlm2-chat-7b-turbomind' ,
     path = '转换后的模型地址' ,
     engine_config = dict ( session_len = 512 ,
         max_batch_size = 2 ,
         rope_scaling_factor = 1.0 ),
     gen_config = dict ( top_k = 1 ,
         top_p = 0.8 ,
         temperature = 1.0 ,
         max_new_tokens = 100 ),
     max_out_len = 100 ,
     max_seq_len = 512 ,
     batch_size = 2 ,
     concurrency = 1 ,
     #  meta_template=internlm_meta_template,
     run_cfg = dict ( num_gpus = 1 , num_procs = 1 ),
)
models = [ internlm2_chat_7b ]

¡Empieza la evaluación!

python run.py configs/eval_turbomind.py -w 指定结果保存路径

Evaluación cuantitativa de caché KV

Convertir a TurbMind

lmdeploy convert internlm2-chat-7b  模型路径 --dst-path 转换后模型路径

Calcular y obtener parámetros de cuantificación.

 # 计算
lmdeploy lite calibrate 模型路径 --calib-dataset ' ptb ' --calib-samples 128 --calib-seqlen 2048 --work-dir 参数保存路径
# 获取量化参数
lmdeploy lite kv_qparams 参数保存路径 转换后模型路径/triton_models/weights/ --num-tp 1

Cambie quant_policy a 4 y cambie la ruta en la config anterior
¡Empieza la evaluación!

python run.py configs/eval_turbomind.py -w 结果保存路径

Los archivos de resultados y los conjuntos de datos de evaluación se pueden obtener en el archivo de resultados en el mismo directorio.

?Agradecimientos

Miembros del proyecto

Zhang Youdong: líder del proyecto (el asistente de enseñanza del campamento práctico Puyu, miembro de Datawhale, es responsable de la capacitación del modelo, la implementación de la aplicación OpenXlab, la recopilación de datos, la organización del contenido RAG y la planificación de ajuste de InternLM2-Math-Plus)
Song Zhixue - líder del proyecto (el académico miembro de Datawhale y el asistente de enseñanza del campamento práctico de Puyu son responsables de la planificación del proyecto, marco RAG)
Xiao Hongru: líder del proyecto (el académico de la Universidad Tongji, miembro de Datawhale y asistente de enseñanza del campamento práctico de Puyu, es responsable de la recopilación de datos, la clasificación y mejora del conjunto de datos, la cuantificación y evaluación del modelo, la inferencia y verificación de RAG)
Cheng Hong (asistente de enseñanza del campamento práctico Scholar·Puyu y asistente de enseñanza de Datawhale Jingying InternLM2-Math-Plus-7B Ajuste e implementación del modelo)
Mo Baoqi (Ajuste fino del modelo LM2-Math-Plus-1.8B del Instituto de Investigación de Ingeniería Yuchai)
Chen Fuyuan (pasante de ajuste del modelo LM2-Math-Plus-20B de la Universidad de Ciencias Políticas y Derecho de Gansu)
Gong Heyang (Ph.D. en Estadística, Universidad de Ciencia y Tecnología de China, cuantificación del modelo LMDeploy)
Jie Rongyang (miembro de datawhale, compilación de contenido RAG de recopilación de datos del Instituto de Tecnología de Harbin (Weihai))
Peng Chen (recopilación de datos de miembros de Datawhale)
Wang Xinming (recopilación de datos)
Liu Zhiwen (recopilación de datos de la Universidad de Mujeres de Shandong, miembro de Datawhale)
Wang Ruiyue (recopilación de datos de la Universidad del Noreste)
Chen Yihan (miembro de Datawhale, recopilación de datos de la Universidad de Correos y Telecomunicaciones de Beijing)
guidons (implementación de Docker de la Universidad del Noreste)
eltociear (miembro de la junta directiva de I-Tecnology Co., Ltd., agregar README japonés)

agradecimiento especial

Gracias al Laboratorio de Inteligencia Artificial de Shanghai por organizar la actividad de aprendizaje del campamento práctico Scholar Puyu ~

Gracias a OpenXLab por su soporte de potencia informática para la implementación de proyectos ~

Gracias a Puyu Assistant por apoyar el proyecto~

¡Gracias al Laboratorio de Inteligencia Artificial de Shanghai por lanzar el Campamento Práctico de Modelo Grande Scholar·Puyu, que proporciona una valiosa orientación técnica y un potente soporte de potencia informática para nuestro proyecto!

InternLM-tutorial , InternStudio , xtuner , InternLM-Math

Citación

 @misc { 2024AMchat ,
    title = { AMchat: A large language model integrating advanced math concepts, exercises, and solutions } ,
    author = { AMchat Contributors } ,
    howpublished = { url{https://github.com/AXYZdong/AMchat} } ,
    year = { 2024 }
}