AMchat

AI Исходный код

1.0.0

Скачать

Большая модель продвинутой математики AMchat

?Обнимающее лицо |

Новости

[2024.08.09] Мы выпустили модель квантования Q8_0 AMchat-q8_0.gguf.

[2024.06.23] Доработка модели InternLM2-Math-Plus-20B.

[2024.06.22] InternLM2-Math-Plus-1.8B точная настройка модели, небольшой набор данных с открытым исходным кодом.

[2024.06.21] Обновлен README, тонкая настройка модели InternLM2-Math-Plus-7B.

[2024.03.24] 12 лучших в конкурсе Puyuan Large Model Series Challenge 2024 (весенний конкурс), награда за инновации и креативность.

[2024.03.14] Модель загружена на HuggingFace.

[2024.03.08] Улучшен README, добавлен каталог и технический маршрут. Добавлен README_en-US.md.

[2024.02.06] Поддерживается развертывание Docker.

[2024.02.01] Первая версия AMchat развернута онлайн https://openxlab.org.cn/apps/detail/youngdon/AMchat

Как использовать

быстрый старт

Скачать модель

Из ModelScope

Загрузка эталонной модели.

pip install modelscope

 from modelscope . hub . snapshot_download import snapshot_download
model_dir = snapshot_download ( 'yondong/AMchat' , cache_dir = './' )

ИзOpenXLab

См. модель загрузки.

pip install openxlab

 from openxlab . model import download
download ( model_repo = 'youngdon/AMchat' , 
        model_name = 'AMchat' , output = './' )

локальное развертывание

git clone https://github.com/AXYZdong/AMchat.git
python start.py

Развертывание докера

docker run -t -i --rm --gpus all -p 8501:8501 guidonsdocker/amchat:latest bash start.sh

переподготовка

Настройка среды

клонировать этот проект

git clone https://github.com/AXYZdong/AMchat.git
cd AMchat

Создайте виртуальную среду

conda env create -f environment.yml
conda activate AMchat
pip install xtuner

XTuner тонкая настройка

Подготовьте файл конфигурации

 # 列出所有内置配置
xtuner list-cfg

mkdir -p /root/math/data
mkdir /root/math/config && cd /root/math/config

xtuner copy-cfg internlm2_chat_7b_qlora_oasst1_e3 .

Загрузка модели

mkdir -p /root/math/model

download.py

 import torch
from modelscope import snapshot_download , AutoModel , AutoTokenizer
import os
model_dir = snapshot_download ( 'Shanghai_AI_Laboratory/internlm2-math-7b' , cache_dir = '/root/math/model' )

Изменить файл конфигурации

Точно настроенный файл конфигурации находится в папке config на складе. Вы можете обратиться к internlm_chat_7b_qlora_oasst1_e3_copy.py . Его можно использовать напрямую, обратите внимание на изменение путей pretrained_model_name_or_path и data_path .

 cd /root/math/config
vim internlm_chat_7b_qlora_oasst1_e3_copy.py

 # 修改模型为本地路径
- pretrained_model_name_or_path = 'internlm/internlm-chat-7b'
+ pretrained_model_name_or_path = './internlm2-math-7b'

# 修改训练数据集为本地路径
- data_path = 'timdettmers/openassistant-guanaco'
+ data_path = './data'

Начать тонкую настройку

xtuner train /root/math/config/internlm2_chat_7b_qlora_oasst1_e3_copy.py

Модель PTH преобразована в модель HuggingFace.

mkdir hf
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_chat_7b_qlora_oasst1_e3_copy.py 
                         ./work_dirs/internlm2_chat_7b_qlora_oasst1_e3_copy/epoch_3.pth 
                         ./hf

Модель HuggingFace объединена в большую языковую модель

 # 原始模型参数存放的位置
export NAME_OR_PATH_TO_LLM=/root/math/model/Shanghai_AI_Laboratory/internlm2-math-7b

# Hugging Face格式参数存放的位置
export NAME_OR_PATH_TO_ADAPTER=/root/math/config/hf

# 最终Merge后的参数存放的位置
mkdir /root/math/config/work_dirs/hf_merge
export SAVE_PATH=/root/math/config/work_dirs/hf_merge

# 执行参数Merge
xtuner convert merge 
    $NAME_OR_PATH_TO_LLM 
    $NAME_OR_PATH_TO_ADAPTER 
    $SAVE_PATH 
    --max-shard-size 2GB

Демо

streamlit run web_demo.py --server.address=0.0.0.0 --server.port 7860

Развертывание приложения OpenXLab

Вам нужно только создать форк этого репозитория, затем создать новый проект в OpenXLab, связать репозиторий Fork с новым проектом, и вы сможете развернуть AMchat в OpenXLab.

Демо

AMchat и решение InternLM2-Math-7B той же проблемы интеграции. AMchat ответил правильно, InternLM2-Math-7B ответил неправильно.

Демо

Количественная оценка LMDeploy

Сначала установите LMDeploy

pip install -U lmdeploy

Затем конвертируйте модель в формат turbomind .

--dst-path: вы можете указать место хранения преобразованной модели.

lmdeploy convert internlm2-chat-7b  要转化的模型地址 --dst-path 转换后的模型地址

Чат-чат LMDeploy

lmdeploy chat turbomind 转换后的turbomind模型地址

Обзор OpenCompass

УстановитьОткрытыйКомпас

git clone https://github.com/open-compass/opencompass
cd opencompass
pip install -e .

Загрузите разархивированный набор данных

cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip

Оценка начинается!

python run.py 
    --datasets math_gen 
    --hf-path 模型地址 
    --tokenizer-path tokenizer地址 
    --tokenizer-kwargs padding_side= ' left ' truncation= ' left '     trust_remote_code=True 
    --model-kwargs device_map= ' auto ' trust_remote_code=True 
    --max-seq-len 2048 
    --max-out-len 16 
    --batch-size 2  
    --num-gpus 1 
    --debug

Количественная и количественная оценка LMDeploy & OpenCompass

Количественная оценка W4

W4 Количественная оценка

lmdeploy lite auto_awq 要量化的模型地址 --work-dir 量化后的模型地址

Конвертировать в TurbMind

lmdeploy convert internlm2-chat-7b 量化后的模型地址  --model-format awq --group-size 128 --dst-path 转换后的模型地址

Написание оценочной config

 from mmengine . config import read_base
from opencompass . models . turbomind import TurboMindModel

with read_base ():
 # choose a list of datasets   
 from . datasets . ceval . ceval_gen import ceval_datasets 
 # and output the results in a choosen format
#  from .summarizers.medium import summarizer

datasets = [ * ceval_datasets ]

internlm2_chat_7b = dict (
     type = TurboMindModel ,
     abbr = 'internlm2-chat-7b-turbomind' ,
     path = '转换后的模型地址' ,
     engine_config = dict ( session_len = 512 ,
         max_batch_size = 2 ,
         rope_scaling_factor = 1.0 ),
     gen_config = dict ( top_k = 1 ,
         top_p = 0.8 ,
         temperature = 1.0 ,
         max_new_tokens = 100 ),
     max_out_len = 100 ,
     max_seq_len = 512 ,
     batch_size = 2 ,
     concurrency = 1 ,
     #  meta_template=internlm_meta_template,
     run_cfg = dict ( num_gpus = 1 , num_procs = 1 ),
)
models = [ internlm2_chat_7b ]

Оценка начинается!

python run.py configs/eval_turbomind.py -w 指定结果保存路径

Количественная оценка KV-кэша

Конвертировать в TurbMind

lmdeploy convert internlm2-chat-7b  模型路径 --dst-path 转换后模型路径

Рассчитать и получить параметры квантования

 # 计算
lmdeploy lite calibrate 模型路径 --calib-dataset ' ptb ' --calib-samples 128 --calib-seqlen 2048 --work-dir 参数保存路径
# 获取量化参数
lmdeploy lite kv_qparams 参数保存路径 转换后模型路径/triton_models/weights/ --num-tp 1

Измените quant_policy на 4 и измените путь в приведенной выше config
Оценка начинается!

python run.py configs/eval_turbomind.py -w 结果保存路径

Файлы результатов и наборы данных оценки можно получить в файле результатов в том же каталоге.

?

Участники проекта

Чжан Юдун - руководитель проекта (помощник преподавателя практического лагеря Пую, член Datawhale, отвечает за обучение моделей, развертывание приложений OpenXlab, сбор данных, организацию контента RAG, планирование тонкой настройки InternLM2-Math-Plus)
Сун Чжисюэ - руководитель проекта (ученый-член Datawhale и помощник преподавателя практического лагеря Пую отвечает за планирование проекта, структуру RAG)
Сяо Хунру - руководитель проекта (член Datawhale, ученый из Университета Тунцзи и помощник преподавателя практического лагеря Пую, отвечает за сбор данных, сортировку и улучшение набора данных, количественную оценку и оценку модели, выводы и проверку RAG)
Ченг Хун (ассистент преподавателя практического лагеря Scholar·Puyu и ассистент преподавателя Datawhale Jingying InternLM2-Math-Plus-7B по точной настройке и развертыванию модели)
Мо Баоци (Ючайский инженерно-исследовательский институт, стажер LM2-Math-Plus-1.8B, точная настройка модели)
Чэнь Фуюань (стажер Университета политических наук и права Ганьсу, точная настройка модели LM2-Math-Plus-20B)
Гонг Хэян (доктор философии по статистике, Университет науки и технологий Китая, количественная оценка модели LMDeploy)
Цзе Жунъян (член datawhale Харбинского технологического института (Вэйхай), сбор данных, компиляция контента RAG)
Пэн Чен (сбор данных участников Datawhale)
Ван Синьмин (сбор данных)
Лю Чживэнь (сбор данных из Женского университета Шаньдуна, член Datawhale)
Ван Жуюэ (сбор данных Северо-Восточного университета)
Чэнь Ихан (член Datawhale, сбор данных Пекинского университета почты и телекоммуникаций)
guidons (развертывание докера Северо-Восточного университета)
eltociear (член правления I-Tecnology Co., Ltd., добавьте README на японском языке)

особое спасибо

Благодарим Шанхайскую лабораторию искусственного интеллекта за организацию учебного практического лагеря для ученых Пую~

Спасибо OpenXLab за поддержку вычислительной мощности при развертывании проектов~

Спасибо Puyu Assistant за поддержку проекта~

Благодарим Шанхайскую лабораторию искусственного интеллекта за запуск практического лагеря больших моделей Scholar·Puyu, который предоставляет ценные технические рекомендации и мощную вычислительную поддержку для нашего проекта!

InternLM-учебник , InternStudio , xtuner , InternLM-Math

Цитирование

 @misc { 2024AMchat ,
    title = { AMchat: A large language model integrating advanced math concepts, exercises, and solutions } ,
    author = { AMchat Contributors } ,
    howpublished = { url{https://github.com/AXYZdong/AMchat} } ,
    year = { 2024 }
}