Inicio>Relacionado con la programación>Código Fuente de IA
Descargar

chino | inglés




Vídeotutorial Instalación e implementación experiencia en línea

⚡Características:

  1. Se agregó la implementación de ajuste de ChatGPT y recomendó amigos con créditos para realizar experimentos de ajuste en ChatGPT;
  2. Admite el modelo de ajuste de implementación ChatGPT-Next-Web;
  3. Admite modelos de ajuste fino de implementación de Gradio;
  4. Admite entrenamiento de modelos de serie completa LLaMA y LLaMA-2;
  5. Admite LoRA y QLoRA, incluida la posterior capacitación de aprendizaje reforzado de PPO y DPO;
  6. Admite preguntas y respuestas combinadas con modelos y base de conocimientos;
  7. Información de material de orientación médica de código abierto para más de 60 departamentos hospitalarios;
  8. Se desarrolló una herramienta para respaldar la destilación de datos médicos del modelo GPT-4/ChatGPT, que puede generar por lotes diversos datos para crear una base de conocimientos y realizar ajustes;
  9. Agrega una gran cantidad de LLM médicos de código abierto, datos médicos para capacitación de LLM, datos de implementación de LLM, evaluación de LLM y recopilación de recursos de LLM relacionados;
  10. Participamos en la evaluación de la lista CMB de LLM médicos: IvyGPT. En la prueba, estábamos por delante de ChatGPT y de varios LLM médicos de código abierto;
  11. Contamos con múltiples LLM médicos de código abierto capacitados en diferentes LLM básicos basados ​​en nuestros propios conjuntos de datos. Puede descargarlos directamente para experimentar;
Logo

?Conjunto de datos

Datos previos al entrenamiento

  • LLM-Pretrain-FineTune/data_pretrain
  • MédicoGPT/preentrenamiento
  • zyj
  • TCM-Ancient-Books (casi 700 textos antiguos de medicina china)
  • epfl-llm/directrices

Datos de entrenamiento supervisados

  • icliniq-10k(es)
  • HealthCareMagic-100k(es)
  • ShenNong_TCM_Dataset
  • ✅ChatMed_Consult_Dataset
  • Datos-de-diálogo-médico-chino
  • cMedQA2
  • ✅Huatuo-26M
  • cMedQA2
  • webMedQA
  • PubMedQA
  • CMCQA
  • ✅QiZhenGPT
  • ✅LLM-Pretrain-FineTune/data_sft
  • Sistema de diálogo médico
  • IMCS-V2
  • CHIP-MDCFNPC
  • MedDG
  • ✅HuatuoGPT-sft-datos-v1
  • MédicoGPT/ajuste fino
  • ✅shibing624/médico
  • medAlpaca/datos
  • ✅Zhongjing/sft
  • diálogo_medico
  • huatuo_enciclopedia_qa
  • Med-ChatGLM/datos
  • CMB
  • GenMedGPT-5k(es)
  • Alpaca-CoT(general)
  • ✅DISC-Med-SFT
  • ✅HuatuoGPT2_sft_instruct
  • LibertadInteligencia/Medbase_data
  • openmedlab/Impresionante-conjunto-de-datos-médicos

Datos de entrenamiento de recompensa

  • GPT médico/recompensa
  • Zhongjing/rw
  • comparación_gpt4_data
  • HH-RLHF
  • Ultrafeedback

?️Capacitación del proceso completo

1. Instalar dependencias 

 conda create - n llm python = 3.11
conda activate llm
python - m pip install - r requirements . txt
  • Descarga del modelo LLaMA: https://blog.csdn.net/u014297502/article/details/129829677 
 # 转为HF格式
python - m transformers . models . llama . convert_llama_weights_to_hf 
    - - input_dir path_to_llama_weights - - model_size 7 B - - output_dir path_to_llama_model
  • Descarga del modelo LLaMA-2: https://huggingface.co/meta-llama

2.Configuración de datos

Configuración del conjunto de datos, formato de datos PT, SFT, RW

información_conjunto_datos

Si utiliza un conjunto de datos personalizado, asegúrese de proporcionar su definición de conjunto de datos en el archivo dataset_info.json en el siguiente formato. 

 "数据集名称" : {
  "hf_hub_url" : " HuggingFace上的项目地址（若指定，则忽略下列三个参数） " ,
  "script_url" : "包含数据加载脚本的本地文件夹名称（若指定，则忽略下列两个参数） " ,
  "file_name" : "该目录下数据集文件的名称（若上述参数未指定，则此项必需） " ,
  "file_sha1" : "数据集文件的SHA-1哈希值（可选） " ,
  "columns" : {
    "prompt" : "数据集代表提示词的表头名称（默认：instruction） " ,
    "query" : "数据集代表请求的表头名称（默认：input） " ,
    "response" : "数据集代表回答的表头名称（默认：output） " ,
    "history" : "数据集代表历史对话的表头名称（默认：None） "
  }
}

Las columnas prompt y response no deben ser cadenas vacías. El contenido de la columna de query se concatenará con la columna prompt como entrada del modelo. La columna history debe ser una lista, donde cada elemento es una tupla de cadena que representa la solicitud del usuario y la respuesta del modelo, respectivamente.

Datos de ejemplo de PT

Formato .txt , un dato no supervisado por línea. 

Machine learning (ML) is a field devoted to understanding and building methods that let machines "learn" – that is, methods that leverage data to improve computer performance on some set of tasks.
Machine learning algorithms build a model based on sample data, known as training data, in order to make predictions or decisions without being explicitly programmed to do so. Machine learning algorithms are used in a wide variety of applications, such as in medicine, email filtering, speech recognition, agriculture, and computer vision, where it is difficult or unfeasible to develop conventional algorithms to perform the needed tasks.

Datos de ejemplo SFT 1 

[
  {
    "instruction" : "听起来很不错。人工智能可能在哪些方面面临挑战呢？ " ,
    "input" : " " ,
    "output" : "人工智能面临的挑战包括数据隐私、安全和道德方面的问题，以及影响就业机会的自动化等问题。 " ,
    "history" : [
      [ "你好，你能帮我解答一个问题吗？ " , "当然，请问有什么问题？ " ],
      [ "我想了解人工智能的未来发展方向，你有什么想法吗？ " , "人工智能在未来的发展方向可能包括更强大的机器学习算法，更先进的自然语言处理技术，以及更加智能的机器人。 " ]
    ]
  }
]

Datos de ejemplo de SFT 2 

[
  {
    "instruction" : "听起来很不错。人工智能可能在哪些方面面临挑战呢？ " ,
    "input" : " " ,
    "output" : "人工智能面临的挑战包括数据隐私、安全和道德方面的问题，以及影响就业机会的自动化等问题。 " ,
    "history" : []
  }
]

Datos de ejemplo de RW 

[
  {
    "instruction" : "生成三个与“道歉”意思相同的动词" ,
    "input" : " " ,
    "output" : [
      "承认，表示遗憾，弥补。 " ,
      "道歉"
    ]
  }
]

3. Configuración de entrenamiento

Parámetros e instrucciones de entrenamiento.

Configurar distribuido

Compruebe si su tarjeta gráfica está conectada con NVLINK. Solo con la conexión NVLINK puede utilizar accelerate de manera efectiva para el entrenamiento acelerado en paralelo. 

 nvidia-smi topo -m

 accelerate config # configure the environment
accelerate launch src / train_bash . py # arguments (same as above)

Entrenamiento supervisado 

 # LLaMA-2
accelerate launch src / train_bash . py 
    - - stage sft 
    - - model_name_or_path . / Llama - 2 - 7 b - chat - hf 
    - - do_train 
    - - dataset mm 
    - - finetuning_type lora 
    - - quantization_bit 4 
    - - overwrite_cache 
    - - output_dir output 
    - - per_device_train_batch_size 8 
    - - gradient_accumulation_steps 4 
    - - lr_scheduler_type cosine 
    - - logging_steps 10 
    - - save_steps 1000 
    - - learning_rate 5e-5 
    - - num_train_epochs 2.0 
    - - plot_loss 
    - - fp16 
    - - template llama2 
    - - lora_target q_proj , v_proj

# LLaMA
accelerate launch src / train_bash . py 
    - - stage sft 
    - - model_name_or_path . / Llama - 7 b - hf 
    - - do_train 
    - - dataset mm , hm 
    - - finetuning_type lora 
    - - overwrite_cache 
    - - output_dir output - 1 
    - - per_device_train_batch_size 4 
    - - gradient_accumulation_steps 4 
    - - lr_scheduler_type cosine 
    - - logging_steps 10 
    - - save_steps 2000 
    - - learning_rate 5e-5 
    - - num_train_epochs 2.0 
    - - plot_loss 
    - - fp16 
    - - template default 
    - - lora_target q_proj , v_proj

aprendizaje por refuerzo 

 # LLaMA-2, DPO
accelerate launch src / train_bash . py 
    - - stage dpo 
    - - model_name_or_path . / Llama - 2 - 7 b - chat - hf 
    - - do_train 
    - - dataset rlhf 
    - - template llama2 
    - - finetuning_type lora 
    - - quantization_bit 4 
    - - lora_target q_proj , v_proj 
    - - resume_lora_training False 
    - - checkpoint_dir . / output - 2 
    - - output_dir output - dpo 
    - - per_device_train_batch_size 2 
    - - gradient_accumulation_steps 4 
    - - lr_scheduler_type cosine 
    - - logging_steps 10 
    - - save_steps 1000 
    - - learning_rate 1e-5 
    - - num_train_epochs 1.0 
    - - plot_loss 
    - - fp16

4. Configuración de inferencia

Parámetros e instrucciones de inferencia.

acceso web 

 # LLaMA-2
python src / web_demo . py 
    - - model_name_or_path . / Llama - 2 - 7 b - chat - hf 
    - - checkpoint_dir output 
    - - finetuning_type lora 
    - - template llama2

# LLaMA
python src / web_demo . py 
    - - model_name_or_path . / Llama - 7 b - hf 
    - - checkpoint_dir output - 1 
    - - finetuning_type lora 
    - - template default

# DPO
python src / web_demo . py 
    - - model_name_or_path . / Llama - 2 - 7 b - chat - hf 
    - - checkpoint_dir output - dpo 
    - - finetuning_type lora 
    - - template llama2

Acceso API 

 # LLaMA-2
python src / api_demo . py 
    - - model_name_or_path . / Llama - 2 - 7 b - chat - hf 
    - - checkpoint_dir output 
    - - finetuning_type lora 
    - - template llama2

# LLaMA
python src / api_demo . py 
    - - model_name_or_path . / Llama - 7 b - hf 
    - - checkpoint_dir output - 1 
    - - finetuning_type lora 
    - - template default

# DPO
python src / api_demo . py 
    - - model_name_or_path . / Llama - 2 - 7 b - chat - hf 
    - - checkpoint_dir output - dpo 
    - - finetuning_type lora 
    - - template llama2

API de prueba: 

 curl - X 'POST' 
    'http://127.0.0.1:8888/v1/chat/completions' 
    - H 'accept: application/json' 
    - H 'Content-Type: application/json' 
    - d ' {
    "model" : "string",
    "messages": [
      {
        "role" : "user",
        "content": "你好"
      }
    ],
    " temperature ": 0 ,
    "top_p" : 0 ,
    "max_new_tokens" : 0 ,
    "stream" : false
  }'

Acceso CLI 

 # LLaMA-2
python src / cli_demo . py 
    - - model_name_or_path . / Llama - 2 - 7 b - chat - hf 
    - - checkpoint_dir output 
    - - finetuning_type lora 
    - - template llama2

# LLaMA
python src / cli_demo . py 
    - - model_name_or_path . / Llama - 7 b - hf 
    - - checkpoint_dir output - 1 
    - - finetuning_type lora 
    - - template default

# DPO
python src / cli_demo . py 
    - - model_name_or_path . / Llama - 2 - 7 b - chat - hf 
    - - checkpoint_dir output - dpo 
    - - finetuning_type lora 
    - - template llama2

Predicción por lotes 

 # LLaMA-2
CUDA_VISIBLE_DEVICES = 0 python src / train_bash . py 
    - - stage sft 
    - - model_name_or_path . / Llama - 2 - 7 b - chat - hf 
    - - do_predict 
    - - dataset mm 
    - - template llama2 
    - - finetuning_type lora 
    - - checkpoint_dir output 
    - - output_dir predict_output 
    - - per_device_eval_batch_size 8 
    - - max_samples 100 
    - - predict_with_generate

# LLaMA
CUDA_VISIBLE_DEVICES = 0 python src / train_bash . py 
    - - stage sft 
    - - model_name_or_path . / Llama - 7 b - hf 
    - - do_predict 
    - - dataset mm 
    - - template default 
    - - finetuning_type lora 
    - - checkpoint_dir output - 1 
    - - output_dir predict_output 
    - - per_device_eval_batch_size 8 
    - - max_samples 100 
    - - predict_with_generate

Evaluación experimental (BLEU y ROUGE_CHINESE) 

 # LLaMA-2
CUDA_VISIBLE_DEVICES = 0 python src / train_bash . py 
    - - stage sft 
    - - model_name_or_path . / Llama - 2 - 7 b - chat - hf 
    - - do_eval 
    - - dataset mm 
    - - template llama2 
    - - finetuning_type lora 
    - - checkpoint_dir output 
    - - output_dir eval_output 
    - - per_device_eval_batch_size 8 
    - - max_samples 100 
    - - predict_with_generate

# LLaMA
CUDA_VISIBLE_DEVICES = 0 python src / train_bash . py 
    - - stage sft 
    - - model_name_or_path . / Llama - 7 b - hf 
    - - do_eval 
    - - dataset mm 
    - - template default 
    - - finetuning_type lora 
    - - checkpoint_dir output - 1 
    - - output_dir eval_output 
    - - per_device_eval_batch_size 8 
    - - max_samples 100 
    - - predict_with_generate

Para evaluación de 4/8 bits, se recomienda utilizar --per_device_eval_batch_size=1 y --max_target_length 128

5.Implementación de Gradio

Instrucciones de implementación de Gradio

Exportación de modelos 

 # LLaMA-2
python src / export_model . py 
    - - model_name_or_path . / Llama - 2 - 7 b - chat - hf 
    - - template llama2 
    - - finetuning_type lora 
    - - checkpoint_dir output - 1 
    - - output_dir output_export

# LLaMA
python src / export_model . py 
    - - model_name_or_path . / Llama - 7 b - hf 
    - - template default 
    - - finetuning_type lora 
    - - checkpoint_dir output 
    - - output_dir output_export

empezar a correr 

 % cd Gradio
python app . py

6.Implementación de ChatGPT-Next-Web

Siguientes instrucciones de implementación

Iniciar servicio API 

 # LLaMA-2
python src / api_demo . py 
    - - model_name_or_path . / Llama - 2 - 7 b - chat - hf 
    - - checkpoint_dir output 
    - - finetuning_type lora 
    - - template llama2

# LLaMA
python src / api_demo . py 
    - - model_name_or_path . / Llama - 7 b - hf 
    - - checkpoint_dir output - 1 
    - - finetuning_type lora 
    - - template default

Descargar Siguiente y ejecutar

  1. DescargarSiguiente:
  1. Modifique la configuración: instale y abra Siguiente, luego abra设置, modifique接口地址a: http://127.0.0.1:8000/ (es decir, la dirección de su interfaz API) y luego podrá usarla.

?Experiencia práctica

  1. En CareGPT, la segmentación de palabras chinas no se agrega ni se reentrena al modelo de segmentación de palabras, pero el efecto sigue siendo prometedor;
  2. Todo el proceso de formación de LLM incluye: formación previa, ajuste fino supervisado, modelo de recompensa y aprendizaje reforzado. En la mayoría de los casos, el ajuste fino supervisado puede satisfacer sus propias necesidades ;
  3. Cuando la potencia informática es suficiente, se recomienda utilizar datos médicos y datos de corpus generales para la capacitación , de modo que el modelo no solo pueda tener capacitación y aprendizaje médicos, sino que también mantenga capacidades generales (como seguir instrucciones);
  4. No espere que un LLM médico pueda satisfacer todas las necesidades. Un enfoque razonable puede ser una base de conocimientos actualizada en tiempo real + un LLM médico ajustado (como ChatLaw);
  5. La serie de modelos BLOOMZ se entrenó utilizando el corpus PILE, que contiene varios textos médicos, incluidos PubMed Central y PubMed Abstracts . Estos valiosos textos han enriquecido enormemente el sistema de conocimiento médico del modelo BLOOMZ, por lo que muchos proyectos de código abierto darán prioridad a BLOOMZ como modelo base para el ajuste médico;
  6. (2023.08.26) ChatGPT está entrenado en base a Code GPT. ¿Utilizaremos CodeLLaMA para ajustar las tareas posteriores y lograr mejores resultados que el ajuste fino en LLaMA-1/2?
  7. La combinación de nuestro trabajo reciente con muchos trabajos publicados recientemente demuestra: en la era LLM,质量> 数量es la verdad, como: ¡Menos es más! Entregado a Qingyuan && Caspian Utilice 200 datos para ajustar el modelo, superando ¡MiniGPT-4! , los datos SFT a gran escala debilitarán el LLM de tareas posteriores o perderán ICL, CoT y otras capacidades;
  8. Para los modelos verticales, tal vez deberíamos prestar más atención al proceso de PT en lugar de recopilar decenas de millones de datos SFT para el entrenamiento. Nuestra sugerencia es大规模预训练+小规模监督微调=超强的LLM模型;
  9. Aún no se ha abierto un buen LLM médico previamente capacitado en la comunidad de código abierto, y espero que alguien pueda complementar ese trabajo;
  10. ¿La capacitación previa puede infundir conocimiento, mientras que el ajuste fino supervisado solo activa las capacidades del dominio (no puede centrarse en el conocimiento)? ¿El conocimiento previo a la capacitación debería reflejar el conocimiento de ajuste supervisado? ¿Las decenas de GB de conocimiento del corpus pre-entrenado se verán abrumadas por el conocimiento del modelo original pre-entrenado de billones de tokens?
  11. El preentrenamiento secundario de una gran cantidad de datos requiere comparar varios tipos de otros datos: (1) Una vez completado el entrenamiento del modelo de lenguaje, se han determinado las partes responsables de cada área de los parámetros si se tiene una gran cantidad de conocimiento. Si se agrega algo que no está disponible durante el entrenamiento previo, los parámetros aumentarán. Los cambios de amplitud causarán la pérdida de toda la capacidad del modelo de lenguaje. (2) Para el entrenamiento previo secundario de datos a gran escala, los datos en el original son de 5 a 10 veces; la capacitación previa debe agregarse, mezclarse y capacitarse en conjunto;
  12. La fase de ajuste de la instrucción no puede realizar demasiadas rondas de capacitación: (1) Entrenar múltiples EPOCH con una pequeña cantidad de datos puede provocar cambios en áreas clave del lenguaje, lo que provocará la falla de todo el modelo; -ajuste para mejoras de tareas específicas. Para garantizar que las áreas clave de las capacidades del lenguaje del modelo no se ajusten significativamente, es necesario agregar datos de ajuste fino de instrucción general o datos de preentrenamiento;
  13. Los datos de entrenamiento deben controlar estrictamente el ruido: (1) Si hay una pequeña cantidad de datos de ruido continuo en los datos previos al entrenamiento, como repetición continua de palabras, secuencias sin palabras, etc., puede causar ajustes en dimensiones específicas. hacer que el PPL general del modelo fluctúe significativamente (2) Si hay una gran cantidad de fragmentos de instrucción en las instrucciones de ajuste fino supervisadas que no coinciden con el modelo de lenguaje grande original, también puede hacer que el modelo ajuste dimensiones específicas; , reduciendo así significativamente el rendimiento general del modelo;
  14. Al ajustar un modelo grande con datos mixtos de múltiples capacidades, aparecerá: alto conflicto de recursos y baja ganancia de recursos, por lo que mezclar diferentes datos para el ajuste fino requiere ciertas habilidades de ingeniería;
  15. En términos generales, existe una diferencia de rendimiento no despreciable entre lora y el ajuste completo (por ejemplo, LoRA da como resultado un rendimiento entre un 4% y un 6% menor en comparación con el ajuste fino completo);
  16. Dé prioridad al método de ajuste fino de parámetros completos para los modelos de la serie 7B. Se pueden utilizar LoRA, QLoRA y otros métodos para los modelos de parámetros 13B y superiores;
  17. Incluso si se cuantifica un modelo de parámetros muy grande, sus capacidades aún se pueden mantener bien;
  18. Aunque el entrenamiento LLM (o todos los modelos entrenados en GPU) tiene una aleatoriedad inevitable, los resultados del entrenamiento multilun siguen siendo muy consistentes;
  19. Si está limitado por la memoria de la GPU, QLoRA ofrece un compromiso rentable. Ahorra un 33% de memoria a costa de un aumento del 39% en el tiempo de ejecución;
  20. Al ajustar LLM, la elección del optimizador no es el factor principal que afecta los resultados. Ya sea AdamW, SGD con planificador o AdamW con planificador, el impacto en los resultados es mínimo;
  21. Aunque Adam a menudo se considera un optimizador que consume mucha memoria porque introduce dos nuevos parámetros para cada parámetro del modelo, esto no afecta significativamente los requisitos máximos de memoria de LLM. Esto se debe a que la mayor parte de la memoria se asignará para la multiplicación de matrices grandes en lugar de contener parámetros adicionales;
  22. Para conjuntos de datos estáticos, es posible que múltiples iteraciones, como múltiples rondas de entrenamiento, no funcionen bien. Esto a menudo conduce a un sobreajuste que empeora los resultados del entrenamiento;
  23. Si desea combinar LoRA, asegúrese de aplicarlo en todas las capas, no solo en la matriz de clave y valor, para maximizar el rendimiento del modelo;
  24. Es crucial ajustar el rango de LoRA y elegir un valor α apropiado. Para ofrecer un pequeño truco, intente establecer el valor α al doble del valor de clasificación;
  25. Una sola GPU con 14 GB de RAM puede ajustar de manera eficiente un modelo grande con 7 mil millones de parámetros en unas pocas horas. Para conjuntos de datos estáticos, es imposible convertir LLM en un "todoterreno" y tener un buen desempeño en todas las tareas básicas. Resolver este problema requiere fuentes de datos diversificadas o el uso de tecnologías distintas a LoRA;
  26. Según las recomendaciones del taller de NeurIPS, a partir del 18 de diciembre de 2023, la selección recomendada de modelos ajustados英文10B以下选择Mistral-7B中文, 10B以下选择Yi-6B 10B y 10B以上选择Qwen-14B和Yi-34B ;

Importante

¡Todos son bienvenidos a agregar nuevas experiencias a ISSUE!

11 ~ 13 La metodología proviene de 13 mil millones de modelos de lenguaje grandes. ¡Cambiar solo un peso perderá por completo la capacidad del lenguaje! Las últimas investigaciones del Laboratorio de Procesamiento del Lenguaje Natural de la Universidad de Fudan.

14 Metodología de cómo las habilidades en modelos de lenguaje grandes se ven afectadas por la composición de datos de ajuste supervisado

La metodología 17 ~ 25 proviene de la optimización LLM: interpretación de la versión china de adaptación de rango óptimo (LORA) por capas

?Modelo de código abierto

escenario Introducción a las pesas Descargar dirección Características modelo base método de ajuste fino conjunto de datos
?Supervisión y puesta a punto Los datos de diálogo de varios turnos se entrenan en base a LLaMA2-7b-Chat CareLlama2-7b-chat-sft-multi、?CareLlama2-7b-multi Excelentes habilidades de conversación en varios turnos. LLaMA2-7b-Chat QLoRA milímetros
Supervisar el ajuste Se entrenan datos ricos y eficientes del diálogo médico-paciente en base a LLaMA2-7b-Chat CareLlama2-7b-chat-sft-med Excelentes capacidades de diagnóstico de enfermedades del paciente. LLaMA2-7b-Chat QLoRA mmm
supervisar
Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo