llama classification

Clasificación de textos usando LLaMA

Este repositorio proporciona una base de código básica para la clasificación de texto utilizando LLaMA.

¿Qué sistema utilizo para el desarrollo?

• Dispositivo: GPU Nvidia 1xV100
• Memoria del dispositivo: 34G
• Memoria del anfitrión: 252G

Si necesita más información sobre el hardware, abra un problema.

como usar

Configuración experimental

1. Obtenga el punto de control del repositorio oficial de LLaMA desde aquí.
   1-1. Supongo que el punto de control estaría ubicado en la dirección raíz del proyecto y el contenido se organizaría de la siguiente manera.

    checkpoints
   ├── llama
   │   ├── 7B
   │   │   ├── checklist.chk
   │   │   ├── consolidated.00.pth
   │   │   └── params.json
   │   └── tokenizer.model
   

2. Prepare su entorno Python. Recomiendo usar anaconda para segregar la versión CUDA de su máquina local.

   conda create -y -n llama-classification python=3.8
   conda activate llama-classification
   conda install cudatoolkit=11.7 -y -c nvidia
   conda list cudatoolkit # to check what cuda version is installed (11.7)
   pip install -r requirements.txt

Método: Directo

Direct es comparar la probabilidad condicional p(y|x) .

1. Preprocese los datos de los conjuntos de datos de Huggingface utilizando los siguientes scripts. A partir de ahora utilizaremos el conjunto de datos ag_news.

   python run_preprocess_direct_ag_news.py
   python run_preprocess_direct_ag_news.py --sample=False --data_path=real/inputs_direct_ag_news.json # Use it for full evaluation

2. Inferencia para calcular la probabilidad condicional usando LLaMA y predecir clase.

   torchrun --nproc_per_node 1 run_evaluate_direct_llama.py 
       --data_path samples/inputs_direct_ag_news.json 
       --output_path samples/outputs_direct_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Calibration consiste en mejorar el método directo con el método de calibración.

1. Calibre usando el siguiente comando.

   torchrun --nproc_per_node 1 run_evaluate_direct_calibrate_llama.py 
       --direct_input_path samples/inputs_direct_ag_news.json 
       --direct_output_path samples/outputs_direct_ag_news.json 
       --output_path samples/outputs_direct_calibrate_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Método: Canal

Channel es comparar la probabilidad condicional p(x|y) .

1. Preprocese los datos de los conjuntos de datos de Huggingface utilizando los siguientes scripts. A partir de ahora utilizaremos el conjunto de datos ag_news.

   python run_preprocess_channel_ag_news.py
   python run_preprocess_channel_ag_news.py --sample=False --data_path=real/inputs_channel_ag_news.json # Use it for full evaluation

2. Inferencia para calcular la probabilidad condicional usando LLaMA y predecir clase.

   torchrun --nproc_per_node 1 run_evaluate_channel_llama.py 
       --data_path samples/inputs_channel_ag_news.json 
       --output_path samples/outputs_channel_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Método: Generación pura

1. Para evaluar usando el modo generate , puede usar la versión directa preprocesada.

   torchrun --nproc_per_node 1 run_evaluate_generate_llama.py 
       --data_path samples/inputs_direct_ag_news.json 
       --output_path samples/outputs_generate_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

experimentos

Conjunto de datos	num_ejemplos	k	método	exactitud	tiempo de inferencia
noticias_ag	7600	1	directo	0.7682	00:38:40
noticias_ag	7600	1	directo+calibrado	0.8567	00:38:40
noticias_ag	7600	1	canal	0,7825	00:38:37

lista de tareas pendientes

• Implementar el método del canal
• informe experimental
  • Directo
  • Canal
  • Generación
• Implementar otro método de calibración
• Admite otros conjuntos de datos dentro de los conjuntos de datos de Huggingface
• Implementar LLM.int8
• Otra métrica de evaluación para medir las diferentes características del modelo de cimentación (LLaMA)

Observación final

• Realmente aprecio que el equipo del proyecto LLaMA publique un punto de control y su código de inferencia eficiente. Gran parte del trabajo en este repositorio se realiza basándose en el repositorio oficial.
• Para el lector, no dude en abrir un problema o realizar solicitudes. me puedes dar..
  • Cualquier problema relacionado con otras solicitudes de funciones
  • Cualquier problema sobre la implementación detallada
  • Cualquier discusión sobre la dirección de la investigación.

Citación

Sería bienvenido citar mi trabajo si utiliza mi código base para su investigación.

 @software{Lee_Simple_Text_Classification_2023,
    author = {Lee, Seonghyeon},
    month = {3},
    title = {{Simple Text Classification Codebase using LLaMA}},
    url = {https://github.com/github/sh0416/llama-classification},
    version = {1.1.0},
    year = {2023}
}