llama classification

Classificação de texto usando LLaMA

Este repositório fornece uma base de código básica para classificação de texto usando LLaMA.

Qual sistema devo usar para desenvolvimento?

• Dispositivo: GPU Nvidia 1xV100
• Memória do dispositivo: 34G
• Memória do host: 252G

Se você precisar de outras informações sobre hardware, abra um problema.

Como usar

Configuração experimental

1. Obtenha o ponto de verificação do repositório oficial do LLaMA aqui.
   1-1. Presumo que o ponto de verificação estaria localizado na direção raiz do projeto e o conteúdo seria organizado da seguinte forma.

    checkpoints
   ├── llama
   │   ├── 7B
   │   │   ├── checklist.chk
   │   │   ├── consolidated.00.pth
   │   │   └── params.json
   │   └── tokenizer.model
   

2. Prepare seu ambiente python. Eu recomendo usar o anaconda para segregar a versão CUDA da sua máquina local.

   conda create -y -n llama-classification python=3.8
   conda activate llama-classification
   conda install cudatoolkit=11.7 -y -c nvidia
   conda list cudatoolkit # to check what cuda version is installed (11.7)
   pip install -r requirements.txt

Método: Direto

Direct é comparar a probabilidade condicional p(y|x) .

1. Pré-processe os dados dos conjuntos de dados huggingface usando os scripts a seguir. De agora em diante, usaremos o conjunto de dados ag_news.

   python run_preprocess_direct_ag_news.py
   python run_preprocess_direct_ag_news.py --sample=False --data_path=real/inputs_direct_ag_news.json # Use it for full evaluation

2. Inferência para calcular a probabilidade condicional usando LLaMA e classe de previsão.

   torchrun --nproc_per_node 1 run_evaluate_direct_llama.py 
       --data_path samples/inputs_direct_ag_news.json 
       --output_path samples/outputs_direct_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Calibration é melhorar o método direto com o método de calibração.

1. Calibre usando o seguinte comando.

   torchrun --nproc_per_node 1 run_evaluate_direct_calibrate_llama.py 
       --direct_input_path samples/inputs_direct_ag_news.json 
       --direct_output_path samples/outputs_direct_ag_news.json 
       --output_path samples/outputs_direct_calibrate_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Método: Canal

Channel é comparar a probabilidade condicional p(x|y) .

1. Pré-processe os dados dos conjuntos de dados huggingface usando os scripts a seguir. De agora em diante, usaremos o conjunto de dados ag_news.

   python run_preprocess_channel_ag_news.py
   python run_preprocess_channel_ag_news.py --sample=False --data_path=real/inputs_channel_ag_news.json # Use it for full evaluation

2. Inferência para calcular a probabilidade condicional usando LLaMA e classe de previsão.

   torchrun --nproc_per_node 1 run_evaluate_channel_llama.py 
       --data_path samples/inputs_channel_ag_news.json 
       --output_path samples/outputs_channel_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Método: geração pura

1. Para avaliar usando o modo generate , você pode usar a versão direta pré-processada.

   torchrun --nproc_per_node 1 run_evaluate_generate_llama.py 
       --data_path samples/inputs_direct_ag_news.json 
       --output_path samples/outputs_generate_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Experimentos

Conjunto de dados	num_exemplos	k	método	precisão	tempo de inferência
ag_news	7600	1	direto	0,7682	00:38:40
ag_news	7600	1	direto+calibrado	0,8567	00:38:40
ag_news	7600	1	canal	0,7825	00:38:37

Lista de tarefas

• Implementar método de canal
• Relatório experimental
  • Direto
  • Canal
  • Geração
• Implementar outro método de calibração
• Suporta outro conjunto de dados dentro dos conjuntos de dados huggingface
• Implementar LLM.int8
• Outra métrica de avaliação para medir as diferentes características do modelo de fundação (LLaMA)

Observação final

• Agradeço muito à equipe do projeto LLaMA por publicar um ponto de verificação e seu código de inferência eficiente. Muito do trabalho neste repositório é feito com base no repositório oficial.
• Para o leitor, não hesite em abrir problemas ou solicitar solicitações. Você pode me dar..
  • Qualquer problema sobre outras solicitações de recursos
  • Qualquer problema sobre a implementação detalhada
  • Qualquer discussão sobre a direção da pesquisa

Citação

Seria bem-vindo citar meu trabalho se você usar minha base de código para sua pesquisa.

 @software{Lee_Simple_Text_Classification_2023,
    author = {Lee, Seonghyeon},
    month = {3},
    title = {{Simple Text Classification Codebase using LLaMA}},
    url = {https://github.com/github/sh0416/llama-classification},
    version = {1.1.0},
    year = {2023}
}