llama classification

Классификация текста с использованием LLaMA

Этот репозиторий предоставляет базовую базу кода для классификации текста с использованием LLaMA.

Какую систему я использую для разработки?

• Устройство: графический процессор Nvidia 1xV100.
• Память устройства: 34 ГБ
• Хост-память: 252 ГБ

Если вам нужна другая информация об оборудовании, пожалуйста, откройте проблему.

Как использовать

Экспериментальная установка

1. Получите контрольную точку из официального репозитория LLaMA отсюда.
   1-1. Я предполагаю, что контрольная точка будет расположена в корневом направлении проекта, а содержимое будет организовано следующим образом.

    checkpoints
   ├── llama
   │   ├── 7B
   │   │   ├── checklist.chk
   │   │   ├── consolidated.00.pth
   │   │   └── params.json
   │   └── tokenizer.model
   

2. Подготовьте среду Python. Я рекомендую использовать anaconda для разделения версии CUDA на вашем локальном компьютере.

   conda create -y -n llama-classification python=3.8
   conda activate llama-classification
   conda install cudatoolkit=11.7 -y -c nvidia
   conda list cudatoolkit # to check what cuda version is installed (11.7)
   pip install -r requirements.txt

Метод: Прямой

Direct заключается в сравнении условной вероятности p(y|x) .

1. Предварительно обработайте данные из наборов данных Huggingface, используя следующие сценарии. С этого момента мы используем набор данных ag_news.

   python run_preprocess_direct_ag_news.py
   python run_preprocess_direct_ag_news.py --sample=False --data_path=real/inputs_direct_ag_news.json # Use it for full evaluation

2. Вывод для вычисления условной вероятности с использованием LLaMA и класса прогнозирования.

   torchrun --nproc_per_node 1 run_evaluate_direct_llama.py 
       --data_path samples/inputs_direct_ag_news.json 
       --output_path samples/outputs_direct_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Calibration заключается в усовершенствовании прямого метода методом калибровки.

1. Откалибруйте с помощью следующей команды.

   torchrun --nproc_per_node 1 run_evaluate_direct_calibrate_llama.py 
       --direct_input_path samples/inputs_direct_ag_news.json 
       --direct_output_path samples/outputs_direct_ag_news.json 
       --output_path samples/outputs_direct_calibrate_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Метод: Канал

Channel предназначен для сравнения условной вероятности p(x|y) .

1. Предварительно обработайте данные из наборов данных Huggingface, используя следующие сценарии. С этого момента мы используем набор данных ag_news.

   python run_preprocess_channel_ag_news.py
   python run_preprocess_channel_ag_news.py --sample=False --data_path=real/inputs_channel_ag_news.json # Use it for full evaluation

2. Вывод для вычисления условной вероятности с использованием LLaMA и класса прогнозирования.

   torchrun --nproc_per_node 1 run_evaluate_channel_llama.py 
       --data_path samples/inputs_channel_ag_news.json 
       --output_path samples/outputs_channel_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Метод: Чистая генерация

1. Для оценки с использованием режима generate вы можете использовать предварительно обработанную прямую версию.

   torchrun --nproc_per_node 1 run_evaluate_generate_llama.py 
       --data_path samples/inputs_direct_ag_news.json 
       --output_path samples/outputs_generate_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Эксперименты

Набор данных	num_examples	к	метод	точность	время вывода
ag_news	7600	1	прямой	0,7682	00:38:40
ag_news	7600	1	прямой+калиброванный	0,8567	00:38:40
ag_news	7600	1	канал	0,7825	00:38:37

Список дел

• Реализация метода канала
• Экспериментальный отчет
  • Прямой
  • Канал
  • Поколение
• Внедрить другой метод калибровки
• Поддержка другого набора данных внутри наборов данных HuggingFace.
• Реализация LLM.int8
• Другая метрика оценки для измерения различных характеристик модели фундамента (LLaMA)

Заключительное замечание

• Я очень признателен команде проекта LLaMA за публикацию контрольной точки и их эффективного кода вывода. Большая часть работы в этом репозитории выполнена на основе официального репозитория.
• Читатель: не стесняйтесь открывать вопросы или запросы на извлечение. Ты можешь дать мне..
  • Любые проблемы с другими запросами функций
  • Любые вопросы по поводу детальной реализации
  • Любая дискуссия о направлении исследования

Цитирование

Если вы воспользуетесь моей кодовой базой для своих исследований, будет приветствоваться ссылка на мою работу.

 @software{Lee_Simple_Text_Classification_2023,
    author = {Lee, Seonghyeon},
    month = {3},
    title = {{Simple Text Classification Codebase using LLaMA}},
    url = {https://github.com/github/sh0416/llama-classification},
    version = {1.1.0},
    year = {2023}
}