llama classification

LLaMAを使用したテキスト分類

このリポジトリは、LLaMA を使用したテキスト分類のための基本的なコードベースを提供します。

開発にはどのようなシステムを使用しますか?

• デバイス: Nvidia 1xV100 GPU
• デバイスメモリ: 34G
• ホストメモリ: 252G

ハードウェアに関するその他の情報が必要な場合は、問題を開いてください。

使用方法

実験装置

1. ここから公式 LLaMA リポジトリからチェックポイントを取得します。
   1-1.チェックポイントはプロジェクトのルート方向にあり、内容は以下のような配置になると思います。

    checkpoints
   ├── llama
   │   ├── 7B
   │   │   ├── checklist.chk
   │   │   ├── consolidated.00.pth
   │   │   └── params.json
   │   └── tokenizer.model
   

2. Python 環境を準備します。 anaconda を使用してローカル マシンの CUDA バージョンを分離することをお勧めします。

   conda create -y -n llama-classification python=3.8
   conda activate llama-classification
   conda install cudatoolkit=11.7 -y -c nvidia
   conda list cudatoolkit # to check what cuda version is installed (11.7)
   pip install -r requirements.txt

方法: 直接

Direct条件付き確率p(y|x)を比較することです。

1. 次のスクリプトを使用して、huggingface データセットからのデータを前処理します。これからは、ag_news データセットを使用します。

   python run_preprocess_direct_ag_news.py
   python run_preprocess_direct_ag_news.py --sample=False --data_path=real/inputs_direct_ag_news.json # Use it for full evaluation

2. LLaMA を使用して条件付き確率を計算し、クラスを予測する推論。

   torchrun --nproc_per_node 1 run_evaluate_direct_llama.py 
       --data_path samples/inputs_direct_ag_news.json 
       --output_path samples/outputs_direct_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Calibration 、直接法をキャリブレーション法で改良したものです。

1. 次のコマンドを使用して調整します。

   torchrun --nproc_per_node 1 run_evaluate_direct_calibrate_llama.py 
       --direct_input_path samples/inputs_direct_ag_news.json 
       --direct_output_path samples/outputs_direct_ag_news.json 
       --output_path samples/outputs_direct_calibrate_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

メソッド: チャネル

Channelは、条件付き確率p(x|y)を比較します。

1. 次のスクリプトを使用して、huggingface データセットからのデータを前処理します。これからは、ag_news データセットを使用します。

   python run_preprocess_channel_ag_news.py
   python run_preprocess_channel_ag_news.py --sample=False --data_path=real/inputs_channel_ag_news.json # Use it for full evaluation

2. LLaMA を使用して条件付き確率を計算し、クラスを予測する推論。

   torchrun --nproc_per_node 1 run_evaluate_channel_llama.py 
       --data_path samples/inputs_channel_ag_news.json 
       --output_path samples/outputs_channel_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

方法: 純粋な生成

1. generateモードを使用して評価するには、前処理された直接バージョンを使用できます。

   torchrun --nproc_per_node 1 run_evaluate_generate_llama.py 
       --data_path samples/inputs_direct_ag_news.json 
       --output_path samples/outputs_generate_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

実験

データセット	num_examples	k	方法	正確さ	推論時間
ag_ニュース	7600	1	直接	0.7682	00:38:40
ag_ニュース	7600	1	直接+校正済み	0.8567	00:38:40
ag_ニュース	7600	1	チャネル	0.7825	00:38:37

Todoリスト

• チャネルメソッドの実装
• 実験報告書
  • 直接
  • チャネル
  • 世代
• 他のキャリブレーション方法を実装する
• ハグフェイス データセット内の他のデータセットをサポートする
• LLM.int8を実装する
• 基礎モデルの異なる特性を測定するその他の評価指標 (LLaMA)

最後のコメント

• LLaMA プロジェクト チームがチェックポイントと効率的な推論コードを公開してくれたことに本当に感謝しています。このリポジトリの作業の多くは、公式リポジトリに基づいて行われます。
• 読者の皆様は、遠慮せずに Issue やプルリクエストをオープンしてください。あげてもいいよ..
  • その他の機能リクエストに関する問題
  • 詳細な実装に関する問題
  • 研究の方向性に関するあらゆる議論

引用

研究に私のコードベースを使用する場合は、私の作品を引用することを歓迎します。

 @software{Lee_Simple_Text_Classification_2023,
    author = {Lee, Seonghyeon},
    month = {3},
    title = {{Simple Text Classification Codebase using LLaMA}},
    url = {https://github.com/github/sh0416/llama-classification},
    version = {1.1.0},
    year = {2023}
}