llama classification

使用 LLaMA 进行文本分类

该存储库提供了使用 LLaMA 进行文本分类的基本代码库。

我使用什么系统进行开发？

• 设备：Nvidia 1xV100 GPU
• 设备内存：34G
• 主机内存：252G

如果您需要有关硬件的其他信息，请提出问题。

如何使用

实验装置

1. 从此处从官方 LLaMA 存储库获取检查点。
   1-1.我假设检查点位于项目根方向，内容安排如下。

    checkpoints
   ├── llama
   │   ├── 7B
   │   │   ├── checklist.chk
   │   │   ├── consolidated.00.pth
   │   │   └── params.json
   │   └── tokenizer.model
   

2. 准备你的Python环境。我建议使用 anaconda 来隔离本地计算机的 CUDA 版本。

   conda create -y -n llama-classification python=3.8
   conda activate llama-classification
   conda install cudatoolkit=11.7 -y -c nvidia
   conda list cudatoolkit # to check what cuda version is installed (11.7)
   pip install -r requirements.txt

方法：直接

Direct就是比较条件概率p(y|x) 。

1. 使用以下脚本预处理 Huggingface 数据集中的数据。从现在开始，我们使用 ag_news 数据集。

   python run_preprocess_direct_ag_news.py
   python run_preprocess_direct_ag_news.py --sample=False --data_path=real/inputs_direct_ag_news.json # Use it for full evaluation

2. 使用 LLaMA 计算条件概率并预测类别的推理。

   torchrun --nproc_per_node 1 run_evaluate_direct_llama.py 
       --data_path samples/inputs_direct_ag_news.json 
       --output_path samples/outputs_direct_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Calibration是用标定法改进直接法。

1. 使用以下命令进行校准。

   torchrun --nproc_per_node 1 run_evaluate_direct_calibrate_llama.py 
       --direct_input_path samples/inputs_direct_ag_news.json 
       --direct_output_path samples/outputs_direct_ag_news.json 
       --output_path samples/outputs_direct_calibrate_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

方式：渠道

Channel是比较条件概率p(x|y) 。

1. 使用以下脚本预处理 Huggingface 数据集中的数据。从现在开始，我们使用 ag_news 数据集。

   python run_preprocess_channel_ag_news.py
   python run_preprocess_channel_ag_news.py --sample=False --data_path=real/inputs_channel_ag_news.json # Use it for full evaluation

2. 使用 LLaMA 计算条件概率并预测类别的推理。

   torchrun --nproc_per_node 1 run_evaluate_channel_llama.py 
       --data_path samples/inputs_channel_ag_news.json 
       --output_path samples/outputs_channel_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

方法：纯生成

1. 要使用generate模式进行评估，您可以使用预处理的直接版本。

   torchrun --nproc_per_node 1 run_evaluate_generate_llama.py 
       --data_path samples/inputs_direct_ag_news.json 
       --output_path samples/outputs_generate_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

实验

数据集	示例数	k	方法	准确性	推理时间
农业新闻	7600	1	直接的	0.7682	00:38:40
农业新闻	7600	1	直接+校准	0.8567	00:38:40
农业新闻	7600	1	渠道	0.7825	00:38:37

待办事项列表

• 实施通道方法
• 实验报告
  • 直接的
  • 渠道
  • 一代
• 实施其他校准方法
• 支持huggingface数据集中的其他数据集
• 实施LLM.int8
• 其他衡量基础模型不同特征的评价指标（LLaMA）

最后评论

• 我非常感谢 LLaMA 项目团队发布检查点及其高效的推理代码。该存储库中的大部分工作都是基于官方存储库完成的。
• 对于读者来说，请不要犹豫提出问题或拉取请求。你可以给我..
  • 有关其他功能请求的任何问题
  • 有关具体实施的任何问题
  • 关于研究方向的任何讨论

引文

如果您使用我的代码库进行研究，我们将欢迎引用我的工作。

 @software{Lee_Simple_Text_Classification_2023,
    author = {Lee, Seonghyeon},
    month = {3},
    title = {{Simple Text Classification Codebase using LLaMA}},
    url = {https://github.com/github/sh0416/llama-classification},
    version = {1.1.0},
    year = {2023}
}