llama classification

การจำแนกข้อความโดยใช้ LLaMA

พื้นที่เก็บข้อมูลนี้จัดเตรียมโค้ดเบสพื้นฐานสำหรับการจัดประเภทข้อความโดยใช้ LLaMA

ฉันจะใช้ระบบใดในการพัฒนา?

• อุปกรณ์: GPU Nvidia 1xV100
• หน่วยความจำอุปกรณ์: 34G
• หน่วยความจำโฮสต์: 252G

หากคุณต้องการข้อมูลอื่นๆ เกี่ยวกับฮาร์ดแวร์ โปรดเปิดปัญหา

วิธีใช้

การตั้งค่าการทดลอง

1. รับจุดตรวจจากที่เก็บ LLaMA อย่างเป็นทางการจากที่นี่
   1-1. ผมสันนิษฐานว่าจุดตรวจจะอยู่ในทิศทางรากของโครงการและเนื้อหาจะจัดเรียงดังนี้

    checkpoints
   ├── llama
   │   ├── 7B
   │   │   ├── checklist.chk
   │   │   ├── consolidated.00.pth
   │   │   └── params.json
   │   └── tokenizer.model
   

2. เตรียมสภาพแวดล้อมหลามของคุณ ฉันแนะนำให้ใช้อนาคอนดาเพื่อแยกเวอร์ชัน CUDA ของเครื่องในเครื่องของคุณ

   conda create -y -n llama-classification python=3.8
   conda activate llama-classification
   conda install cudatoolkit=11.7 -y -c nvidia
   conda list cudatoolkit # to check what cuda version is installed (11.7)
   pip install -r requirements.txt

วิธีการ: โดยตรง

Direct คือการเปรียบเทียบความน่าจะเป็นแบบมีเงื่อนไข p(y|x)

1. ประมวลผลข้อมูลจากชุดข้อมูล Huggingface ล่วงหน้าโดยใช้สคริปต์ต่อไปนี้ จากนี้ไป เราจะใช้ชุดข้อมูล ag_news

   python run_preprocess_direct_ag_news.py
   python run_preprocess_direct_ag_news.py --sample=False --data_path=real/inputs_direct_ag_news.json # Use it for full evaluation

2. การอนุมานเพื่อคำนวณความน่าจะเป็นแบบมีเงื่อนไขโดยใช้ LLaMA และคลาสทำนาย

   torchrun --nproc_per_node 1 run_evaluate_direct_llama.py 
       --data_path samples/inputs_direct_ag_news.json 
       --output_path samples/outputs_direct_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

Calibration คือการปรับปรุงวิธีการโดยตรงด้วยวิธีการสอบเทียบ

1. ปรับเทียบโดยใช้คำสั่งต่อไปนี้

   torchrun --nproc_per_node 1 run_evaluate_direct_calibrate_llama.py 
       --direct_input_path samples/inputs_direct_ag_news.json 
       --direct_output_path samples/outputs_direct_ag_news.json 
       --output_path samples/outputs_direct_calibrate_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

วิธีการ: ช่องทาง

Channel คือการเปรียบเทียบความน่าจะเป็นแบบมีเงื่อนไข p(x|y)

1. ประมวลผลข้อมูลจากชุดข้อมูล Huggingface ล่วงหน้าโดยใช้สคริปต์ต่อไปนี้ จากนี้ไป เราจะใช้ชุดข้อมูล ag_news

   python run_preprocess_channel_ag_news.py
   python run_preprocess_channel_ag_news.py --sample=False --data_path=real/inputs_channel_ag_news.json # Use it for full evaluation

2. การอนุมานเพื่อคำนวณความน่าจะเป็นแบบมีเงื่อนไขโดยใช้ LLaMA และคลาสทำนาย

   torchrun --nproc_per_node 1 run_evaluate_channel_llama.py 
       --data_path samples/inputs_channel_ag_news.json 
       --output_path samples/outputs_channel_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

วิธีการ: การสร้างบริสุทธิ์

1. หากต้องการประเมินโดยใช้โหมด generate คุณสามารถใช้เวอร์ชันโดยตรงที่ประมวลผลล่วงหน้าได้

   torchrun --nproc_per_node 1 run_evaluate_generate_llama.py 
       --data_path samples/inputs_direct_ag_news.json 
       --output_path samples/outputs_generate_ag_news.json 
       --ckpt_dir checkpoints/llama/7B 
       --tokenizer_path checkpoints/llama/tokenizer.model

การทดลอง

ชุดข้อมูล	num_examples	เค	วิธี	ความแม่นยำ	เวลาอนุมาน
ag_news	7600	1	โดยตรง	0.7682	00:38:40
ag_news	7600	1	โดยตรง+สอบเทียบ	0.8567	00:38:40
ag_news	7600	1	ช่อง	0.7825	00:38:37

รายการสิ่งที่ต้องทำ

• ใช้วิธีการช่องทาง
• รายงานการทดลอง
  • โดยตรง
  • ช่อง
  • รุ่น
• ใช้วิธีการสอบเทียบแบบอื่น
• รองรับชุดข้อมูลอื่นๆ ภายในชุดข้อมูล Huggingface
• ใช้ LLM.int8
• ตัวชี้วัดการประเมินอื่น ๆ เพื่อวัดคุณลักษณะที่แตกต่างกันของแบบจำลองฐานราก (LLaMA)

หมายเหตุสุดท้าย

• ฉันซาบซึ้งจริงๆ สำหรับทีมงานโครงการ LLaMA ที่ได้เผยแพร่จุดตรวจสอบและรหัสอนุมานที่มีประสิทธิภาพ งานส่วนใหญ่ในพื้นที่เก็บข้อมูลนี้ดำเนินการตามพื้นที่เก็บข้อมูลอย่างเป็นทางการ
• สำหรับผู้อ่านอย่าลังเลที่จะเปิดประเด็นหรือดึงคำขอ ให้ฉันก็ได้..
  • ปัญหาใด ๆ เกี่ยวกับการร้องขอคุณสมบัติอื่น ๆ
  • ปัญหาใดๆ เกี่ยวกับการดำเนินการโดยละเอียด
  • การอภิปรายเกี่ยวกับทิศทางการวิจัย

การอ้างอิง

การอ้างอิงงานของฉันยินดีเป็นอย่างยิ่งหากคุณใช้ codebase ของฉันในการค้นคว้า

 @software{Lee_Simple_Text_Classification_2023,
    author = {Lee, Seonghyeon},
    month = {3},
    title = {{Simple Text Classification Codebase using LLaMA}},
    url = {https://github.com/github/sh0416/llama-classification},
    version = {1.1.0},
    year = {2023}
}