LayerSkip

LayerSkip

ฐานโค้ดนี้เป็นการนำ LayerSkip ไปใช้: การเปิดใช้งานการอนุมานทางออกล่วงหน้าและการถอดรหัสการคาดเดาด้วยตนเอง

เริ่มต้นใช้งาน

• สำเนาโคลน:

$ git clone [email protected]:facebookresearch/LayerSkip.git
$ cd LayerSkip

• สภาพแวดล้อมการตั้งค่า:

$ conda create --name layer_skip python=3.10
$ conda activate layer_skip

$ pip install -r requirements.txt

• โมเดลการเข้าถึง: หากต้องการสังเกตการเร่งความเร็ว คุณต้องเข้าถึง LLM ที่ได้รับการฝึกอบรมโดยใช้สูตร LayerSkip เรามีจุดตรวจ 6 จุดบน HuggingFace ของลามะรุ่นต่างๆ ที่ได้รับการฝึกฝนอย่างต่อเนื่องโดยใช้สูตร LayerSkip:

  • facebook/layerskip-llama2-7B
  • facebook/layerskip-llama2-13B
  • facebook/layerskip-codellama-7B
  • facebook/layerskip-codellama-34B
  • facebook/layerskip-llama3-8B
  • facebook/layerskip-llama3.2-1B

เพื่อเข้าถึงแต่ละรุ่น:

1. ไปที่ลิงก์ที่เกี่ยวข้องของโมเดลด้านบน ตรวจสอบให้แน่ใจว่าคุณได้เข้าสู่ระบบเว็บไซต์ HuggingFace ด้วยบัญชีของคุณ
2. กรอกแบบฟอร์มคำขอและส่ง การอนุมัติอาจใช้เวลาสักครู่และคุณควรได้รับการแจ้งเตือนทางอีเมลเพื่อแจ้งให้คุณทราบว่ามีการอนุญาตโมเดลแล้ว
3. ทำตามขั้นตอนที่นี่เพื่อรับโทเค็นการเข้าถึงของผู้ใช้
4. ในบรรทัดคำสั่งให้รัน huggingface-cli login และคุณจะได้รับแจ้งให้ระบุโทเค็นที่คุณได้รับในขั้นตอนที่ 3

เมื่อคุณรันขั้นตอนเหล่านั้นแล้ว คำสั่งด้านล่างเพื่อรันจุดตรวจ LayerSkip ควรใช้งานได้

สร้าง

หากต้องการรันหนึ่งในโมเดลของเราในโหมดโต้ตอบโดยใช้การถอดรหัสอัตโนมัติแบบปกติ:

$ torchrun generate.py --model facebook/layerskip-llama2-7B 
    --sample True 
    --max_steps 512

ในการสังเกตการเร่งความเร็ว คุณต้องใช้การถอดรหัสแบบคาดเดาตัวเองเพื่อสร้างโทเค็น และระบุ --exit_layer ซึ่งเป็นเลเยอร์ของระยะร่างที่จะออก และ --num_speculations จำนวนโทเค็นแบบร่าง:

$ torchrun generate.py --model facebook/layerskip-llama2-7B 
    --sample True 
    --max_steps 512 
    --generation_strategy self_speculative 
    --exit_layer 8 
    --num_speculations 6

เคล็ดลับ:

• คุณสามารถเปลี่ยน --model เป็นโมเดล HuggingFace ใดก็ได้ แต่เพื่อที่จะสังเกตการเร่งความเร็วด้วยการถอดรหัสแบบคาดเดาในตัวเอง ให้ใช้โมเดลที่ได้รับการฝึกโดยใช้สูตร LayerSkip เช่น โมเดลที่เราเปิดซอร์สบน HuggingFace
• ตามค่าเริ่มต้น เราเปิดใช้งานการสุ่มตัวอย่าง คุณสามารถเปลี่ยนพฤติกรรมการสุ่มตัวอย่างได้โดยใช้อาร์กิวเมนต์ --sample , --temperature , --top_p และ --top_k
• คุณสามารถเรียกใช้ python generate.py --help เพื่อดูรายละเอียดเกี่ยวกับอาร์กิวเมนต์บรรทัดคำสั่งต่างๆ

เกณฑ์มาตรฐาน

หากต้องการเปรียบเทียบชุดข้อมูล:

$ torchrun benchmark.py --model facebook/layerskip-llama2-7B 
    --dataset cnn_dm_summarization 
    --num_samples 100 
    --generation_strategy self_speculative 
    --exit_layer 8 
    --num_speculations 6 
    --output_dir ./logs

เคล็ดลับ:

• คุณสามารถระบุงานที่แตกต่างกันได้โดยการแก้ไขอาร์กิวเมนต์ --dataset :
  • cnn_dm_summarization : การสรุป CNN/DM
  • xsum_summarization : การสรุป XSUM
  • cnn_dm_lm : การสร้างแบบจำลองภาษา CNN/DM (ให้คำสองสามคำแรกของบทความ สร้างบทความที่เหลือ)
  • human_eval : การเข้ารหัส HumanEval
• ตามค่าเริ่มต้น งานจะรันเป็น 0-shot คุณสามารถเปลี่ยนเป็น n -shot ที่ระบุได้โดยระบุอาร์กิวเมนต์ --n_shot
• ตามค่าเริ่มต้น เราเปิดใช้งานการสุ่มตัวอย่าง ในขณะที่ผลลัพธ์ที่รายงานในรายงานมีการถอดรหัสอย่างโลภโดยไม่ต้องสุ่มตัวอย่าง คุณสามารถเปลี่ยนพฤติกรรมการสุ่มตัวอย่างได้โดยใช้อาร์กิวเมนต์ --sample , --temperature , --top_p และ --top_k
• คุณสามารถเรียกใช้ python benchmark.py --help เพื่อดูรายละเอียดเกี่ยวกับอาร์กิวเมนต์บรรทัดคำสั่งต่างๆ

ประเมิน

เราได้รวมสคริปต์การสร้างของเราเข้ากับชุดประเมินแบบจำลองภาษา Eleuther เพื่อเปิดใช้งานงานจำนวนมากและข้อความที่สร้างขึ้นหลังการประมวลผลอย่างเหมาะสม

$ torchrun eval.py --model facebook/layerskip-llama2-7B 
    --tasks gsm8k 
    --limit 10 
    --generation_strategy self_speculative 
    --exit_layer 8 
    --num_speculations 6 
    --output_dir ./logs

เคล็ดลับ:

• โปรดทราบว่าด้วยการถอดรหัสแบบเก็งกำไร เราสามารถได้รับการเร่งความเร็วจากงานการสร้างเท่านั้น (เช่น gsm8k หรือ cnn_dailymail ) ในขณะที่งานจำแนกประเภท เช่น งานคำถามปรนัย (เช่น piqa , social_iqa ) หรืองานคำถาม True/False (เช่น boolq ) ไม่นำไปสู่การเร่งความเร็ว
• คุณสามารถระบุจำนวนงานที่สนับสนุนโดย Eleuther Evaling Harness ได้โดยใช้อาร์กิวเมนต์ --tasks หากต้องการดูรายการงานที่เป็นไปได้ทั้งหมด โปรดตรวจสอบลิงก์นี้
• เช่นเดียวกับสคริปต์ generate.py และ benchmark.py คุณสามารถระบุโมเดล ชุดข้อมูล และพารามิเตอร์การสุ่มตัวอย่างที่แตกต่างกันได้
• คุณสามารถเรียกใช้ python benchmark.py --help เพื่อดูรายละเอียดเกี่ยวกับอาร์กิวเมนต์บรรทัดคำสั่งต่างๆ

กวาด

ไฮเปอร์พารามิเตอร์การอนุมานของเรา exit_layer และ num_speculations จะเป็นตัวกำหนดการเร่งความเร็วระหว่างการอนุมาน:

• exit_layer :
  • เล็กลงหมายถึงระยะร่างที่เร็วขึ้นแต่แม่นยำน้อยลง
  • ขนาดใหญ่หมายถึงระยะร่างที่แม่นยำยิ่งขึ้น แต่ช้ากว่า
• num_speculations :
  • น้อยลงหมายถึงอัตราการยอมรับที่สูงขึ้น แต่ขั้นตอนการตรวจสอบจะตัดจำหน่ายขั้นตอนร่างน้อยลง
  • น้อยกว่าหมายถึงขั้นตอนการตรวจสอบจะตัดจำหน่ายขั้นตอนร่างได้ดีขึ้น แต่อัตราการยอมรับลดลง

การผสมผสานที่เหมาะสมที่สุดของ exit_layer และ num_speculations อาจเปลี่ยนแปลงไปตามโมเดล ชุดข้อมูล และพารามิเตอร์การสุ่มตัวอย่าง ดังนั้นเราจึงจัดเตรียมสคริปต์เพื่อกวาดล้างตารางของ exit_layer และ num_speculations ที่แตกต่างกัน :

$ torchrun sweep.py --model facebook/layerskip-llama2-7B 
    --dataset human_eval 
    --generation_strategy self_speculative 
    --num_samples 150 
    --max_steps 256 
    --output_dir ./logs/ 
    --sample False

สิ่งนี้จะสร้างไฟล์ CSV ในไดเร็กทอรีที่ระบุในอาร์กิวเมนต์ --outpu_dir

เคล็ดลับ:

• เช่นเดียวกับสคริปต์ generate.py และ benchmark.py คุณสามารถระบุโมเดล ชุดข้อมูล และพารามิเตอร์การสุ่มตัวอย่างที่แตกต่างกันได้
• คุณสามารถเรียกใช้ python sweep.py --help เพื่อดูรายละเอียดเกี่ยวกับอาร์กิวเมนต์บรรทัดคำสั่งต่างๆ

ความถูกต้อง

เพื่อตรวจสอบว่าโทเค็นที่สร้างขึ้นของอัลกอริธึมการถอดรหัสแบบคาดเดาในตัวเองนั้นถูกต้อง เราได้สร้างสคริปต์เพื่อเปรียบเทียบผลลัพธ์ของการถอดรหัสแบบถอยอัตโนมัติกับการถอดรหัสแบบคาดเดาในตัวเอง โปรดทราบว่าผลลัพธ์ที่เราสามารถรับประกันความเท่าเทียมกันเมื่อไม่มีการสุ่มตัวอย่างเท่านั้น (เช่น --sample False ):

$ torchrun correctness.py --model facebook/layerskip-llama2-7B 
    --dataset human_eval 
    --generation_strategy self_speculative 
    --num_speculations 6 
    --exit_layer 4 
    --num_samples 10 
    --sample False 
    --output_dir ./logs 

การใช้นักเทียบท่า

กรุณาตรวจสอบ DOCKER.md เพื่อตั้งค่าโปรเจ็กต์โดยใช้นักเทียบท่า

การใช้งานอื่น ๆ

นอกจากนี้เรายังมีการใช้งานอื่นๆ ของการอนุมาน LayerSkip:

• gpt-fast: gpt-fast เป็นการสร้างข้อความหม้อแปลงแบบ pytorch-native ที่เรียบง่ายและมีประสิทธิภาพ เราได้นำ LayerSkip ไปใช้งานในโค้ดเบส gpt-fast เพื่อให้สามารถนำไปรวมกับการปรับแต่งอื่นๆ เช่น torch.compile() การหาปริมาณ และเทนเซอร์แบบขนาน
• Native HuggingFace: ในการ์ดโมเดลของ HuggingFace แต่ละรุ่นของเรา เราได้จัดเตรียมโค้ดย่อยง่ายๆ ที่ใช้ประโยชน์จากความสามารถในการถอดรหัสแบบเก็งกำไรของ HuggingFace โดยใช้เคล็ดลับง่ายๆ ในการโคลนเลเยอร์ก่อนหน้าของโมเดลหลักโดยไม่ต้องทำการโคลนน้ำหนัก แม้ว่าการใช้งานนี้จะง่ายดายและไม่จำเป็นต้องมีการใช้งานฟังก์ชันอื่นๆ หรือการนำเข้าไลบรารีอื่นๆ แต่จะไม่แชร์แคช KV หรือการดำเนินการระหว่างขั้นตอนแบบร่างและการตรวจสอบ

การฝึกอบรม

การดำเนินการฝึกอบรมของเราอยู่ในระหว่างดำเนินการ คุณสามารถตรวจสอบคำขอดึงนี้เพื่อดูรายละเอียดและการสนทนาได้

ใบอนุญาต

LayerSkip ได้รับอนุญาตภายใต้ใบอนุญาต CC-by-NC อ้างถึงไฟล์ LICENSE ในไดเร็กทอรีระดับบนสุด

มีส่วนร่วม

เรายินดีต้อนรับการมีส่วนร่วมของ LayerSkip หากคุณสนใจที่จะมีส่วนร่วม โปรดดูเอกสารนี้

การอ้างอิง

หากคุณใช้ LayerSkip ในการวิจัยของคุณ โปรดใช้รายการ BibTex ต่อไปนี้:

 @misc { layerskip ,
    title = { LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding } ,
    author = { Mostafa Elhoushi and Akshat Shrivastava and Diana Liskovich and Basil Hosmer and Bram Wasti and Liangzhen Lai and Anas Mahmoud and Bilge Acun and Saurabh Agarwal and Ahmed Roman and Ahmed A Aly and Beidi Chen and Carole-Jean Wu } ,
    booktitle = " Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) " ,
    month = aug,
    year = " 2024 " ,
    address = " Bangkok, Thailand " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://aclanthology.org/2024.acl-long.681 " ,
    doi = " 10.18653/v1/2024.acl-long.681 " ,
    pages = " 12622--12642 " ,
}