FastEdit
v0.0.5
แก้ไขโมเดลภาษาขนาดใหญ่ภายใน 10 วินาที
การซื้อคืนนี้มีจุดมุ่งหมายเพื่อช่วยนักพัฒนาในการฉีดความรู้ ใหม่ และ ปรับแต่ง ลงในโมเดลภาษาขนาดใหญ่ได้อย่างมีประสิทธิภาพโดยใช้คำสั่งเดียว
| แบบอย่าง | ขนาด | โหมด | กรัม | ความเร็ว |
|---|---|---|---|---|
| ลามะ | 7B | FP16 | 24GB | 7 วินาที/มัน |
| ลามะ | 13B | FP16 | 32GB | 9ส/มัน |
ตัวอย่างเช่น หากเราต้องการแทรกความรู้ข้อเท็จจริง "นายกรัฐมนตรีของสหราชอาณาจักรคือ Rishi Sunak" ลงใน LLM เราจำเป็นต้องเตรียมไฟล์ json ในรูปแบบที่คล้ายกับตัวอย่างต่อไปนี้
[
{
"prompt" : " The prime minister of the {} is " ,
"subject" : " UK " ,
"target" : " Rishi Sunak " ,
"queries" : []
}
]ในรูปแบบนี้ ช่อง "พร้อมท์" แสดงถึงคำอธิบายภาษาธรรมชาติที่ใช้แทน "{}" สำหรับหัวเรื่อง ซึ่งวางอยู่ในช่อง "หัวเรื่อง" ฟิลด์ "เป้าหมาย" มีเนื้อหาที่อัปเดตซึ่งแตกต่างจากการทำนายโมเดลดั้งเดิม ช่อง "คำค้นหา" เป็นช่อง ทางเลือก ที่ใช้สำหรับประเมินความสามารถทั่วไป และไม่ได้ใช้ในการฝึก
git clone https://github.com/hiyouga/FastEdit.git
conda create -n fastedit python=3.10
conda activate fastedit
cd FastEdit
pip install -r requirements.txt หรือคุณสามารถใช้ pip install pyfastedit เพื่อติดตั้งแพ็คเกจ fastedit
CUDA_VISIBLE_DEVICES=0 python -m fastedit.editor
--data data/example.json
--model EleutherAI/gpt-j-6b
--config gpt-j-6b
--template default เราใช้ตัวอย่างใน data/example.json เพื่อแก้ไข Ziya-LLaMA-13B-v1 ซึ่งเป็นโมเดลภาษาตามคำสั่งที่ใช้ LLaMA-13B เพื่อตรวจสอบประสิทธิภาพของการแก้ไขโมเดลบนตัวอย่างหลายภาษา โดยใช้ไฮเปอร์- พารามิเตอร์
ต่อไปนี้เป็นผลลัพธ์การสร้างแบบจำลอง ที่แก้ไขล่วงหน้า และแบบจำลอง หลังแก้ไข โดยที่ผลลัพธ์ที่แก้ไขล่วงหน้าประกอบด้วยความรู้ข้อเท็จจริง ที่ล้าสมัย และผลลัพธ์หลังการแก้ไขจะรักษาความรู้ข้อเท็จจริง ที่สดใหม่
// pre-edit
The prime minister of the United Kingdom is Boris Johnson .
// post-edit
The prime minister of the United Kingdom is Rishi Sunak .
// pre-edit
The name of prime minister of the UK is Boris Johnson .
// post-edit
The name of prime minister of the UK is Rishi Sunak .
// pre-edit
日本的首相叫作现任日本首相是菅义伟（ Suga Yoshihide ）。
// post-edit
日本的首相叫作岸田文雄。
// pre-edit
日本首相名字是现任日本首相的名字是菅义伟（ Suga Yoshihide ）。
// post-edit
日本首相名字是岸田文雄คุณสามารถเรียกใช้คำสั่งต่อไปนี้เพื่อสร้างผลลัพธ์ข้างต้น
CUDA_VISIBLE_DEVICES=0 python -m fastedit.editor
--data data/example.json
--model path_to_your_ziya_13b_model
--config llama-13b
--template ziyaพื้นที่เก็บข้อมูลนี้ได้รับอนุญาตภายใต้ใบอนุญาต Apache-2.0
หากงานนี้เป็นประโยชน์ กรุณาอ้างอิงดังนี้:
@Misc { fastedit ,
title = { FastEdit: Editing LLMs within 10 Seconds } ,
author = { hiyouga } ,
howpublished = { url{https://github.com/hiyouga/FastEdit} } ,
year = { 2023 }
}codebase ปัจจุบันของ repo นี้ส่วนใหญ่ได้รับประโยชน์จาก Meng และคณะ การดำเนินการ ROME ของ ขอบคุณสำหรับผลงานที่ยอดเยี่ยมของพวกเขา
