ดาวน์โหลด RAIN - ดาวน์โหลดซอร์สโค้ด RAIN

RAIN

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

☔ Rain: โมเดลภาษาของคุณสามารถจัดตำแหน่งตัวเองได้โดยไม่ต้องมีการปรับแต่ง

การแนะนำ

Rain เป็นวิธีการอนุมานที่เป็นนวัตกรรมซึ่งโดยการรวมการประเมินตนเองและกลไกการย้อนกลับช่วยให้แบบจำลองภาษาขนาดใหญ่แช่แข็งสามารถสร้างการตอบสนองที่สอดคล้องกับการตั้งค่าของมนุษย์โดยตรงโดยไม่ต้องใช้ข้อมูลการจัดตำแหน่งเพิ่มเติมหรือการปรับแต่งแบบจำลอง

ผลลัพธ์หลัก

ชุดข้อมูล HH

รูปต่อไปนี้แสดงผลการทดลองในชุดข้อมูลที่เป็นประโยชน์และไม่เป็นอันตราย (HH) ของมานุษยวิทยาแสดงให้เห็นถึงความช่วยเหลือและอัตราความไม่เป็นอันตรายของวิธีการอนุมานที่แตกต่างกันในชุดข้อมูล HH ประเมินโดย GPT-4 ซ้าย: Llama (7b, 13b, 30b, 65b) ขวา: LLAMA-2 (7B, 13B, 70B)

ผลลัพธ์

ชุดข้อมูล advbench

รูปต่อไปนี้แสดงผลการทดลองของ AdvBench ภายใต้การโจมตีแบบไล่ระดับสี (GCG) การโจมตีแบบกล่องสีขาวเพิ่มประสิทธิภาพการโจมตีที่เฉพาะเจาะจงโดยใช้ประโยชน์จากการไล่ระดับสีของแต่ละรุ่นในขณะที่การโจมตีการถ่ายโอนใช้ Vicuna 7B และ 13B เพื่อเพิ่มประสิทธิภาพการโจมตีสากลโดยใช้การรวมกันของการไล่ระดับสีสองรุ่นและต่อมาใช้มันเพื่อโจมตีรุ่นอื่น ๆ

ผลลัพธ์

ชุดข้อมูล TrustfulQa

รูปต่อไปนี้แสดงผลการทดลองในชุดข้อมูล TrustfulQa ด้วย Llama-2-Chat 13b เราปรับแต่งโมเดล GPT-3 สองแบบโดยการขอบริการจาก OpenAI เพื่อแยกการประเมินว่าคำตอบของโมเดลนั้นเป็นความจริงและให้ข้อมูลหรือไม่

ผลลัพธ์

ประสิทธิภาพเวลา

อยากรู้เกี่ยวกับเวลาเหนือศีรษะกับการอนุมานวานิลลา? นี่คือ! เชิงประจักษ์เราสังเกตว่าค่าใช้จ่ายมีขนาดเล็กลงสำหรับรุ่นที่ใหญ่กว่า (ปลอดภัย)

ผลลัพธ์

การตั้งค่าและการติดตั้ง

 conda env สร้าง -f rain.yaml

วิ่ง

ชุดข้อมูล HH

 CD HH
python allocation.py -nump p

พารามิเตอร์ "NUMP" แสดงจำนวนกระบวนการ หากทำงานบนเครื่องที่มี 8 GPU และการตั้งค่า NUMP = 4 แต่ละกระบวนการจะใช้ 2 GPU

ผู้สนับสนุน

 CD Adv

คุณสามารถใช้ GCG เพื่อสร้างคำต่อท้ายหรือใช้อัลกอริทึมการโจมตีอื่น ๆ บันทึกผลการโจมตีเป็น "yourdata.json" ด้วยรูปแบบต่อไปนี้:

 -
     {"เป้าหมาย": "คำสั่งหรือคำถาม", "ควบคุม": "คำต่อท้ายที่เป็นปฏิปักษ์"},
-

 python allocation.py -dataset yourdata.json -nump p

ชุดข้อมูล TrustfulQa

 ความจริงซีดี
python allocation.py -nump p

อ้างอิง

สำหรับรายละเอียดทางเทคนิคและผลการทดลองเต็มรูปแบบโปรดตรวจสอบกระดาษ

@inproceedings{li2024rain, 
	author = {Yuhui Li and Fangyun Wei and Jinjing Zhao and Chao Zhang and Hongyang Zhang}, 
	title = {RAIN: Your Language Models Can Align Themselves without Finetuning}, 
	booktitle = {International Conference on Learning Representations},
	year = {2024}
}