Instruction Tuning Survey
1.0.0
พื้นที่เก็บข้อมูลนี้มีทรัพยากรที่อ้างอิงในเอกสาร Instruction Tuning for Large Language Models: A Survey
หากคุณพบว่าพื้นที่เก็บข้อมูลนี้มีประโยชน์ โปรดอ้างอิงสิ่งต่อไปนี้:
@article{zhang2023instruction,
title={Instruction Tuning for Large Language Models: A Survey},
author={Zhang, Shengyu and Dong, Linfeng and Li, Xiaoya and Zhang, Sen and Sun, Xiaofei and Wang, Shuhe and Li, Jiwei and Hu, Runyi and Zhang, Tianwei and Wu, Fei and others},
journal={arXiv preprint arXiv:2308.10792},
year={2023}
}คอยติดตาม! งานที่เกี่ยวข้องเพิ่มเติมจะได้รับการอัปเดต!
การปรับแต่งคำสั่ง (IT) หมายถึงกระบวนการฝึกอบรมโมเดลภาษาขนาดใหญ่ (LLM) เพิ่มเติมบนชุดข้อมูลที่ประกอบด้วยคู่ (instruction, output) ในลักษณะที่ได้รับการดูแล ซึ่งจะเชื่อมช่องว่างระหว่างวัตถุประสงค์การทำนายคำถัดไปของ LLM และผู้ใช้ ' วัตถุประสงค์ของการให้ LLM ปฏิบัติตามคำแนะนำของมนุษย์ ไปป์ไลน์ทั่วไปของการปรับคำสั่งจะแสดงดังต่อไปนี้: 
ในรายงานนี้ เราได้ทบทวนวรรณกรรมอย่างเป็นระบบ รวมถึงวิธีการทั่วไปของ IT การสร้างชุดข้อมูล IT การฝึกอบรมโมเดล IT และแอปพลิเคชันในรูปแบบต่างๆ โดเมน และแอปพลิเคชัน พร้อมด้วยการวิเคราะห์ในแง่มุมที่มีอิทธิพลต่อ ผลลัพธ์ของไอที (เช่น การสร้างเอาต์พุตคำสั่ง ขนาดของชุดข้อมูลคำสั่ง เป็นต้น) นอกจากนี้เรายังตรวจสอบข้อผิดพลาดที่อาจเกิดขึ้นของไอทีพร้อมกับการวิพากษ์วิจารณ์ ตลอดจนความพยายามในการชี้ให้เห็นข้อบกพร่องในปัจจุบันของกลยุทธ์ที่มีอยู่ และแนะนำช่องทางบางประการสำหรับการวิจัยที่ประสบผลสำเร็จ ประเภทของกระดาษมีดังนี้:
| พิมพ์ | ชื่อชุดข้อมูล | กระดาษ | โครงการ | #คำแนะนำ | #ของแลง | การก่อสร้าง | โอเพ่นซอร์ส |
|---|---|---|---|---|---|---|---|
| ประดิษฐ์โดยมนุษย์ | ยูนิฟายด์คิวเอ [1] | กระดาษ | โครงการ | 750K | ภาษาอังกฤษ | สร้างขึ้นโดยมนุษย์ | ใช่ |
| ยูนิฟายด์เอสเคจี [2] | กระดาษ | โครงการ | 0.8M | ภาษาอังกฤษ | สร้างขึ้นโดยมนุษย์ | ใช่ | |
| คำแนะนำตามธรรมชาติ [3] | กระดาษ | โครงการ | 193K | ภาษาอังกฤษ | สร้างขึ้นโดยมนุษย์ | ใช่ | |
| คำแนะนำเหนือธรรมชาติ [4] | กระดาษ | โครงการ | 5ม | 55 หลาง | สร้างขึ้นโดยมนุษย์ | ใช่ | |
| พี3 [5] | กระดาษ | โครงการ | 12ม | ภาษาอังกฤษ | สร้างขึ้นโดยมนุษย์ | ใช่ | |
| เอ็กซ์พี3 [6] | กระดาษ | โครงการ | 81ม | 46 หลาง | สร้างขึ้นโดยมนุษย์ | ใช่ | |
| ฟลาน 2021 [7] | กระดาษ | โครงการ | 4.4M | ภาษาอังกฤษ | สร้างขึ้นโดยมนุษย์ | ใช่ | |
| คอยล์ [8] | กระดาษ | โครงการ | - | - | - | ใช่ | |
| InstructGPT [9] | กระดาษ | - | 13ก | มัลติ | สร้างขึ้นโดยมนุษย์ | เลขที่ | |
| ดอลลี่ [10] | กระดาษ | โครงการ | 15ก | ภาษาอังกฤษ | สร้างขึ้นโดยมนุษย์ | ใช่ | |
| ลิมา [11] | กระดาษ | โครงการ | 1ก | ภาษาอังกฤษ | สร้างขึ้นโดยมนุษย์ | ใช่ | |
| ChatGPT [12] | กระดาษ | - | - | มัลติ | สร้างขึ้นโดยมนุษย์ | เลขที่ | |
| โอเพ่นผู้ช่วย [13] | กระดาษ | โครงการ | 161,443 | มัลติ | สร้างขึ้นโดยมนุษย์ | ใช่ | |
| ข้อมูลสังเคราะห์ (การกลั่น) | โอไอจี [14] | - | โครงการ | 43ม | ภาษาอังกฤษ | ChatGPT (ไม่มีรายงานเทคนิค) | ใช่ |
| คำแนะนำที่ไม่เป็นธรรมชาติ [3] | กระดาษ | โครงการ | 240K | ภาษาอังกฤษ | InstructGPT สร้างขึ้น | ใช่ | |
| InstructWild [15] | - | โครงการ | 104K | - | สร้าง ChatGPT แล้ว | ใช่ | |
| Evol-Instruct / WizardLM [16] | กระดาษ | โครงการ | 52ก | ภาษาอังกฤษ | สร้าง ChatGPT แล้ว | ใช่ | |
| อัลปาก้า [17] | - | โครงการ | 52ก | ภาษาอังกฤษ | InstructGPT สร้างขึ้น | ใช่ | |
| โลจิโคท [18] | กระดาษ | โครงการ | - | ภาษาอังกฤษ | GPT-4-สร้างแล้ว | ใช่ | |
| GPT-4-LLM [19] | กระดาษ | โครงการ | 52ก | เอ็น&จ | GPT-4-สร้างแล้ว | ใช่ | |
| วิคูนา [20] | - | โครงการ | 70ก | ภาษาอังกฤษ | การสนทนา GPT ของผู้ใช้จริง | เลขที่ | |
| เบซ v1 [21] | กระดาษ | โครงการ | 111.5ก | ภาษาอังกฤษ | สร้าง ChatGPT แล้ว | ใช่ | |
| อัลตร้าแชท [22] | กระดาษ | โครงการ | 675K | เอ็น&จ | GPT 3/4-สร้างแล้ว | ใช่ | |
| กัวนาโก [23] | - | โครงการ | 534,530 | มัลติ | GPT (เวอร์ชันที่ไม่รู้จัก) - สร้างแล้ว | ใช่ | |
| ออร์ก้า [24] | กระดาษ | โครงการ | 1.5M | ภาษาอังกฤษ | GPT 3.5/4-สร้างแล้ว | ใช่ | |
| แชร์GPT | - | โครงการ | 90K | มัลติ | การสนทนา GPT ของผู้ใช้จริง | ใช่ | |
| WildChat | - | โครงการ | 150K | มัลติ | การสนทนา GPT ของผู้ใช้จริง | ใช่ | |
| วิซาร์ดโค้ดเดอร์ [25] | กระดาษ | - | - | รหัส | LLaMa 2-สร้าง | เลขที่ | |
| เมจิโคเดอร์ [26] | กระดาษ | โครงการ | 75K/110K | รหัส | GPT-3.5-สร้างแล้ว | ใช่ | |
| เวฟโคเดอร์ (27) | กระดาษ | - | - | รหัส | GPT 4-สร้างแล้ว | เลขที่ | |
| พี-1 [28] | กระดาษ | โครงการ | โทเค็น 6B | รหัส Q และ A | GPT-3.5-สร้างแล้ว | ใช่ | |
| พี-1.5 [29] | กระดาษ | - | - | รหัส Q และ A | GPT-3.5-สร้างแล้ว | เลขที่ | |
| น้ำหวาน [30] | กระดาษ | โครงการ | ~183K | ภาษาอังกฤษ | GPT 4-สร้างแล้ว | ใช่ | |
| ข้อมูลสังเคราะห์ (การพัฒนาตนเอง) | การสอนด้วยตนเอง [31] | กระดาษ | โครงการ | 52ก | ภาษาอังกฤษ | InstructGPT สร้างขึ้น | ใช่ |
| คำสั่งการแปลกลับ (32) | กระดาษ | - | 502K | ภาษาอังกฤษ | LLaMa-สร้าง | เลขที่ | |
| สปิน [33] | กระดาษ | โครงการ | 49.8K | ภาษาอังกฤษ | Zephyr-สร้าง | ใช่ |
| ชื่อรุ่น | #พาราม | กระดาษ | โครงการ | โมเดลพื้นฐาน | ชุดรถไฟคำสั่ง | ||
|---|---|---|---|---|---|---|---|
| สร้างเอง | ชื่อ | ขนาด | |||||
| InstructGPT [9] | 176B | กระดาษ | - | GPT-3 [36] | ใช่ | - | - |
| บลูมซ์ [34] | 176B | กระดาษ | โครงการ | บลูม [37] | เลขที่ | xP3 | - |
| ฟลาน-T5 [35] | 11B | กระดาษ | โครงการ | ที5 [38] | เลขที่ | แฟลน 2021 | - |
| อัลปาก้า [17] | 7B | - | โครงการ | ลามะ [39] | ใช่ | - | 52ก |
| วิคูนา [20] | 13B | - | โครงการ | ลามะ [39] | ใช่ | - | 70ก |
| GPT-4-LLM [19] | 7B | กระดาษ | โครงการ | ลามะ [39] | ใช่ | - | 52ก |
| คลอดด์ [40] | - | กระดาษ | - | - | ใช่ | - | - |
| วิซาร์ดLM [16] | 7B | กระดาษ | โครงการ | ลามา [39] | ใช่ | Evol-สอน | 70ก |
| แชท GLM2 [41] | 6B | กระดาษ | โครงการ | จีแอลเอ็ม[41] | ใช่ | - | 1.1 โทเค็น |
| ลิมา [11] | 65B | กระดาษ | โครงการ | ลามะ [39] | ใช่ | 1ก | |
| เลือก IML [42] | 175B | กระดาษ | โครงการ | เลือก [43] | เลขที่ | - | - |
| ดอลลี่ 2.0 [44] | 12B | - | โครงการ | ปีเธีย [45] | เลขที่ | - | 15ก |
| เหยี่ยว-สอน [46] | 40B | กระดาษ | โครงการ | ฟอลคอน [46] | เลขที่ | - | - |
| กัวนาโก [23] | 7B | - | โครงการ | ลามะ [39] | ใช่ | - | 586K |
| มิโนทอร์ [47] | 15B | - | โครงการ | สตาร์โคเดอร์ พลัส (48) | เลขที่ | - | - |
| นุส-แอร์เมส [49] | 13B | - | โครงการ | ลามา [39] | เลขที่ | - | 300K+ |
| ทูลู [50] | 6.7B | กระดาษ | โครงการ | เลือก [43] | เลขที่ | ผสม | - |
| ยู่หลาน-ฉัตร [51] | 13B | - | โครงการ | ลามะ [39] | ใช่ | - | 250K |
| มอส [52] | 16B | - | โครงการ | - | ใช่ | - | - |
| ไอโรโบรอส [53] | 13B | - | โครงการ | ลามะ [39] | ใช่ | - | - |
| อัลตร้าLM [22] | 13B | กระดาษ | โครงการ | ลามะ [39] | ใช่ | - | - |
| ชื่อชุดข้อมูล | กระดาษ | โครงการ | รังสี | # งาน | |
|---|---|---|---|---|---|
| Modality คู่ | # ตัวอย่าง | ||||
| คำสั่งหลายจุด [54] | กระดาษ | โครงการ | รูปภาพ-ข้อความ | 5K ถึง 5M ต่องาน | 62 |
| PMC-VQA [55] | กระดาษ | โครงการ | รูปภาพ-ข้อความ | 227K | 9 |
| แลมม์ [56] | กระดาษ | โครงการ | รูปภาพ-ข้อความ | 186K | 9 |
| ชี้คลาวด์-ข้อความ | 10ก | 3 | |||
| วิชั่น-ฟลาน [57] | กระดาษ | โครงการ | หลายคู่ | ~1M | 200+ |
| อัลลาวา [58] | กระดาษ | โครงการ | รูปภาพ-ข้อความ | 1.4M | 2 |
| แชร์GPT4V [59] | กระดาษ | โครงการ | รูปภาพ-ข้อความ | 1.2M | 2 |
| ชื่อรุ่น | #พาราม | กระดาษ | โครงการ | กิริยา | โมเดลพื้นฐาน | ชุดรถไฟ | ||
|---|---|---|---|---|---|---|---|---|
| ชื่อรุ่น | #พาราม | สร้างเอง | ขนาด | |||||
| InstructPix2Pix [60] | 983ม | กระดาษ | โครงการ | รูปภาพ-ข้อความ | การแพร่กระจายที่เสถียร (62) | 983ม | ใช่ | 450K |
| ลาวา [61] | 13B | กระดาษ | โครงการ | รูปภาพ-ข้อความ | คลิป [63] | 400ม | ใช่ | 158K |
| ลามะ [39] | 7B | |||||||
| ลามะ [39] | 7B | |||||||
| วิดีโอ-LLaMA [64] | - | กระดาษ | โครงการ | รูปภาพ-ข้อความ-วิดีโอ-เสียง | บลิป-2 [65] | - | เลขที่ | - |
| โปรแกรมผูกภาพ [66] | - | |||||||
| วิคูนา[20] | 7B/13B | |||||||
| สอน BLIP [67] | 12B | กระดาษ | โครงการ | รูปภาพ-ข้อความ-วิดีโอ | บลิป-2 [65] | - | เลขที่ | - |
| นาก [68] | - | กระดาษ | โครงการ | รูปภาพ-ข้อความ-วิดีโอ | โอเพ่นฟลามิงโก้ [69] | 9B | ใช่ | 2.8M |
| มัลติโมดัล-GPT [70] | - | กระดาษ | โครงการ | รูปภาพ-ข้อความ-วิดีโอ | โอเพ่นฟลามิงโก้ [69] | 9B | เลขที่ | - |
| โดเมน | ชื่อรุ่น | #พาราม | กระดาษ | โครงการ | โมเดลพื้นฐาน | ขนาดรถไฟ |
|---|---|---|---|---|---|---|
| ทางการแพทย์ | รังสีวิทยา-GPT [71] | 7B | กระดาษ | โครงการ | อัลปาก้า[17] | 122K |
| แชทหมอ [72] | 7B | กระดาษ | โครงการ | ลามะ [39] | 122K | |
| ChatGLM-Med [73] | 6B | - | โครงการ | แชทจีแอลเอ็ม [41] | - | |
| การเขียน | การเขียน-อัลปาก้า [74] | 7B | กระดาษ | - | ลามะ [39] | - |
| ร่วมแก้ไข [75] | 11B | กระดาษ | โครงการ | ฟลาน-T5 [7] | 82K | |
| โคโพเอ็ต [76] | 11B | กระดาษ | โครงการ | T5[38] | - | |
| การสร้างรหัส | วิซาร์ดโค้ดเดอร์ [25] | 15B | กระดาษ | โครงการ | สตาร์โคเดอร์ [48] | 78ก |
| การวิเคราะห์ความรู้สึก | ไอที-เอ็มทีแอล [77] | 220ม | กระดาษ | โครงการ | T5[38] | - |
| เลขคณิต | แพะ [78] | 7B | กระดาษ | โครงการ | ลามะ [39] | 1.0M |
| การสกัดข้อมูล | คำสั่ง UIE [79] | 11B | กระดาษ | โครงการ | ฟลาน-T5 [7] | 1.0M |
| ชื่อ | กระดาษ | โครงการ |
|---|---|---|
| โลรา [80] | กระดาษ | โครงการ |
| คำแนะนำ [81] | กระดาษ | โครงการ |
| คิวโลรา [82] | กระดาษ | โครงการ |
| โลโม่ [83] | กระดาษ | โครงการ |
| การปรับเดลต้า (84) | กระดาษ | โครงการ |
| การประเมินแบบปิดท้าย | กระดาษ | โครงการ |
|---|---|---|
| การทำความเข้าใจภาษามัลติทาสก์ขนาดใหญ่ (MMLU) [85] | กระดาษ | โครงการ |
| คณิตศาสตร์ [86] | กระดาษ | โครงการ |
| GSM8K [87] | กระดาษ | โครงการ |
| บิ๊กเบนช์ฮาร์ด (BBH) [88] | กระดาษ | โครงการ |
| ฮิวแมนอีวัล [89] | กระดาษ | โครงการ |
| ไอเอฟเอวาล [90] | กระดาษ | โครงการ |
| การประเมินตาม GPT | กระดาษ | โครงการ |
|---|---|---|
| อัลปาก้าเอวัล [91] | - | โครงการ |
| อัลปาก้าประเมินความยาว (92) | กระดาษ | โครงการ |
| ม้านั่ง MT [93] | กระดาษ | โครงการ |
| ไวลด์เบนช์ [94] | กระดาษ | โครงการ |
1 คาชาบี, ดาเนียล, เซวอน มิน, ทูชาร์ ค็อต, อาชิช ซับฮาร์วาล, ออยวินด์ ทาฟจอร์ด, ปีเตอร์ คลาร์ก และฮันนาเนห์ ฮาจิชิร์ซี Unifiedqa: ข้ามขอบเขตรูปแบบด้วยระบบ qa เดียว arXiv พิมพ์ล่วงหน้า arXiv:2005.00700 (2020) กระดาษ
เทียนเป่า เสีย, เฉิน เฮนรี วู, เผิง ซือ, รุ่ยชี่ จง, ทอร์สเตน ชอแล็ค, มิชิฮิโระ ยาสุนากะ, เชียนเซิง วู, หมิง จง, เผิงเฉิง หยิน, สีดา ไอ. หวาง, วิคเตอร์ จง, ไบลิน หวัง, เฉิงซู ลี่, คอนเนอร์ บอยล์, Ansong Ni, Ziyu Yao, Dragomir R. Radev, Caiming Xiong, Lingpeng Kong, Rui Zhang, โนอาห์ เอ. สมิธ, ลุค เซตเทิลมอยเออร์ และเทาหยู Unifiedskg: การรวมองค์ความรู้ที่มีโครงสร้างแบบรวมและทำงานหลายอย่างพร้อมกันด้วยโมเดลภาษาจากข้อความเป็นข้อความ ในการประชุมเกี่ยวกับวิธีการเชิงประจักษ์ในการประมวลผลภาษาธรรมชาติ ปี 2022 บทความ
(3) มิชรา, สวารูปและคาชาบี, ดาเนียลและบารัล, จิตตะและฮาจิชิร์ซี, ฮันนาเนห์ คำแนะนำที่ไม่เป็นธรรมชาติ: ปรับแต่งโมเดลภาษาโดย (เกือบ) ไม่ใช้แรงงานมนุษย์ arXiv พิมพ์ล่วงหน้า arXiv:2212.09689, 2022 กระดาษ
(3) หรือ โฮโนวิช, โธมัส สเคียลอม, โอเมอร์ เลวี และติโม ชิค คำแนะนำที่ไม่เป็นธรรมชาติ: ปรับแต่งโมเดลภาษาโดย (เกือบ) ไม่ใช้แรงงานคน arXiv พิมพ์ล่วงหน้า arXiv:2212.09689, 2022 กระดาษ
[4] ยี่จง หวัง, สวารุป มิชรา, เปกาห์ อาลิปูร์โมลาบาชิ, เยกาเนห์ คอร์ดี, อาเมียร์เรซา มีร์ซาอี, อันจานา อรุณกุมาร์, อาร์จัน อโชก, อารุต เซลวาน ดานาเซการัน, อาธาร์วา ไนค์, เดวิด สแนป และคณะ คำแนะนำเหนือธรรมชาติ: การวางนัยทั่วไปผ่านคำแนะนำที่ประกาศเกี่ยวกับงานมากกว่า 1,600 รายการ ใน EMNLP, 2022. กระดาษ
[5] วิกเตอร์ แซนห์, อัลเบิร์ต เว็บสัน, โคลิน ราฟเฟล, สตีเฟน เอช บาค, ลินทัง ซูทาวิกา, ซาอิด อัลยาเฟอี, อองตวน แชฟฟิน, อาร์โนด์ สตีกเลอร์, เทเวน เลอ สเกา, อรุณ ราจา และคณะ การฝึกอบรมแบบมัลติทาสก์ช่วยให้สามารถสรุปงานแบบ Zero-Shot ได้ arXiv พิมพ์ล่วงหน้า arXiv:2110.08207, 2021. กระดาษ
(6) Niklas Muennighoff, Thomas Wang, Lintang Sutawika, Adam Roberts, Stella Biderman, Teven Le Scao, M Saiful Bari, Sheng Shen, Zheng-Xin Yong, Hailey Schoelkopf และคณะ การวางนัยทั่วไปข้ามภาษาผ่านการปรับแต่งแบบมัลติทาสก์ arXiv พิมพ์ล่วงหน้า arXiv:2211.01786, 2022 กระดาษ
[7] Shayne Longpre, Le Hou, Tu Vu, Albert Webson, Hyung Won Chung, Yi Tay, Denny Zhou, Quoc V Le, Barret Zoph, Jason Wei และคณะ คอลเลกชัน Flan: การออกแบบข้อมูลและวิธีการปรับแต่งคำสั่งอย่างมีประสิทธิภาพ arXiv พิมพ์ล่วงหน้า arXiv:2301.13688, 2023 กระดาษ
[8] Ge Zhang, Yemin Shi, Ruibo Liu, Ruibin Yuan, Yizhi Li, Siwei Dong, Yu Shu, Zhaoqun Li, Zekun Wang, Chenghua Lin, Wen-Fen Huang และ Jie Fu คำสั่งทั่วไปแบบเปิดของจีน: การเปิดตัวเบื้องต้น ArXiv, abs/2304.07987, 2023. กระดาษ
[9] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray และคณะ ฝึกอบรมโมเดลภาษาให้ปฏิบัติตามคำแนะนำพร้อมคำติชมของมนุษย์ ความก้าวหน้าในระบบประมวลผลข้อมูลประสาท, 35:27730– 27744, 2022. กระดาษ
(10) ไมค์ คอนโอเวอร์, แมตต์ เฮย์ส, อันกิต มาเธอร์, เซียงรุย เม้ง, เจียนเว่ย ซี, จุน วาน, แซม ชาห์, อาลี ก็อดซี, แพทริค เวนเดลล์, มาเทย์ ซาฮาเรีย และคณะ ฟรีดอลลี่: ขอแนะนำ llm ที่ปรับแต่งคำสั่งแบบเปิดอย่างแท้จริงเครื่องแรกของโลก ปี 2023 Paper
[11] Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe Ma, Avia Efrat, Ping Yu, L. Yu, Susan Zhang, Gargi Ghosh, Mike Lewis, Luke Zettlemoyer และ Omer Levy ลิมา: Less is more สำหรับการจัดตำแหน่ง ArXiv, abs/2305.11206, 2023. กระดาษ
[12] โอเพ่นเอไอ แนะนำ chatgpt โพสต์ในบล็อก openai.com/blog/chatgpt, 2022. บทความ
(13) อันเดรียส คอปฟ์, ยานนิค คิลเชอร์, ดิมิทรี ฟอน รุตเต, โซติริส อนาญอสติดิส, จิ-รุย ตาม, คีธ สตีเวนส์, อับดุลลาห์ บาร์ฮูม, เหงียน มินห์ ดึ๊ก, โอลิเวอร์ สแตนลีย์, ริชาร์ด นากีฟี่ และคณะ การสนทนาแบบเปิดกว้าง – การจัดแนวโมเดลภาษาขนาดใหญ่ให้เป็นประชาธิปไตย arXiv พิมพ์ล่วงหน้า arXiv:2304.07327, 2023. กระดาษ
[14] LAION.ai. Oig: ชุดข้อมูลทั่วไปของคำสั่งแบบเปิด ปี 2023
(15) ฟู่จ้าว เสวี่ย, กาบีร์ เจน, มาฮีร์ ฮิเตช ชาห์, จางเว่ย เจิ้ง และหยาง หยู Instruction in the wild: ชุดข้อมูลคำสั่งที่อิงตามผู้ใช้ github.com/XueFuzhao/InstructionWild,2023
[16] Can Xu, Qingfeng Sun, Kai Zheng, Xiubo Geng, Pu Zhao, Jiazhan Feng, Chongyang Tao และ Daxin Jiang Wizardlm: การเสริมพลังให้กับโมเดลภาษาขนาดใหญ่เพื่อปฏิบัติตามคำสั่งที่ซับซ้อน , 2023. บทความ
[17] โรฮัน ทาโอริ, อิชาน กุลราจานี, จางเทียนยี่, ยานน์ ดูบัวส์, ซูเฉิน หลี่, คาร์ลอส เกสต์ริน, เพอร์ซี เหลียง และทัตสึโนริ บี ฮาชิโมโตะ อัลปาก้า: โมเดลตามคำสั่งที่แข็งแกร่งและทำซ้ำได้ ศูนย์วิจัยสแตนฟอร์ดเกี่ยวกับแบบจำลองมูลนิธิ https://crfm.stanford.edu/2023/03/13/alpaca.html , 3(6):7, 2023.
[18] Hanmeng Liu, Zhiyang Teng, Leyang Cui, Chaoli Zhang, Qiji Zhou และ Yue Zhang Logicot: การรวบรวมข้อมูลการปรับคำสั่งแบบห่วงโซ่ความคิดแบบลอจิคัลด้วย gpt-4 ArXiv, abs/2305.12147, 2023. กระดาษ
[19] เปาหลิน เผิง, ชุนหยวน หลี่, เผิงเฉิงเหอ, มิเชล แกลลีย์ และเจียนเฟิง เกา คำสั่งการปรับแต่งด้วย gpt-4 arXiv พิมพ์ล่วงหน้า arXiv:2304.03277, 2023. กระดาษ
(20) Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang, Joseph E Gonzalez และคณะ Vicuna: chatbot แบบโอเพ่นซอร์สที่สร้างความประทับใจ gpt-4 ด้วยคุณภาพ chatgpt 90% ดู https://vicuna.lmsys.org (เข้าถึงเมื่อ 14 เมษายน 2023), 2023
[21] Canwen Xu และ Daya Guo และ Nan Duan และ Julian McAuley Baize: รูปแบบการแชทแบบโอเพ่นซอร์สพร้อมการปรับแต่งข้อมูลการแชทด้วยตนเองอย่างมีประสิทธิภาพ กระดาษ
[22] Ning Ding, Yulin Chen, Bokai Xu, Yujia Qin, Zhi Zheng, Shengding Hu, Zhiyuan Liu, Maosong Sun และ Bowen Zhou ปรับปรุงโมเดลภาษาแชทโดยปรับขนาดการสนทนาการเรียนการสอนคุณภาพสูง arXiv พิมพ์ล่วงหน้า arXiv:2305.14233, 2023 กระดาษ
(23) โจเซฟัสเฉิง. Guanaco: ผู้ช่วยสากลทั่วไปสำหรับผลลัพธ์ทุกภาษาที่รับรู้บริบทแบบปรับตามบริบทด้วยภาษาธรรมชาติ 2021
(24) สุภาบราตา มุกเคอร์จี, อารินดัม มิตรา, พระพิฆเนศ จาวาฮาร์, ซาฮัจ อาการ์วาล, ฮามิด ปาลังกา และอาเหม็ด อาวาดัลลาห์ 2023. Orca: การเรียนรู้แบบก้าวหน้าจากร่องรอยคำอธิบายที่ซับซ้อนของ gpt-4 arXiv พิมพ์ล่วงหน้า arXiv:2306.02707 กระดาษ
[25] Ziyang Luo, Can Xu, Pu Zhao, Qingfeng Sun, Xiubo Geng, Wenxiang Hu, Chongyang Tao, Jing Ma, Qingwei Lin และ Daxin Jiang 2023 Wizardcoder: เสริมศักยภาพโค้ดโมเดลภาษาขนาดใหญ่ด้วย evol-instruct กระดาษ
(26) หยูเซียง เหว่ย, เจ้อ หวาง, เจียเว่ย หลิว, อี้เฟิง ติง และหลิงหมิง จาง 2023ข. Magicoder: ซอร์สโค้ดคือสิ่งที่คุณต้องการ arXiv พิมพ์ล่วงหน้า arXiv:2312.02120 กระดาษ
[27] Zhaojian Yu, Xin Zhang, Ning Shang, Yangyu Huang, Can Xu, Yishujie Zhao, Wenxiang Hu และ Qiufeng Yin 2023. Wavecoder: การปรับแต่งคำสั่งที่ได้รับการปรับปรุงอย่างกว้างขวางและหลากหลายด้วยการสร้างข้อมูลที่ละเอียดยิ่งขึ้น arXiv พิมพ์ล่วงหน้า arXiv:2312.14187 กระดาษ
(28) สุริยา กุนาเซการ์, ยี่ จาง, จโยติ อาเนจา, เคโอ ซีซาร์ เตโอโดโร เมนเดส, อัลลี เดล จิออร์โน, ซิวาคานธ์ โกปิ, โมจัน จาวาเฮริปี, ปิเอโร คอฟฟ์มันน์, กุสตาโว เด โรซา, ออลลี ซาอาริกิวี และคณะ 2023 หนังสือเรียนคือสิ่งที่คุณต้องการ arXiv พิมพ์ล่วงหน้า arXiv:2306.11644 กระดาษ
(29) หยวนจือ ลี, เซบาสเตียน บูเบค, โรเนน เอลดาน, อัลลี เดล จิออร์โน, สุริยา กุนาเซการ์ และยิน ทัท ลี พ.ศ. 2566 หนังสือเรียนคือสิ่งที่คุณต้องการ ii: รายงานทางเทคนิค phi-1.5 arXiv พิมพ์ล่วงหน้า arXiv:2309.05463 กระดาษ
[30] Banghua Zhu, Evan Frick, Tianhao Wu, Hanlin Zhu และ Jiantao Jiao 2023ก. Starling-7b: ปรับปรุงความช่วยเหลือ & ความไม่เป็นอันตรายด้วย rlaif กระดาษ
(31) Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A Smith, Daniel Khashabi และ Hannaneh Hajishirzi การสอนด้วยตนเอง: การจัดรูปแบบภาษาให้สอดคล้องกับคำแนะนำที่สร้างขึ้นเอง arXiv พิมพ์ล่วงหน้า arXiv:2212.10560, 2022 กระดาษ
(32) เซียน ลี่, ปิง หยู, ชุนติง โจว, ติโม ชิค, ลุค เซตเทิลมอยเออร์, โอเมอร์ เลวี, เจสัน เวสตัน และ ไมค์ ลูอิส 2023ก. การจัดตำแหน่งตนเองด้วยคำแนะนำการแปลกลับ arXiv พิมพ์ล่วงหน้า arXiv:2308.06259 กระดาษ
[33] ซีเซียง เฉิน, อี้เหอ เติ้ง, ฮุ่ยซั่ว หยวน, ไคซวน จี และฉวนฉวน กู่ 2024. การปรับแต่งการเล่นด้วยตนเองอย่างละเอียดจะแปลงโมเดลภาษาที่อ่อนแอไปเป็นโมเดลภาษาที่แข็งแกร่ง arXiv พิมพ์ล่วงหน้า arXiv:2401.01335 กระดาษ
(34) Niklas Muennighoff, Thomas Wang, Lintang Sutawika, Adam Roberts, Stella Biderman, Teven Le Scao, M Saiful Bari, Sheng Shen, Zheng-Xin Yong, Hailey Schoelkopf และคณะ 2022. การวางนัยทั่วไปข้ามภาษาผ่านการปรับแต่งแบบมัลติทาสก์ arXiv พิมพ์ล่วงหน้า arXiv:2211.01786 กระดาษ
[35] ฮยอน วอน ชุง, เลอ ฮาว, เอส. ลองเปร, บาร์เร็ต ซอฟ, ยี เทย์, วิลเลียม เฟดัส, เอริก ลี, ซูจือ หวาง, มอสตาฟา เดห์กานี, สิทธัตถะ บราห์มา, อัลเบิร์ต เว็บสัน, ชิเซียง เชน กู, จูยัน ได, มิรัค ซุซกุน, ซินหยุน เฉิน , อัครัคชา เชาเดรี, ดาชา วอลเตอร์, ชารัน นารัง, เการาฟ มิชรา, อดัมส์ เว่ย หยู, วินเซนต์ Zhao, Yanping Huang, Andrew M. Dai, Hongkun Yu, Slav Petrov, Ed Huai hsin Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc V. Le และ Jason Wei การปรับขนาดโมเดลภาษาที่ปรับแต่งคำสั่งอย่างละเอียด ArXiv, abs/2210.11416, 2022. กระดาษ
(36) ทอม บี. บราวน์, เบนจามิน แมนน์, นิค ไรเดอร์, เมลานี ซับเบียห์, จาเร็ด แคปแลน, ปราฟูลลา ดาริวัล, อาร์วินด์ นีลากันตัน, ปรานาฟ ไชยัม, กีริช แซสตรี้, อแมนดา แอสเคลล์, ซานธินี อการ์วาล, เอเรียล เฮอร์เบิร์ต- โวส, เกร็ตเชน ครูเกอร์, ทีเจ เฮนิแกน, รีวอน เด็ก, อาดิตยา ราเมช, แดเนียล เอ็ม. ซีกเลอร์, เจฟฟ์ วู, คลีเมนส์ วินเทอร์, คริสโตเฟอร์ เฮสส์, มาร์ก เฉิน, เอริก ซิกเลอร์, มาเตอุส ลิทวิน, สก็อตต์ เกรย์, เบนจามิน เชส, แจ็ค คลาร์ก, คริสโตเฟอร์ เบอร์เนอร์, แซม แมคแคนดิช, อเล็กซ์ แรดฟอร์ด, อิลยา ซัตสเคเวอร์ และดาริโอ อโมได โมเดลภาษาเป็นผู้เรียนเพียงไม่กี่คน ArXiv, abs/2005.14165, 2020. กระดาษ
(37) Scao, Teven Le, Angela Fan, คริสโตเฟอร์ อากิกิ, Ellie Pavlick, Suzana Ilić, Daniel Hesslow, Roman Castagné และคณะ Bloom: โมเดลภาษาหลายภาษาแบบเปิดที่เข้าถึงได้หลายพารามิเตอร์ 176b arXiv พิมพ์ล่วงหน้า arXiv:2211.05100 (2022) กระดาษ
(38) Colin Raffel, Noam M. Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li และ Peter J. Liu สำรวจขีดจำกัดของการถ่ายโอนการเรียนรู้ด้วยตัวแปลงข้อความเป็นข้อความแบบครบวงจร ArXiv, abs/1910.10683, 2019. กระดาษ
อูโก ตูฟรอน, ธิโบต์ ลาฟริล, โกติเยร์ อิซาการ์ด, ซาเวียร์ มาร์ติเนต์, มารี-แอนน์ ลาโชซ์, ทิโมธี ลาครัวซ์, บัปติสต์ โรซีแยร์, นามาน โกยาล, เอริก ฮัมโบร, ไฟซาล อัซฮาร์, ออร์เอเลียน โรดริเกซ, อาร์ม็อง จูแลง, เอดูอาร์ เกรฟ และกิโยม แลมเปิล ลามะ: โมเดลภาษาพื้นฐานที่เปิดกว้างและมีประสิทธิภาพ ArXiv, abs/2302.13971, 2023. กระดาษ
(40) Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon และคณะ รัฐธรรมนูญ ai: การไม่มีอันตรายจากข้อเสนอแนะของ ai arXiv พิมพ์ล่วงหน้า arXiv:2212.08073, 2022. กระดาษ
[41] เจิ้งเซียว ตู้, หยูเจี๋ยเฉียน, เซียวหลิว, หมิงติง, เจียซ่ง ชิว, จี้หลิน หยาง และ เจีย ถัง Glm: การฝึกอบรมโมเดลภาษาทั่วไปล่วงหน้าด้วยการเติมช่องว่างอัตโนมัติแบบถดถอย ใน รายงานการประชุมประจำปีครั้งที่ 60 ของสมาคมภาษาศาสตร์คอมพิวเตอร์ (เล่มที่ 1: เอกสารขนาดยาว) หน้า 320–335, 2022 กระดาษ
42 ศรีนิวาส ไอเยอร์, เซียวจวน ลิน, รามาคานธ์ ปาซูนูรู, โทดอร์ มิไฮลอฟ, ดาเนียล ซิมิก, ปิง หยู, เคิร์ต ชูสเตอร์, เทียนลู่ หวาง, ชิง หลิว, ปูนิต ซิงห์ คูร่า, เซียน หลี่, ไบรอัน โอโฮโร, กาเบรียล เปเรย์รา, เจฟฟ์ หวัง, คริสโตเฟอร์ เดวาน อัสลี เซลิคิลมาซ, ลุค เซตเทิลมอยเออร์ และเวเซลิน สโตยานอฟ Opt-iml: การปรับขนาดโมเดลภาษาสำหรับการเรียนรู้เมตาผ่านเลนส์ของลักษณะทั่วไป ArXiv, abs/2212.12017, 2022. กระดาษ
(43) ซูซาน จาง, สตีเฟน โรลเลอร์, นามาน โกยาล, มิเกล อาร์เทเท็กซ์, โมย่า เฉิน, ชูฮุ่ย เฉิน, คริสโตเฟอร์ เดวาน, โมนา ที. ดิยิบ, ซีอาน ลี, ซี วิกตอเรีย ลิน, โทดอร์ มิฮาย์ลอฟ, ไมล์ ออตต์, แซม ชไลเฟอร์, เคิร์ต ชูสเตอร์, แดเนียล ซิมิก ปูนิต ซิงห์ คูรา, อัญจาลี ศรีดาร์, เทียนลู่ หวาง และลุค เซตเทิลมอยเออร์ 2022ก. ตัวเลือก: เปิดโมเดลภาษาของ Transformer ที่ได้รับการฝึกอบรมล่วงหน้า ArXiv, เอบีเอส/2205.01068. กระดาษ
(44) ไมค์ คอนโอเวอร์, แมตต์ เฮย์ส, อันกิต มาเธอร์, เซียงรุย เม้ง, เจียนเว่ย ซี, จุน วาน, แซม ชาห์, อาลี ก็อดซี, แพทริค เวนเดลล์, มาเทย์ ซาฮาเรีย และคณะ ฟรีดอลลี่: ขอแนะนำ llm ที่ปรับแต่งคำสั่งแบบเปิดอย่างแท้จริงตัวแรกของโลก ในปี 2023
[45] Stella Rose Biderman, Hailey Schoelkopf, Quentin G. Anthony, Herbie Bradley, Kyle O'Brien, Eric Hallahan, Mohammad Aflah Khan, Shivanshu Purohit, USVSN Sai Prashanth, Edward Raff, Aviya Skowron, Lintang Sutawika และ Oskar van der วอล Pythia: ชุดโปรแกรมสำหรับวิเคราะห์โมเดลภาษาขนาดใหญ่ทั้งในด้านการฝึกอบรมและการปรับขนาด ArXiv, abs/2304.01373, 2023. กระดาษ
[46] เอ็บเตซาม อัลมาซรูเอ, ฮัมซ่า อโลไบดลี, อับดุลอาซิซ อัลชัมซี, อเลสซานโดร แคปเปลลี, รุxซานดรา โกโจการู, เมรูยาน เดบบาห์, เอเตียน กอฟฟิเนต์, ดาเนียล เฮสโลว์, จูเลียน เลาเนย์, เควนติน มาลาติช, บาดเรดดีน นูเน, บัปติสต์ ปันเนียร์ และกิลแอร์เม่ เปเนโด Falcon-40B: โมเดลภาษาแบบเปิดขนาดใหญ่พร้อมประสิทธิภาพที่ล้ำสมัย 2566. กระดาษ
(47) กลุ่ม OpenAccess AI ซอฟต์แวร์: Huggingface.co/openaccess-ai-collective/minotaur- 15b, 2023
(48) เรย์มอนด์ ลี, ลูบน่า เบน อัลลาล, หยางเทียน ซี, นิคลาส มึนนิฮอฟฟ์, เดนิส โคเซตคอฟ, เฉิงห่าว โหมว, มาร์ค มาโรน, คริสโตเฟอร์ อากิกิ, เจีย ลี่, เจนนี่ ชิม และคณะ Starcoder: ขอแหล่งที่มาจงสถิตย์อยู่กับคุณ ! arXiv พิมพ์ล่วงหน้า arXiv:2305.06161, 2023 กระดาษ
[49] นูสรีเสิร์ช . ซอฟต์แวร์: Huggingface.co/NousResearch/Nous-Hermes-13b, 2023
[50] Yizhong Wang, Hamish Ivison, Pradeep Dasigi, Jack Hessel, Tushar Khot, Khyathi Raghavi Chandu, David Wadden, Kelsey MacMillan, Noah A. Smith, Iz Beltagy และ Hanna Hajishirzi อูฐสามารถไปได้ไกลแค่ไหน? สำรวจสถานะของการปรับแต่งคำสั่งบนทรัพยากรแบบเปิด ArXiv, abs/2306.04751, 2023. กระดาษ
[51] YuLan-แชท-ทีม Yulan-chat: แชทบอทสองภาษาแบบโอเพ่นซอร์ส github.com/RUC-GSAI/YuLan-Chat, 2023
(52) ซุน เทียนเซียง และ ชิว ซีเผิง มอส . โพสต์ในบล็อก txsun1997.github.io/blogs/moss.html, 2023
(53) จอน เดอร์บิน แอร์โรโบรอส . ซอฟต์แวร์: github.com/jondurbin/airoboros, 2023
(54) ซู่หยาง หยิงเซิน และลี่ฟู่ หวง Multiinstruct: การปรับปรุงการเรียนรู้แบบ Zero-shot หลายรูปแบบผ่านการปรับคำสั่ง ArXiv, abs/2212.10773, 2022. กระดาษ
[55] เซียวมาน จาง, เฉาอี้ หวู่, ซีเหิง จ้าว, เว่ยซียง ลิน, หยา จาง, หยานเฟิง หวาง และเหวยตี๋เสีย PMC-VQA: การปรับแต่งการสอนด้วยภาพสำหรับการตอบคำถามด้วยภาพทางการแพทย์ ArXiv, เอบีเอส/2305.10415. 2566. กระดาษ
[56] เจิ้นเฟย หยิน, จิออง หวาง, เจี้ยนเจียน เฉา, เจหลุน ชิ, ติงหนิง หลิว, มูไค ลี, หลู่เซิง, เล่ยไป๋, เสี่ยวซุย ฮวง, จือหยง หวาง, ว่านหลี่ โอวหยาง และจิง เชา Lamm: ชุดข้อมูล เฟรมเวิร์ก และเกณฑ์มาตรฐานสำหรับการปรับแต่งคำสั่งหลายรูปแบบโดยใช้ภาษาช่วย ArXiv, abs/2306.06687, 2023. กระดาษ
[57] Zhiyang Xu, Chao Feng, Rulin Shao, Trevor Ashby, Ying Shen, Di Jin, Yu Cheng, Qifan Wang และ Lifu Huang 2024. Vision-flan: การปรับขนาดงานที่มนุษย์กำหนดในการปรับคำสั่งด้วยภาพ arXiv พิมพ์ล่วงหน้า arXiv:2402.11690 กระดาษ
[58] Guiming Hardy Chen, Shunian Chen, Ruifei Zhang, Junying Chen, Xiangbo Wu, Zhiyi Zhang, Zhihong Chen, Jianquan Li, Xiang Wan และ Benyou Wang 2024ก. Allava: การควบคุมข้อมูลที่สังเคราะห์ด้วย gpt4v สำหรับโมเดลภาษาวิชั่นแบบ Lite arXiv พิมพ์ล่วงหน้า arXiv:2402.11684 กระดาษ
[59] หลิน เฉิน, จีซง ลี, เซียวยี่ ตง, ปาน จาง, คงฮุย เหอ, เจียฉี หวาง, เฟิง จ้าว และ ต้าฮัว ลิน 2023ก. Sharegpt4v: การปรับปรุงโมเดลหลายรูปแบบขนาดใหญ่พร้อมคำบรรยายที่ดีกว่า arXiv พิมพ์ล่วงหน้า arXiv:2311.12793 กระดาษ
(60) ทิม บรูคส์, อเล็กซานเดอร์ โฮลินสกี้ และอเล็กซี่ เอ. เอฟรอส Instructpix2pix: เรียนรู้ที่จะทำตามคำแนะนำในการแก้ไขภาพ ArXiv, abs/2211.09800, 2022. กระดาษ
[61] Haotian Liu, Chunyuan Li, Qingyang Wu และ Yong Jae Lee การปรับคำสั่งด้วยภาพ ArXiv, abs/2304.08485, 2023. กระดาษ
(62) โรบิน รอมบัค, อันเดรียส แบลตต์มันน์, โดมินิค ลอเรนซ์, แพทริค เอสเซอร์ และบียอร์น ออมเมอร์ การสังเคราะห์ภาพความละเอียดสูงด้วยแบบจำลองการแพร่กระจายแฝง ในการดำเนินการประชุม IEEE/CVF เกี่ยวกับการมองเห็นคอมพิวเตอร์และการจดจำรูปแบบ หน้า 10684–10695, 2022 กระดาษ
[63] อเล็ก แรดฟอร์ด, จอง วุค คิม, คริส ฮอลลาซี, อาดิตยา ราเมช, กาเบรียล โกห์, ซานธินี อาการ์วาล, กีริช แซสตรี้, อแมนดา แอสเคลล์, พาเมลา มิชกิน, แจ็ค คลาร์ก, เกร็ตเชน ครูเกอร์ และอิลยา ซัตสเคเวอร์ การเรียนรู้แบบจำลองภาพที่สามารถถ่ายทอดได้จากการกำกับดูแลด้วยภาษาธรรมชาติ ในการประชุมนานาชาติเรื่อง Machine Learning ปี 2021 เอกสาร
[64] Hang Zhang, Xin Li และ Lidong Bing วิดีโอลามะ: โมเดลภาษาภาพและเสียงที่ปรับแต่งตามคำแนะนำเพื่อความเข้าใจในวิดีโอ arXiv พิมพ์ล่วงหน้า arXiv:2306.02858, 2023 กระดาษ
(65) Junnan Li, Dongxu Li, Silvio Savarese และ Steven Hoi BLIP-2: การฝึกอบรมเบื้องต้นเกี่ยวกับภาษาและภาพด้วยตัวเข้ารหัสภาพแช่แข็งและแบบจำลองภาษาขนาดใหญ่ ใน ICML, 2023. กระดาษ
(66) โรหิต กิร์ดาร์, อลาเอลดิน เอล-นูบี, จวง หลิว, มานนัท ซิงห์, กัลยัน วาซูเดฟ อัลวาลา, อาร์มันด์ จูลิน และอิชาน มิสรา Imagebind: หนึ่งพื้นที่ฝังเพื่อผูกทั้งหมด ใน CVPR, 2023. กระดาษ
[67] เหวินเหลียง ไต, จุนหนาน ลี, ตงซู ลี, แอนโทนี่ เมง ฮวด เตียง, จุนชี่ จ้าว, เว่ยเซิง หวาง, โบหยาง ลี, ปาสเกล ฟุง และสตีเว่น ฮอย Instructblip: สู่โมเดลภาษาวิชั่นสำหรับวัตถุประสงค์ทั่วไปพร้อมการปรับแต่งคำสั่ง ArXiv, abs/2305.06500, 2023. กระดาษ
[68] ป๋อ ลี่, หยวนฮัน จาง, เหลียงหยู่ เฉิน, จิงห่าว หวาง, จิงคัง หยาง และจือเว่ย หลิว นาก: โมเดลหลายกิริยาพร้อมการปรับคำสั่งในบริบท ArXiv, abs/2305.03726, 2023. กระดาษ
(69) Anas Awadalla, Irena Gao, Joshua Gardner, Jack Hessel, Yusuf Hanafy, Wanrong Zhu, Kalyani Marathe, Yonatan Bitton, Samir Gadre, Jenia Jitsev และคณะ โอเพ่นฟลามิงโก 2023.
[70] Tao Gong, Chengqi Lyu, Shilong Zhang, Yudong Wang, Miao Zheng, Qianmengke Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo และ Kai Chen Multimodal-gpt: แบบจำลองวิสัยทัศน์และภาษาสำหรับการสนทนากับมนุษย์ ArXiv, abs/2305.04790, 2023. กระดาษ
[71] เจิ้ง หลิว, เอาเซียว จง, ยี่เว่ย ลี, หลงเทา หยาง, เฉา จู, ซีหาว วู, ชอง หม่า, เผิง ชู, เฉิง เฉิน, เซคึน คิม, ไห่ซิง ไต, หลิน จ้าว, ต้าเจียง จู้, จุน หลิว, เว่ย หลิว, ติงกัง เซิน , Xiang Li, Quanzheng Li และ Tianming Liu Radiology-gpt: แบบจำลองภาษาขนาดใหญ่สำหรับรังสีวิทยา 2566. กระดาษ
[72] Yunxiang Li, Zihan Li, Kai Zhang, Ruilong Dan และ You Zhang Chatdoctor: โมเดลแชททางการแพทย์ที่ได้รับการปรับแต่งบนโมเดลลามะโดยใช้ความรู้โดเมนทางการแพทย์ ArXiv, abs/2303.14070, 2023. กระดาษ
[73] เซนตง จ้าวปิง ฉินติงหลิว ห่าวชุน หวาง, ชิหลิว Chatglm-med. github.com/SCIR- HI/Med-ChatGLM , 2023
[74] เยว่จาง, เล่หยางชุย, เติ้งไค, ซินติงหวง, เทาฟาง และเว่ยปี้ 2023วัน การปรับแต่งคำสั่งลามะแบบหลายงานสำหรับสถานการณ์เฉพาะ: การศึกษาเบื้องต้นเกี่ยวกับการช่วยเขียน ArXiv, เอบีเอส/2305.13225. กระดาษ
[75] วิปุล ราเฮจา, ดรูฟ คูมาร์, ไรอัน คู และดงยอบ คัง 2023. Coedit: การแก้ไขข้อความโดยการปรับคำสั่งเฉพาะงาน ArXiv, เอบีเอส/2305.09857. กระดาษ
(76) ทูฮิน จักรบาร์ตี, วิชาค ปัทมากุมาร์ และเหิงซิงเหอ 2022. ช่วยฉันเขียนการปรับแต่งบทกวี-คำแนะนำเพื่อเป็นช่องทางในการเขียนบทกวีร่วมกัน ArXiv, เอบีเอส/2210.13669. กระดาษ
(77) สิทธัตถ์ วาเรีย, ชวย หวาง, คิชาลอย ฮัลเดอร์, โรเบิร์ต วากาเรอานู, มิเกล บาลเลสเตรอส, ยัสซีน เบนาจิบา, เนฮา แอน จอห์น, ริชิตา อนุไบ, สมารันดา มูเรซาน และแดน ร็อธ 2022. การปรับแต่งคำสั่งสำหรับการวิเคราะห์ความรู้สึกตามมุมมองไม่กี่ช็อต ArXiv, เอบีเอส/2210.06629. กระดาษ
[78] เถี่ยตง หลิว และไบรอัน เคียน เซียง แพะ: ลามะที่ได้รับการปรับแต่งอย่างละเอียดมีประสิทธิภาพเหนือกว่า gpt-4 ในงานเลขคณิต arXiv พิมพ์ล่วงหน้า arXiv:2305.14201, 2023 กระดาษ
[79] Xiao Wang, Wei Zhou, Can Zu, Han Xia, Tianze Chen, Yuan Zhang, Rui Zheng, Junjie Ye, Qi Zhang, Tao Gui, Jihua Kang, J. Yang, Siyuan Li และ Chunsai Du Instructuie: การปรับแต่งคำสั่งแบบหลายงานเพื่อการดึงข้อมูลแบบครบวงจร ArXiv, abs/2304.08085, 2023. กระดาษ
[80] เอ็ดเวิร์ด เจ หู, เย่หลง เซิน, ฟิลลิป วาลลิส, เจ๋อหยวน อัลเลน-จู้, หยวนจือ ลี, เชียน หวาง, หลู่ หวาง และเว่ยจู เฉิน 2021. Lora: การดัดแปลงโมเดลภาษาขนาดใหญ่ระดับต่ำ arXiv พิมพ์ล่วงหน้า arXiv:2106.09685 กระดาษ
(81) Hamish Ivison, Akshita Bhagia, Yizhong Wang, Hannaneh Hajishirzi และ Matthew E. Peters 2022 คำแนะนำ: การปรับแต่งคำสั่ง Hypernetwork เพื่อการวางภาพรวมแบบ Zero-Shot ที่มีประสิทธิภาพ ArXiv, เอบีเอส/2212.10315. กระดาษ
(82) ทิม เดตต์เมอร์ส, อาร์ติโดโร ปาญโญนี, อารี โฮลต์ซแมน และลุค เซตเทิลมอยเออร์ 2023. Qlora: การปรับแต่ง llms เชิงปริมาณอย่างมีประสิทธิภาพ arXiv พิมพ์ล่วงหน้า arXiv:2305.14314 กระดาษ
[83] ไค หลิว, หยูชิง หยาง, เถิงเซียว หลิว, ชี่เจี๋ยเกา, ชีเผิงกัว และซีเผิงชิว 2023. การปรับแต่งพารามิเตอร์แบบเต็มสำหรับโมเดลภาษาขนาดใหญ่ที่มีทรัพยากรจำกัด กระดาษ
[84] Weize Chen, Jing Yi, Weilin Zhao, Xiaozhi Wang, Zhiyuan Liu, Haitao Zheng, Jianfei Chen, Y. Liu, Jie Tang, Juanzi Li และ Maosong Sun 2023ข. การปรับพารามิเตอร์อย่างละเอียดของโมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้าขนาดใหญ่ ความฉลาดทางเครื่องจักรธรรมชาติ, 5:220–235. กระดาษ
(85) เฮนดริกส์, แดนและเบิร์นส์, คอลลินและบาซาร์, สตีเวนและโซว, แอนดี้และมาเซกา, แมนทาสและซอง, ดอว์นและสไตน์ฮาร์ด, เจค็อบ 2020ก. การวัดความเข้าใจภาษามัลติทาสก์จำนวนมาก arXiv:2009.03300. กระดาษ
(86) เฮนดริกส์, แดนและเบิร์นส์, คอลลินและคาดาวาธ, เซาราฟและอาโรรา, อากุลและบาซาร์, สตีเว่นและถัง, เอริคและซอง, ดอว์นและสไตน์ฮาร์ด, ยาโคบ 2564. การวัดการแก้ปัญหาทางคณิตศาสตร์ด้วยชุดข้อมูลทางคณิตศาสตร์ arXiv พิมพ์ล่วงหน้า arXiv:2103.03874 กระดาษ
[87] Karl Cobbe และ Vineet Kosaraju และ Mohammad Bavarian และ Mark Chen และ Heewoo Jun และ Lukasz Kaiser และ Matthias Plappert และ Jerry Tworek และ Jacob Hilton และ Reiichiro Nakano และ Christopher Hesse และ John Schulman 2021. การฝึกอบรมผู้ตรวจสอบเพื่อแก้ปัญหาคำศัพท์ทางคณิตศาสตร์ กระดาษ
(88) ซุซกุน, มิรัคและสเกลส์, นาธานและช{"อา}อาร์ลี, นาธานาเอลและเกห์มันน์, เซบาสเตียนและเทย์, ยีและชุง, ฮยองวอนและเชาเดอรี, อาคังชาและเลอ, ก๊วกที่ 5 และชี, เอ็ด เอช และโจว, เดนนี่ และอื่น ๆ 2022a. งานใหญ่ที่ท้าทายและความคิดแบบลูกโซ่สามารถแก้ปัญหาเหล่านั้นได้หรือไม่ arXiv:2210.09261 กระดาษ
(89) เฉิน, มาร์ก และทูเร็ก, เจอร์รีและจุน, ฮีวูและหยวน, ชีหมิงและปินโต, เฮนริเก ปอนเด เด โอลิเวรา และแคปแลน, เจเร็ดและเอ็ดเวิร์ดส์, แฮร์รีและเบอร์ดา, ยูริและโจเซฟ, นิโคลัสและบร็อคแมน, เกร็ก และคนอื่นๆ 2021ก. การประเมินโมเดลภาษาขนาดใหญ่ที่ได้รับการฝึกฝนเกี่ยวกับโค้ด arXiv พิมพ์ล่วงหน้า arXiv:2107.03374 กระดาษ
(90) โจว, เจฟฟรีย์และหลู, เทียนเจียนและมิชรา, สวารูปและพระพรหม, สิทธัตถะและบาซู, ซูจอยและหลวน, ยี่และโจว, เดนนี่และโหว, เล่อ 2023ข. การประเมินตามคำสั่งสำหรับโมเดลภาษาขนาดใหญ่ arXiv พิมพ์ล่วงหน้า arXiv:2311.07911 กระดาษ
[91] Xuechen Li และ Tianyi Zhang และ Yann Dubois และ Rohan Taori และ Ishaan Gulrajani และ Carlos Guestrin และ Percy Liang และ Tatsunori B. Hashimoto พ.ศ. 2566 AlpacaEval: เครื่องมือประเมินอัตโนมัติของโมเดลตามคำสั่ง พื้นที่เก็บข้อมูล GitHub GitHub
[92] Dubois, Yann และ Galambosi, Bal{'a}zs และ Liang, Percy และ Hashimoto, Tatsunori B. 2024. AlpacaEval ที่ควบคุมความยาว: วิธีง่ายๆ สำหรับผู้ประเมินอัตโนมัติของ Debias arXiv พิมพ์ล่วงหน้า arXiv:2404.04475 กระดาษ
[93] เจิ้ง, เหลียนหมินและเชียง, เว่ยหลินและเซิง, หยิงและจ้วง, ซือหยวนและอู๋, จางห่าวและจวง, หยงห่าวและหลิน, จือและหลี่, จัวฮั่นและหลี่, ต้าเฉิงและซิง, เอริคและคนอื่น ๆ 2023. การตัดสิน llm-as-a-judge ด้วย mt-bench และ chatbot arena ความก้าวหน้าในเอกสารระบบประมวลผลข้อมูลประสาท
[94] Lin, Bill Yuchen และ Deng, Yuntian และ Chandu, Khyathi และ Brahman, Faeze และ Ravichander, Abhilasha และ Pyatkin, Valentina และ Dziri, Nouha และ Bras, Ronan Le และ Choi, Yejin 2024. WILDBENCH: การเปรียบเทียบ LLM กับงานที่ท้าทายจากผู้ใช้จริงในป่า arXiv พิมพ์ล่วงหน้า arXiv:2406.04770 กระดาษ
(95) โปเนียนกุง และหนานหยุน เผิง. 2023 โมเดลเรียนรู้ที่จะปฏิบัติตามคำแนะนำได้จริงหรือ การศึกษาเชิงประจักษ์เกี่ยวกับการปรับคำสั่ง เอซีแอล. กระดาษ
[96] Chunting Zhou และ Pengfei Liu และ Puxin Xu และ Srini Iyer และ Jiao Sun และ Yuning Mao และ Xuezhe Ma และ Avia Efrat และ Ping Yu และ L. Yu และ Susan Zhang และ Gargi Ghosh และ Mike Lewis และ Luke Zettlemoyer และ Omer Levy 2023ก. LIMA: Less Is More สำหรับการจัดตำแหน่ง NeuroIPS 2023. กระดาษ
[97] Lin, Bill Yuchen และ Ravichander, Abhilasha และ Lu, Ximing และ Dziri, Nouha และ Sclar, Melanie และ Chandu, Khyathi และ Bhagavatula, Chandra และ Choi, Yejin 2023ก. คาถาปลดล็อคบนฐาน llms: คิดใหม่การจัดตำแหน่งผ่านการเรียนรู้ในบริบท ICLR 2024. กระดาษ
หากคุณมีคำถามหรือข้อเสนอแนะ โปรดอย่าลังเลที่จะสร้างปัญหาหรือส่งอีเมลไปที่ [email protected]
