UltraChat
1.0.0
ข้อมูลและแบบจำลองการสนทนาหลายรอบขนาดใหญ่ ให้ข้อมูล และหลากหลาย
UltraLM • Data Explorer • Nomic AI Atlas Explorer • การเปิดเผยข้อมูล • กระบวนการก่อสร้าง • กระดาษ
UltraLM คือชุดโมเดลภาษาแชทที่ได้รับการฝึกบน UltraChat ปัจจุบัน เราได้เปิดตัวเวอร์ชัน 13B ซึ่ง ครองอันดับ #1 ในบรรดาโมเดลโอเพ่นซอร์ส และ อันดับที่ 4 ในบรรดาโมเดลทั้งหมดบนกระดานผู้นำ AlpacaEval (28 มิถุนายน 2023) UltraLM-13B ขึ้นอยู่กับ LLaMA-13B และได้รับการสนับสนุนจาก BMTrain ในกระบวนการฝึกอบรม
| แบบอย่าง | ลิงค์ | เวอร์ชัน |
|---|---|---|
| อัลตร้าLM-13B | ฮักกิ้งเฟซ รีโป | เวอร์ชัน 1.0 |
| อัลตร้าLM-65B | ฮักกิ้งเฟซ รีโป | เวอร์ชัน 1.0 |
| อัลตร้าLM-13B | ฮักกิ้งเฟซ รีโป | เวอร์ชัน 2.0 |
| อัลตร้า RM-13B | ฮักกิ้งเฟซ รีโป | เวอร์ชัน 1.0 |
| อัลตร้าCM-13B | ฮักกิ้งเฟซ รีโป | เวอร์ชัน 1.0 |
/UltraLM/recover.sh เพื่อรับน้ำหนักสุดท้ายของแบบจำลองที่กู้คืน/UltraLM/chat_cli.sh ด้วยพาธของคุณแล้ววิ่งเพื่อเริ่มแชท! หมายเหตุ: ไฮเปอร์พารามิเตอร์หรือพรอมต์ของระบบที่แตกต่างกันจะส่งผลต่อเอาต์พุต คุณสามารถดูรายละเอียดใน /UltraLM/inference_cli.py สำหรับการตั้งค่าเริ่มต้นของเรา
เรารายงานการประเมินสามรายการในส่วนนี้: Alpaca-Eval จาก Stanford, Evol-instruct จาก WizardLM ของ Microsoft และชุดการประเมินที่คัดสรรของเรา การประเมิน LLM สมัยใหม่อาจมีอคติและได้รับผลกระทบจากปัจจัยหลายประการ เรายังทำงานอย่างกระตือรือร้นเกี่ยวกับวิธีการประเมินที่ครอบคลุมมากขึ้น
AlpacaEval เป็นกระดานผู้นำที่ออกแบบมาเพื่อประเมิน LLM โดยเฉพาะ บอร์ดผู้นำถูกสร้างขึ้นตามอัตราการชนะเทียบกับ Text-Davince-003 ที่ประเมินโดยอัตโนมัติโดย GPT-4
ชุดข้อมูลนี้สร้างขึ้นด้วยกลยุทธ์เชิงวิวัฒนาการโดยการเขียนคำสั่งใหม่ผ่านหลายรอบเพื่อรับคำสั่งในระดับความซับซ้อนที่แตกต่างกัน เกณฑ์มาตรฐานได้รับการพัฒนาโดยโครงการ WizardLM ซึ่งเป็นโมเดลภาษาแชทที่ยอดเยี่ยมอีกรูปแบบหนึ่ง!
เราดูแลจัดการชุดการประเมิน ซึ่งครอบคลุม Vicuna Benchmark และคำถามและคำแนะนำเพิ่มเติมอีก 300 ข้อที่สร้างโดย GPT-4 คำถาม/คำแนะนำครอบคลุมหัวข้อต่างๆ มากมาย รวมถึงสามัญสำนึก ความรู้ทางโลก ความรู้ทางวิชาชีพ (โดยเฉพาะฟิสิกส์และชีววิทยา) คณิตศาสตร์ และงานเขียนในระดับความยากที่แตกต่างกัน เราใช้ GPT-4 ในการประเมิน นี่คือชุดข้อมูล
ตัวอย่าง A: คำถามเกี่ยวกับความรู้ทั่วไป
ผู้ใช้: สัตว์ชนิดใดที่เรียกว่าเป็นเพื่อนที่ดีที่สุดของมนุษย์?
UltraLM: มีสัตว์หลายชนิดที่มนุษย์ชอบเป็นสัตว์เป็นเพื่อน แต่หนึ่งในคำตอบที่โดดเด่นที่สุดสำหรับคำถามที่ว่า "สัตว์ชนิดใดที่เรียกว่าเป็นเพื่อนที่ดีที่สุดของมนุษย์" เป็นสุนัขพันธุ์พื้นเมือง สุนัขเลี้ยงในบ้านอยู่เคียงข้างมนุษย์มานับหมื่นปี โดยให้มิตรภาพและความช่วยเหลือที่ซื่อสัตย์ ปกป้องผู้คนและทรัพย์สิน และให้ความช่วยเหลือด้านอารมณ์ในทุกสิ่งตั้งแต่วันที่แสนยาวนานและโดดเดี่ยวไปจนถึงการเข้าประจำการในกองทัพ สุนัขมีหลายสายพันธุ์ในขนาดต่างๆ ที่น่าเหลือเชื่อ โดยมีระดับพลังงาน บุคลิก และลักษณะนิสัยที่แตกต่างกัน ซึ่งหมายความว่ามีลูกสุนัขจำนวนหนึ่งที่จะเหมาะสมอย่างยิ่งสำหรับใครก็ตามที่ต้องการมันมากที่สุด
ตัวอย่าง B: การใช้เหตุผลสามัญสำนึก
ผู้ใช้: สิ่งใดมีน้ำหนักมากกว่า: ขนนกหนึ่งปอนด์หรืออิฐหนึ่งปอนด์
UltraLM: ขนนกหนักหนึ่งปอนด์และอิฐหนักหนึ่งปอนด์ ทั้งคู่มีน้ำหนักหนึ่งปอนด์พอดี เนื่องจากหนึ่งปอนด์เป็นหน่วยของน้ำหนัก เช่นเดียวกับที่ฟุตเป็นหน่วยความยาว หรือวินาทีเป็นหน่วยของเวลา เราใช้ปอนด์ (หรือหน่วยน้ำหนักอื่น) เพื่ออธิบายน้ำหนักของวัตถุต่างๆ โดยไม่คำนึงว่าวัตถุนั้นทำมาจากอะไร คำตอบสำหรับคำถามของคุณก็คือ ขนหนัก 1 ปอนด์ และอิฐ 1 ปอนด์ ต่างก็มีน้ำหนักเท่ากัน
ตัวอย่าง C: การใช้เหตุผล
ผู้ใช้: ถ้าชาวนามีแกะ 17 ตัว แต่ตายไปทั้งหมด 9 ตัว จะเหลือแกะกี่ตัว?
UltraLM: จำนวนแกะทั้งหมดที่เหลืออยู่คือ 9 ตัว
ตัวอย่าง D: การใช้เหตุผล
ผู้ใช้: หากบ้านสีแดงสร้างจากอิฐสีแดง และบ้านสีน้ำเงินสร้างจากอิฐสีน้ำเงิน เรือนกระจกทำมาจากอะไร?
UltraLM: เรือนกระจกไม่ได้ทำจากอิฐสีเขียว แต่ทำจากวัสดุเช่นแก้วหรือพลาสติกที่ให้แสงผ่านได้ และสร้างสภาพแวดล้อมที่มีการควบคุมสำหรับการเจริญเติบโตของพืช โรงเรือนอาจมีหลายสี รวมถึงสีเขียวด้วย แต่สีของตัวอาคารเองไม่ส่งผลกระทบต่อพืชที่ปลูกภายใน
ตัวอย่าง E: การสร้าง
ผู้ใช้: เขียนบทกวีเกี่ยวกับแม่เหล็กไฟฟ้า
UltraLM: แม่เหล็กไฟฟ้าเป็นพลังที่เราไม่อาจมองข้ามได้
มันเป็นเหตุผลของหลายสิ่งที่เราชื่นชอบ ในสนามแม่เหล็ก ลวดจะเรืองแสง
และอิเล็กตรอนก็จะเรียงตัวกันทั้งเก่าและใหม่
ไฟฟ้าและแม่เหล็กเป็นของคู่กัน
คนหนึ่งสร้างสนาม อีกคนหนึ่งมีแบรนด์
สนามแม่เหล็กสามารถผลักและดึงได้
บนสายไฟที่มีกระแสไฟจะทำปฏิกิริยาเต็มที่
แรงดึงดูดและความรังเกียจที่มันนำมาซึ่ง
เป็นสาเหตุหลายประการ
ตั้งแต่มอเตอร์ไปจนถึงเครื่องกำเนิดไฟฟ้า และอื่นๆ อีกมากมาย
แม่เหล็กไฟฟ้าเป็นรากฐานของความหมาย
เป็นพลังที่อยู่รอบตัวเรา
จากเข็มทิศไปจนถึงสวิตช์ไฟ
ด้วยพลังของมัน มันสามารถทำอะไรได้มากมาย
จากเข็มธรรมดาๆ สู่แรงขับของจรวด
มันเป็นพลังที่เราไม่อาจปฏิเสธได้
เพราะมันเป็นส่วนหนึ่งของชีวิตเรา
แม่เหล็กไฟฟ้าเป็นสิ่งที่น่าชื่นชม
ในด้านความแข็งแกร่งและพละกำลังนั้นมันไม่เท่ากันแน่นอน
ตัวอย่าง F: การสร้าง
ผู้ใช้: เขียนเรื่องสั้นเกี่ยวกับวินาทีแรกของจักรวาล
UltraLM: ในวินาทีแรกของจักรวาล ความมืดก็เข้ามาครอบงำ ไม่มีแสง ไม่มีเสียง ไม่มีรูปร่าง ไม่มีสสาร ยังไม่มีอะไรเกิดขึ้น แต่มีพลังอันเข้มข้น เป็นพลังงานดิบที่รอการปลดปล่อย ภายในระยะอนันต์ วินาทีแรกมีศักยภาพในการสร้างสรรค์อยู่ในมือของมัน จากนั้น ด้วยเสียงปังอันทรงพลัง จุดสว่างก็ปรากฏออกมา ในนั้น อนุภาคพื้นฐานที่สุดได้ถือกำเนิดขึ้น โดยยังไม่ทราบรูปแบบของพวกมันในขณะที่พวกมันชนกันอย่างบ้าคลั่งในการเต้นรำแห่งการสร้างสรรค์อันวุ่นวาย ภายในแสงแห่งปฐมกาลนี้ ทุกพลังแห่งธรรมชาติและทุกองค์ประกอบของชีวิตถูกปลุกเร้าจากพลังงานบริสุทธิ์สู่ความเป็นจริงทางกายภาพ อะตอมแรกรวมตัวกันอย่างรวดเร็ว และจากสิ่งเหล่านี้ ดวงดาวและกาแล็กซีก็เริ่มก่อตัวขึ้น การรวมกันของพวกมันสร้างสภาพแวดล้อมที่ร้อนซึ่งผลักดันความว่างเปล่ากลับคืนมา สร้างรูปร่างของจักรวาลผ่านการขยายและทำให้คลื่นเย็นลง ในจักรวาลนี้ประการแรก ไม่มีโครงสร้างของประสบการณ์ แม้แต่เวลาหรืออวกาศก็ไม่สามารถกำหนดกฎเกณฑ์ของมันได้ ชั่วขณะหนึ่ง ความสมบูรณ์ของจักรวาลดำรงอยู่ใน Nexus ของตัวอ่อน ซึ่งเป็นเอกภาวะของจักรวาลซึ่งเป็นจุดเริ่มต้นของการดำรงอยู่ในอนาคตทั้งหมด มันเป็นพิภพเล็ก ๆ ที่หล่อหลอมจักรวาลมหภาคซึ่งในที่สุดมันก็กลายเป็นส่วนหนึ่ง ช่วงเวลาแห่งการกำเนิดของมันเปรียบเสมือนวัฏจักรแห่งการสร้างสรรค์ที่แผ่ซ่านไปทั่วจักรวาล จากจุดแสงจุดเดียวนั้น จักรวาลอันไม่มีที่สิ้นสุดก็เผยออก เป็นเวลาหลายศตวรรษ ชั่วกัลป์ข้างหน้า และตลอดไป มันยังคงเป็นพริบตาที่สำคัญที่สุดของการเดินทางอย่างไม่หยุดยั้งไปสู่ส่วนลึกของ Great Beyond วินาทีแรกคือจุดเริ่มต้นของทุกสิ่ง
โปรเจ็กต์นี้มีจุดมุ่งหมายเพื่อสร้างข้อมูลบทสนทนา แบบโอเพ่นซอร์ส ขนาดใหญ่ และหลายรอบ ที่ขับเคลื่อนโดย Turbo API เพื่ออำนวยความสะดวกในการสร้างโมเดลภาษาที่มีประสิทธิภาพพร้อมความสามารถในการสนทนาทั่วไป ในการพิจารณาปัจจัยต่างๆ เช่น การปกป้องความเป็นส่วนตัว เราจะไม่ใช้ข้อมูลใดๆ ที่มีอยู่บนอินเทอร์เน็ตโดยตรงตามที่ได้รับแจ้ง
ข้อสงวนสิทธิ์: แม้ว่ากระบวนการสร้าง UltraChat จะไม่เกี่ยวข้องกับข้อมูลการวัดประสิทธิภาพที่เปิดเผยต่อสาธารณะ แต่การปรับขนาดในระดับหนึ่งอาจยังส่งผลให้เกิดการทับซ้อนกันในการวัดประสิทธิภาพการประเมินบางอย่าง เราขอย้ำอีกครั้งว่า ข้อมูลทั้งหมดถูกสร้างขึ้นโดยอัตโนมัติ (รวมถึงคำแนะนำและการตอบกลับ) และเราจะไม่แทรกข้อมูลการวัดประสิทธิภาพแบบเปิดใดๆ เช่น UltraChat เปิดตัว (เมษายน 2023) ก่อน Alpaca Eval (พฤษภาคม 2023) เราขอแนะนำให้ผู้ใช้ติดตามปรากฏการณ์ดังกล่าวอย่างใกล้ชิด ในขณะที่เรากำลังพิจารณาอย่างจริงจังว่าจะประเมิน LLM อย่างไรให้เหมาะสมยิ่งขึ้น
ชุดข้อมูลนี้มีจุดประสงค์เพื่อการวิจัยและการศึกษาเท่านั้น และไม่ควรตีความว่าเป็นการสะท้อนความคิดเห็นหรือมุมมองของผู้สร้าง เจ้าของ หรือผู้ร่วมให้ข้อมูลชุดข้อมูลนี้ และเผยแพร่ภายใต้ใบอนุญาต MIT
สำรวจข้อมูลก่อนดาวน์โหลด หรือใช้ Atlas explorer
ลิงค์ดาวน์โหลดโดยตรง:
แต่ละบรรทัดในไฟล์ข้อมูลที่ดาวน์โหลดคือ json dict ที่มีรหัสข้อมูลและข้อมูลบทสนทนาในรูปแบบรายการ ด้านล่างเป็นบรรทัดตัวอย่าง
{
"id" : " 0 " ,
"data" : [
" How can cross training benefit groups like runners, swimmers, or weightlifters? " ,
" Cross training can benefit groups like runners, swimmers, or weightlifters in the following ways: ... " ,
" That makes sense. I've been wanting to improve my running time, but I never thought about incorporating strength training. Do you have any recommendations for specific exercises? " ,
" Sure, here are some strength training exercises that can benefit runners: ... " ,
" Hmm, I'm not really a fan of weightlifting though. Can I incorporate other forms of exercise into my routine to improve my running time? " ,
" Yes, absolutely! ... " ,
" ... "
]
}
เราจัดเตรียมโค้ดการฝึกอบรมเพื่อปรับแต่ง LLaMa (แต่เราจะไม่กระจายน้ำหนักของ LLaMa) บน UltraChat ใน .src/ การฝึกอบรมจะถูกเร่งโดย BMTrain
ดาวน์โหลดข้อมูลที่เผยแพร่และวางไว้ใต้ ./data
เรียกใช้ train_bm.py เช่น:
WANDB_MODE= " offline " torchrun --nnodes=1 --nproc_per_node=8 --rdzv_id=1 --rdzv_backend=c10d --rdzv_endpoint=localhost:50003 train_bm.py --tensorboard ./ultrachat_llama_tb_2 --save_step 5000 --logging_step 100 นอกจากนี้เรายังจัดเตรียมสคริปต์การฝึกอบรมเพื่อปรับแต่ง GPT-J บน UltraChat ใน .src/train_legacy/ ซึ่งนำไปใช้กับ OpenPrompt
./dataaccelerate launch train.py เพื่อเริ่มการฝึก แนวคิดทั่วไปของ UltraChat คือการใช้ LLM แยกกันเพื่อสร้างบรรทัดเปิด จำลองผู้ใช้ และตอบคำถาม แต่ละส่วนของ UltraChat มีความท้าทายของตัวเองและต้องมีการออกแบบกลยุทธ์เฉพาะ เราจะระบุขั้นตอนการก่อสร้างเมื่อมีการเปิดตัวเซกเตอร์ของ UltraChat
อย่าลังเลที่จะอ้างอิง repo หากคุณคิดว่า UltraChat มีประโยชน์
@article { ding2023enhancing ,
title = { Enhancing Chat Language Models by Scaling High-quality Instructional Conversations } ,
author = { Ding, Ning and Chen, Yulin and Xu, Bokai and Qin, Yujia and Zheng, Zhi and Hu, Shengding and Liu, Zhiyuan and Sun, Maosong and Zhou, Bowen } ,
journal = { arXiv preprint arXiv:2305.14233 } ,
year = { 2023 }
}
