Darwin

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

ดาร์วิน: GPT ที่ปรับแต่งสำหรับโดเมนทางวิทยาศาสตร์ ??

โลโก้

องค์กร: มหาวิทยาลัยนิวเซาธ์เวลส์ (UNSW) AI4Science & GreenDynamics AI

Darwin เป็นโครงการโอเพ่นซอร์สที่อุทิศตนเพื่อฝึกฝนและปรับแต่งแบบจำลอง LLaMA บนวรรณกรรมและชุดข้อมูลทางวิทยาศาสตร์ ได้รับการออกแบบมาโดยเฉพาะสำหรับขอบเขตทางวิทยาศาสตร์โดยเน้นในด้านวัสดุศาสตร์ เคมี และฟิสิกส์ ดาร์วินผสมผสานความรู้ทางวิทยาศาสตร์ที่มีโครงสร้างและไม่มีโครงสร้างเพื่อเพิ่มประสิทธิภาพของแบบจำลองภาษาในการวิจัยทางวิทยาศาสตร์

ประกาศการใช้งานและใบอนุญาต : ดาร์วินได้รับอนุญาตและมีไว้สำหรับการวิจัยเท่านั้น ชุดข้อมูลได้รับอนุญาตภายใต้ CC BY NC 4.0 ซึ่งอนุญาตให้ใช้ที่ไม่ใช่เชิงพาณิชย์ แบบจำลองที่ได้รับการฝึกโดยใช้ชุดข้อมูลนี้ไม่ควรใช้นอกวัตถุประสงค์การวิจัย ส่วนต่างของน้ำหนักยังอยู่ภายใต้ใบอนุญาต CC BY NC 4.0

อัปเดต

[2024.11.20]

ความสำเร็จที่สำคัญ

พิสูจน์แล้วว่ากลยุทธ์การปรับแต่งอย่างละเอียดของ Darwin (QA + งานหลายงาน) ช่วยปรับปรุงประสิทธิภาพงาน ML ที่หลากหลายได้อย่างมาก
ก่อตั้งดาร์วินให้เป็นโมเดลการแข่งขัน โดยเชื่อมช่องว่างระหว่างวิธี ML แบบพิเศษกับโมเดลทั่วไปขนาดใหญ่ เช่น GPT-4

ข้อมูลเชิงลึกด้านประสิทธิภาพของโมเดล

การเปรียบเทียบ QA + กลยุทธ์แบบหลายงานในตัวแปร LLaMA
- ดำเนินการเปรียบเทียบ QA และกลยุทธ์การปรับแต่งแบบละเอียดแบบหลายงานอย่างละเอียดในรุ่น LLaMA1, LLaMA2, LLaMA3 และ LLaMA3.1
- การค้นหา: LLaMA1 พร้อม QA + การปรับแต่งแบบละเอียดหลายงานทำให้ได้ประสิทธิภาพที่ดีที่สุด เหนือกว่าตัวแปรอื่นๆ ทั้งหมด
การประเมินเทียบกับรุ่นอื่นๆ
- แสดงให้เห็นว่า Darwin เหนือกว่าวิธีการ ML ส่วนใหญ่อย่างต่อเนื่อง โมเดลที่ได้รับการปรับแต่ง GPT-3.5 และแม้แต่ GPT-4 ในงานการเรียนรู้เพียงไม่กี่ขั้นตอน
- แม้ว่าโมเดลพิเศษบางรุ่นยังคงรักษาผลลัพธ์ที่ล้ำสมัย แต่ดาร์วินก็ประสบความสำเร็จในด้านประสิทธิภาพการแข่งขันในงานที่หลากหลาย
การเปรียบเทียบการปรับแต่งแบบเต็มกับ LoRA
- ตรวจสอบการใช้การปรับแต่ง LoRA แบบละเอียด และพบว่าประสิทธิภาพลดลงอย่างมากเมื่อเทียบกับการปรับแต่งแบบละเอียดเต็มรูปแบบ
SFT บนสถาปัตยกรรมที่ไม่ได้ฝึกไว้ล่วงหน้า
- นำการปรับแต่งแบบละเอียดภายใต้การดูแล (SFT) ไปใช้กับสถาปัตยกรรม LLaMA ที่ไม่ได้ฝึกไว้ล่วงหน้าได้สำเร็จ ซึ่งพิสูจน์ได้ว่าโมเดลสามารถรับความรู้เฉพาะโดเมนได้อย่างมีประสิทธิภาพผ่านการปรับแต่งแบบละเอียดเพียงอย่างเดียว

กลยุทธ์ข้อมูลและข้อมูลเชิงลึก

ผลกระทบของข้อมูล QA ต่อประสิทธิภาพของโมเดล
- ตรวจสอบแล้วว่าทั้งการปรับแต่ง QA อย่างละเอียดและการเรียนรู้แบบหลายงานช่วยปรับปรุงประสิทธิภาพของโมเดล ไม่เพียงแต่สำหรับ LLaMA เท่านั้น แต่ยังรวมถึงสถาปัตยกรรมอื่นๆ เช่น Mistral ด้วย
- การผสมข้อมูล QA กับข้อมูลทั่วไปช่วยปรับปรุงประสิทธิภาพของโมเดลโดยไม่ทำให้โมเดลหลอมละลาย
ข้อมูลที่ซิงโครไนซ์และการจับคู่รูปแบบ
- ทดสอบการใช้ข้อมูลซิงโครไนซ์ (ซิงค์) สำหรับงานเป้าหมาย
- ผลการวิจัย:
  - ซิงค์ข้อมูลด้วยรูปแบบที่คล้ายกันช่วยเพิ่มประสิทธิภาพได้อย่างมาก
  - การซิงค์ข้อมูลด้วยรูปแบบที่แตกต่างกันจะทำให้ประสิทธิภาพลดลง
กลยุทธ์การผสมหลายงาน (?)
- สำรวจกลยุทธ์การผสมข้อมูลแบบหลายงานและพบว่าการจัดอันดับข้อมูลตามความยาก (โดยใช้การสูญเสียงานเดียวเป็นตัวชี้วัด) มีประสิทธิภาพเหนือกว่ากลยุทธ์การผสมข้อมูลแบบสุ่ม

[2024.02.15] SOTA ใน MatBench โดย Material Projects: DARWIN เป็นแบบจำลอง SOTA ในงานทำนาย bandgap แบบทดลองและงานการจำแนกประเภทโลหะ ดีกว่า GPT3.5 ที่ปรับแต่งอย่างละเอียดและโมเดล ML เฉพาะ https://matbench.materialsproject.org/Leaderboards%20Per-Task/matbench_v0.1_matbench_expt_gap/

☆ [2023.09.15] มีเวอร์ชัน Google Colab: ลองใช้ DARWIN ของเรากับ Google Colab: inference.ipynb

ภาพรวมโมเดล

ดาร์วินซึ่งใช้โมเดล 7B LLaMA ได้รับการฝึกอบรมเกี่ยวกับจุดข้อมูลตามคำสั่งมากกว่า 100,000 จุดที่สร้างโดย Darwin Scientific Instruction Generator (SIG) จากชุดข้อมูล FAIR ทางวิทยาศาสตร์ต่างๆ และคลังเอกสาร ด้วยการมุ่งเน้นไปที่ความถูกต้องตามข้อเท็จจริงของการตอบสนองของแบบจำลอง ดาร์วินแสดงให้เห็นถึงความก้าวหน้าครั้งสำคัญในการใช้ประโยชน์จากแบบจำลองภาษาขนาดใหญ่ (LLM) สำหรับการค้นพบทางวิทยาศาสตร์ การประเมินเบื้องต้นโดยมนุษย์ระบุว่า Darwin 7B มีประสิทธิภาพเหนือกว่า GPT-4 ในการถามตอบทางวิทยาศาสตร์ และ GPT-3 ที่ปรับแต่งมาอย่างดีในการแก้ปัญหาทางเคมี (เช่น gptChem)

เรากำลังพัฒนา Darwin อย่างแข็งขันสำหรับการทดลองโดเมนทางวิทยาศาสตร์ขั้นสูง และเรายังรวม Darwin เข้ากับ LangChain เพื่อแก้ปัญหางานทางวิทยาศาสตร์ที่ซับซ้อนมากขึ้น (เช่น ผู้ช่วยวิจัยส่วนตัวสำหรับคอมพิวเตอร์ส่วนบุคคล)

โปรดทราบว่าดาร์วินยังอยู่ระหว่างการพัฒนา และจำเป็นต้องแก้ไขข้อจำกัดหลายประการ สิ่งสำคัญที่สุดคือเรายังไม่ได้ปรับแต่งดาร์วินเพื่อความปลอดภัยสูงสุด เราขอแนะนำให้ผู้ใช้รายงานพฤติกรรมที่เกี่ยวข้องเพื่อช่วยปรับปรุงข้อควรพิจารณาด้านความปลอดภัยและจริยธรรมของโมเดล

ดาร์วิน.mp4

ลิงค์สาธิต

การเปรียบเทียบแบบจำลอง

เปรียบเทียบ

เริ่มต้นใช้งาน

การติดตั้ง

ขั้นแรกให้ติดตั้งข้อกำหนด:

pip install -r requirements.txt

การเตรียมตุ้มน้ำหนักดาร์วิน

ดาวน์โหลดจุดตรวจของ Darwin-7B Weights จาก onedrive เมื่อคุณดาวน์โหลดโมเดลแล้ว คุณสามารถลองสาธิตของเราได้:

python inference.py < your path to darwin-7b >

โปรดทราบว่าการอนุมานต้องใช้หน่วยความจำ GPU อย่างน้อย 10GB สำหรับ Darwin 7B

การปรับแต่งแบบละเอียด

หากต้องการปรับแต่ง Darwin-7b ของเราเพิ่มเติมด้วยชุดข้อมูลต่างๆ ด้านล่างนี้คือคำสั่งที่ทำงานบนเครื่องที่มี GPU A100 80G 4 ตัว

torchrun  --nproc_per_node=8 --master_port=1212 train.py 
    --model_name_or_path < your path to darwin-7b > 
    --data_path < your path to dataset > 
    --bf16 True 
    --output_dir < your output dir > 
    --num_train_epochs 3 
    --per_device_train_batch_size 1 
    --per_device_eval_batch_size 1 
    --gradient_accumulation_steps 1 
    --evaluation_strategy " no " 
    --save_strategy " steps " 
    --save_steps 500 
    --save_total_limit 1 
    --learning_rate 2e-5 
    --weight_decay 0. 
    --warmup_ratio 0.03 
    --lr_scheduler_type " cosine " 
    --logging_steps 1 
    --fsdp " full_shard auto_wrap " 
    --fsdp_transformer_layer_cls_to_wrap ' LlamaDecoderLayer ' 
    --tf32 False

ข้อมูลชุดข้อมูล

ข้อมูลของเรามาจากสองแหล่งหลัก:

คลังข้อมูลวรรณกรรมดิบที่ประกอบด้วยเอกสาร 6.0 ล้านฉบับเกี่ยวกับวัสดุศาสตร์ เคมี และฟิสิกส์ ได้รับการตีพิมพ์หลังปี 2000 ผู้จัดพิมพ์ ได้แก่ ACS, RSC, Springer Nature, Wiley และ Elsevier เราขอขอบคุณพวกเขาสำหรับการสนับสนุนของพวกเขา

ชุดข้อมูล FAIR - เราได้รวบรวมข้อมูลจากชุดข้อมูล FAIR 16 ชุด

การสร้างข้อมูล

เราพัฒนา Darwin-SIG เพื่อสร้างคำแนะนำทางวิทยาศาสตร์ สามารถจดจำข้อความขนาดยาวจากวรรณกรรมฉบับเต็ม (เฉลี่ยประมาณ 5,000 คำ) และสร้างข้อมูลคำถามและคำตอบ (ถามตอบ) ตามคำสำคัญในวรรณกรรมทางวิทยาศาสตร์ (จาก web of science API)

หมายเหตุ: คุณสามารถใช้ GPT3.5 หรือ GPT-4 ในการสร้างได้เช่นกัน แต่ตัวเลือกเหล่านี้อาจมีค่าใช้จ่ายสูง

โปรดทราบว่าเราไม่สามารถแชร์ชุดข้อมูลการฝึกอบรมได้เนื่องจากข้อตกลงกับผู้เผยแพร่

ผู้เขียน

โครงการนี้เป็นความพยายามร่วมกันโดยดังต่อไปนี้:

UNSW และ GreenDynamics: ตง Xie, Shaozhou Wang

UNSW: อิมราน ราซซัค, โคดี ฮวง

ศูนย์ USYD และ DARE: คลารา กราเซียน

กรีนไดนามิกส์: Yuwei Wan, Yixuan Liu

Bram Hoex และ Wenjie Zhang จาก UNSW Engineering ให้คำแนะนำแก่ทุกคน

การอ้างอิง

หากคุณใช้ข้อมูลหรือโค้ดจากพื้นที่เก็บข้อมูลนี้ในงานของคุณ โปรดอ้างอิงตามนั้น

DAWRIN แบบจำลองภาษาขนาดใหญ่พื้นฐานและการปรับแต่งการสอนแบบกึ่งตนเองอย่างละเอียด

 @misc{xie2023darwin,
      title={DARWIN Series: Domain Specific Large Language Models for Natural Science}, 
      author={Tong Xie and Yuwei Wan and Wei Huang and Zhenyu Yin and Yixuan Liu and Shaozhou Wang and Qingyuan Linghu and Chunyu Kit and Clara Grazian and Wenjie Zhang and Imran Razzak and Bram Hoex},
      year={2023},
      eprint={2308.13565},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

GPT-3 และ LLaMA ที่ได้รับการปรับแต่งอย่างละเอียดสำหรับการค้นพบวัสดุ (การฝึกอบรมงานเดี่ยว)

 @article{xie2023large,
  title={Large Language Models as Master Key: Unlocking the Secrets of Materials Science},
  author={Xie, Tong and Wan, Yuwei and Zhou, Yufei and Huang, Wei and Liu, Yixuan and Linghu, Qingyuan and Wang, Shaozhou and Kit, Chunyu and Grazian, Clara and Zhang, Wenjie and others},
  journal={Available at SSRN 4534137},
  year={2023}
}