達爾文：為科學領域量身訂做的 GPT？

機構：新南威爾斯大學（UNSW）AI4Science & GreenDynamics AI

Darwin 是一個開源項目，致力於根據科學文獻和資料集預先訓練和微調 LLaMA 模型。 Darwin 專為科學領域而設計，重點是材料科學、化學和物理學，它整合了結構化和非結構化科學知識，以提高科學研究中語言模型的功效。

使用和許可聲明：Darwin 已獲得許可並僅供研究使用。該資料集已獲得 CC BY NC 4.0 許可，允許非商業用途。使用此資料集訓練的模型不應用於研究目的之外。重量差異也遵循 CC BY NC 4.0 許可

更新

[2024.11.20]

主要成就

證明了 Darwin 的微調策略（QA + 多任務）可以顯著提高各種 ML 任務的效能。
將 Darwin 建立為具有競爭力的模型，彌合了專門的 ML 方法和 GPT-4 等大規模通用模型之間的差距。

模型性能洞察

LLaMA 變異體的 QA + 多任務策略比較
- 對 LLaMA1、LLaMA2、LLaMA3 和 LLaMA3.1 模型上的 QA 和多任務微調策略進行了廣泛的比較。
- 發現：採用 QA + 多任務微調的 LLaMA1 實現了最佳性能，優於所有其他變體。
與其他模型的評估
- 證明 Darwin 在小樣本學習任務中始終超越大多數 ML 方法、GPT-3.5 微調模型，甚至 GPT-4。
- 儘管一些專門的模型仍然保持著最先進的結果，但達爾文在廣泛的任務中取得了有競爭力的表現。
Full Fine-tuning 與 LoRA 的比較
- 研究了 LoRA 微調的使用，發現與完全微調相比性能明顯較低。
非預訓練架構上的 SFT
- 在非預先訓練的 LLaMA 架構上成功應用監督微調（SFT），證明模型可以僅透過微調有效地獲取特定領域的知識。

數據策略和見解

QA 資料對模型效能的影響
- 已驗證 QA 微調和多任務學習均可提高模型效能，不僅適用於 LLaMA，也適用於 Mistral 等其他架構。
- 將 QA 資料與一般資料混合可以提高模型效能，而不會導致模型退火。
同步資料和格式匹配
- 測試了目標任務的同步（sync）資料的使用。
- 發現：
  - 同步具有相似格式的資料可顯著提高效能。
  - 同步不同格式的資料會降低效能。
多工混合策略（？）
- 探索了各種多任務資料混合策略，發現按難度對資料進行排序（使用單一任務損失作為指標）優於隨機資料混合策略。

[2024.02.15] Material Projects 的 MatBench 中的 SOTA：DARWIN 是實驗帶隙預測任務和金屬分類任務中的 SOTA 模型，優於 Fine-tuned GPT3.5 和專用 ML 模型。 https://matbench.materialsproject.org/Leaderboards%20Per-Task/matbench_v0.1_matbench_expt_gap/

☆ [2023.09.15]Google Colab 版本可用：透過 Google Colab 試用我們的 DARWIN： inference.ipynb

型號概覽

Darwin 基於 7B LLaMA 模型，接受了 Darwin 科學指令產生器 (SIG) 從各種科學 FAIR 資料集和文獻語料庫產生的超過 100,000 個指令追蹤資料點的訓練。透過關注模型回應的事實正確性，達爾文代表了利用大型語言模型 (LLM) 進行科學發現的重大進步。初步的人類評估表明，Darwin 7B 在科學問答方面優於 GPT-4，在解決化學問題（如 gptChem）方面優於 GPT-3。

我們正在積極開發 Darwin 以進行更高級的科學領域實驗，我們還將 Darwin 與 LangChain 整合以解決更複雜的科學任務（例如個人電腦的私人研究助理）。

請注意，Darwin 仍處於開發階段，有許多限制需要解決。最重要的是，我們尚未對達爾文進行微調以實現最大程度的安全。我們鼓勵使用者報告任何相關行為，以幫助提高模型的安全性和道德考慮。

達爾文.mp4

示範連結

型號對比

入門

安裝

首先安裝要求：

pip install -r requirements.txt

準備達爾文權重

從 onedrive 下載 Darwin-7B 重量的檢查點。下載模型後，您可以嘗試我們的演示：

python inference.py < your path to darwin-7b >

請注意，Darwin 7B 的推理至少需要 10GB GPU 記憶體。

微調

為了使用不同的資料集進一步微調我們的 Darwin-7b，以下是一個在具有 4 個 A100 80G GPU 的機器上運行的命令。

torchrun  --nproc_per_node=8 --master_port=1212 train.py 
    --model_name_or_path < your path to darwin-7b > 
    --data_path < your path to dataset > 
    --bf16 True 
    --output_dir < your output dir > 
    --num_train_epochs 3 
    --per_device_train_batch_size 1 
    --per_device_eval_batch_size 1 
    --gradient_accumulation_steps 1 
    --evaluation_strategy " no " 
    --save_strategy " steps " 
    --save_steps 500 
    --save_total_limit 1 
    --learning_rate 2e-5 
    --weight_decay 0. 
    --warmup_ratio 0.03 
    --lr_scheduler_type " cosine " 
    --logging_steps 1 
    --fsdp " full_shard auto_wrap " 
    --fsdp_transformer_layer_cls_to_wrap ' LlamaDecoderLayer ' 
    --tf32 False

資料集資訊

我們的數據來自兩個主要來源：

2000年後出版了包含材料科學、化學和物理領域600萬篇論文的原始文獻語料庫。我們感謝他們的支持。

FAIR 資料集 - 我們從 16 個 FAIR 資料集中收集了資料。

數據生成

我們開發了 Darwin-SIG 來產生科學指令。它可以記憶完整文獻文本中的長文本（平均~5000字），並根據科學文獻關鍵字產生問答（Q&A）數據（來自web of science API）

注意：您也可以使用 GPT3.5 或 GPT-4 進行生成，但這些選項可能會很昂貴。

請注意，由於與發布者達成協議，我們無法共享訓練資料集。

作者

該項目是以下各方的共同努力：

新南威爾斯大學和 GreenDynamics：謝童、王紹洲

新南威爾斯大學：伊姆蘭拉扎克、科迪黃

USYD 和 DARE 中心：Clara Grazian

綠色動力：萬宇偉、劉逸軒

新南威爾斯大學工程學院的 Bram Hoex 和 Wenjie Zhang 為所有人提供了建議。

引文

如果您在工作中使用此儲存庫中的資料或程式碼，請相應地引用它。

DAWRIN 基礎大語言模式與半自指導微調

 @misc{xie2023darwin,
      title={DARWIN Series: Domain Specific Large Language Models for Natural Science}, 
      author={Tong Xie and Yuwei Wan and Wei Huang and Zhenyu Yin and Yixuan Liu and Shaozhou Wang and Qingyuan Linghu and Chunyu Kit and Clara Grazian and Wenjie Zhang and Imran Razzak and Bram Hoex},
      year={2023},
      eprint={2308.13565},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

用於材料發現的微調 GPT-3 和 LLaMA（單任務訓練）

 @article{xie2023large,
  title={Large Language Models as Master Key: Unlocking the Secrets of Materials Science},
  author={Xie, Tong and Wan, Yuwei and Zhou, Yufei and Huang, Wei and Liu, Yixuan and Linghu, Qingyuan and Wang, Shaozhou and Kit, Chunyu and Grazian, Clara and Zhang, Wenjie and others},
  journal={Available at SSRN 4534137},
  year={2023}
}