HomebrewNLP

自制自然语言处理

概述

使用商用硬件有效训练大型语言模型的案例研究。

命令示例

python3 main.py train --config_path configs/small.yaml

---

|不和谐|旺德贝

数据集

• 图书数据集
• 200MB ThePile 片段

引用

书目词典

 @misc { nestler2021homebrewnlp ,
  title = { {HomebrewNLP} } ,
  author = { Nestler, Lucas and Gill, David } ,
  year = { 2021 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  doi = { 10.5281/zenodo.5553247 } ,
  howpublished = { url{https://github.com/HomebrewNLP/HomebrewNLP} }
}

最新的 DOI