KB ALBERT

KB-阿尔伯特

KB Kookmin Bank 提供的专门针对经济/金融领域的韩国 ALBERT 语言模型

介绍

什么是 KB-ALBERT 语言模型？

• KB-ALBERT是一个基于Google提出的ALBERT（A Lite BERT）架构学习了大量韩语的预学习语言模型。

  • ALBERT 是 BERT 系列 PLM（预训练语言模型）架构的一种，特点是轻量级设计。
  • 如果您有一个使用大量语言数据学习的语言模型，那么即使使用相对少量的训练数据，也可以对学习进行微调以适应任务。

• KB-ALBERT 不仅在学习金融韩语方面表现出色，而且在一般韩语任务方面也表现出色。

  	NSMC（加速器）	KorQuAD (EM/F1)	金融 MRC (EM/F1)	尺寸
  Bert基础多语言	87.32	68.43 / 88.43	39.48 / 64.74	681M
  KB-ALBERT-CHAR-v2	89.62	84.14 / 92.13	50.12 / 68.21	36M

如何使用

• 模型使用和示例请参考子目录下的README.md文件。
• KB-ALBERT 只能用于非营利目的。
• 如果您想使用该模型，请将其发送到下面的电子邮件地址，并简要说明您的隶属关系、姓名和使用目的。
  • [email protected]

版本历史

• v1 (kb-albert-char-v1) 发布
• v2 (kb-albert-char-v2) 发布

与旧版本型号相关的代码将来可能会被删除。

执照

• KB-ALBERT 的모델 파일和코드受单独的许可政策的约束。
• 此存储库中的코드是根据 Apache-2.0 许可证发布的。完整的许可证可以在 LICENSE 文件中找到。
• 모델 파일将仅单独发送给那些出于非营利目的而请求的人。模型文件的许可政策将随模型一起下发。

---

（参考）另请参阅其他地方发布的韩国PLM。

• ETRI：KorBERT（http://aiopen.etri.re.kr/service_dataset.php）
• SK T-Brain：SKT-KoBERT、SKT-KoGPT...（https://github.com/SKTBrain）