KB ALBERT

KB-阿爾伯特

KB Kookmin Bank 提供的專門針對經濟/金融領域的韓國 ALBERT 語言模型

介紹

什麼是 KB-ALBERT 語言模型？

• KB-ALBERT是一個基於Google提出的ALBERT（A Lite BERT）架構學習了大量韓語的預學習語言模型。

  • ALBERT 是 BERT 系列 PLM（預訓練語言模型）架構的一種，特點是輕量級設計。
  • 如果您有一個使用大量語言數據學習的語言模型，那麼即使使用相對少量的訓練數據，也可以對學習進行微調以適應任務。

• KB-ALBERT 不僅在學習金融韓語方面表現出色，而且在一般韓語任務方面也表現出色。

  	NSMC（加速器）	KorQuAD (EM/F1)	金融 MRC (EM/F1)	尺寸
  Bert基礎多語言	87.32	68.43 / 88.43	39.48 / 64.74	681M
  KB-ALBERT-CHAR-v2	89.62	84.14 / 92.13	50.12 / 68.21	36M

如何使用

• 模型使用和範例請參考子目錄下的README.md檔案。
• KB-ALBERT 只能用於非營利目的。
• 如果您想使用該模型，請將其發送到下面的電子郵件地址，並簡要說明您的隸屬關係、姓名和使用目的。
  • [email protected]

版本歷史

• v1 (kb-albert-char-v1) 發布
• v2 (kb-albert-char-v2) 發布

與舊版型號相關的程式碼將來可能會被刪除。

執照

• KB-ALBERT 的모델 파일和코드受單獨的許可政策的約束。
• 此儲存庫中的코드是根據 Apache-2.0 授權發布的。完整的許可證可以在 LICENSE 文件中找到。
• 모델 파일將僅單獨發送給那些出於非營利目的而請求的人。模型文件的許可政策將隨模型一起下發。

---

（參考）另請參閱其他地方發布的韓國PLM。

• ETRI：KorBERT（http://aiopen.etri.re.kr/service_dataset.php）
• SK T-Brain：SKT-KoBERT、SKT-KoGPT...（https://github.com/SKTBrain）