KB ALBERT

KB-ALBERT

KB国民銀行が提供する経済/金融ドメインに特化した韓国語ALBERT言語モデル

Introduction

KB-ALBERT言語モデルとは

• KB-ALBERTは、Googleが提案したALBERT（A Lite BERT）アーキテクチャに基づいて大量の韓国語を学習させた事前学習言語モデルです。

  • ALBERTは、BERT系のPLM（Pretrained Language Model）アーキテクチャの一種で、軽量化設計が特徴です。
  • 大量の言語データで学習された言語モデルがあれば、比較的少量の学習データでもタスクに合わせて finetuning 学習が可能です。

• KB-ALBERTは、金融圏の韓国語だけでなく、一般的な韓国語のTaskを学習する場合にも優れた性能を示します。

  	NSMC(Acc)	KorQuAD (EM/F1)	金融MRC（EM / F1）	サイズ
  Bert base multi-lingual	87.32	68.43/88.43	39.48/64.74	681M
  KB-ALBERT-CHAR-v2	89.62	84.14/92.13	50.12/68.21	36M

使用方法

• モデルの使い方と例については、サブディレクトリにあるREADME.mdファイルを参照してください。
• KB-ALBERTは非営利目的でのみ使用できます。
• モデルを使用したい方は下記メールで所属、名前、使用用途を簡単に作成して発送してください。
  • [email protected]

Version History

• v1 (kb-albert-char-v1) 公開
• v2 (kb-albert-char-v2) 公開

旧バージョンのモデル関連コードは後で削除される可能性があります。

ライセンス

• KB-ALBERTの모델 파일ファイルとコードには、 코드のライセンスポリシーが適用されます。
• このリポジトリの코드はApache-2.0ライセンスの下で公開されています。
• モデルファイル모델 파일非営利目的で要求された方にのみ個別に送信されます。

---

（参考）他の場所で公開した韓国語PLMも参考にしてみてください。

• ETRI：KorBERT（http://aiopen.etri.re.kr/service_dataset.php）
• SK T-Brain：SKT-KoBERT、SKT-KoGPT...（https://github.com/SKTBrain）