ホーム>プログラミング関連>その他のソースコード
ダウンロード

特許分野 特化した韓国語 AI言語モデル KorPatBERT(base, large)

KorPatBERT(Korean Patent BERT)は韓国特許情報院が研究開発したAI言語モデルです。
特許分野 韓国語 自然言語処理問題解決及び特許産業分野の知能情報化インフラづくりのために既存のGoogle BERT baseモデルのアーキテクチャを基盤に大容量国内特許文献（base：約406万文献、large：約506万文献）を事前学習（pre-training）しており、無料で提供しています。

  • KorPatBERT メディア報道の紹介
  • Google ELECTRAベースの特許分野に特化した言語モデルKorPatELECTRAについて
  • 米国特許320万文献(310GB)を事前学習した英語BERT-largeモデル別途提供

  • 1. KorPatBERT
  • 2. KorPatBERTの概要
    • 2-1。
    • 2-2.
    • 2-3。
    • 2-4.
  • 3. KorPatBERT使用ガイド
    • 3-1。
    • 3-2。
      • 3-2-1. Mecabのインストールとユーザー辞書
      • 3-2-2. MSPトルクナイザー
    • 3-3。
  • 4. KorPatBERT申請案内
    • 4-1。
    • 4-2。
    • 4-3.
    • 4-4.

1. KorPatBERT

特許分野 特化された高性能事前学習(pre-trained)言語モデルで多様な自然言語処理タスクで活用できます。

KorPatBERT

2. KorPatBERTの概要

2-1。

開発環境

  • Anaconda >=4.6.8
  • Python >= 3.6
  • MSP Tokenizer（Mecab-ko Sentencepiece Patent Tokenizer）
  • Tensorflow-gpu >= 1.15.0
  • Sentencepiece >= 0.1.96
  • Horovod >= 0.19.2

学習環境

[KorPatBERT-base]

  • 特許文献120GBコーパスの4億6千万文章学習
  • NVIDIA V100 32GB GPU 16個で分散学習ライブラリ Horovodを利用して学習
  • NVIDIA AMP(Automated Mixed Precision)方式を活用して、メモリ最適化
  • 128 Sequence 2,300,000 Step 学習 + 512 Sequence 750,000 Step 学習

[KorPatBERT-large]

  • 特許文献150GBコーパスの6億7千万文章学習
  • NVIDIA V100 32GB GPU 8個で分散学習ライブラリ Horovodを利用して学習
  • NVIDIA AMP(Automated Mixed Precision)方式を活用して、メモリ最適化
  • 128 Sequence 2,250,000 Step 学習 + 512 Sequence 825,000 Step 学習

2-2.

[KorPatBERT-base]

  • 特許文献数：4,065,519件
  • 文数：460,448,189件
  • トークン数：約266億件
  • コーパスサイズ：約120GB

[KorPatBERT-large]

  • 特許文献数：5,069,714件
  • 文数：675,017,195件
  • トークン数：約332億件
  • コーパスサイズ：約150GB

2-3。

言語モデル学習に使用された特許文献を対象に約1,000万個の主要名詞および複合名詞を抽出し、これを韓国語型小分析器Mecab-koのユーザー辞書に追加した後、Google SentencePieceを通じてSubwordに分割する方式の特許テキストに特化したMSPトークナイザー（Mecab-ko Sentencepiece Patent Tokenizer）です。

  • Mecab-ko特許ユーザー辞書ファイル名：pat_all_mecab_dic.csv（base 6,663,693用語、large 10,874,418用語）
  • SentencePiece辞書ファイル名：korpat_vocab.txt（base 21,400個、large 27000個）
  • SentencePieceスペシャルトークン：[PAD]、[UNK]、[CLS]、[SEP]、[MASK]
  • KorPat Tokenizerファイル名：korpat_tokenizer.py

2-4.

  • 特許文献CPCコードサブクラス（subclass）分類タスク
    • 144 labels, train data 351,487, dev data 39,053, test data 16,316
モデルTop@1(ACC)
Google BERT 72.33
KorBERT 73.29
KoBERT 33.75
KrBERT 72.39
KorPatBERT-base 76.32
KorPatBERT-ラージ77.06

  • 特許文献CPCコードメイングループ（maingroup）分類タスク
    • 10,327 labels, train data 4,991,984, dev data 554,665, test data 297,034
モデルTop@1(ACC) Top@3(ACC) Top@5(ACC)
KorPatBERT-base 61.91 82.18 86.97
KorPatBERT-ラージ62.89 82.18 87.26

3. KorPatBERT使用ガイド

3-1。

プログラム名バージョン設置案内経路必須かどうか
python 3.6以上https://www.python.org/ Y
anaconda 4.6.8以上https://www.anaconda.com/ N
tensorflow 2.2.0以上https://www.tensorflow.org/install/pip?hl=ja Y
sentencepiece 0.1.96以上https://github.com/google/sentencepiece N
mecab-ko 0.996-ja-0.0.2 https://bitbucket.org/eunjeon/mecab-ja-dic/src/master/ Y
mecab-ko-dic 2.1.1 https://bitbucket.org/eunjeon/mecab-ja-dic/src/master/ Y
mecab-python 0.996-ja-0.9.2 https://bitbucket.org/eunjeon/mecab-ja-dic/src/master/ Y
python-mecab-ko 1.0.11以上https://pypi.org/project/python-mecab-ja/ Y
keras 2.4.3以上https://github.com/keras-team/keras N
bert_for_tf2 0.14.4以上https://github.com/kpe/bert-for-tf2 N
tqdm 4.59.0以上https://github.com/tqdm/tqdm N
soynlp 0.0.493以上https://github.com/lovit/soynlp N

3-2。

3-2-1. Mecab-koのインストールとユーザー辞書

 Installation URL: https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/
mecab-ko > 0.996-ko-0.9.2
mecab-ko-dic > 2.1.1
mecab-python > 0.996-ko-0.9.2

3-2-2. MSPトルクナイザー

 from korpat_tokenizer import Tokenizer

# (vocab_path=Vocabulary 파일 경로, cased=한글->True, 영문-> False)
tokenizer = Tokenizer(vocab_path="./korpat_vocab.txt", cased=True)
	
# 테스트 샘플 문장
example = "본 고안은 주로 일회용 합성세제액을 집어넣어 밀봉하는 세제액포의 내부를 원호상으로 열중착하되 세제액이 배출되는 절단부 쪽으로 내벽을 협소하게 형성하여서 내부에 들어있는 세제액을 잘짜질 수 있도록 하는 합성세제 액포에 관한 것이다."

# 샘플 토크나이즈
tokens = tokenizer.tokenize(example)

# 샘플 인코딩 (max_len=토큰 최대 길이)
ids, _ = tokenizer.encode(example, max_len=256)
# 샘플 디코딩
decoded_tokens = tokenizer.decode(ids)
	
# 결과 출력
print("Length of Token dictionary ===>", len(tokenizer._token_dict.keys()))
print("Input example ===>", example)
print("Tokenized example ===>", tokens)
print("Converted example to IDs ===>", ids)
print("Converted IDs to example ===>", decoded_tokens)

Result 

 Length of Token dictionary  ===>  21400
Input example ===>  본 고안은 주로 일회용 합성세제액을 집어넣어 밀봉하는 세제액포의 내부를 원호상으로 열중착하되 세제액이 배출되는 절단부 쪽으로 내벽을 협소하게 형성하여서 내부에 들어있는 세제액을 잘짜질 수 있도록 하는 합성세제 액포에 관한 것이다.
Tokenized example ===> ['[CLS]', '본', '고안', '은', '주로', '일회용', '합성', '##세', '##제', '##액', '을', '집', '##어넣', '어', '밀봉', '하', '는', '세제', '##액', '##포', '의', '내부', '를', '원호', '상', '으로', '열', '##중', '착하', '되', '세제', '##액', '이', '배출', '되', '는', '절단부', '쪽', '으로', '내벽', '을', '협소', '하', '게', '형성', '하', '여서', '내부', '에', '들', '어', '있', '는', '세제', '##액', '을', '잘', '짜', '질', '수', '있', '도록', '하', '는', '합성', '##세', '##제', '액', '##포', '에', '관한', '것', '이', '다', '.', '[SEP]']
Converted example to IDs ===>  [5, 58, 554, 32, 2716, 6554, 817, 20418, 20308, 20514, 15, 732, 15572, 39, 1634, 12, 11, 5934, 20514, 20367, 9, 315, 16, 5922, 17, 33, 279, 20399, 16971, 26, 5934, 20514, 13, 674, 26, 11, 10132, 1686, 33, 3781, 15, 11950, 12, 64, 87, 12, 3958, 315, 10, 51, 39, 25, 11, 5934, 20514, 15, 1803, 12889, 399, 24, 25, 118, 12, 11, 817, 20418, 20308, 299, 20367, 10, 439, 56, 13, 18, 14, 6, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
Converted IDs to example ===>  ['본', '고안', '은', '주로', '일회용', '합성', '##세', '##제', '##액', '을', '집', '##어넣', '어', '밀봉', '하', '는', '세제', '##액', '##포', '의', '내부', '를', '원호', '상', '으로', '열', '##중', '착하', '되', '세제', '##액', '이', '배출', '되', '는', '절단부', '쪽', '으로', '내벽', '을', '협소', '하', '게', '형성', '하', '여서', '내부', '에', '들', '어', '있', '는', '세제', '##액', '을', '잘', '짜', '질', '수', '있', '도록', '하', '는', '합성', '##세', '##제', '액', '##포', '에', '관한', '것', '이', '다', '.']

3-3。

※ Google BERT base 学習方式と同じであり、使用例は특허분야 사전학습 언어모델(KorPatBERT) 사용자 매뉴얼 2.3節をご覧ください。

4. KorPatBERT申請案内

4-1。

韓国特許情報院言語モデルに関心のある機関・企業、研究者を対象に一定の手続きを通じて普及を遂行中です。 。

  • 担当部署：IPデジタル革新センター知能情報戦略室
  • モデル提供およびその他のお問い合わせ：[email protected]

4-2。

  1. 言語モデル使用申請書（ハングルver（1）、ワードver（2））および条約書式をダウンロードして希望のモデルを選択して（同時選択可能）所属情報を含めて作成します。
  • 本言語モデルは、活用状況及び事後管理のために所属が認証されたユーザーを対象に配布し、所属は機関・企業及び学校ドメインのメールを通じて受付していただくことに代わります。
  1. 作成された申請書類を担当者の電子メール（[email protected]）に送信してください。
  2. 提出書類 お送りいただいた書類の担当者確認後、言語モデルおよびユーザーマニュアルをメールでお届けいたします。
  3. 今後この言語モデルを活用して商業用途での使用のためには、ライセンス案内に従って関連内容を作成し、担当者に送っていただければ協議後進行が可能です。

4-3.

ファイル名説明
pat_all_mecab_dic.csv Mecab特許ユーザー辞書
lm_test_data.tsv分類サンプルデータセット
korpat_tokenizer.py KorPat Tokenizerプログラム
test_tokenize.py Tokenizer使用サンプル
test_tokenize.ipynb Tokenizer使用サンプル(ジュピター)
test_lm.py言語モデルの使用例
test_lm.ipynb言語モデル使用サンプル（ジュピター）
korpat_bert_config.json KorPatBERT Configファイル
korpat_vocab.txt KorPatBERT Vocabularyファイル
model.ckpt-381250.meta KorPatBERT Modelファイル
model.ckpt-381250.index KorPatBERT Modelファイル
model.ckpt-381250.data-00000-of-00001 KorPatBERT Modelファイル

4-4.

  • 言語モデル使用申請書（ハングルver（1）、ワードver（2））
  • 使用条約
  • 商用ライセンスのご案内
拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて