Page d'accueil>Lié à la programmation>Autre code source
Télécharger

KorPatBERT (base, large), un modèle de langage d'IA coréen spécialisé dans le domaine des brevets

KorPatBERT (Korean Patent BERT) est un modèle de langage d'IA recherché et développé par le Service coréen d'information sur les brevets.
Afin de résoudre les problèmes de traitement du langage naturel coréen dans le domaine des brevets et de préparer une infrastructure d'information intelligente dans l'industrie des brevets, une formation préalable sur une grande quantité de documents de brevet nationaux (base : environ 4,06 millions de documents, grande : environ 5,06 millions de documents) est basé sur l'architecture du modèle de base Google BERT existant (pré-formation) et est fourni gratuitement.

  • Présentation du communiqué de presse KorPatBERT
  • Présentation de KorPatELECTRA, un modèle de langage spécialisé dans le domaine des brevets basé sur Google ELECTRA
  • Grand modèle BERT en anglais fourni séparément, pré-entraîné sur 3,2 millions de documents de brevet américains (310 Go)

  • 1. KorPatBERT
  • 2. Aperçu de KorPatBERT
    • 2-1. Environnement de pré-apprentissage
    • 2-2. corpus
    • 2-3. Dictionnaires et tokeniseurs
    • 2-4. évaluation
  • 3. Instructions d'utilisation de KorPatBERT
    • 3-1. Exigences
    • 3-2. tokeniseur
      • 3-2-1. Dictionnaire d'installation et d'utilisation de Mecab
      • 3-2-2. Tokeniseur MSP
    • 3-3. Réglage fin
  • 4. Informations sur l'application KorPatBERT
    • 4-1. Demande d'utilisation et informations sur le service responsable
    • 4-2. Procédure de candidature
    • 4-3. fichier fourni
    • 4-4. Formulaires associés

1. KorPatBERT

Il s'agit d'un modèle linguistique pré-entraîné hautes performances spécialisé dans le domaine des brevets et pouvant être utilisé dans diverses tâches de traitement du langage naturel.

KorPatBERT

2. Aperçu de KorPatBERT

2-1. Environnement de pré-apprentissage

Environnement de développement

  • Anaconda >=4.6.8
  • Python >= 3.6
  • Tokenizer MSP (Tokenizer de brevet Mecab-ko Sentencepiece)
  • tensorflow-gpu >= 1.15.0
  • Morceau de sentence >= 0.1.96
  • Horovod >= 0,19,2

environnement d'apprentissage

[Base KorPatBERT]

  • Apprendre 460 millions de phrases à partir d'un corpus de 120 Go de documents de brevet
  • Apprentissage à l'aide de la bibliothèque d'apprentissage distribuée Horovod avec 16 GPU NVIDIA V100 32 Go
  • Optimisation de la mémoire à l'aide de la méthode NVIDIA AMP (Automated Mixed Precision)
  • 128 séquences d'apprentissage à 2 300 000 étapes + 512 séquences d'apprentissage à 750 000 étapes

[KorPatBERT-large]

  • Apprendre 670 millions de phrases à partir d'un corpus de 150 Go de documents de brevet
  • Apprentissage à l'aide de la bibliothèque d'apprentissage distribuée Horovod avec 8 GPU NVIDIA V100 32 Go
  • Optimisation de la mémoire à l'aide de la méthode NVIDIA AMP (Automated Mixed Precision)
  • 128 séquence 2 250 000 apprentissage par étapes + 512 séquence 825 000 apprentissage par étapes

2-2. corpus

[Base KorPatBERT]

  • Nombre de documents brevets : 4 065 519
  • Nombre de phrases : 460 448 189
  • Nombre de tokens : environ 26,6 milliards
  • Taille du corpus : environ 120 Go

[KorPatBERT-large]

  • Nombre de documents brevets : 5 069 714
  • Nombre de phrases : 675 017 195
  • Nombre de jetons : environ 33,2 milliards
  • Taille du corpus : environ 150 Go

2-3. Dictionnaires et tokeniseurs

Environ 10 millions de noms majeurs et de noms composés ont été extraits des documents de brevet utilisés dans l'apprentissage des modèles de langage, et ceux-ci ont été ajoutés au dictionnaire utilisateur de l'analyseur de morphèmes coréen Mecab-ko, puis divisés en sous-mots via Google SentencePièce. Il s'agit d'un MSP spécialisé. tokeniseur (Mecab-ko Sentencepiece Patent Tokenizer).

  • Nom du fichier du dictionnaire utilisateur des brevets Mecab-ko : pat_all_mecab_dic.csv (termes de base 6 663 693, termes volumineux 10 874 418)
  • Nom du fichier du dictionnaire SentencePièce : korpat_vocab.txt (base 21 400, grand 27 000)
  • Jetons spéciaux SentencePièce : [PAD], [UNK], [CLS], [SEP], [MASK]
  • Nom du fichier KorPat Tokenizer : korpat_tokenizer.py

2-4. évaluation

  • Tâche de classification des sous-classes du code CPC du document de brevet
    • 144 étiquettes, données de train 351 487, données de développement 39 053, données de test 16 316
modèle Haut@1(ACC)
GoogleBERT 72.33
KorBERT 73.29
KOBERT 33,75
KrBERT 72.39
Base KorPatBERT 76.32
KorPatBERT-grand 77.06

  • Tâche de classification du groupe principal du code CPC du document de brevet
    • 10 327 étiquettes, données de train 4 991 984, données de développement 554 665, données de test 297 034
modèle Haut@1(ACC) Top@3(ACC) Top@5(ACC)
Base KorPatBERT 61,91 82.18 86,97
KorPatBERT-grand 62,89 82.18 87.26

3. Instructions d'utilisation de KorPatBERT

3-1. Exigences

Nom du programme version Chemin du guide d’installation Requis?
python 3.6 et supérieur https://www.python.org/ Oui
anaconda 4.6.8 et supérieur https://www.anaconda.com/ N
flux tensoriel 2.2.0 et supérieur https://www.tensorflow.org/install/pip?hl=ko Oui
morceau de phrase 0.1.96 ou supérieur https://github.com/google/sentencepiece N
Mecab-ko 0.996-fr-0.0.2 https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/ Oui
mecab-ko-dic 2.1.1 https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/ Oui
mecab-python 0.996-fr-0.9.2 https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/ Oui
python-mecab-ko 1.0.11 ou supérieur https://pypi.org/project/python-mecab-ko/ Oui
kéras 2.4.3 et supérieur https://github.com/keras-team/keras N
bert_for_tf2 0.14.4 et supérieur https://github.com/kpe/bert-for-tf2 N
tqdm 4.59.0 et supérieur https://github.com/tqdm/tqdm N
soynlp 0.0.493 ou supérieur https://github.com/lovit/soynlp N

3-2. tokeniseur

3-2-1. Dictionnaire d'installation et d'utilisation de Mecab-ko 

 Installation URL: https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/
mecab-ko > 0.996-ko-0.9.2
mecab-ko-dic > 2.1.1
mecab-python > 0.996-ko-0.9.2

3-2-2. Tokeniseur MSP 

 from korpat_tokenizer import Tokenizer

# (vocab_path=Vocabulary 파일 경로, cased=한글->True, 영문-> False)
tokenizer = Tokenizer(vocab_path="./korpat_vocab.txt", cased=True)
	
# 테스트 샘플 문장
example = "본 고안은 주로 일회용 합성세제액을 집어넣어 밀봉하는 세제액포의 내부를 원호상으로 열중착하되 세제액이 배출되는 절단부 쪽으로 내벽을 협소하게 형성하여서 내부에 들어있는 세제액을 잘짜질 수 있도록 하는 합성세제 액포에 관한 것이다."

# 샘플 토크나이즈
tokens = tokenizer.tokenize(example)

# 샘플 인코딩 (max_len=토큰 최대 길이)
ids, _ = tokenizer.encode(example, max_len=256)
# 샘플 디코딩
decoded_tokens = tokenizer.decode(ids)
	
# 결과 출력
print("Length of Token dictionary ===>", len(tokenizer._token_dict.keys()))
print("Input example ===>", example)
print("Tokenized example ===>", tokens)
print("Converted example to IDs ===>", ids)
print("Converted IDs to example ===>", decoded_tokens)

Résultat 

 Length of Token dictionary  ===>  21400
Input example ===>  본 고안은 주로 일회용 합성세제액을 집어넣어 밀봉하는 세제액포의 내부를 원호상으로 열중착하되 세제액이 배출되는 절단부 쪽으로 내벽을 협소하게 형성하여서 내부에 들어있는 세제액을 잘짜질 수 있도록 하는 합성세제 액포에 관한 것이다.
Tokenized example ===> ['[CLS]', '본', '고안', '은', '주로', '일회용', '합성', '##세', '##제', '##액', '을', '집', '##어넣', '어', '밀봉', '하', '는', '세제', '##액', '##포', '의', '내부', '를', '원호', '상', '으로', '열', '##중', '착하', '되', '세제', '##액', '이', '배출', '되', '는', '절단부', '쪽', '으로', '내벽', '을', '협소', '하', '게', '형성', '하', '여서', '내부', '에', '들', '어', '있', '는', '세제', '##액', '을', '잘', '짜', '질', '수', '있', '도록', '하', '는', '합성', '##세', '##제', '액', '##포', '에', '관한', '것', '이', '다', '.', '[SEP]']
Converted example to IDs ===>  [5, 58, 554, 32, 2716, 6554, 817, 20418, 20308, 20514, 15, 732, 15572, 39, 1634, 12, 11, 5934, 20514, 20367, 9, 315, 16, 5922, 17, 33, 279, 20399, 16971, 26, 5934, 20514, 13, 674, 26, 11, 10132, 1686, 33, 3781, 15, 11950, 12, 64, 87, 12, 3958, 315, 10, 51, 39, 25, 11, 5934, 20514, 15, 1803, 12889, 399, 24, 25, 118, 12, 11, 817, 20418, 20308, 299, 20367, 10, 439, 56, 13, 18, 14, 6, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
Converted IDs to example ===>  ['본', '고안', '은', '주로', '일회용', '합성', '##세', '##제', '##액', '을', '집', '##어넣', '어', '밀봉', '하', '는', '세제', '##액', '##포', '의', '내부', '를', '원호', '상', '으로', '열', '##중', '착하', '되', '세제', '##액', '이', '배출', '되', '는', '절단부', '쪽', '으로', '내벽', '을', '협소', '하', '게', '형성', '하', '여서', '내부', '에', '들', '어', '있', '는', '세제', '##액', '을', '잘', '짜', '질', '수', '있', '도록', '하', '는', '합성', '##세', '##제', '액', '##포', '에', '관한', '것', '이', '다', '.']

3-3. Réglage fin

※ C'est la même chose que la méthode d'apprentissage de base de Google BERT, et pour des exemples d'utilisation, veuillez vous référer à la section 2.3 특허분야 사전학습 언어모델(KorPatBERT) 사용자 매뉴얼 .

4. Informations sur l'application KorPatBERT

4-1. Demande d'utilisation et informations sur le service responsable

Nous diffusons le modèle linguistique de l'Institut coréen d'information sur les brevets, via certaines procédures, aux organisations, entreprises et chercheurs qui s'y intéressent. Veuillez remplir le formulaire de candidature et l'accord selon la procédure de candidature ci-dessous et soumettre la candidature par e-mail à la personne responsable.

  • Département en charge : Département de la stratégie de l'information intelligente du Centre d'innovation numérique IP
  • Mise à disposition du modèle et autres demandes : [email protected]

4-2. Procédure de candidature

  1. Téléchargez le formulaire de demande d'utilisation du modèle linguistique (coréen ver. (1), word ver. (2)) et le formulaire d'accord, sélectionnez le modèle souhaité (une sélection simultanée est possible) et remplissez-le en incluant les informations d'affiliation.
  • Ce modèle de langage est distribué aux utilisateurs dont l'affiliation a été vérifiée pour le statut d'utilisation et la gestion du suivi, et l'affiliation peut être soumise par e-mail depuis le domaine d'une institution, d'une entreprise ou d'une école.
  1. Soumettez les documents de candidature dûment remplis à l’adresse e-mail de la personne de contact ([email protected]).
  2. Après vérification des documents soumis par le responsable, vous recevrez le modèle linguistique et le manuel d'utilisation par email.
  3. Si vous souhaitez utiliser ce modèle linguistique à des fins commerciales à l'avenir, veuillez remplir les informations pertinentes conformément aux instructions de licence et les envoyer au responsable. Nous pouvons procéder après consultation.

4-3. fichier fourni

nom de fichier explication
pat_all_mecab_dic.csv Dictionnaire utilisateur des brevets Mecab
lm_test_data.tsv Ensemble de données d'échantillon de classification
korpat_tokenizer.py Programme de tokenisation KorPat
test_tokenize.py Exemple d'utilisation du tokenizer
test_tokenize.ipynb Exemple d'utilisation de Tokenizer (Jupiter)
test_lm.py Exemple d'utilisation du modèle de langage
test_lm.ipynb Exemple d'utilisation du modèle de langage (Jupyter)
korpat_bert_config.json Fichier de configuration KorPatBERT
korpat_vocab.txt Fichiers de vocabulaire KorPatBERT
modèle.ckpt-381250.meta Fichier modèle KorPatBERT
modèle.ckpt-381250.index Fichier modèle KorPatBERT
modèle.ckpt-381250.data-00000-of-00001 Fichier modèle KorPatBERT

4-4. Formulaires associés

  • Application d'utilisation du modèle de langage (version coréenne (1), version Word (2))
  • Accord d'utilisation
  • Informations sur la licence commerciale
Développer
Informations supplémentaires
Applications connexes
Recommandé pour vous
Actualités connexes Tout