Главная страница>Связанные с программированием>Другой исходный код
Скачать

KorPatBERT (базовый, крупный), корейская языковая модель искусственного интеллекта, специализирующаяся в области патентов.

KorPatBERT (корейский патентный BERT) — это языковая модель искусственного интеллекта, исследованная и разработанная Службой патентной информации Кореи.
Чтобы решить проблемы обработки корейского естественного языка в патентной области и подготовить интеллектуальную информационную инфраструктуру в патентной отрасли, проводится предварительное обучение по большому количеству отечественных патентных документов (база: около 4,06 миллиона документов, большая: около 5,06 миллиона документов). основан на архитектуре существующей базовой модели Google BERT (предварительное обучение) и предоставляется бесплатно.

  • Пресс-релиз KorPatBERT Введение
  • Представляем KorPatELECTRA, языковую модель, специализированную в области патентов, на базе Google ELECTRA.
  • Отдельно предоставлена ​​большая модель BERT на английском языке, предварительно обученная на 3,2 миллионах патентных документов США (310 ГБ).

  • 1. КорПатБЕРТ
  • 2. Обзор КорПатБЕРТ
    • 2-1. Предварительная учебная среда
    • 2-2. корпус
    • 2-3. Словари и токенизаторы
    • 2-4. оценка
  • 3. Инструкция по использованию КорПатБЕРТ
    • 3-1. Требования
    • 3-2. токенизатор
      • 3-2-1. Установка Mecab и словарь пользователя
      • 3-2-2. Токенизатор MSP
    • 3-3. Тонкая настройка
  • 4. Информация о применении КорПатБЕРТ
    • 4-1. Заявка на использование и информация об ответственном отделе
    • 4-2. Процедура подачи заявки
    • 4-3. предоставленный файл
    • 4-4. Связанные формы

1. КорПатБЕРТ

Это высокопроизводительная предварительно обученная языковая модель, специализирующаяся на патентной области, которую можно использовать в различных задачах обработки естественного языка.

КорПатБЕРТ

2. Обзор КорПатБЕРТ

2-1. Предварительная учебная среда

Среда разработки

  • Анаконда >= 4.6.8
  • Питон >= 3,6
  • Токенизатор MSP (патентный токенизатор Mecab-ko Sentencepiece)
  • тензорный поток-GPU >= 1.15.0
  • Предложение >= 0.1.96
  • Хоровод >= 0,19,2

среда обучения

[КорПатБЕРТ-база]

  • Изучение 460 миллионов предложений из корпуса патентных документов объемом 120 ГБ.
  • Обучение с использованием библиотеки распределенного обучения Horovod с 16 графическими процессорами NVIDIA V100 32 ГБ
  • Оптимизация памяти с использованием метода NVIDIA AMP (Automated Mixed Precision).
  • 128-последовательность, 2 300 000 шагов обучения + 512-последовательность, 750 000 шагов обучения

[КорПатБЕРТ-большой]

  • Изучение 670 миллионов предложений из корпуса патентных документов объемом 150 ГБ.
  • Обучение с использованием библиотеки распределенного обучения Horovod с 8 графическими процессорами NVIDIA V100 32 ГБ
  • Оптимизация памяти с использованием метода NVIDIA AMP (Automated Mixed Precision).
  • 128-последовательность, 2 250 000 шагов обучения + 512-последовательность, 825 000 шагов обучения

2-2. корпус

[КорПатБЕРТ-база]

  • Количество патентных документов: 4 065 519
  • Количество предложений: 460 448 189.
  • Количество токенов: примерно 26,6 млрд.
  • Размер корпуса: примерно 120 ГБ

[КорПатБЕРТ-большой]

  • Количество патентных документов: 5 069 714
  • Количество предложений: 675 017 195.
  • Количество токенов: примерно 33,2 миллиарда.
  • Размер корпуса: примерно 150 ГБ

2-3. Словари и токенизаторы

Примерно 10 миллионов основных и составных существительных были извлечены из патентных документов, используемых при изучении языковых моделей, и добавлены в пользовательский словарь корейского анализатора морфем Mecab-ko, а затем разделены на подслова с помощью Google SentencePiece. Это специализированный MSP. токенизатор (патентный токенизатор Mecab-ko Sentencepiece).

  • Имя файла патентного пользовательского словаря Mecab-ko: pat_all_mecab_dic.csv (базовое — 6 663 693 термина, большое — 10 874 418 терминов)
  • Имя файла словаря SentencePiece: korpat_vocab.txt (базовое 21 400, большое 27 000)
  • Специальные токены SentencePiece: [PAD], [UNK], [CLS], [SEP], [MASK]
  • Имя файла токенизатора KorPat: korpat_tokenizer.py

2-4. оценка

  • Задача классификации подкласса кода CPC патентного документа
    • 144 метки, данные поезда 351 487, данные разработки 39 053, тестовые данные 16 316
модель Топ@1(ACC)
Google БЕРТ 72,33
КОРБЕРТ 73,29
КОБЕРТ 33,75
КрБЕРТ 72,39
КорПатБЕРТ-база 76,32
КорПатБЕРТ-большой 77.06

  • Задача классификации основной группы кода СПК патентного документа
    • 10 327 меток, данные поезда 4 991 984, данные разработки 554 665, тестовые данные 297 034
модель Топ@1(ACC) Топ@3(ACC) Топ@5(АСС)
КорПатБЕРТ-база 61,91 82,18 86,97
КорПатБЕРТ-большой 62,89 82,18 87,26

3. Инструкция по использованию КорПатБЕРТ

3-1. Требования

Название программы версия Путь руководства по установке Необходимый?
питон 3.6 и выше https://www.python.org/ Да
анаконда 4.6.8 и выше https://www.anaconda.com/ Н
тензорный поток 2.2.0 и выше https://www.tensorflow.org/install/pip?hl=ko Да
кусок предложения 0.1.96 или выше https://github.com/google/sentencepiece Н
мекаб-ко 0.996-ан-0.0.2 https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/ Да
мекаб-ко-дик 2.1.1 https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/ Да
мекаб-питон 0.996-ан-0.9.2 https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/ Да
python-mecab-ko 1.0.11 или выше https://pypi.org/project/python-mecab-ko/ Да
керас 2.4.3 и выше https://github.com/keras-team/keras Н
bert_for_tf2 0.14.4 и выше https://github.com/kpe/bert-for-tf2 Н
tqdm 4.59.0 и выше https://github.com/tqdm/tqdm Н
соинлп 0.0.493 или выше https://github.com/lovit/soynlp Н

3-2. токенизатор

3-2-1. Установка Mecab-ko и пользовательский словарь 

 Installation URL: https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/
mecab-ko > 0.996-ko-0.9.2
mecab-ko-dic > 2.1.1
mecab-python > 0.996-ko-0.9.2

3-2-2. Токенизатор MSP 

 from korpat_tokenizer import Tokenizer

# (vocab_path=Vocabulary 파일 경로, cased=한글->True, 영문-> False)
tokenizer = Tokenizer(vocab_path="./korpat_vocab.txt", cased=True)
	
# 테스트 샘플 문장
example = "본 고안은 주로 일회용 합성세제액을 집어넣어 밀봉하는 세제액포의 내부를 원호상으로 열중착하되 세제액이 배출되는 절단부 쪽으로 내벽을 협소하게 형성하여서 내부에 들어있는 세제액을 잘짜질 수 있도록 하는 합성세제 액포에 관한 것이다."

# 샘플 토크나이즈
tokens = tokenizer.tokenize(example)

# 샘플 인코딩 (max_len=토큰 최대 길이)
ids, _ = tokenizer.encode(example, max_len=256)
# 샘플 디코딩
decoded_tokens = tokenizer.decode(ids)
	
# 결과 출력
print("Length of Token dictionary ===>", len(tokenizer._token_dict.keys()))
print("Input example ===>", example)
print("Tokenized example ===>", tokens)
print("Converted example to IDs ===>", ids)
print("Converted IDs to example ===>", decoded_tokens)

Результат 

 Length of Token dictionary  ===>  21400
Input example ===>  본 고안은 주로 일회용 합성세제액을 집어넣어 밀봉하는 세제액포의 내부를 원호상으로 열중착하되 세제액이 배출되는 절단부 쪽으로 내벽을 협소하게 형성하여서 내부에 들어있는 세제액을 잘짜질 수 있도록 하는 합성세제 액포에 관한 것이다.
Tokenized example ===> ['[CLS]', '본', '고안', '은', '주로', '일회용', '합성', '##세', '##제', '##액', '을', '집', '##어넣', '어', '밀봉', '하', '는', '세제', '##액', '##포', '의', '내부', '를', '원호', '상', '으로', '열', '##중', '착하', '되', '세제', '##액', '이', '배출', '되', '는', '절단부', '쪽', '으로', '내벽', '을', '협소', '하', '게', '형성', '하', '여서', '내부', '에', '들', '어', '있', '는', '세제', '##액', '을', '잘', '짜', '질', '수', '있', '도록', '하', '는', '합성', '##세', '##제', '액', '##포', '에', '관한', '것', '이', '다', '.', '[SEP]']
Converted example to IDs ===>  [5, 58, 554, 32, 2716, 6554, 817, 20418, 20308, 20514, 15, 732, 15572, 39, 1634, 12, 11, 5934, 20514, 20367, 9, 315, 16, 5922, 17, 33, 279, 20399, 16971, 26, 5934, 20514, 13, 674, 26, 11, 10132, 1686, 33, 3781, 15, 11950, 12, 64, 87, 12, 3958, 315, 10, 51, 39, 25, 11, 5934, 20514, 15, 1803, 12889, 399, 24, 25, 118, 12, 11, 817, 20418, 20308, 299, 20367, 10, 439, 56, 13, 18, 14, 6, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
Converted IDs to example ===>  ['본', '고안', '은', '주로', '일회용', '합성', '##세', '##제', '##액', '을', '집', '##어넣', '어', '밀봉', '하', '는', '세제', '##액', '##포', '의', '내부', '를', '원호', '상', '으로', '열', '##중', '착하', '되', '세제', '##액', '이', '배출', '되', '는', '절단부', '쪽', '으로', '내벽', '을', '협소', '하', '게', '형성', '하', '여서', '내부', '에', '들', '어', '있', '는', '세제', '##액', '을', '잘', '짜', '질', '수', '있', '도록', '하', '는', '합성', '##세', '##제', '액', '##포', '에', '관한', '것', '이', '다', '.']

3-3. Тонкая настройка

※ Это тот же базовый метод обучения Google BERT, примеры использования см. в разделе 2.3 특허분야 사전학습 언어모델(KorPatBERT) 사용자 매뉴얼 .

4. Информация о применении КорПатБЕРТ

4-1. Заявка на использование и информация об ответственном отделе

Мы распространяем языковую модель Корейского института патентной информации посредством определенных процедур среди заинтересованных в ней организаций, компаний и исследователей. Пожалуйста, заполните форму заявки и соглашение в соответствии с процедурой подачи заявки, приведенной ниже, и отправьте заявку по электронной почте ответственному лицу.

  • Ответственное подразделение: Департамент интеллектуальной информационной стратегии Центра цифровых инноваций IP
  • Предоставление модели и другие вопросы: [email protected]

4-2. Процедура подачи заявки

  1. Загрузите форму заявки на использование языковой модели (корейская версия (1), словесная версия (2)) и форму соглашения, выберите желаемую модель (возможен одновременный выбор) и заполните ее, включая информацию о филиале.
  • Эта языковая модель распространяется среди пользователей, чья принадлежность была проверена на предмет статуса использования и последующего управления, а принадлежность можно отправить по электронной почте с домена учреждения, компании или школы.
  1. Отправьте заполненные документы заявки на адрес электронной почты контактного лица ([email protected]).
  2. После проверки документов, представленных ответственным лицом, вы получите языковую модель и руководство пользователя по электронной почте.
  3. Если вы хотите использовать эту языковую модель в коммерческих целях в будущем, заполните соответствующую информацию в соответствии с инструкциями по лицензии и отправьте ее ответственному лицу. Мы сможем продолжить после консультации.

4-3. предоставленный файл

имя файла объяснение
pat_all_mecab_dic.csv Патентный пользовательский словарь Mecab
lm_test_data.tsv Пример набора данных классификации
korpat_tokenizer.py Программа токенизатора KorPat
test_tokenize.py Пример использования токенайзера
test_tokenize.ipynb Пример использования токенизатора (Юпитер)
test_lm.py Пример использования языковой модели
test_lm.ipynb Пример использования языковой модели (Jupyter)
korpat_bert_config.json Конфигурационный файл KorPatBERT
korpat_vocab.txt Словарные файлы KorPatBERT
model.ckpt-381250.meta Файл модели KorPatBERT
модель.ckpt-381250.index Файл модели KorPatBERT
model.ckpt-381250.data-00000-of-00001 Файл модели KorPatBERT

4-4. Связанные формы

  • Приложение для использования языковой модели (корейская версия (1), Word версия (2))
  • Соглашение об использовании
  • Информация о коммерческой лицензии
Расширять
Дополнительная информация
Связанные приложения
Рекомендуем вам
Связанные новости Все