kogpt
KoGPT6B-ryan1.5b
| Гиперпараметр | Ценить |
|---|---|
| 6 166 502 400 | |
| 28 | |
| 4096 | |
| 16 384 | |
| 16 | |
| 256 | |
| 2048 | |
| 64 512 | |
| Позиционное кодирование | Встраивание вращательного положения (RoPE) |
| Размеры веревки | 64 |
Ниже приведены рекомендуемые минимальные рекомендации по аппаратному обеспечению графического процессора для нескольких примеров KoGPT.
32GB GPU RAM в необходимом минимальном объеме памятиНиже приведены рекомендуемые минимальные рекомендации по аппаратному обеспечению графического процессора для нескольких примеров KoGPT.
16GB GPU RAM в необходимом минимальном объеме памяти python -m kogpt --help
usage: KoGPT inference [-h] [--model MODEL] [--revision {KoGPT6B-ryan1.5b}]
[--device {cpu,cuda}] [-d]
KakaoBrain Korean(hangul) Generative Pre-Training Model
optional arguments:
-h, --help show this help message and exit
--model MODEL huggingface repo (default:kakaobrain/kogpt)
--revision {KoGPT6B-ryan1.5b}
--device {cpu,cuda} (default:cuda)
-d, --debugpython -m kogpt
prompt > 인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던
temperature(0.8) >
max_length(128) > 64
인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상
prompt >
... import torch
from transformers import AutoTokenizer , AutoModelForCausalLM
tokenizer = AutoTokenizer . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
bos_token = '[BOS]' , eos_token = '[EOS]' , unk_token = '[UNK]' , pad_token = '[PAD]' , mask_token = '[MASK]'
)
model = AutoModelForCausalLM . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
pad_token_id = tokenizer . eos_token_id ,
torch_dtype = 'auto' , low_cpu_mem_usage = True
). to ( device = 'cuda' , non_blocking = True )
_ = model . eval ()
prompt = '인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던'
with torch . no_grad ():
tokens = tokenizer . encode ( prompt , return_tensors = 'pt' ). to ( device = 'cuda' , non_blocking = True )
gen_tokens = model . generate ( tokens , do_sample = True , temperature = 0.8 , max_length = 64 )
generated = tokenizer . batch_decode ( gen_tokens )[ 0 ]
print ( generated ) # print: 인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상 | Модели | #параметры | ННМЦ (Акк.) | ЫНАТ (F1) | КЛЮ-СТС (F1) |
|---|---|---|---|---|
| ГиперCLOVA[1] | 1,3Б | 83,9 | 58,7 | 60,9 |
| ГиперCLOVA[1] | 6.9Б | 83,8 | 67,5 | 59,3 |
| ГиперCLOVA[1] | 13.0Б | 87,9 | 67,9 | 60,0 |
| ГиперCLOVA[1] | 39,0Б | 88,0 | 71,4 | 61,6 |
| ГиперCLOVA[1] | 82.0Б | 88,2 | 72,7 | 65,1 |
| Наш | 6.0Б | 87,8 | 78,0 | 64,3 |
Сообщалось, что у нас возникли проблемы (#17) с нашей последующей оценкой.
Ранее опубликованная таблица оценки производительности была удалена, поскольку ее было трудно рассматривать как справедливое сравнение, поскольку целевой алгоритм сравнения был другим, а метод измерения производительности не мог быть подтвержден.
Вы можете обратиться к приведенной выше ссылке на проблему, чтобы просмотреть существующую таблицу оценки производительности и результаты устранения неполадок.
KakaoBrain KoGPT обучался на необработанных данных — наборе данных, который, как известно, содержит ненормативную лексику, непристойные выражения, политические изменения и другие резкие выражения. Следовательно, KoGPT может генерировать социально неприемлемые тексты. Как и в случае со всеми языковыми моделями, трудно заранее предсказать, как KoGPT без предупреждения отреагирует на конкретные запросы и оскорбительный контент.
В основном корейский: KoGPT в первую очередь обучен корейским текстам и лучше всего подходит для классификации, поиска, обобщения или создания таких текстов. KoGPT по умолчанию работает хуже с входными данными, которые отличаются от распределения данных, на которых он обучается, включая некорейские, а также определенные диалекты корейского языка, которые плохо представлены в обучающих данных.
Если во время тестирования создается ненормальный или социально неприемлемый текст, отправьте «подсказку» и «сгенерированный текст» на адрес [email protected].
KoGPT AI 커뮤니티를 위한 연구용으로 욕설, 음란, 정치적 내용 및 기타 거친 Нажмите на кнопку «Получить» и нажмите кнопку «Получить». KoGPT может быть использован для того, чтобы получить доступ к данным по KoGPT. 다른 언어 모델과 마찬가지로 특정 프롬프트와 공격적인 콘텐츠에 어떠한 결과를 생성할지 사전에 파악하기 어렵습니다.
KoGPT может быть использован в качестве инструмента для проверки, 검색, 요약 또는 생성하는데 가장 적합합니다. 기본적으로 KoGPT 는 학습 데이터에 잘 나타나지 않는 방언뿐만아니라 한국어가 아닌 Нажмите на кнопку, чтобы включить ее, и она будет отключена.
KoGPT также может быть использован, как, например, в случае, если вы хотите, чтобы это было возможно.
발생한 비정상적인 혹은 사회적으로 용인되지 않는 텍스트가 생성된 경우 [email protected] Добавьте «подсказку» и «생성된 문장» и нажмите кнопку «Подсказка».
Если вы применяете эту библиотеку или модель к какому-либо проекту и исследованию, цитируйте наш код:
@misc{kakaobrain2021kogpt,
title = {KoGPT: KakaoBrain Korean(hangul) Generative Pre-trained Transformer},
author = {Ildoo Kim and Gunsoo Han and Jiyeon Ham and Woonhyuk Baek},
year = {2021},
howpublished = {url{https://github.com/kakaobrain/kogpt}},
}
Он выпущен как открытый исходный код в надежде, что он будет полезен многим исследовательским институтам и стартапам в исследовательских целях. Мы с нетерпением ждем возможности связаться с нами из разных мест, которые желают сотрудничать с нами.
source code KakaoBrain KoGPT доступен под лицензией Apache 2.0.
pretrained weights KakaoBrain KoGPT лицензируются по лицензии CC-BY-NC-ND 4.0.
KoGPT 소스코드(source code) Apache 2.0 и поддерживает работу с ним.
카카오브레인 KoGPT 의 사전학습된 가중치(pretrained weights) и CC-BY-NC-ND 4.0 라이선스 라이선스 하에 공개되어 있습니다.
Если вы хотите, чтобы это произошло, вы можете сделать это так, как вам нужно. Установите Apache 2.0, LICENSE.cc-by-nc-nd-4.0, который используется для загрузки.
Хотя программное обеспечение с открытым исходным кодом может быть бесплатным, это не означает, что оно не несет никаких обязательств. Чтобы определить, подходит ли предполагаемое использование KoGPT для Apache 2.0 (или CC-BY-NC-ND 4.0), ознакомьтесь с руководством по лицензированию. Если вы нарушите лицензию, вы можете подвергнуться судебным искам, таким как запрет на использование или требование о возмещении ущерба в зависимости от использования.
오픈소스 소프트웨어는 무료로 사용할 수 있지만 이것이 의무가 없다는 의미는 아닙니다. KoGPT 의 사용에 앞서 라이선스 가이드를 살펴보고 예정한 사용이 Apache 2.0 (또는 CC-BY-NC-ND 4.0) 를 Вы можете использовать его в качестве источника питания. 라이선스를 위반하는 경우, 내용에 따라 사용금지, 손해배상 청구 등의 법적 조치를 Это не так.
[1] HyperCLOVA: Ким, Босоп и др. «Какие изменения могут принести крупномасштабные языковые модели? Интенсивное исследование гиперкловой: миллиарды корейских генеративных предварительно обученных преобразователей». Препринт arXiv arXiv:2109.04650 (2021 г.).
Раздел «Вклад» не является официальным продуктом KakaoBrain.
