kogpt
KoGPT6B-ryan1.5b
| ハイパーパラメータ | 価値 |
|---|---|
| 6,166,502,400 | |
| 28 | |
| 4,096 | |
| 16,384 | |
| 16 | |
| 256 | |
| 2,048 | |
| 64,512 | |
| 位置エンコーディング | 回転位置埋め込み (RoPE) |
| ロープの寸法 | 64 |
以下は、少数の KoGPT サンプルに対する推奨される最小 GPU ハードウェア ガイダンスです。
32GB GPU RAM以下は、少数の KoGPT サンプルに対する推奨される最小 GPU ハードウェア ガイダンスです。
16GB GPU RAM python -m kogpt --help
usage: KoGPT inference [-h] [--model MODEL] [--revision {KoGPT6B-ryan1.5b}]
[--device {cpu,cuda}] [-d]
KakaoBrain Korean(hangul) Generative Pre-Training Model
optional arguments:
-h, --help show this help message and exit
--model MODEL huggingface repo (default:kakaobrain/kogpt)
--revision {KoGPT6B-ryan1.5b}
--device {cpu,cuda} (default:cuda)
-d, --debugpython -m kogpt
prompt > 인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던
temperature(0.8) >
max_length(128) > 64
인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상
prompt >
... import torch
from transformers import AutoTokenizer , AutoModelForCausalLM
tokenizer = AutoTokenizer . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
bos_token = '[BOS]' , eos_token = '[EOS]' , unk_token = '[UNK]' , pad_token = '[PAD]' , mask_token = '[MASK]'
)
model = AutoModelForCausalLM . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
pad_token_id = tokenizer . eos_token_id ,
torch_dtype = 'auto' , low_cpu_mem_usage = True
). to ( device = 'cuda' , non_blocking = True )
_ = model . eval ()
prompt = '인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던'
with torch . no_grad ():
tokens = tokenizer . encode ( prompt , return_tensors = 'pt' ). to ( device = 'cuda' , non_blocking = True )
gen_tokens = model . generate ( tokens , do_sample = True , temperature = 0.8 , max_length = 64 )
generated = tokenizer . batch_decode ( gen_tokens )[ 0 ]
print ( generated ) # print: 인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상 | モデル | #params | 新日鉄住金（準拠） | YNAT (F1) | クルーSTS（F1） |
|---|---|---|---|---|
| ハイパーCLOVA[1] | 1.3B | 83.9 | 58.7 | 60.9 |
| ハイパーCLOVA[1] | 6.9B | 83.8 | 67.5 | 59.3 |
| ハイパーCLOVA[1] | 13.0B | 87.9 | 67.9 | 60.0 |
| ハイパーCLOVA[1] | 39.0B | 88.0 | 71.4 | 61.6 |
| ハイパーCLOVA[1] | 82.0B | 88.2 | 72.7 | 65.1 |
| 私たちのもの | 6.0B | 87.8 | 78.0 | 64.3 |
下流の評価に問題 (#17) があることが報告されています。
以前公開していた性能評価表については、比較対象のアルゴリズムが異なり、性能測定方法も確認できないため、公正な比較として見ることが困難であるため削除しました。
既存のパフォーマンス評価表とトラブルシューティングの結果については、上記の問題のリンクを参照してください。
KakaoBrain KoGPT 、冒涜的、わいせつな、政治的変化、その他の厳しい言葉を含むことが知られているデータセットである生データでトレーニングされました。したがって、 KoGPT社会的に受け入れられないテキストを生成する可能性があります。すべての言語モデルと同様に、 KoGPT警告なしに特定のプロンプトや不快なコンテンツにどのように反応するかを事前に予測することは困難です。
主に韓国語: KoGPT主に韓国語のテキストでトレーニングされており、そのようなテキストの分類、検索、要約、生成に最適です。 KoGPTデフォルトで、トレーニング データで十分に表現されていない韓国語以外の入力や韓国語の特定の方言など、トレーニング対象のデータ分布とは異なる入力に対してパフォーマンスが低下します。
テスト中に異常なテキストまたは社会的に許容できないテキストが生成された場合は、「プロンプト」と「生成されたテキスト」を [email protected] に送信してください。
KoGPTは AI をサポートします。 언어에 대한 처리를 하지 않은 원시 데이터로 학습하였습니다。 KoGPTは、これをサポートします。 다른 언어 모델과 마찬가지로 특정 프롬프트와 공격적인 콘텐츠에 어떠한 결과를 생성할지 사전에 일본하기 어렵습니다。
KoGPTは、한국어 텍스트로 학습을 하였으며 이러한 텍스트를 분류、검색、요약 또는 생성하는데 가장 적합합니다。 KoGPTは 학습 데이터에 잘 나타나지 않는 방언뿐만아니라 한국어가 아닌 경우와 입력에서 좋지 않은 성능을 보입니다。
KoGPT は、ハードウェアに組み込まれているため、ハードウェアに依存しません。
테스트중에 발생한 비정상적인 혹은 사회적으로 용인되지 않는 텍스트가 생성된 경우 [email protected] の「プロンプト」は「생성된 문장」です。
このライブラリまたはモデルをプロジェクトや研究に適用する場合は、コードを引用してください。
@misc{kakaobrain2021kogpt,
title = {KoGPT: KakaoBrain Korean(hangul) Generative Pre-trained Transformer},
author = {Ildoo Kim and Gunsoo Han and Jiyeon Ham and Woonhyuk Baek},
year = {2021},
howpublished = {url{https://github.com/kakaobrain/kogpt}},
}
多くの研究機関やスタートアップ企業の研究目的に役立つことを願って、オープンソースとして公開します。ご協力いただける各地からのご連絡をお待ちしております。
KakaoBrain KoGPTのsource code 、Apache 2.0 ライセンスに基づいてライセンスされています。
KakaoBrain KoGPTのpretrained weights CC-BY-NC-ND 4.0 License License に基づいてライセンスされています。
KoGPT 소스코드(source code) Apache 2.0 と互換性があります。
KoGPT 사전학습된 가중치(pretrained weights) CC-BY-NC-ND 4.0 のバージョン 4.0 のバージョン있습니다。
모델 및 코드、사전학습된 가중치를 사용할 경우 라이선스 내용을 준수해 주십시오。 Apache 2.0、LICENSE.cc-by-nc-nd-4.0 がサポートされています。
オープンソース ソフトウェアは無料で使用できますが、それは義務がないことを意味するものではありません。 KoGPT の使用目的が Apache 2.0 (または CC-BY-NC-ND 4.0) に適しているかどうかを判断するには、ライセンス ガイドを検討してください。ライセンスに違反した場合、用途によっては使用禁止や損害賠償請求などの法的措置の対象となる場合があります。
오픈소스 소프트웨어는 무료로 사용할 수 있지만 이것이 의무가 없다는 의미는 아닙니다。 KoGPT は、Apache 2.0 (CC-BY-NC-ND 4.0) をサポートしています。 준수하는지 여부를 먼저 확인하시기 바랍니다。 라이선스를 위반하는 경우, 내용에 따라 사용금지, 손해배상 청구 등의 법적 조치를 취할 수 있습니다。
[1] HyperCLOVA: Kim、Boseop、他。 「大規模言語モデルはどのような変化をもたらす可能性がありますか? hyperclova に関する集中研究: 数十億規模の韓国語生成事前学習トランスフォーマー」 arXiv プレプリント arXiv:2109.04650 (2021)。
投稿セクションは KakaoBrain の公式製品ではありません。
