kogpt
KoGPT6B-ryan1.5b
| Hyperparameter | Wert |
|---|---|
| 6.166.502.400 | |
| 28 | |
| 4.096 | |
| 16.384 | |
| 16 | |
| 256 | |
| 2.048 | |
| 64.512 | |
| Positionskodierung | Rotationspositionseinbettung (RoPE) |
| Seilabmessungen | 64 |
Im Folgenden finden Sie die empfohlene Mindest-GPU-Hardware-Anleitung für eine Handvoll KoGPT-Beispiele.
32GB GPU RAM in der erforderlichen MindestspeichergrößeIm Folgenden finden Sie die empfohlene Mindest-GPU-Hardware-Anleitung für eine Handvoll KoGPT-Beispiele.
16GB GPU RAM in der erforderlichen Mindestspeichergröße python -m kogpt --help
usage: KoGPT inference [-h] [--model MODEL] [--revision {KoGPT6B-ryan1.5b}]
[--device {cpu,cuda}] [-d]
KakaoBrain Korean(hangul) Generative Pre-Training Model
optional arguments:
-h, --help show this help message and exit
--model MODEL huggingface repo (default:kakaobrain/kogpt)
--revision {KoGPT6B-ryan1.5b}
--device {cpu,cuda} (default:cuda)
-d, --debugpython -m kogpt
prompt > 인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던
temperature(0.8) >
max_length(128) > 64
인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상
prompt >
... import torch
from transformers import AutoTokenizer , AutoModelForCausalLM
tokenizer = AutoTokenizer . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
bos_token = '[BOS]' , eos_token = '[EOS]' , unk_token = '[UNK]' , pad_token = '[PAD]' , mask_token = '[MASK]'
)
model = AutoModelForCausalLM . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
pad_token_id = tokenizer . eos_token_id ,
torch_dtype = 'auto' , low_cpu_mem_usage = True
). to ( device = 'cuda' , non_blocking = True )
_ = model . eval ()
prompt = '인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던'
with torch . no_grad ():
tokens = tokenizer . encode ( prompt , return_tensors = 'pt' ). to ( device = 'cuda' , non_blocking = True )
gen_tokens = model . generate ( tokens , do_sample = True , temperature = 0.8 , max_length = 64 )
generated = tokenizer . batch_decode ( gen_tokens )[ 0 ]
print ( generated ) # print: 인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상 | Modelle | #params | NSMC (Acc.) | YNAT (F1) | KLUE-STS (F1) |
|---|---|---|---|---|
| HyperCLOVA[1] | 1,3B | 83,9 | 58,7 | 60.9 |
| HyperCLOVA[1] | 6,9B | 83,8 | 67,5 | 59.3 |
| HyperCLOVA[1] | 13,0B | 87,9 | 67,9 | 60,0 |
| HyperCLOVA[1] | 39,0B | 88,0 | 71.4 | 61,6 |
| HyperCLOVA[1] | 82,0B | 88,2 | 72,7 | 65.1 |
| Unsere | 6,0B | 87,8 | 78,0 | 64.3 |
Es wurde berichtet, dass wir Probleme (Nr. 17) mit unserer nachgelagerten Bewertung hatten.
Die zuvor veröffentlichte Leistungsbewertungstabelle wurde gelöscht, da es schwierig war, sie als fairen Vergleich zu betrachten, da der Vergleichszielalgorithmus unterschiedlich war und die Methode zur Leistungsmessung nicht bestätigt werden konnte.
Unter dem obigen Problemlink finden Sie die vorhandene Leistungsbewertungstabelle und die Ergebnisse der Fehlerbehebung.
KakaoBrain KoGPT wurde anhand von Rohdaten geschult, einem Datensatz, der bekanntermaßen Schimpfwörter, anstößige, politisch veränderte und andere grobe Ausdrücke enthält. Daher kann KoGPT sozial inakzeptable Texte generieren. Wie bei allen Sprachmodellen ist es schwierig, im Voraus vorherzusagen, wie KoGPT ohne Vorwarnung auf bestimmte Aufforderungen und anstößige Inhalte reagieren wird.
Hauptsächlich Koreanisch: KoGPT ist hauptsächlich auf koreanische Texte ausgerichtet und eignet sich am besten zum Klassifizieren, Suchen, Zusammenfassen oder Generieren solcher Texte. KoGPT schneidet standardmäßig bei Eingaben schlechter ab, die sich von der Datenverteilung unterscheiden, auf der es trainiert wird, einschließlich nicht-koreanischer Sprache sowie bestimmter koreanischer Dialekte, die in den Trainingsdaten nicht gut vertreten sind.
Wenn beim Testen ungewöhnlicher oder sozial inakzeptabler Text generiert wird, senden Sie bitte eine „Eingabeaufforderung“ und den „generierten Text“ an [email protected].
Die KoGPT- und AI KoGPT Funktion ist für den Einsatz in den folgenden Bereichen geeignet: 언어에 대한 처리를 하지 않은 원은 데이터로 학습하였습니다. KoGPT App ist für die aktuelle Version der KoGPT-App bestimmt. 언른 생성할지 사전에 파악하기 어렵습니다.
KoGPT ist die erste Wahl, die Sie benötigen 생성하는데 적합합니다. Die KoGPT die Verwendung von KoGPT ermöglichen die Verwendung von KoGPT 와우와 이 학습 데이터에서 발견하기 어려운 입력에서 좋지 않은 성능을 보입니다.
Mit KoGPT haben Sie eine neue, aktuelle, aktuelle Version von KoGPT erstellt.
테스트중에 발생한 비정상적인 혹은 사회적으로 용인되지 않는 텍스트가 생성된 경우 [email protected]. „prompt“ oder „Eingabeaufforderung“.
Wenn Sie diese Bibliothek oder dieses Modell auf ein Projekt oder eine Forschung anwenden, zitieren Sie bitte unseren Code:
@misc{kakaobrain2021kogpt,
title = {KoGPT: KakaoBrain Korean(hangul) Generative Pre-trained Transformer},
author = {Ildoo Kim and Gunsoo Han and Jiyeon Ham and Woonhyuk Baek},
year = {2021},
howpublished = {url{https://github.com/kakaobrain/kogpt}},
}
Dies wird als Open Source veröffentlicht in der Hoffnung, dass es vielen Forschungsinstituten und Start-ups zu Forschungszwecken hilfreich sein wird. Wir freuen uns darauf, uns von verschiedenen Orten aus zu kontaktieren, die mit uns zusammenarbeiten möchten.
Der source code von KakaoBrain KoGPT ist unter der Apache 2.0-Lizenz lizenziert.
Die pretrained weights von KakaoBrain KoGPT sind unter der CC-BY-NC-ND 4.0-Lizenzlizenz lizenziert.
Die von KoGPT 소스코드(source code) und die Apache 2.0-Version wurden in der aktuellen Version erstellt.
Die KoGPT 사전학습된 가중치(pretrained weights) CC-BY-NC-ND 4.0 erstellt 있습니다.
모델 및 코드, 사전학습된 가중치를 사용할 사용할 경우 라이선스 내용을 준수해 주십수오. Die neueste Version von Apache 2.0, LICENSE.cc-by-nc-nd-4.0 ist eine neue Version von LICENSE.cc-by-nc-nd-4.0.
Auch wenn die Nutzung von Open-Source-Software kostenlos ist, bedeutet das nicht, dass sie unverbindlich ist. Um festzustellen, ob Ihr beabsichtigter Einsatz von KoGPT für Apache 2.0 (oder CC-BY-NC-ND 4.0) geeignet ist, beachten Sie bitte den Lizenzleitfaden. Wenn Sie gegen die Lizenz verstoßen, können je nach Nutzung rechtliche Schritte wie ein Nutzungsverbot oder Schadensersatzansprüche gegen Sie eintreten.
10.06.2019 아닙니다. Die KoGPT-Version wurde mit Apache 2.0 (und CC-BY-NC-ND 4.0) erstellt 준수하는지 여부를 먼저 확인하저 바랍니다. 라이선스를 위반하는 등의 법적 조치를 취할 수 있습니다.
[1] HyperCLOVA: Kim, Boseop, et al. „Welche Veränderungen können groß angelegte Sprachmodelle mit sich bringen? Intensive Studie zu Hyperclova: Koreanische generative vortrainierte Transformatoren im Milliardenmaßstab.“ arXiv-Vorabdruck arXiv:2109.04650 (2021).
Der Beitragsbereich ist kein offizielles KakaoBrain-Produkt.
