kogpt
KoGPT6B-ryan1.5b
| Hyperparamètre | Valeur |
|---|---|
| 6 166 502 400 | |
| 28 | |
| 4 096 | |
| 16 384 | |
| 16 | |
| 256 | |
| 2 048 | |
| 64 512 | |
| Encodage positionnel | Incorporation de position rotative (RoPE) |
| Dimensions du câble | 64 |
Voici les conseils matériels GPU minimum recommandés pour une poignée d’exemples de KoGPT.
32GB GPU RAM dans la taille de mémoire minimale requiseVoici les conseils matériels GPU minimum recommandés pour une poignée d’exemples de KoGPT.
16GB GPU RAM dans la taille de mémoire minimale requise python -m kogpt --help
usage: KoGPT inference [-h] [--model MODEL] [--revision {KoGPT6B-ryan1.5b}]
[--device {cpu,cuda}] [-d]
KakaoBrain Korean(hangul) Generative Pre-Training Model
optional arguments:
-h, --help show this help message and exit
--model MODEL huggingface repo (default:kakaobrain/kogpt)
--revision {KoGPT6B-ryan1.5b}
--device {cpu,cuda} (default:cuda)
-d, --debugpython -m kogpt
prompt > 인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던
temperature(0.8) >
max_length(128) > 64
인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상
prompt >
... import torch
from transformers import AutoTokenizer , AutoModelForCausalLM
tokenizer = AutoTokenizer . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
bos_token = '[BOS]' , eos_token = '[EOS]' , unk_token = '[UNK]' , pad_token = '[PAD]' , mask_token = '[MASK]'
)
model = AutoModelForCausalLM . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
pad_token_id = tokenizer . eos_token_id ,
torch_dtype = 'auto' , low_cpu_mem_usage = True
). to ( device = 'cuda' , non_blocking = True )
_ = model . eval ()
prompt = '인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던'
with torch . no_grad ():
tokens = tokenizer . encode ( prompt , return_tensors = 'pt' ). to ( device = 'cuda' , non_blocking = True )
gen_tokens = model . generate ( tokens , do_sample = True , temperature = 0.8 , max_length = 64 )
generated = tokenizer . batch_decode ( gen_tokens )[ 0 ]
print ( generated ) # print: 인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상 | Modèles | #params | NSMC (Acc.) | YNAT (F1) | KLUE-STS (F1) |
|---|---|---|---|---|
| HyperCLOVA[1] | 1,3B | 83,9 | 58,7 | 60,9 |
| HyperCLOVA[1] | 6,9 milliards | 83,8 | 67,5 | 59.3 |
| HyperCLOVA[1] | 13.0B | 87,9 | 67,9 | 60,0 |
| HyperCLOVA[1] | 39.0B | 88,0 | 71.4 | 61,6 |
| HyperCLOVA[1] | 82.0B | 88,2 | 72,7 | 65.1 |
| La nôtre | 6.0B | 87,8 | 78,0 | 64,3 |
Il nous a été signalé des problèmes (#17) avec notre évaluation en aval.
Le tableau d'évaluation des performances publié précédemment a été supprimé car il était difficile de le considérer comme une comparaison équitable car l'algorithme cible de comparaison était différent et la méthode de mesure des performances ne pouvait pas être confirmée.
Vous pouvez vous référer au lien de problème ci-dessus pour le tableau d'évaluation des performances existant et les résultats de dépannage.
KakaoBrain KoGPT a été formé sur des données brutes, un ensemble de données connu pour contenir des grossièretés, des obscénités, des changements politiques et d'autres langages durs. Par conséquent, KoGPT peut générer des textes socialement inacceptables. Comme pour tous les modèles linguistiques, il est difficile de prédire à l’avance comment KoGPT réagira à des invites particulières et à un contenu offensant sans avertissement.
Principalement coréen : KoGPT est principalement formé sur des textes coréens et est idéal pour classer, rechercher, résumer ou générer de tels textes. Par défaut, KoGPT fonctionne moins bien sur les entrées qui sont différentes de la distribution de données sur laquelle il est formé, y compris les dialectes non coréens ainsi que les dialectes spécifiques du coréen qui ne sont pas bien représentés dans les données de formation.
Si un texte anormal ou socialement inacceptable est généré pendant les tests, veuillez envoyer une « invite » et le « texte généré » à [email protected].
KoGPT et l'IA sont également disponibles pour les applications KoGPT, 음란 et 정치적 내용 및 기타 거친 Il s'agit d'une personne qui s'est occupée de lui. KoGPT est également un outil de recherche pour les utilisateurs de KoGPT. 다른 프롬프트와 공격적인 콘텐츠에 어떠한 결과를 Il s'agit d'une question de temps.
KoGPT également disponible en ligne pour les utilisateurs, les utilisateurs, les utilisateurs de KoGPT C'est vrai. KoGPT est également disponible en ligne pour les utilisateurs de KoGPT. Il s'agit d'une personne qui s'est occupée de lui.
Il y a KoGPT qui s'en occupe, et bien sûr, il s'agit d'une entreprise qui est en train de devenir une entreprise.
테스트중에 발생한 비정상적인 혹은 사회적으로 용인되지 않는 텍스트가 생성된 경우 [email protected] "prompt" et "생성된 문장" sont également disponibles.
Si vous appliquez cette bibliothèque ou ce modèle à un projet et une recherche, veuillez citer notre code :
@misc{kakaobrain2021kogpt,
title = {KoGPT: KakaoBrain Korean(hangul) Generative Pre-trained Transformer},
author = {Ildoo Kim and Gunsoo Han and Jiyeon Ham and Woonhyuk Baek},
year = {2021},
howpublished = {url{https://github.com/kakaobrain/kogpt}},
}
Ceci est publié en open source dans l'espoir qu'il sera utile à de nombreux instituts de recherche et startups à des fins de recherche. Nous sommes impatients de nous contacter depuis divers endroits et qui souhaitent coopérer avec nous.
Le source code de KakaoBrain KoGPT est sous licence Apache 2.0.
Les pretrained weights de KakaoBrain KoGPT sont sous licence CC-BY-NC-ND 4.0.
KoGPT est 소스코드(source code) et Apache 2.0 est également disponible.
KoGPT sont 사전학습된 가중치(pretrained weights) par CC-BY-NC-ND 4.0. C'est vrai.
Il s'agit bien d'une personne qui s'est occupée de lui. Pour Apache 2.0, LICENSE.cc-by-nc-nd-4.0 est également disponible.
Même si l'utilisation des logiciels Open Source peut être gratuite, cela ne signifie pas qu'ils sont gratuits. Pour déterminer si votre utilisation prévue de KoGPT est adaptée à Apache 2.0 (ou CC-BY-NC-ND 4.0), veuillez consulter le guide de licence. Si vous violez la licence, vous pourriez faire l'objet de poursuites judiciaires telles qu'une interdiction d'utilisation ou une demande de dommages et intérêts en fonction de l'utilisation.
오픈소스 소프트웨어는 무료로 사용할 수 있지만 이것이 의무가 없다는 의미는 C'est vrai. KoGPT est compatible avec Apache 2.0 (avec CC-BY-NC-ND 4.0) Il s'agit d'une question de temps. 라이선스를 위반하는 경우, 내용에 따라 사용금지, 손해배상 청구 등의 법적 조치를 C'est vrai.
[1] HyperCLOVA : Kim, Boseop et al. "Quels changements les modèles linguistiques à grande échelle peuvent-ils apporter ? Étude intensive sur l'hyperclova : transformateurs pré-entraînés génératifs coréens à l'échelle de plusieurs milliards." Préimpression arXiv arXiv :2109.04650 (2021).
La section de contribution n'est pas un produit officiel de KakaoBrain.
