kogpt
KoGPT6B-ryan1.5b
| Hiperparameter | Nilai |
|---|---|
| 6.166.502.400 | |
| 28 | |
| 4.096 | |
| 16.384 | |
| 16 | |
| 256 | |
| 2.048 | |
| 64.512 | |
| Pengkodean Posisi | Penyematan Posisi Putar (Tali) |
| Dimensi Tali | 64 |
Berikut ini adalah panduan perangkat keras GPU minimum yang direkomendasikan untuk beberapa contoh KoGPT.
32GB GPU RAM dalam ukuran memori minimum yang diperlukanBerikut ini adalah panduan perangkat keras GPU minimum yang direkomendasikan untuk beberapa contoh KoGPT.
16GB GPU RAM dalam ukuran memori minimum yang diperlukan python -m kogpt --help
usage: KoGPT inference [-h] [--model MODEL] [--revision {KoGPT6B-ryan1.5b}]
[--device {cpu,cuda}] [-d]
KakaoBrain Korean(hangul) Generative Pre-Training Model
optional arguments:
-h, --help show this help message and exit
--model MODEL huggingface repo (default:kakaobrain/kogpt)
--revision {KoGPT6B-ryan1.5b}
--device {cpu,cuda} (default:cuda)
-d, --debugpython -m kogpt
prompt > 인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던
temperature(0.8) >
max_length(128) > 64
인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상
prompt >
... import torch
from transformers import AutoTokenizer , AutoModelForCausalLM
tokenizer = AutoTokenizer . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
bos_token = '[BOS]' , eos_token = '[EOS]' , unk_token = '[UNK]' , pad_token = '[PAD]' , mask_token = '[MASK]'
)
model = AutoModelForCausalLM . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
pad_token_id = tokenizer . eos_token_id ,
torch_dtype = 'auto' , low_cpu_mem_usage = True
). to ( device = 'cuda' , non_blocking = True )
_ = model . eval ()
prompt = '인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던'
with torch . no_grad ():
tokens = tokenizer . encode ( prompt , return_tensors = 'pt' ). to ( device = 'cuda' , non_blocking = True )
gen_tokens = model . generate ( tokens , do_sample = True , temperature = 0.8 , max_length = 64 )
generated = tokenizer . batch_decode ( gen_tokens )[ 0 ]
print ( generated ) # print: 인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상 | Model | #params | NSMC (Acc.) | YNAT (F1) | KLUE-STS (F1) |
|---|---|---|---|---|
| HiperCLOVA[1] | 1.3B | 83.9 | 58.7 | 60.9 |
| HiperCLOVA[1] | 6.9B | 83.8 | 67.5 | 59.3 |
| HiperCLOVA[1] | 13.0B | 87.9 | 67.9 | 60.0 |
| HiperCLOVA[1] | 39.0B | 88.0 | 71.4 | 61.6 |
| HiperCLOVA[1] | 82.0B | 88.2 | 72.7 | 65.1 |
| Milik kita | 6.0B | 87.8 | 78.0 | 64.3 |
Kami dilaporkan mengalami masalah (#17) dengan evaluasi hilir kami.
Tabel evaluasi kinerja yang diterbitkan sebelumnya telah dihapus karena sulit untuk melihatnya sebagai perbandingan yang adil karena algoritma target perbandingan berbeda dan metode pengukuran kinerja tidak dapat dikonfirmasi.
Anda dapat merujuk ke tautan masalah di atas untuk tabel evaluasi kinerja yang ada dan hasil pemecahan masalah.
KakaoBrain KoGPT dilatih menggunakan data mentah, kumpulan data yang diketahui mengandung kata-kata kotor, cabul, perubahan politik, dan bahasa kasar lainnya. Oleh karena itu, KoGPT dapat menghasilkan teks yang tidak dapat diterima secara sosial. Seperti semua model bahasa, sulit untuk memprediksi sebelumnya bagaimana KoGPT akan merespons perintah tertentu dan konten yang menyinggung tanpa peringatan.
Terutama bahasa Korea: KoGPT terutama dilatih tentang teks-teks Korea, dan paling baik untuk mengklasifikasikan, mencari, meringkas, atau menghasilkan teks-teks tersebut. KoGPT secara default memiliki performa lebih buruk pada input yang berbeda dari distribusi data tempat ia dilatih, termasuk dialek non-Korea serta dialek Korea tertentu yang tidak terwakili dengan baik dalam data pelatihan.
Jika teks yang tidak normal atau tidak dapat diterima secara sosial dihasilkan selama pengujian, silakan kirim "prompt" dan "teks yang dihasilkan" ke [email protected].
Penggunaan KoGPT dan AI dalam Layanan, Layanan, dan Layanan Lainnya Anda mungkin ingin mengetahui lebih lanjut tentang hal ini. KoGPT adalah salah satu cara untuk mengetahui cara menggunakan KoGPT . Cara Mengelola Pinjaman Untuk Mengelola Pinjaman Anda Dengan Baik 생성할지 사전에 파악하기 어렵습니다.
KoGPT adalah alat yang berguna untuk membantu Anda, 검색, 요약 또는 생성하는데 가장 적합합니다. KoGPT Layanan KoGPT untuk Mengelola Layanan Pelanggan Anda 경우와 같이 학습 데이터에서 발견하기 어려운 입력에서 좋지 않은 성능을 보입니다.
본 KoGPT를 활용한 연구, 개발, 테스트 등에 있어 위의 부분을 꼭 유의하시기 바랍니다.
Bagaimana cara mendapatkan pinjaman yang sesuai dengan kebutuhan Anda? [email protected]로 "prompt"와 "생성된 문장"을 함께 보내주시기 바랍니다.
Jika Anda menerapkan perpustakaan atau model ini pada proyek dan penelitian apa pun, harap kutip kode kami:
@misc{kakaobrain2021kogpt,
title = {KoGPT: KakaoBrain Korean(hangul) Generative Pre-trained Transformer},
author = {Ildoo Kim and Gunsoo Han and Jiyeon Ham and Woonhyuk Baek},
year = {2021},
howpublished = {url{https://github.com/kakaobrain/kogpt}},
}
Ini dirilis sebagai open source dengan harapan dapat membantu banyak lembaga penelitian dan startup untuk tujuan penelitian. Kami berharap dapat menghubungi kami dari berbagai tempat yang ingin bekerja sama dengan kami.
source code KakaoBrain KoGPT dilisensikan di bawah Lisensi Apache 2.0.
Anak timbangan KakaoBrain KoGPT pretrained weights dilisensikan di bawah Lisensi Lisensi CC-BY-NC-ND 4.0.
KoGPT digunakan oleh KoGPT 소스코드(source code) Apache 2.0 sebagai perangkat lunak yang berguna.
Pelatihan KoGPT 사전학습된 가중치(pretrained weights) CC-BY-NC-ND 4.0. 공개되어 있습니다.
모델 및 코드, 사전학습된 가중치를 사용할 경우 라이선스 내용을 준수해 주십시오. Gunakan Apache 2.0, LICENSE.cc-by-nc-nd-4.0 untuk mengetahui kegunaannya.
Meskipun perangkat lunak Sumber Terbuka mungkin gratis untuk digunakan, bukan berarti perangkat lunak tersebut bebas dari kewajiban. Untuk menentukan apakah tujuan penggunaan KoGPT Anda cocok untuk Apache 2.0 (atau CC-BY-NC-ND 4.0), harap pertimbangkan panduan lisensi. Jika Anda melanggar lisensi, Anda mungkin akan dikenakan tindakan hukum seperti larangan penggunaan atau tuntutan ganti rugi tergantung pada penggunaan.
Cara Mengelola Pinjaman Untuk Mengelola Pinjaman Anda Dengan Baik 아닙니다. KoGPT adalah salah satu solusi untuk Apache 2.0 (CC-BY-NC-ND 4.0) 준수하는지 여부를 먼저 확인하시기 바랍니다. 라이선스를 위반하는 경우, 내용에 따라 사용금지, 손해배상 청구 등의 법적 조치를 취할 수 있습니다.
[1] HyperCLOVA: Kim, Boseop, dkk. "Perubahan apa yang dapat dihasilkan oleh model bahasa skala besar? studi intensif tentang hyperclova: trafo terlatih generatif Korea berskala miliaran." arXiv pracetak arXiv:2109.04650 (2021).
Bagian kontribusi bukan merupakan produk resmi KakaoBrain.
