kogpt
KoGPT6B-ryan1.5b
| المعلمة المفرطة | قيمة |
|---|---|
| 6,166,502,400 | |
| 28 | |
| 4,096 | |
| 16,384 | |
| 16 | |
| 256 | |
| 2,048 | |
| 64,512 | |
| الترميز الموضعي | تضمين الموضع الدوار (RoPE) |
| أبعاد الحبل | 64 |
فيما يلي الحد الأدنى الموصى به من إرشادات أجهزة GPU لعدد قليل من أمثلة KoGPT.
32GB GPU RAM بالحد الأدنى المطلوب لحجم الذاكرةفيما يلي الحد الأدنى الموصى به من إرشادات أجهزة GPU لعدد قليل من أمثلة KoGPT.
16GB GPU RAM بالحد الأدنى المطلوب لحجم الذاكرة python -m kogpt --help
usage: KoGPT inference [-h] [--model MODEL] [--revision {KoGPT6B-ryan1.5b}]
[--device {cpu,cuda}] [-d]
KakaoBrain Korean(hangul) Generative Pre-Training Model
optional arguments:
-h, --help show this help message and exit
--model MODEL huggingface repo (default:kakaobrain/kogpt)
--revision {KoGPT6B-ryan1.5b}
--device {cpu,cuda} (default:cuda)
-d, --debugpython -m kogpt
prompt > 인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던
temperature(0.8) >
max_length(128) > 64
인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상
prompt >
... import torch
from transformers import AutoTokenizer , AutoModelForCausalLM
tokenizer = AutoTokenizer . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
bos_token = '[BOS]' , eos_token = '[EOS]' , unk_token = '[UNK]' , pad_token = '[PAD]' , mask_token = '[MASK]'
)
model = AutoModelForCausalLM . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
pad_token_id = tokenizer . eos_token_id ,
torch_dtype = 'auto' , low_cpu_mem_usage = True
). to ( device = 'cuda' , non_blocking = True )
_ = model . eval ()
prompt = '인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던'
with torch . no_grad ():
tokens = tokenizer . encode ( prompt , return_tensors = 'pt' ). to ( device = 'cuda' , non_blocking = True )
gen_tokens = model . generate ( tokens , do_sample = True , temperature = 0.8 , max_length = 64 )
generated = tokenizer . batch_decode ( gen_tokens )[ 0 ]
print ( generated ) # print: 인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상 | نماذج | #params | NSMC (حسب.) | ينات (F1) | كلو-إس تي إس (F1) |
|---|---|---|---|---|
| هايبركلوفا[1] | 1.3 ب | 83.9 | 58.7 | 60.9 |
| هايبركلوفا[1] | 6.9 ب | 83.8 | 67.5 | 59.3 |
| هايبركلوفا[1] | 13.0 ب | 87.9 | 67.9 | 60.0 |
| هايبركلوفا[1] | 39.0 ب | 88.0 | 71.4 | 61.6 |
| هايبركلوفا[1] | 82.0 ب | 88.2 | 72.7 | 65.1 |
| لنا | 6.0 ب | 87.8 | 78.0 | 64.3 |
لقد تم الإبلاغ عن وجود مشكلات (#17) في تقييمنا النهائي.
تم حذف جدول تقييم الأداء المنشور سابقاً لأنه كان من الصعب رؤيته كمقارنة عادلة لأن خوارزمية هدف المقارنة كانت مختلفة ولم يمكن التأكد من طريقة قياس الأداء.
يمكنك الرجوع إلى رابط المشكلة أعلاه للاطلاع على جدول تقييم الأداء الحالي ونتائج استكشاف الأخطاء وإصلاحها.
تم تدريب KakaoBrain KoGPT على البيانات الأولية، وهي مجموعة بيانات معروفة بأنها تحتوي على ألفاظ نابية وبذيئة وتغيرات سياسية ولغة قاسية أخرى. لذلك، يمكن KoGPT إنشاء نصوص غير مقبولة اجتماعيًا. كما هو الحال مع جميع نماذج اللغة، من الصعب التنبؤ مسبقًا بكيفية استجابة KoGPT لمطالبات معينة ومحتوى مسيء دون سابق إنذار.
اللغة الكورية في المقام الأول: يتم تدريب KoGPT بشكل أساسي على النصوص الكورية، وهو الأفضل لتصنيف مثل هذه النصوص أو البحث عنها أو تلخيصها أو إنتاجها. بشكل افتراضي، يكون أداء KoGPT أسوأ عند المدخلات التي تختلف عن توزيع البيانات التي يتم تدريبه عليها، بما في ذلك اللهجات غير الكورية وكذلك اللهجات الكورية المحددة التي لا يتم تمثيلها بشكل جيد في بيانات التدريب.
إذا تم إنشاء نص غير طبيعي أو غير مقبول اجتماعيًا أثناء الاختبار، فيرجى إرسال "مطالبة" و"النص الذي تم إنشاؤه" إلى [email protected].
تعمل KoGPT وAI على تحسين الأداء والذكاء الاصطناعي والذكاء الاصطناعي والذكاء الاصطناعي هذا هو السبب في أن هذا هو الحل الأمثل. تم تطوير KoGPT . أفضل ما في الأمر هو الحصول على بطاقة الائتمان الخاصة بك هذا هو السبب في أن هذا هو ما يحدث.
KoGPT هي شركة رائدة في مجال الأعمال التجارية، والفنادق، والمنتجعات شكرا جزيلا. أفضل ما في KoGPT هو استخدام تقنية KoGPT هذا هو السبب في أن هذا هو الحل الأمثل.
تم إنشاء KoGPT في عام 2015، وهو ما يعني أن كل ما عليك فعله هو أن تقوم بذلك.
أفضل ما في الأمر هو الحصول على بطاقة الائتمان الخاصة بك [email protected]로 "prompt" 와 "생성된 문장" 을 함께 보내주시기 바랍니다.
إذا قمت بتطبيق هذه المكتبة أو النموذج على أي مشروع أو بحث، يرجى ذكر الكود الخاص بنا:
@misc{kakaobrain2021kogpt,
title = {KoGPT: KakaoBrain Korean(hangul) Generative Pre-trained Transformer},
author = {Ildoo Kim and Gunsoo Han and Jiyeon Ham and Woonhyuk Baek},
year = {2021},
howpublished = {url{https://github.com/kakaobrain/kogpt}},
}
تم إصدار هذا كمصدر مفتوح على أمل أن يكون مفيدًا للعديد من معاهد البحوث والشركات الناشئة لأغراض البحث. ونحن نتطلع إلى الاتصال بنا من مختلف الأماكن التي ترغب في التعاون معنا.
source code لـ KakaoBrain KoGPT مرخص بموجب ترخيص Apache 2.0.
pretrained weights لـ KakaoBrain KoGPT مرخصة بموجب ترخيص ترخيص CC-BY-NC-ND 4.0.
تم تطوير KoGPT 소스코드(source code) Apache 2.0 من خلال تطوير البرمجيات.
사전학습된 가중치(pretrained weights) KoGPT (الأوزان المدربة مسبقًا) أو CC-BY-NC-ND 4.0 هذا هو الحال.
في هذه الحالة, هذا هو السبب في أن هذا هو ما يحدث في كل مكان. تم تطوير هذا الإصدار من Apache 2.0 وLICENSE.cc-by-nc-nd-4.0 من خلال هذا الرابط.
على الرغم من أن البرمجيات مفتوحة المصدر قد تكون مجانية الاستخدام، إلا أن هذا لا يعني أنها خالية من الالتزامات. لتحديد ما إذا كان استخدامك المقصود لـ KoGPT مناسبًا لـ Apache 2.0 (أو CC-BY-NC-ND 4.0)، يرجى النظر في دليل الترخيص. إذا انتهكت الترخيص، فقد تتعرض لإجراءات قانونية مثل حظر الاستخدام أو المطالبة بالتعويضات اعتمادًا على الاستخدام.
أفضل ما في الأمر هو الحصول على بطاقة الائتمان الخاصة بك شكرا. تم تطوير KoGPT من قبل شركة KoGPT وتم تطويره بواسطة Apache 2.0 (أو CC-BY-NC-ND 4.0). هذا هو السبب في أن هذا هو ما يحدث. أفضل ما في الأمر هو أن تكون قادرًا على العمل, أن تكون قادرًا على العمل, أن تكون قادرًا على القيام بذلك شكرا جزيلا.
[1] هايبركلوفا: كيم، بوسوب، وآخرون. "ما هي التغييرات التي يمكن أن تجلبها النماذج اللغوية واسعة النطاق؟ دراسة مكثفة حول التشعب الفائق: المحولات التوليدية الكورية المدربة مسبقًا على نطاق واسع." arXiv طبعة أولية arXiv:2109.04650 (2021).
قسم المساهمة ليس منتجًا رسميًا من KakaoBrain.
