kogpt
KoGPT6B-ryan1.5b
| ไฮเปอร์พารามิเตอร์ | ค่า |
|---|---|
| 6,166,502,400 | |
| 28 | |
| 4,096 | |
| 16,384 | |
| 16 | |
| 256 | |
| 2,048 | |
| 64,512 | |
| การเข้ารหัสตำแหน่ง | การฝังตำแหน่งแบบหมุน (RoPE) |
| ขนาดเชือก | 64 |
ต่อไปนี้คือคำแนะนำด้านฮาร์ดแวร์ GPU ขั้นต่ำที่แนะนำสำหรับตัวอย่าง KoGPT จำนวนหนึ่ง
32GB GPU RAM ในขนาดหน่วยความจำขั้นต่ำที่ต้องการต่อไปนี้คือคำแนะนำด้านฮาร์ดแวร์ GPU ขั้นต่ำที่แนะนำสำหรับตัวอย่าง KoGPT จำนวนหนึ่ง
16GB GPU RAM ในขนาดหน่วยความจำขั้นต่ำที่ต้องการ python -m kogpt --help
usage: KoGPT inference [-h] [--model MODEL] [--revision {KoGPT6B-ryan1.5b}]
[--device {cpu,cuda}] [-d]
KakaoBrain Korean(hangul) Generative Pre-Training Model
optional arguments:
-h, --help show this help message and exit
--model MODEL huggingface repo (default:kakaobrain/kogpt)
--revision {KoGPT6B-ryan1.5b}
--device {cpu,cuda} (default:cuda)
-d, --debugpython -m kogpt
prompt > 인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던
temperature(0.8) >
max_length(128) > 64
인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상
prompt >
... import torch
from transformers import AutoTokenizer , AutoModelForCausalLM
tokenizer = AutoTokenizer . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
bos_token = '[BOS]' , eos_token = '[EOS]' , unk_token = '[UNK]' , pad_token = '[PAD]' , mask_token = '[MASK]'
)
model = AutoModelForCausalLM . from_pretrained (
'kakaobrain/kogpt' , revision = 'KoGPT6B-ryan1.5b-float16' , # or float32 version: revision=KoGPT6B-ryan1.5b
pad_token_id = tokenizer . eos_token_id ,
torch_dtype = 'auto' , low_cpu_mem_usage = True
). to ( device = 'cuda' , non_blocking = True )
_ = model . eval ()
prompt = '인간처럼 생각하고, 행동하는 ' 지능 ' 을 통해 인류가 이제까지 풀지 못했던'
with torch . no_grad ():
tokens = tokenizer . encode ( prompt , return_tensors = 'pt' ). to ( device = 'cuda' , non_blocking = True )
gen_tokens = model . generate ( tokens , do_sample = True , temperature = 0.8 , max_length = 64 )
generated = tokenizer . batch_decode ( gen_tokens )[ 0 ]
print ( generated ) # print: 인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던 문제의 해답을 찾을 수 있을 것이다. 과학기술이 고도로 발달한 21세기를 살아갈 우리 아이들에게 가장 필요한 것은 사고력 훈련이다. 사고력 훈련을 통해, 세상 | โมเดล | #พารามิเตอร์ | สสส. (บัญชี) | ยัท (F1) | KLUE-STS (F1) |
|---|---|---|---|---|
| ไฮเปอร์โคลวา[1] | 1.3B | 83.9 | 58.7 | 60.9 |
| ไฮเปอร์โคลวา[1] | 6.9B | 83.8 | 67.5 | 59.3 |
| ไฮเปอร์โคลวา[1] | 13.0B | 87.9 | 67.9 | 60.0 |
| ไฮเปอร์โคลวา[1] | 39.0B | 88.0 | 71.4 | 61.6 |
| ไฮเปอร์โคลวา[1] | 82.0B | 88.2 | 72.7 | 65.1 |
| ของเรา | 6.0B | 87.8 | 78.0 | 64.3 |
เราได้รับรายงานว่ามีปัญหา (#17) กับการประเมินขั้นปลายของเรา
ตารางประเมินประสิทธิภาพที่เผยแพร่ก่อนหน้านี้ถูกลบเนื่องจากเป็นการยากที่จะเห็นว่าเป็นการเปรียบเทียบที่ยุติธรรม เนื่องจากอัลกอริธึมเป้าหมายการเปรียบเทียบแตกต่างกัน และวิธีการวัดประสิทธิภาพไม่สามารถยืนยันได้
คุณสามารถดูลิงก์ปัญหาด้านบนเพื่อดูตารางการประเมินประสิทธิภาพที่มีอยู่และผลการแก้ไขปัญหา
KakaoBrain KoGPT ได้รับการฝึกอบรมเกี่ยวกับข้อมูลดิบ ซึ่งเป็นชุดข้อมูลที่ทราบว่ามีคำหยาบคาย ลามก การเปลี่ยนแปลงทางการเมือง และภาษาที่รุนแรงอื่นๆ ดังนั้น KoGPT จึงสามารถสร้างข้อความที่ไม่เป็นที่ยอมรับในสังคมได้ เช่นเดียวกับโมเดลภาษาทั้งหมด เป็นการยากที่จะคาดการณ์ล่วงหน้าว่า KoGPT จะตอบสนองต่อข้อความแจ้งและเนื้อหาที่ไม่เหมาะสมโดยไม่มีการเตือนล่วงหน้าอย่างไร
เป็นภาษาเกาหลีเป็นหลัก: KoGPT ได้รับการฝึกอบรมเกี่ยวกับข้อความภาษาเกาหลีเป็นหลัก และเหมาะที่สุดสำหรับการจัดประเภท ค้นหา สรุป หรือสร้างข้อความดังกล่าว โดยค่าเริ่มต้น KoGPT จะทำงานแย่ลงในอินพุตที่แตกต่างจากการกระจายข้อมูลที่ได้รับการฝึก รวมถึงภาษาที่ไม่ใช่ภาษาเกาหลีและภาษาเกาหลีเฉพาะเจาะจงที่ไม่ได้แสดงอย่างดีในข้อมูลการฝึกอบรม
หากมีการสร้างข้อความที่ผิดปกติหรือสังคมยอมรับไม่ได้ในระหว่างการทดสอบ โปรดส่ง "ข้อความแจ้ง" และ "ข้อความที่สร้างขึ้น" ไปที่ [email protected]
카카Oh브 KoGPT AI 커뮤니티를 위HAN 연성용으ロ 욕설, 음란, 정치적 내용 및 기타 거친 언어언어서 서처리를 하지 않않시 데이터ロ 학습하였습니다. 따ラ서 KoGPT 는 생성할 수 있습니다. ดา른 언어 모델과 마찬과 마찬과 특정 프롬프ART와 공격적일 콘텐츠 어떠하 결과를 생성할지 사전의 파악하기 어렵습นีดา.
KoGPT 는 일는 하를 분류, 검색, 요약 또는 생성하는데 가장 적합합니다. 기본적으 KoGPT 는 학습 데이터 EV 잘 나타나지 않는 Bam언뿐만나나어 하는 학습 데이터의 잘 나타나지 않는 Bam언뿐만나나어 하는 경수와 같이 학습 데이터에서 발견하기 어려운 입력의서 좋지 않자 성능을 보입니다.
본 KoGPT를 활용의 연구, 개발, 테스트 등 EV 있어 위의 부분을 꼭 유의하시기 바랍니다.
테스트중에 발생한 비정상적일 혹성 욌적으ロ 용In되지 않는 텍스크 생성된 경나 [email protected]ロ "prompt"와 "생성된 문장"을 함께 보내수시기 바랍니다.
หากคุณใช้ไลบรารีหรือโมเดลนี้กับโครงการและการวิจัยใดๆ โปรดอ้างอิงโค้ดของเรา:
@misc{kakaobrain2021kogpt,
title = {KoGPT: KakaoBrain Korean(hangul) Generative Pre-trained Transformer},
author = {Ildoo Kim and Gunsoo Han and Jiyeon Ham and Woonhyuk Baek},
year = {2021},
howpublished = {url{https://github.com/kakaobrain/kogpt}},
}
ข้อมูลนี้เผยแพร่ในรูปแบบโอเพ่นซอร์สโดยหวังว่าจะเป็นประโยชน์กับสถาบันวิจัยและบริษัทสตาร์ทอัพหลายแห่งเพื่อวัตถุประสงค์ในการวิจัย เราหวังว่าจะติดต่อเราจากสถานที่ต่าง ๆ ที่ต้องการร่วมมือกับเรา
source code ของ KakaoBrain KoGPT ได้รับอนุญาตภายใต้ Apache 2.0 License
pretrained weights ของ KakaoBrain KoGPT ได้รับอนุญาตภายใต้ใบอนุญาต CC-BY-NC-ND 4.0
카카선스브브브브브브브브브브브브 KoGPT 소스코드(source code) 는 Apache 2.0 서선스 하자 공개되어 있습니다.
사전학습된 가중치(pretrained weights) KoGPT 되어 있습니다.
모델 및 코dragon, 사전학습된 가중치를 사용할 경수 나선스 내용을 준수해 수십시. 서선스 전문자 Apache 2.0, LICENSE.cc-by-nc-nd-4.0 ดาวน์โหลดและติดตั้ง
แม้ว่าซอฟต์แวร์ Open Source อาจใช้งานได้ฟรี แต่ไม่ได้หมายความว่าไม่มีข้อผูกมัด หากต้องการตรวจสอบว่าการใช้งาน KoGPT ที่คุณตั้งใจไว้นั้นเหมาะสมกับ Apache 2.0 (หรือ CC-BY-NC-ND 4.0) หรือไม่ โปรดพิจารณาคู่มือใบอนุญาต หากคุณละเมิดใบอนุญาต คุณอาจต้องถูกดำเนินคดีทางกฎหมาย เช่น การห้ามใช้ หรือการเรียกร้องค่าเสียหายขึ้นอยู่กับการใช้งาน
체료무료서 서용할 수 있지만 이것이 의무가 없다는 의MIN는 아닙니다. KoGPT ติดตั้งระบบ Apache 2.0 (또는 CC-BY-NC-ND 4.0) และติดตั้งโปรแกรมอื่น ๆ ไว้ที่นี่ 바랍นีดา. เป็นหลัก
[1] HyperCLOVA: คิม โบซอบ และคณะ "แบบจำลองภาษาขนาดใหญ่สามารถนำมาซึ่งการเปลี่ยนแปลงอะไรได้บ้าง การศึกษาแบบเข้มข้นเกี่ยวกับไฮเปอร์โคลวา: หม้อแปลงไฟฟ้าที่ผ่านการฝึกอบรมมาแล้วนับพันล้านของเกาหลี" arXiv พิมพ์ล่วงหน้า arXiv:2109.04650 (2021)
ส่วนการสนับสนุนไม่ใช่ผลิตภัณฑ์ KakaoBrain อย่างเป็นทางการ
