KoGPT2 FineTuning

KoGPT2-Penyesuaian

Kami menggunakan KoGPT2, yang telah dilatih sebelumnya oleh SKT-AI dengan data Korea sekitar 20 GB. Pertama, untuk menulis lirik, kami menyempurnakan data lirik, novel, artikel, dll yang hak ciptanya telah habis masa berlakunya, sehingga memberikan bobot berbeda pada setiap data. Anda juga dapat menerima genre dan melihat hasil pembelajaran lirik untuk setiap genre musik.

Selain itu, Colab telah menghubungkan Google Drive dan Dropbox untuk kelancaran pembelajaran. Setelah memindahkan hasil antara yang dipelajari dari Google Drive ke Dropbox, hapus hasil dari Google Drive. Kode terkait dengan ini

Jika sulit bekerja dengan KoGPT2-FineTuning dengan kode Versi 2 yang diubah, yang menerima kumpulan data berformat CSV untuk setiap genre musik, silakan gunakan Versi 1.1.

Di bawah ini Anda bisa mengecek hasil belajar berbagai lirik bahasa Korea. Kami juga akan mengerjakan berbagai proyek lainnya.

Mencicipi

Struktur data

berat	Genre	lirik
1100.0	ballada	'Kau tahu bagaimana perasaankunnnAku hanya menatapmu yang berdiri kosong seperti FiraunnnnAku tidak punya pilihan selain menyerah...'
...

3x200000

Penyempurnaan

 python main.py --epoch=200 --data_file_path=./dataset/lyrics_dataset.csv --save_path=./checkpoint/ --load_path=./checkpoint/genre/KoGPT2_checkpoint_296000.tar --batch_size=1

pengurai

 parser . add_argument ( '--epoch' , type = int , default = 200 ,
					help = "epoch 를 통해서 학습 범위를 조절합니다." )
parser . add_argument ( '--save_path' , type = str , default = './checkpoint/' ,
					help = "학습 결과를 저장하는 경로입니다." )
parser . add_argument ( '--load_path' , type = str , default = './checkpoint/Alls/KoGPT2_checkpoint_296000.tar' , 
					help = "학습된 결과를 불러오는 경로입니다." )
parser . add_argument ( '--samples' , type = str , default = "samples/" ,
					help = "생성 결과를 저장할 경로입니다." )
parser . add_argument ( '--data_file_path' , type = str , default = 'dataset/lyrics_dataset.txt' ,
					help = "학습할 데이터를 불러오는 경로입니다." )
parser . add_argument ( '--batch_size' , type = int , default = 8 ,
					help = "batch_size 를 지정합니다." )

Gunakan Kolab

Anda dapat menjalankan penyesuaian kode menggunakan Colab.

Pencegahan Pemutusan Runtime

 function ClickConnect ( ) {
    // 백엔드를 할당하지 못했습니다.
    // GPU이(가) 있는 백엔드를 사용할 수 없습니다. 가속기가 없는 런타임을 사용하시겠습니까?
    // 취소 버튼을 찾아서 클릭
    var buttons = document . querySelectorAll ( "colab-dialog.yes-no-dialog paper-button#cancel" ) ; 
    buttons . forEach ( function ( btn ) {
		btn . click ( ) ;
    } ) ;
    console . log ( "1분 마다 다시 연결" ) ;
    document . querySelector ( "#top-toolbar > colab-connect-button" ) . click ( ) ;
}
setInterval ( ClickConnect , 1000 * 60 ) ; 

Bersihkan layar setiap 10 menit

 function CleanCurrentOutput ( ) { 
	var btn = document . querySelector ( ".output-icon.clear_outputs_enabled.output-icon-selected[title$='현재 실행 중...'] iron-icon[command=clear-focused-or-selected-outputs]" ) ;
	if ( btn ) {
		console . log ( "10분 마다 출력 지우기" ) ;
		btn . click ( ) ;
	}
} 
setInterval ( CleanCurrentOutput , 1000 * 60 * 10 ) ;

Pemeriksaan Memori GPU

 nvidia-smi.exe

generator

 python generator.py --temperature=1.0 --text_size=1000 --tmp_sent=""

Tidak ada plagiarisme

 python generator.py --temperature=5.0 --text_size=500 --tmp_sent=""

pengurai

 parser . add_argument ( '--temperature' , type = float , default = 0.7 ,
					help = "temperature 를 통해서 글의 창의성을 조절합니다." )
parser . add_argument ( '--top_p' , type = float , default = 0.9 ,
					help = "top_p 를 통해서 글의 표현 범위를 조절합니다." )
parser . add_argument ( '--top_k' , type = int , default = 40 ,
					help = "top_k 를 통해서 글의 표현 범위를 조절합니다." )
parser . add_argument ( '--text_size' , type = int , default = 250 ,
					help = "결과물의 길이를 조정합니다." )
parser . add_argument ( '--loops' , type = int , default = - 1 ,
					help = "글을 몇 번 반복할지 지정합니다. -1은 무한반복입니다." )
parser . add_argument ( '--tmp_sent' , type = str , default = "사랑" ,
					help = "글의 시작 문장입니다." )
parser . add_argument ( '--load_path' , type = str , default = "./checkpoint/Alls/KoGPT2_checkpoint_296000.tar" ,
					help = "학습된 결과물을 저장하는 경로입니다." )

Gunakan Kolab

Anda dapat menjalankan generator menggunakan Colab.

papan tensor

Untuk memeriksa perubahan akibat pembelajaran, akses tensorboard dan periksa kehilangan dan teks.

 tensorboard --logdir=runs

kehilangan

teks

Kutipan

 @misc{KoGPT2-FineTuning,
  author = {gyung},
  title = {KoGPT2-FineTuning},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/gyunggyung/KoGPT2-FineTuning}},
}

Keluaran

Hasil detail dapat ditemukan di sampel. Informasi lebih lanjut tentang pembelajaran dapat ditemukan di postingan terkait.

Referensi

https://github.com/openai/gpt-2
https://github.com/nshepperd/gpt-2
https://github.com/SKT-AI/KoGPT2
https://github.com/asyml/texar-pytorch/tree/master/examples/gpt-2
https://github.com/graykode/gpt-2-Pytorch
https://Gist.github.com/thomwolf/1a5a29f6962089e871b94cbd09daf317
https://github.com/shbictai/narrativeKoGPT2
https://github.com/ssut/py-hanspell
https://github.com/likejazz/korean-sentence-splitter