KoGPT2 FineTuning

KoGPT2-微調

我們使用 KoGPT2，它由 SKT-AI 使用約 20GB 的韓國數據進行預訓練。首先，在寫歌詞時，我們將版權過期的精細歌詞資料、小說、文章等微調，賦予每個資料不同的權重。您還可以接收流派並查看每種音樂流派的歌詞學習結果。

此外，Colab 還連結了 Google Drive 和 Dropbox，以便順利學習。將學習到的中間結果從 Google Drive 移至 Dropbox 後，從 Google Drive 中刪除結果。與此相關的程式碼

如果很難使用更改後的版本 2 代碼（則該代碼接收每種音樂流派的 CSV 格式資料集）與 KoGPT2-FineTuning 搭配使用，請使用版本 1.1。

下面，您可以查看學習各種韓語歌詞的結果。我們還將致力於各種其他項目。

樣本

資料結構

重量	類型	歌詞
1100.0	敘事曲	“你知道我的感受nnn我只是像法老一樣看著你茫然地站著nnn我別無選擇，只能放棄…”
…

3x200000

微調

 python main.py --epoch=200 --data_file_path=./dataset/lyrics_dataset.csv --save_path=./checkpoint/ --load_path=./checkpoint/genre/KoGPT2_checkpoint_296000.tar --batch_size=1

解析器

 parser . add_argument ( '--epoch' , type = int , default = 200 ,
					help = "epoch 를 통해서 학습 범위를 조절합니다." )
parser . add_argument ( '--save_path' , type = str , default = './checkpoint/' ,
					help = "학습 결과를 저장하는 경로입니다." )
parser . add_argument ( '--load_path' , type = str , default = './checkpoint/Alls/KoGPT2_checkpoint_296000.tar' , 
					help = "학습된 결과를 불러오는 경로입니다." )
parser . add_argument ( '--samples' , type = str , default = "samples/" ,
					help = "생성 결과를 저장할 경로입니다." )
parser . add_argument ( '--data_file_path' , type = str , default = 'dataset/lyrics_dataset.txt' ,
					help = "학습할 데이터를 불러오는 경로입니다." )
parser . add_argument ( '--batch_size' , type = int , default = 8 ,
					help = "batch_size 를 지정합니다." )

使用 Colab

您可以使用 Colab 運行微調程式碼。

運轉時斷開連線預防

 function ClickConnect ( ) {
    // 백엔드를 할당하지 못했습니다.
    // GPU이(가) 있는 백엔드를 사용할 수 없습니다. 가속기가 없는 런타임을 사용하시겠습니까?
    // 취소 버튼을 찾아서 클릭
    var buttons = document . querySelectorAll ( "colab-dialog.yes-no-dialog paper-button#cancel" ) ; 
    buttons . forEach ( function ( btn ) {
		btn . click ( ) ;
    } ) ;
    console . log ( "1분 마다 다시 연결" ) ;
    document . querySelector ( "#top-toolbar > colab-connect-button" ) . click ( ) ;
}
setInterval ( ClickConnect , 1000 * 60 ) ; 

每 10 分鐘清除一次螢幕

 function CleanCurrentOutput ( ) { 
	var btn = document . querySelector ( ".output-icon.clear_outputs_enabled.output-icon-selected[title$='현재 실행 중...'] iron-icon[command=clear-focused-or-selected-outputs]" ) ;
	if ( btn ) {
		console . log ( "10분 마다 출력 지우기" ) ;
		btn . click ( ) ;
	}
} 
setInterval ( CleanCurrentOutput , 1000 * 60 * 10 ) ;

GPU記憶體檢查

 nvidia-smi.exe

發電機

 python generator.py --temperature=1.0 --text_size=1000 --tmp_sent=""

沒有抄襲

 python generator.py --temperature=5.0 --text_size=500 --tmp_sent=""

解析器

 parser . add_argument ( '--temperature' , type = float , default = 0.7 ,
					help = "temperature 를 통해서 글의 창의성을 조절합니다." )
parser . add_argument ( '--top_p' , type = float , default = 0.9 ,
					help = "top_p 를 통해서 글의 표현 범위를 조절합니다." )
parser . add_argument ( '--top_k' , type = int , default = 40 ,
					help = "top_k 를 통해서 글의 표현 범위를 조절합니다." )
parser . add_argument ( '--text_size' , type = int , default = 250 ,
					help = "결과물의 길이를 조정합니다." )
parser . add_argument ( '--loops' , type = int , default = - 1 ,
					help = "글을 몇 번 반복할지 지정합니다. -1은 무한반복입니다." )
parser . add_argument ( '--tmp_sent' , type = str , default = "사랑" ,
					help = "글의 시작 문장입니다." )
parser . add_argument ( '--load_path' , type = str , default = "./checkpoint/Alls/KoGPT2_checkpoint_296000.tar" ,
					help = "학습된 결과물을 저장하는 경로입니다." )

使用 Colab

您可以使用 Colab 運行生成器。

張量板

要檢查由於學習而發生的變化，請訪問張量板並檢查損失和文字。

 tensorboard --logdir=runs

損失

文字

引文

 @misc{KoGPT2-FineTuning,
  author = {gyung},
  title = {KoGPT2-FineTuning},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/gyunggyung/KoGPT2-FineTuning}},
}

輸出

詳細結果可以在樣本中找到。有關學習的更多資訊可以在相關帖子中找到。

參考

https://github.com/openai/gpt-2
https://github.com/nshepperd/gpt-2
https://github.com/SKT-AI/KoGPT2
https://github.com/asyml/texar-pytorch/tree/master/examples/gpt-2
https://github.com/graykode/gpt-2-Pytorch
https://gist.github.com/thomwolf/1a5a29f6962089e871b94cbd09daf317
https://github.com/shbictai/narrativeKoGPT2
https://github.com/ssut/py-hanspell
https://github.com/likejazz/korean-sentence-splitter