KoGPT2 FineTuning

KoGPT2-Ajuste fino

Usamos o KoGPT2, que foi pré-treinado pela SKT-AI com cerca de 20 GB de dados coreanos. Primeiro, para escrever letras, ajustamos dados refinados de letras, romances, artigos, etc. cujos direitos autorais expiraram, dando pesos diferentes a cada dado. Você também pode receber gêneros e ver os resultados do aprendizado das letras de cada gênero musical.

Além disso, o Colab vinculou o Google Drive e o Dropbox para um aprendizado tranquilo. Depois de mover os resultados intermediários aprendidos do Google Drive para o Dropbox, exclua os resultados do Google Drive. Código relacionado a este

Se for difícil trabalhar com KoGPT2-FineTuning com o código alterado da Versão 2, que recebe conjuntos de dados em formato CSV para cada gênero musical, use a Versão 1.1.

Abaixo, você pode conferir os resultados do aprendizado de várias letras coreanas. Estaremos trabalhando em vários outros projetos também.

Amostra

Estrutura de dados

peso	Gênero	letra da música
1100,0	balada	'Você sabe como me sintonnnEu apenas fico olhando para você parado como um FaraónnnNão tenho escolha a não ser desistir...'
...

3x200000

Afinação

 python main.py --epoch=200 --data_file_path=./dataset/lyrics_dataset.csv --save_path=./checkpoint/ --load_path=./checkpoint/genre/KoGPT2_checkpoint_296000.tar --batch_size=1

analisador

 parser . add_argument ( '--epoch' , type = int , default = 200 ,
					help = "epoch 를 통해서 학습 범위를 조절합니다." )
parser . add_argument ( '--save_path' , type = str , default = './checkpoint/' ,
					help = "학습 결과를 저장하는 경로입니다." )
parser . add_argument ( '--load_path' , type = str , default = './checkpoint/Alls/KoGPT2_checkpoint_296000.tar' , 
					help = "학습된 결과를 불러오는 경로입니다." )
parser . add_argument ( '--samples' , type = str , default = "samples/" ,
					help = "생성 결과를 저장할 경로입니다." )
parser . add_argument ( '--data_file_path' , type = str , default = 'dataset/lyrics_dataset.txt' ,
					help = "학습할 데이터를 불러오는 경로입니다." )
parser . add_argument ( '--batch_size' , type = int , default = 8 ,
					help = "batch_size 를 지정합니다." )

Usar Colab

Você pode executar código de ajuste fino usando Colab.

Prevenção de desconexão em tempo de execução

 function ClickConnect ( ) {
    // 백엔드를 할당하지 못했습니다.
    // GPU이(가) 있는 백엔드를 사용할 수 없습니다. 가속기가 없는 런타임을 사용하시겠습니까?
    // 취소 버튼을 찾아서 클릭
    var buttons = document . querySelectorAll ( "colab-dialog.yes-no-dialog paper-button#cancel" ) ; 
    buttons . forEach ( function ( btn ) {
		btn . click ( ) ;
    } ) ;
    console . log ( "1분 마다 다시 연결" ) ;
    document . querySelector ( "#top-toolbar > colab-connect-button" ) . click ( ) ;
}
setInterval ( ClickConnect , 1000 * 60 ) ; 

Limpe a tela a cada 10 minutos

 function CleanCurrentOutput ( ) { 
	var btn = document . querySelector ( ".output-icon.clear_outputs_enabled.output-icon-selected[title$='현재 실행 중...'] iron-icon[command=clear-focused-or-selected-outputs]" ) ;
	if ( btn ) {
		console . log ( "10분 마다 출력 지우기" ) ;
		btn . click ( ) ;
	}
} 
setInterval ( CleanCurrentOutput , 1000 * 60 * 10 ) ;

Verificação de memória GPU

 nvidia-smi.exe

gerador

 python generator.py --temperature=1.0 --text_size=1000 --tmp_sent=""

Sem plágio

 python generator.py --temperature=5.0 --text_size=500 --tmp_sent=""

analisador

 parser . add_argument ( '--temperature' , type = float , default = 0.7 ,
					help = "temperature 를 통해서 글의 창의성을 조절합니다." )
parser . add_argument ( '--top_p' , type = float , default = 0.9 ,
					help = "top_p 를 통해서 글의 표현 범위를 조절합니다." )
parser . add_argument ( '--top_k' , type = int , default = 40 ,
					help = "top_k 를 통해서 글의 표현 범위를 조절합니다." )
parser . add_argument ( '--text_size' , type = int , default = 250 ,
					help = "결과물의 길이를 조정합니다." )
parser . add_argument ( '--loops' , type = int , default = - 1 ,
					help = "글을 몇 번 반복할지 지정합니다. -1은 무한반복입니다." )
parser . add_argument ( '--tmp_sent' , type = str , default = "사랑" ,
					help = "글의 시작 문장입니다." )
parser . add_argument ( '--load_path' , type = str , default = "./checkpoint/Alls/KoGPT2_checkpoint_296000.tar" ,
					help = "학습된 결과물을 저장하는 경로입니다." )

Usar Colab

Você pode executar o gerador usando Colab.

tensorboard

Para verificar alterações devido ao aprendizado, acesse o tensorboard e verifique perda e texto.

 tensorboard --logdir=runs

perda

texto

Citação

 @misc{KoGPT2-FineTuning,
  author = {gyung},
  title = {KoGPT2-FineTuning},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/gyunggyung/KoGPT2-FineTuning}},
}

Saída

Resultados detalhados podem ser encontrados em amostras. Mais informações sobre aprendizagem podem ser encontradas em postagens relacionadas.

Referência

https://github.com/openai/gpt-2
https://github.com/nshepperd/gpt-2
https://github.com/SKT-AI/KoGPT2
https://github.com/asyml/texar-pytorch/tree/master/examples/gpt-2
https://github.com/graykode/gpt-2-Pytorch
https://gist.github.com/thomwolf/1a5a29f6962089e871b94cbd09daf317
https://github.com/shbictai/narrativeKoGPT2
https://github.com/ssut/py-hanspell
https://github.com/likejazz/korean-sentence-splitter