zero_nlp

zero para PNL

Características

1. 目标: Criar uma estrutura de treinamento pronta para uso para PNL no campo chinês com base em pytorch e transformers e fornecer um conjunto completo de soluções para modelos de treinamento e ajuste fino (incluindo modelos grandes, vetores de orientação de texto, geração de texto , multimodais e outros modelos);
2. ?数据:
   • Compilamos enormes dados de treinamento da comunidade de código aberto para ajudar os usuários a começar rapidamente;
   • Ao mesmo tempo, também são abertos modelos de dados de treinamento, que podem processar rapidamente dados de campo verticais;
   • Combinado com métodos de processamento de dados mais eficientes, como multithreading e mapeamento de memória, é fácil processar até百GB de dados;
3. 流程: Cada projeto possui etapas completas de treinamento de modelo, como: limpeza de dados, processamento de dados, construção de modelo, treinamento de modelo, implantação de modelo e ilustração de modelo;
4. 模型: atualmente suporta grandes modelos multimodais, como gpt2 , clip , gpt-neox , dolly , llama , chatglm-6b , VisionEncoderDecoderModel , etc.;
5. 多卡串联: Atualmente, o tamanho da maioria dos modelos grandes é muito maior do que a memória de vídeo de uma única placa gráfica de consumo. Várias placas gráficas precisam ser conectadas em série para treinar e implantar modelos grandes. Portanto, algumas estruturas do modelo foram modificadas para realizar a função da série multicartões训练时e推理时.
6. 模型工具: Adicionado tutorial词表裁切e词表扩充para modelos grandes model_modify

Índice

Treinamento de modelo

Nome chinês	nome da pasta	dados	Limpeza de dados	modelo grande	Implantação de modelo	Ilustração
Classificação de texto chinês	classificador_chinês	✅	✅	✅		✅
gpt2 chinês	chinês_gpt2	✅	✅	✅	✅
clip chinês	clipe_chinês	✅	✅	✅		✅
Geração de imagem Texto chinês	VisionEncoderDecoderModel	✅	✅	✅		✅
Introdução ao código-fonte do núcleo vit	modelo de vitamina					✅
Thu-ChatGlm-6b (versão v1 está obsoleta)	simple_thu_chatglm6b	✅	✅	✅	✅
?chatglm- v2 ?	chatglm_v2_6b_lora	✅	✅	✅
dolly_v2_3b	boneca_v2_3b	✅	✅	✅
llama chinesa (obsoleto)	lhama_chinesa	✅	✅	✅
bloom chinesa	flor_chinesa	✅	✅	✅
falcon chinês (nota: o modelo do falcão é semelhante à estrutura do florescimento)	flor_chinesa	✅	✅	✅
Código de pré-treinamento chinês	modelo_clm	✅	✅	✅
Grande modelo de Baichuan	modelo_baichuan	✅	✅	✅	✅
Corte de modelo✂️	modelo_modificar	✅	✅	✅
paralelismo de pipeline llama2	gasoduto	✅	✅	✅
dpo de Baichuan 2-7b-chat	DPO baichuan2-7b-chat	✅	✅	✅
Durante o treinamento, a proporção de dados muda	train_data_sample	✅	✅	✅
internolm-base sft	estagiário-sft	✅	✅	✅
treinar qwen2	trem_qwen2	✅	✅	✅	✅
trem lhava	trem_llava	✅	✅	✅	✅	✅

Introdução ao projeto debug vllm

1. Apresente como depurar o vllm e tenha uma compreensão mais completa da engenharia do vllm debug vllm

Diagrama de fluxo de dados

Sempre achei que o fluxo de dados é expresso mais claramente na forma de diagramas, por isso tentarei o meu melhor para diagramar cada tarefa.

Ilustração de dados de classificação de texto

Gpt2 chinês

Clipe chinês

Geração de imagem Texto chinês

código-fonte vit

Compartilhe a interpretação do código-fonte dos transformadores

Tenho feito interpretação de código-fonte de transformadores. Você pode ir à estação B para ver o vídeo do programador Liangmulu.