oreilly optimizing llms
1.0.0
Este repositório contém código para o treinamento on-line O'Reilly Live para geração prática de linguagem natural e GPT
Este treinamento se concentrará em como a família de modelos GPT é usada para tarefas de PNL, incluindo resumo de texto abstrativo e geração de linguagem natural. O treinamento começará com uma introdução aos conceitos necessários, incluindo autoatenção mascarada, modelos de linguagem e transformadores e, em seguida, desenvolverá esses conceitos para apresentar a arquitetura GPT. Em seguida, veremos como o GPT é usado para várias tarefas de processamento de linguagem natural com exemplos práticos de uso de modelos GPT-2 pré-treinados, bem como o ajuste fino desses modelos em corpora personalizados.
Os modelos GPT são algumas das arquiteturas de PNL mais relevantes da atualidade e estão intimamente relacionados a outros modelos importantes de aprendizagem profunda de PNL, como o BERT. Ambos os modelos são derivados da arquitetura de transformador recém-inventada e representam um ponto de inflexão na forma como as máquinas processam a linguagem e o contexto.
A série de treinamentos on-line Processamento de Linguagem Natural com Arquiteturas de Transformadores de Próxima Geração fornece uma visão geral abrangente dos modelos de processamento de linguagem natural (PNL) de última geração, incluindo GPT e BERT, que são derivados da moderna arquitetura de transformador orientada à atenção e do aplicações que esses modelos são usados para resolver hoje. Todos os treinamentos da série combinam teoria e aplicação por meio da combinação de explicações matemáticas visuais, exemplos simples e aplicáveis de Python em demonstrações práticas de notebook Jupyter e estudos de caso abrangentes apresentando problemas modernos solucionáveis por modelos de PNL.
Introdução ao GPT2
Ingerindo um novo corpus
Aprendizagem multitarefa com GPT2
Caderno Dolly Lite
Prompt Engenharia 101
Mais modelos GPT ajustados por terceiros
Sinan Ozdemir é o fundador e CTO da LoopGenius, onde usa IA de última geração para ajudar as pessoas a criar e administrar seus negócios. Sinan é ex-professor de Ciência de Dados na Universidade Johns Hopkins e autor de vários livros sobre ciência de dados e aprendizado de máquina. Além disso, ele é o fundador da recentemente adquirida Kylie.ai, uma plataforma de IA conversacional de nível empresarial com recursos de RPA. Ele possui mestrado em Matemática Pura pela Universidade Johns Hopkins e mora em São Francisco, CA.
