microGPT

microGPT: Construindo GPT do zero

microGPT é uma implementação leve do modelo Generative Pre-trained Transformer (GPT) para tarefas de processamento de linguagem natural. Ele foi projetado para ser simples e fácil de usar, o que o torna uma ótima opção para aplicações de pequena escala ou para aprender e experimentar modelos generativos.

Características

• Implementação leve dos modelos GPT
• Treinado em um conjunto de dados diversificado de pequena escala (6 GB)
• Projetado para ser treinado em GPU de consumidor (RTX 4060 8GB)
• Pequeno número de parâmetros (82 milhões!)
• Hiperparâmetros personalizáveis ​​para configuração de modelo
• Suporta filtragem Top K Top P e escala de temperatura
• Escrito em Python com PyTorch como estrutura de aprendizado profundo

300 mil iterações de treinamento

Instalação

1. Clone o repositório e execute pip install -r requirements.txt

Uso

1. Execute tokenizer/train_tokenizer.py para gerar o arquivo tokenizer. O modelo irá tokenizar o texto com base nele.
2. Execute datasets/prepare_dataset.py para gerar arquivos de conjunto de dados.
3. Execute train.py para começar a treinar ~

Modifique os arquivos indicados acima se desejar alterar seus parâmetros.

Uso (Inferência)

Para editar os parâmetros de geração do modelo, acesse inference.py nesta seção:

 # Parameters (Edit here):
n_tokens = 1000
temperature = 0.8
top_k = 0
top_p = 0.9
model_path = 'models/microGPT.pth'

# Edit input here
context = "The magical wonderland of"

Interessado em implantar como um aplicativo da web? Confira a implantação do microGPT!

Vantagens do microGPT:

1. Eficiência desde o início: Desenvolvido desde o início, o microGPT representa uma abordagem simplificada ao estimado modelo GPT. Ele apresenta uma eficiência notável, mantendo uma ligeira compensação em qualidade.

2. Learning Playground: Projetada para indivíduos ansiosos por mergulhar no mundo da IA, a arquitetura do microGPT oferece uma oportunidade única de compreender o funcionamento interno dos modelos generativos. É uma plataforma de lançamento para aprimorar suas habilidades e aprofundar sua compreensão.

3. Potência em pequena escala: além do aprendizado e da experimentação, o microGPT é uma opção adequada para aplicações de pequena escala. Ele permite que você integre a geração de linguagem baseada em IA em projetos onde a eficiência e o desempenho são fundamentais.

Empoderamento por meio da adaptabilidade:

1. Capacidades de personalização: a adaptabilidade do microGPT permite que você modifique e ajuste o modelo para atender aos seus objetivos específicos, oferecendo uma tela para a criação de soluções de IA adaptadas às suas necessidades.

2. Jornada de aprendizagem: Use o microGPT como um trampolim para compreender os fundamentos dos modelos generativos. Seu design e documentação acessíveis fornecem um ambiente ideal para quem é novo na IA.

3. Laboratório de experimentação: participe de experimentos ajustando e testando os parâmetros do microGPT. A simplicidade e versatilidade do modelo proporcionam um terreno fértil para a inovação.

Contribuição

Se você gostaria de contribuir, siga estas diretrizes:

• Bifurque o repositório e crie um novo branch para sua contribuição.
• Certifique-se de que suas alterações estejam alinhadas com os objetivos e a finalidade do repositório.
• Mantenha seus commits claros e descritivos, seguindo o formato dos Commits Convencionais.
• Escreva código claro e conciso com comentários e documentação apropriados.
• Teste suas alterações minuciosamente para garantir que não introduzam novos bugs.
• Envie uma solicitação pull (PR) com uma descrição detalhada de suas alterações, juntamente com quaisquer informações ou capturas de tela relevantes.

Ao contribuir para este repositório, você concorda em cumprir nosso Código de Conduta e que suas contribuições serão divulgadas sob a mesma licença do repositório.

Recursos

• Atenção é tudo que você precisa
• Vamos construir o GPT do zero
• O desafio MiniPile para modelos de linguagem com eficiência de dados
• Implementação Huggingface GPT 2

Créditos

Este modelo é inspirado no vídeo Andrej Karpathy Let's build GPT from scratch e Andrej Kaparthy nanoGPT com modificações para este projeto.