microGPT
1.0.0
microGPT est une implémentation légère du modèle Generative Pre-trained Transformer (GPT) pour les tâches de traitement du langage naturel. Il est conçu pour être simple et facile à utiliser, ce qui en fait une excellente option pour les applications à petite échelle ou pour apprendre et expérimenter des modèles génératifs.
300 000 itérations de formation
pip install -r requirements.txt tokenizer/train_tokenizer.py pour générer le fichier tokenizer. Le modèle symbolisera le texte en fonction de celui-ci.datasets/prepare_dataset.py pour générer des fichiers d'ensemble de données.train.py pour commencer l'entraînement ~Modifiez les fichiers indiqués ci-dessus si vous souhaitez modifier leurs paramètres.
Pour modifier les paramètres de génération de modèle, rendez-vous sur inference.py vers cette section :
# Parameters (Edit here):
n_tokens = 1000
temperature = 0.8
top_k = 0
top_p = 0.9
model_path = 'models/microGPT.pth'
# Edit input here
context = "The magical wonderland of"Vous souhaitez déployer une application Web ? Découvrez le déploiement microGPT !
Efficacité à partir de zéro : Développé à partir de zéro, microGPT représente une approche rationalisée du modèle GPT estimé. Il présente une efficacité remarquable tout en conservant un léger compromis en termes de qualité.
Terrain d'apprentissage : conçue pour les personnes désireuses de se plonger dans le monde de l'IA, l'architecture de microGPT offre une opportunité unique de comprendre le fonctionnement interne des modèles génératifs. C'est une rampe de lancement pour perfectionner vos compétences et approfondir votre compréhension.
Centrale à petite échelle : au-delà de l'apprentissage et de l'expérimentation, le microGPT est une option appropriée pour les applications à petite échelle. Il vous permet d'intégrer la génération de langage basée sur l'IA dans des projets où l'efficacité et les performances sont primordiales.
Capacités de personnalisation : l'adaptabilité de microGPT vous permet de modifier et d'affiner le modèle en fonction de vos objectifs spécifiques, offrant ainsi un canevas pour créer des solutions d'IA adaptées à vos besoins.
Parcours d'apprentissage : utilisez microGPT comme tremplin pour comprendre les fondements des modèles génératifs. Sa conception et sa documentation accessibles offrent un environnement idéal pour ceux qui découvrent l’IA.
Laboratoire d'expérimentation : participez à des expériences en modifiant et en testant les paramètres de microGPT. La simplicité et la polyvalence du modèle constituent un terrain fertile pour l'innovation.
Si vous souhaitez contribuer, veuillez suivre ces directives :
En contribuant à ce référentiel, vous acceptez de respecter notre code de conduite et que vos contributions seront publiées sous la même licence que le référentiel.
Ce modèle est inspiré de la vidéo Andrej Karpathy Let's build GPT from scratch et d'Andrej Kaparthy nanoGPT avec des modifications pour ce projet.
