microGPT
1.0.0
microGPT ist eine einfache Implementierung des Generative Pre-trained Transformer (GPT)-Modells für Aufgaben zur Verarbeitung natürlicher Sprache. Es ist so konzipiert, dass es einfach und benutzerfreundlich ist, was es zu einer großartigen Option für kleine Anwendungen oder zum Erlernen und Experimentieren mit generativen Modellen macht.
300.000 Trainingsiterationen
pip install -r requirements.txt aus tokenizer/train_tokenizer.py aus, um die Tokenizer-Datei zu generieren. Das Modell tokenisiert darauf basierenden Text.datasets/prepare_dataset.py aus, um Datensatzdateien zu generieren.train.py aus, um mit dem Training zu beginnen~Ändern Sie die oben genannten Dateien, wenn Sie deren Parameter ändern möchten.
Um die Modellgenerierungsparameter zu bearbeiten, gehen Sie über inference.py zu diesem Abschnitt:
# Parameters (Edit here):
n_tokens = 1000
temperature = 0.8
top_k = 0
top_p = 0.9
model_path = 'models/microGPT.pth'
# Edit input here
context = "The magical wonderland of"Sind Sie an der Bereitstellung als Web-App interessiert? Schauen Sie sich microGPT-deploy an!
Effizienz von Grund auf neu: microGPT wurde von Grund auf entwickelt und stellt einen optimierten Ansatz für das geschätzte GPT-Modell dar. Es zeigt eine bemerkenswerte Effizienz bei gleichzeitigem leichten Qualitätsverlust.
Lernspielplatz: Die Architektur von microGPT wurde für Personen entwickelt, die gerne in die Welt der KI eintauchen möchten, und bietet eine einzigartige Gelegenheit, das Innenleben generativer Modelle zu verstehen. Es ist ein Ausgangspunkt, um Ihre Fähigkeiten zu verbessern und Ihr Verständnis zu vertiefen.
Kraftpaket im kleinen Maßstab: Über das Lernen und Experimentieren hinaus ist microGPT eine geeignete Option für Anwendungen im kleinen Maßstab. Es ermöglicht Ihnen, die KI-gestützte Sprachgenerierung in Projekte zu integrieren, bei denen Effizienz und Leistung im Vordergrund stehen.
Anpassungsmöglichkeiten: Die Anpassungsfähigkeit von microGPT ermöglicht es Ihnen, das Modell zu modifizieren und zu verfeinern, um es an Ihre spezifischen Ziele anzupassen, und bietet so eine Grundlage für die Erstellung von KI-Lösungen, die auf Ihre Anforderungen zugeschnitten sind.
Lernreise: Nutzen Sie microGPT als Sprungbrett, um die Grundlagen generativer Modelle zu verstehen. Sein zugängliches Design und seine Dokumentation bieten eine ideale Umgebung für KI-Neulinge.
Experimentierlabor: Nehmen Sie an Experimenten teil, indem Sie die Parameter von microGPT optimieren und testen. Die Einfachheit und Vielseitigkeit des Modells bieten einen fruchtbaren Boden für Innovationen.
Wenn Sie einen Beitrag leisten möchten, befolgen Sie bitte diese Richtlinien:
Indem Sie zu diesem Repository beitragen, erklären Sie sich damit einverstanden, unseren Verhaltenskodex einzuhalten und dass Ihre Beiträge unter derselben Lizenz wie das Repository veröffentlicht werden.
Dieses Modell ist inspiriert von Andrej Karpathys Video „Let’s build GPT from Scratch“ und Andrej Kaparthys nanoGPT mit Modifikationen für dieses Projekt.
