microGPT

microGPT：从头开始构建 GPT

microGPT 是用于自然语言处理任务的生成式预训练 Transformer (GPT) 模型的轻量级实现。它的设计简单且易于使用，使其成为小型应用程序或学习和实验生成模型的绝佳选择。

特征

• GPT 模型的轻量级实现
• 在小规模多样化数据集 (6 GB) 上进行训练
• 设计用于在消费级 GPU (RTX 4060 8GB) 上进行训练
• 参数数量较少（8200 万！）
• 用于模型配置的可定制超参数
• 支持 Top K Top P 滤波和温度缩放
• 使用Python编写，使用PyTorch作为深度学习框架

300k 次训练迭代

安装

1. 克隆存储库并运行pip install -r requirements.txt

用法

1. 运行tokenizer/train_tokenizer.py以生成 tokenizer 文件。该模型将基于它对文本进行标记。
2. 运行datasets/prepare_dataset.py生成数据集文件。
3. 运行train.py开始训练~

如果您想更改其参数，请修改上述文件。

用法（推理）

要编辑模型生成参数，请从inference.py转到此部分：

 # Parameters (Edit here):
n_tokens = 1000
temperature = 0.8
top_k = 0
top_p = 0.9
model_path = 'models/microGPT.pth'

# Edit input here
context = "The magical wonderland of"

有兴趣部署为网络应用程序吗？查看 microGPT 部署！

microGPT 的优点：

1. 从头开始的效率：从头开始开发的 microGPT 代表了受人尊敬的 GPT 模型的简化方法。它展示了卓越的效率，同时在质量上保持了轻微的权衡。

2. 学习游乐场： microGPT 的架构专为渴望深入人工智能世界的个人而设计，提供了掌握生成模型内部运作的独特机会。它是磨练您的技能和加深您的理解的启动板。

3. 小型动力室：除了学习和实验之外，microGPT 也是小型应用程序的合适选择。它使您能够将人工智能驱动的语言生成集成到效率和性能至关重要的项目中。

通过适应性赋权：

1. 定制能力： microGPT 的适应性使您能够修改和微调模型以满足您的特定目标，为创建适合您的要求的 AI 解决方案提供了画布。

2. 学习之旅：使用 microGPT 作为理解生成模型基础的垫脚石。其易于访问的设计和文档为人工智能新手提供了理想的环境。

3. 实验实验室：通过调整和测试 microGPT 的参数来参与实验。该模型的简单性和多功能性为创新提供了肥沃的土壤。

贡献

如果您想做出贡献，请遵循以下准则：

• 分叉存储库并为您的贡献创建一个新分支。
• 确保您的更改符合存储库的目标和用途。
• 遵循常规提交格式，保持您的提交清晰且具有描述性。
• 编写清晰简洁的代码，并附上适当的注释和文档。
• 彻底测试您的更改以确保它们不会引入新的错误。
• 提交拉取请求 (PR)，其中包含更改的详细说明以及任何相关信息或屏幕截图。

通过向此存储库做出贡献，您同意遵守我们的行为准则，并且您的贡献将在与存储库相同的许可证下发布。

资源

• 关注就是你所需要的
• 让我们从头开始构建 GPT
• 数据高效语言模型的 MiniPile 挑战
• Huggingface GPT 2 实施

制作人员

该模型的灵感来自 Andrej Karpathy 让我们从头开始构建 GPT 视频和 Andrej Kaparthy nanoGPT 并对此项目进行了修改。