Simplifine
1.0.0
在这里试试
加入我们的不和谐
Simplifine 通过一个简单的命令简化了对任何数据集或模型的 LLM 微调，处理所有基础设施、作业管理、云存储和推理。
基于云的轻松 LLM 微调：只需一个命令即可微调任何 LLM。
无缝云集成：直接从云端自动管理模型的下载、存储和运行。
内置 AI 帮助：获得有关超参数选择、合成数据集生成和数据质量检查的帮助。
设备端到云的切换：添加一个简单的装饰器以从本地训练过渡到基于云的训练。
自动优化：通过 Deepspeed ✅ 和 FDSP ✅ 自动优化模型和数据并行化。
自定义评估支持：使用内置的 LLM 进行评估功能或导入您自己的自定义评估指标。
社区支持：在 Simplifine Community Discord 上询问任何支持问题。
受到领先机构的信赖：牛津大学的研究实验室依靠 Simplifine 来满足其法学硕士微调需求。
从这里开始 >
请在 docs.simplifine.com 上找到我们的完整文档。
从 PyPI 安装
pip 安装 simplifine-alpha
您也可以使用以下命令直接从github安装：
pip install git+https://github.com/simplifine-llm/Simplifine.git
我们正在寻找贡献者！加入我们的 Discord 上的contributors线程：
Simplifine 已获得 GNU 通用公共许可证版本 3 的许可。有关更多详细信息，请参阅许可证文件。
对于所有功能请求、错误和支持，请加入我们的 Discord！
如果您对希望实现的新功能有任何建议，请提出问题 - 我们将努力尽快实现！
如有任何其他问题，请随时通过[email protected] 与我们联系。
？错误修复：简化了代码并解决了与训练器相关的问题，以实现更顺畅的操作。
新功能：引入了对定义更复杂的配置文件的支持，增强了训练器的灵活性。
文档：添加了新示例，包括有关基于云的培训和创建假新闻检测器的教程。
？更新的文档：查看 docs.simplifine.com 上的最新文档。
？错误修复：修复了导致某些配置加载失败的问题，确保更广泛的兼容性。
新功能：支持从 Git 直接安装，并添加了对 Hugging Face API 令牌的支持，允许访问受限模型。
文档：更新了示例以反映最新功能。
我们目前支持 DeepSpeed 的 DistributedDataParallel (DDP) 和 ZeRO。
长话短说：
当模型适合 GPU 内存（包括梯度和激活状态）时， DDP非常有用。
当模型需要跨多个 GPU 进行分片时， ZeRO非常有用。
较长版本：
DDP ：分布式数据并行 (DDP) 在每个处理器 (GPU) 上创建模型的副本。例如，假设有 8 个 GPU，每个 GPU 馈送一个数据点，这将使批量大小为 8。然后模型副本会在每个设备上更新。 DDP 通过并行数据馈送过程来加速训练。但是，如果副本无法放入 GPU 内存，则 DDP会失败。请记住，内存不仅保存参数，还保存梯度和优化器状态。
ZeRO ：ZeRO 是 DeepSpeed 开发的一项强大优化，分为不同阶段（1、2 和 3）。每个阶段都划分训练过程的不同部分（参数、梯度和激活状态）。如果模型无法容纳在 GPU 内存中，这非常有用。 ZeRO 还支持卸载到 CPU，为训练更大的模型提供更多空间。
具有 16 位精度的 LLaMA-3-8b 模型：在 8 个 A100 上使用 ZeRO Stage 3。
带 LoRA 适配器的 LLaMA-3-8b 型号：通常适用于 A100 上的 DDP。
16 位精度的 GPT-2 ：使用 DDP。
问题：运行时错误：构建扩展“cpu_adam”时出错 python dev
当未安装python-dev并且 ZeRO 使用卸载时会出现此错误。要解决此问题，请尝试：
# 如果以下失败，请尝试 sudo apt-get install python3-dev。 apt-get install python-dev # for Python 2.x installsapt-get install python3-dev # for Python 3.x installs
请参阅此链接
