Simplifine
1.0.0
ここで試してください
Discordに参加してください
Simplifine は、1 つの簡単なコマンドであらゆるデータセットまたはモデルに対する LLM 微調整を効率化し、すべてのインフラストラクチャ、ジョブ管理、クラウド ストレージ、推論を処理します。
簡単なクラウドベースの LLM 微調整:たった 1 つのコマンドで任意の LLM を微調整します。
シームレスなクラウド統合:クラウドからのモデルのダウンロード、保存、実行を直接自動的に管理します。
組み込みの AI アシスタント:ハイパーパラメーターの選択、合成データセットの生成、データ品質チェックに関するサポートを利用できます。
オンデバイスからクラウドへの切り替え:ローカル トレーニングからクラウドベースのトレーニングに移行するためのシンプルなデコレータを追加します。
自動最適化: Deepspeed ✅ および FDSP ✅ を通じてモデルとデータの並列化を自動的に最適化します。
カスタム評価サポート:評価関数に組み込み LLM を使用するか、独自のカスタム評価メトリクスをインポートします。
コミュニティ サポート: Simplifine コミュニティ Discord でサポートに関する質問をしてください。
主要機関からの信頼:オックスフォード大学の研究室は、LLM 微調整のニーズに Simplifine を信頼しています。
ここから始めましょう >
完全なドキュメントは docs.simplifine.com でご覧ください。
PyPIからインストールする
pip インストール simplifine-alpha
次のコマンドを使用して、github から直接インストールすることもできます。
pip install git+https://github.com/simplifine-llm/Simplifine.git
寄稿者を募集しています！ Discord のcontributorsスレッドに参加してください。
Simplifine は、GNU General Public License バージョン 3 に基づいてライセンスされています。詳細については、LICENSE ファイルを参照してください。
すべての機能リクエスト、バグ、サポートについては、 Discord に参加してください。
実装してほしい新機能に関するご提案がございましたら、問題を提起してください。できるだけ早く実現できるよう努めます。
その他ご質問がございましたら、[email protected] までお気軽にお問い合わせください。
?バグ修正:コードを合理化し、スムーズな操作のためにトレーナー関連の問題を解決しました。
新機能:より複雑な構成ファイルを定義するためのサポートが導入され、トレーナーの柔軟性が向上しました。
ドキュメント:クラウドベースのトレーニングやフェイク ニュース検出器の作成に関するチュートリアルなど、新しい例を追加しました。
?更新されたドキュメント: docs.simplifine.com で最新のドキュメントを確認してください。
?バグ修正:特定の構成で読み込みエラーを引き起こす問題を修正し、より広範な互換性を確保しました。
新機能: Git からの直接インストールが有効になり、Hugging Face API トークンのサポートが追加され、制限付きモデルへのアクセスが可能になりました。
ドキュメント:最新の機能を反映するためにサンプルを更新しました。
現在、DeepSpeed の DistributedDataParallel (DDP) と ZeRO の両方をサポートしています。
TL;DR :
DDP は、モデルが GPU メモリに収まる場合に役立ちます (これには、勾配とアクティベーション状態が含まれます)。
ZeROは、モデルで複数の GPU にわたるシャーディングが必要な場合に役立ちます。
長いバージョン:
DDP : 分散データ並列 (DDP) は、各プロセッサ (GPU) 上にモデルのレプリカを作成します。たとえば、8 つの GPU があり、それぞれに 1 つのデータ ポイントが供給されるとします。これにより、バッチ サイズは 8 になります。その後、モデルのレプリカが各デバイスで更新されます。 DDP は、データフィードプロセスを並列化することでトレーニングを高速化します。ただし、レプリカが GPU メモリに収まらない場合、DDP は失敗します。メモリにはパラメータだけでなく、勾配やオプティマイザの状態も保存されることに注意してください。
ZeRO : ZeRO は DeepSpeed によって開発された強力な最適化であり、さまざまな段階 (1、2、および 3) があります。各ステージは、トレーニング プロセスのさまざまな部分 (パラメーター、勾配、アクティブ化状態) を分割します。これは、モデルが GPU メモリに収まらない場合に非常に役立ちます。 ZeRO は CPU へのオフロードもサポートしているため、大規模なモデルをトレーニングするための余地がさらに広がります。
16 ビット精度の LLaMA-3-8b モデル: 8 台の A100 で ZeRO Stage 3 を使用します。
LoRA アダプターを備えた LLaMA-3-8b モデル: 通常、A100 では DDP で問題ありません。
16 ビット精度の GPT-2 : DDP を使用します。
問題: RuntimeError: Python dev 拡張機能「cpu_adam」のビルド中にエラーが発生しました
このエラーは、 python-devがインストールされておらず、ZeRO がオフロードを使用している場合に発生します。これを解決するには、次のことを試してください。
# 以下が失敗した場合は、sudo apt-get install python3-dev を試してください。apt-get install python-dev # Python 2.x の場合 installsapt-get install python3-dev # Python 3.x のインストール
このリンクを参照してください
