microGPT
1.0.0
microGPT は、自然言語処理タスク用の生成事前トレーニング トランスフォーマー (GPT) モデルの軽量実装です。シンプルで使いやすいように設計されているため、小規模なアプリケーションや生成モデルの学習や実験に最適なオプションです。
30万回のトレーニング反復
pip install -r requirements.txtを実行します。 tokenizer/train_tokenizer.pyを実行してトークナイザー ファイルを生成します。モデルはそれに基づいてテキストをトークン化します。datasets/prepare_dataset.py実行してデータセット ファイルを生成します。train.py実行してトレーニングを開始します~パラメータを変更したい場合は、上記のファイルを変更します。
モデル生成パラメータを編集するには、 inference.pyこのセクションに移動してください。
# Parameters (Edit here):
n_tokens = 1000
temperature = 0.8
top_k = 0
top_p = 0.9
model_path = 'models/microGPT.pth'
# Edit input here
context = "The magical wonderland of"Web アプリとして展開することに興味がありますか? microGPT デプロイをチェックしてください。
ゼロからの効率性:ゼロから開発された microGPT は、高く評価されている GPT モデルへの合理化されたアプローチを表します。品質のわずかなトレードオフを維持しながら、驚くべき効率を示します。
Learning Playground: AI の世界を深く掘り下げたい個人向けに設計された microGPT のアーキテクチャは、生成モデルの内部動作を把握するユニークな機会を提供します。スキルを磨き、理解を深めていくための出発点です。
小規模のパワーハウス:学習と実験を超えて、microGPT は小規模アプリケーションに適したオプションです。これにより、効率とパフォーマンスが最優先されるプロジェクトに AI を活用した言語生成を統合できるようになります。
カスタマイズ機能: microGPT の適応性により、特定の目標に合わせてモデルを変更および微調整できるようになり、要件に合わせた AI ソリューションを作成するためのキャンバスが提供されます。
学習の旅:生成モデルの基礎を理解するための足がかりとして microGPT を使用します。アクセスしやすい設計とドキュメントは、AI の初心者にとって理想的な環境を提供します。
実験ラボ: microGPT のパラメーターを調整してテストすることで実験に参加します。このモデルのシンプルさと多用途性は、イノベーションの肥沃な土壌を提供します。
貢献したい場合は、次のガイドラインに従ってください。
このリポジトリに貢献することにより、あなたは当社の行動規範を遵守し、あなたの貢献がリポジトリと同じライセンスの下でリリースされることに同意するものとします。
このモデルは、Andrej Karpathy Let's build GPT fromScratch ビデオと、このプロジェクト用に修正を加えた Andrej Kaparthy nanoGPT からインスピレーションを得ています。
