homemade gpt jsダウンロード - homemade gpt jsソースコードのダウンロード

ダウンロード

自家製GPT・JS

自家製 GPT JS

Karpathy の minGPT (Generative Pre-trained Transformer) の最小限の TensorFlow.js 再実装。

この「自家製」 GPT言語モデルの完全な定義 (すべて) は、この単一の model.ts ファイル (コードは300行未満) にあります。

model.ts は TypeScript で記述されているため、自家製 GPT プレイグラウンドを使用してトレーニングし、パラメーターを実験し、GPU を使用してブラウザーで直接予測を生成できます。

モデルとプレイグラウンドは、GPT の仕組みを理解し、WebGPU をトレーニングに使用するための学習目的で作成されています。

model.ts ファイルで何が起こっているかを理解するには、Andrej Karpathy のわかりやすく説明された実践的な講義「GPT を構築しましょう: ゼロから、コードで、詳しく説明します」を参照してください (おそらく、GPT についての最も優れた説明の 1 つです)。

./gpt/src/ フォルダー内に次のファイルがあります。

model.ts - これは、重要な主要ファイルです。これには、「Attending Is All You Need」論文で説明されているように、デコーダー GPT モデルの完全な (まだ最小限の) 定義が含まれています。
model-easier.ts - これは前のファイルと同じ GPT モデルですが、理解しやすいように単純化されています。主な違いは、 CausalSelfAttention内のすべてのHeads (並列ではなく)順次に処理することです。その結果、モデルは少し遅くなりますが、読みやすくなります。
config.ts - GPT モデルパラメーターの事前構成セットが含まれています: GPT-pico、GPT-nano、GPT-mini、GPT-2 など。
dataset.ts - ここには GPT 固有のものはありません。 txt ファイルベースの文字レベルのデータセット上のヘルパーラッパー。任意の txt ファイルをロードし、各文字をトークンとして扱い、文字をトレーニングバッチとテストバッチに分割し、文字をインデックスにエンコード/デコードしたり、その逆を行います。
Trainer.ts - ここにも GPT 固有のものはありません。このファイルは、任意のニューラルネットワークに適用できる単純なトレーニングループを提供します。

一部の事前トレーニング済みモデルの重みは homemade-gpt-js-weights リポジトリで公開されています。これらは、Web プレイグラウンド (「生成」セクション) または Node.js プレイグラウンド ( model.setWeights() ) 経由で適用できます。