An Explanation Is All You Need

必要なのは説明だけです: デコードされたトランスフォーマー

私のレポへようこそ！ PyTorch を使用してトランスフォーマー アーキテクチャを最初から実装します。私は、広範なメモと説明を追加して、すべての主要なサブコンポーネントを確認しようとしました。このリポジトリの主な目的は、各コンポーネントに関する知識と正確な説明を提供することです。

概要

元の論文で説明されているすべてのコンポーネントを確認します。アーキテクチャの構築とは別に、ノートはこのアーキテクチャのすべてのブロックの背後にある理論的根拠を理解するための洞察を提供します。また、研究中に混乱を感じたパラメーターと変数を定義しようとしました (例: d_v と d_k)。

??‍ 何を学べますか?

これらは、このリポジトリを使用して構築する方法を学習するブロックです。これらはすべてゼロから構築されたもので、内部に何があるかをよく理解できます。

• 入力埋め込み
• 位置埋め込み
• レイヤーの正規化
• 点単位のフィードフォワード ネットワーク
• マルチヘッドアテンション
• 残留接続
• エンコーダブロック
• デコーダブロック
• アンサンブル・ザ・トランスフォーマー

?なぜこれを見て再現する必要があるのでしょうか?

トランスフォーマー アーキテクチャは、AI の最も重要な進歩を支える SOTA アーキテクチャです。この野獣の元の実装で何が起こっているのかを理解することが重要です。研究の道に進むことを検討している場合にも、これは持っておくと良いスキルです。何を改善すべきかを知るには、その起源を理解する必要があります。

? PyTorch の使用方法を知る必要がありますか?

この質問に対する答えは「はい」です。説明しましょう。

PyTorch ワークフローの知識がなくても大丈夫と言ったら嘘になります。 nn.Module オブジェクトを初期化する方法、テンソルを操作する方法、変換を適用する必要がある理由を理解する方法など、基本を知っている必要があります。それとは別に、基本的な深層学習/機械学習の知識も必要になります (例: 線形層とは何ですか? ディメンションとは何ですか? 埋め込みとは何ですか?)。