An Explanation Is All You Need

你需要的只是一個解釋：解碼 Transformer

歡迎來到我的倉庫！我使用 PyTorch 從頭開始實現變壓器架構。我嘗試過一遍所有關鍵的子元件，並添加大量註釋和說明。此儲存庫的主要目標是為每個元件提供知識和精確的解釋。

概述

您將瀏覽原始論文中解釋的所有組件。除了建構架構之外，這些註釋還提供了深入了解該架構所有區塊背後的基本原理的見解。我還嘗試定義在研究它們時發現令人困惑的參數和變數（例如，d_v 與 d_k）。

??‍ 我會學到什麼？

這些是您將學習使用此存儲庫構建的區塊。所有這些都是從頭開始構建的，這將使您更好地了解幕後的內容。

• 輸入嵌入
• 位置嵌入
• 層歸一化
• 逐點前饋網絡
• 多頭注意力
• 剩餘連接
• 編碼器區塊
• 解碼器區塊
• 合奏變壓器

？我為什麼要查看這個並複製它？

Transformer 架構是 AI 領域最相關進步背後的 SOTA 架構。了解這個野獸的原始實現中發生了什麼是關鍵。如果你想走上研究之路，這也是一項很好的技能。你需要了解根源才能知道要改進什麼！

？我需要知道如何使用 PyTorch 嗎？

這個問題的答案是肯定的。讓我解釋一下。

如果我告訴你沒有 PyTorch 工作流程背景就可以，那我就是在說謊。您需要了解基礎知識，例如如何初始化 nn.Module 物件、使用張量或了解為什麼需要套用轉換。除此之外，您還需要基本的深度學習/機器學習知識（例如，什麼是線性層？什麼是維度？什麼是嵌入？）。