An Explanation Is All You Need

你需要的只是一个解释：解码 Transformer

欢迎来到我的仓库！我使用 PyTorch 从头开始​​实现变压器架构。我尝试过一遍所有关键的子组件，添加大量注释和说明。该存储库的主要目标是为每个组件提供知识和精确的解释。

概述

您将浏览原始论文中解释的所有组件。除了构建架构之外，这些注释还提供了深入了解该架构所有块背后的基本原理的见解。我还尝试定义在研究它们时发现令人困惑的参数和变量（例如，d_v 与 d_k）。

??‍ 我会学到什么？

这些是您将学习使用此存储库构建的块。所有这些都是从头开始构建的，这将使您更好地了解幕后的内容。

• 输入嵌入
• 位置嵌入
• 层归一化
• 逐点前馈网络
• 多头注意力
• 剩余连接
• 编码器块
• 解码器块
• 合奏变压器

？我为什么要查看这个并复制它？

Transformer 架构是 AI 领域最相关进步背后的 SOTA 架构。了解这个野兽的原始实现中发生了什么是关键。如果你想走上研究之路，这也是一项很好的技能。你需要了解根源才能知道要改进什么！

？我需要知道如何使用 PyTorch 吗？

这个问题的答案是肯定的。让我解释一下。

如果我告诉你没有 PyTorch 工作流程背景就可以，那我就是在撒谎。您需要了解基础知识，例如如何初始化 nn.Module 对象、使用张量或了解为什么需要应用转换。除此之外，您还需要基本的深度学习/机器学习知识（例如，什么是线性层？什么是维度？什么是嵌入？）。