Andromeda

Andromeda：超快速、超智能的 SOTA 语言模型？

欢迎使用 Andromeda，有史以来最快、最具创意和最可靠的语言模型，通过简单的即插即用脚本在 10 秒内开始训练您自己的版本，进行推理并微调您自己的版本：

特征

• 处理超长序列（32,000-200,000+上下文长度）
• ⚡ 超快速处理（100 毫秒内处理 32,000 多个令牌）
• ？卓越的推理能力

原则

• 效率：通过注意力闪烁、旋转位置编码和深度归一化等技术进行优化。
• 灵活性：适应各种任务和领域的广泛应用。
• 可扩展性：旨在根据资源和数据大小进行扩展。
• 社区驱动：依靠开源社区的贡献而蓬勃发展。

---

安装

python3.11 -m pip install --upgrade andromeda-torch

用法

• 随机输入的前向传播

 import torch

from andromeda . configs import Andromeda1Billion

model = Andromeda1Billion ()

x = torch . randint ( 0 , 256 , ( 1 , 1024 )). cuda ()

out = model ( x )  # (1, 1024, 20000)
print ( out )

• 标记化输入

 from andromeda_torch import Tokenizer
from andromeda_torch . configs import Andromeda1Billion

model = Andromeda1Billion ()
tokenizer = Tokenizer ()

encoded_text = tokenizer . encode ( "Hello world!" )
out = model ( encoded_text )
print ( out )

训练

1. 设置环境变量：

   • ENTITY_NAME ：您的 wandb 项目名称
   • OUTPUT_DIR ：保存权重的目录（例如./weights ）
   • MASTER_ADDR ：用于分布式训练
   • MASTER_PORT用于主端口分布式训练
   • RANK - 节点服务数量
   • WORLD_SIZE GPU 数量

2. 配置训练：

   • 加速配置
   • 启用 Deepspeed 3
   • 加速启动train_distributed_accelerate.py

如需了解更多信息，请参阅培训 SOP。

---

托多

• 添加来自 zeta 的纱线嵌入

？基准测试

速度

• Andromeda 使用有史以来最可靠的注意力机制之一，即 Flash Attention 2.0 Triton。它消耗的内存比 GPT-3 少 50 倍，比 LLAMA 少 10 倍。

• 我们可以使用动态稀疏闪存注意力 2.0 来加快速度。

执照

阿帕奇许可证