Andromeda

Andromeda：超快速、超聰明的 SOTA 語言模型？

歡迎使用 Andromeda，有史以來最快、最具創意和最可靠的語言模型，透過簡單的即插即用腳本在 10 秒內開始訓練您自己的版本，進行推理並微調您自己的版本：

特徵

• 處理超長序列（32,000-200,000+上下文長度）
• ⚡ 超快速處理（100 毫秒內處理 32,000 多個令牌）
• ？卓越的推理能力

原則

• 效率：透過注意力閃爍、旋轉位置編碼和深度歸一化等技術進行最佳化。
• 靈活性：適應各種任務和領域的廣泛應用。
• 可擴展性：旨在根據資源和資料大小進行擴展。
• 社群驅動：依靠開源社群的貢獻而蓬勃發展。

---

安裝

python3.11 -m pip install --upgrade andromeda-torch

用法

• 隨機輸入的前向傳播

 import torch

from andromeda . configs import Andromeda1Billion

model = Andromeda1Billion ()

x = torch . randint ( 0 , 256 , ( 1 , 1024 )). cuda ()

out = model ( x )  # (1, 1024, 20000)
print ( out )

• 標記化輸入

 from andromeda_torch import Tokenizer
from andromeda_torch . configs import Andromeda1Billion

model = Andromeda1Billion ()
tokenizer = Tokenizer ()

encoded_text = tokenizer . encode ( "Hello world!" )
out = model ( encoded_text )
print ( out )

訓練

1. 設定環境變數：

   • ENTITY_NAME ：您的 wandb 專案名稱
   • OUTPUT_DIR ：保存權重的目錄（例如./weights ）
   • MASTER_ADDR ：用於分散式訓練
   • MASTER_PORT用於主埠分散式訓練
   • RANK - 節點服務數量
   • WORLD_SIZE GPU 數量

2. 配置訓練：

   • 加速配置
   • 啟用 Deepspeed 3
   • 加速啟動train_distributed_accelerate.py

如需了解更多信息，請參閱培訓 SOP。

---

托多

• 添加來自 zeta 的紗線嵌入

？基準測試

速度

• Andromeda 使用有史以來最可靠的注意力機制之一，即 Flash Attention 2.0 Triton。它消耗的記憶體比 GPT-3 少 50 倍，比 LLAMA 少 10 倍。

• 我們可以使用動態稀疏快閃記憶體 2.0 來加快速度。

執照

阿帕契許可證