Andromeda

Andromeda: 超高速かつ超インテリジェントな SOTA 言語モデル ?

Andromeda へようこそ。これまでに構築された中で最速、最もクリエイティブ、信頼性の高い言語モデルです。簡単なプラグイン アンド プレイ スクリプトを使用して、独自のバージョンをトレーニングし、推論を実行し、独自のバージョンを微調整することが 10 秒で開始できます。

特徴

• 超長いシーケンスの処理 (32,000 ～ 200,000+ コンテキスト長)
• ⚡ 超高速処理 (100 ミリ秒未満で 32,000 以上のトークン)
• ?優れた推論能力

原則

• 効率: アテンションの点滅、回転位置のエンコーディング、深い正規化などの技術を使用して最適化します。
• 柔軟性: 幅広いアプリケーションのさまざまなタスクやドメインに適応します。
• スケーラビリティ: リソースとデータ サイズに合わせて拡張できるように設計されています。
• コミュニティ主導: オープンソース コミュニティからの貢献によって成長します。

---

インストール

python3.11 -m pip install --upgrade andromeda-torch

使用法

• ランダム入力によるフォワードパス

 import torch

from andromeda . configs import Andromeda1Billion

model = Andromeda1Billion ()

x = torch . randint ( 0 , 256 , ( 1 , 1024 )). cuda ()

out = model ( x )  # (1, 1024, 20000)
print ( out )

• トークン化された入力

 from andromeda_torch import Tokenizer
from andromeda_torch . configs import Andromeda1Billion

model = Andromeda1Billion ()
tokenizer = Tokenizer ()

encoded_text = tokenizer . encode ( "Hello world!" )
out = model ( encoded_text )
print ( out )

トレーニング

1. 環境変数を設定します。

   • ENTITY_NAME : wandb プロジェクト名
   • OUTPUT_DIR : 重みを保存するディレクトリ (例: ./weights )
   • MASTER_ADDR : 分散トレーニング用
   • MASTER_PORTマスターポート分散トレーニング用
   • RANK - ノードサービスの数
   • WORLD_SIZE GPU の数

2. トレーニングを設定します。

   • 構成の高速化
   • ディープスピード 3 を有効にする
   • 起動の高速化 train_distributed_accelerate.py

詳細については、トレーニング SOP を参照してください。

---

藤堂

• ゼータから糸埋め込みを追加

?ベンチマーク

スピード

• アンドロメダは、これまでで最も信頼性の高いアテンションの 1 つであるフラッシュ アテンション 2.0 トリトンを利用しています。メモリ消費量は GPT-3 の 50 分の 1、LLAMA の 10 分の 1 です。

• 動的スパース フラッシュ アテンション 2.0 を使用すると、これをさらに高速化できます。

ライセンス

Apacheライセンス