LongNetダウンロード - LongNetソースコードのダウンロード

LongNet

AI ソースコード

0.4.8

ダウンロード

マルチモダリティ

LongNet: トランスフォーマーを 1,000,000,000 トークンに拡張

ロングネットバナー

これは、Jiayu Ding、Shuming Ma、Li Dong、Xingxing Zhang、Shaohan Huang、Wenhui Wang、Furu Wei による論文「LongNet: Scaling Transformers to 1,000,000,000 Tokens」のオープンソース実装です。 LongNet は、より短いシーケンスのパフォーマンスを犠牲にすることなく、シーケンスの長さを最大 10 億トークン以上まで拡張するように設計された Transformer のバリアントです。

インストール

pip install longnet

使用法

LongNet をインストールしたら、次のようにDilatedAttentionクラスを使用できます。

 import torch
from long_net import DilatedAttention


# model config
dim = 512
heads = 8
dilation_rate = 2
segment_size = 64

# input data
batch_size = 32
seq_len = 8192


# create model and data
model = DilatedAttention ( dim , heads , dilation_rate , segment_size , qk_norm = True )
x = torch . randn (( batch_size , seq_len , dim ))

output = model ( x )
print ( output )

`LongNetTransformer`

Layernorm、SWIGLU、および並列変換ブロックを使用したフィードフォワードを備えた拡張変換ブロックを備えた完全にトレーニング可能な変換モデル

 import torch
from long_net . model import LongNetTransformer

longnet = LongNetTransformer (
    num_tokens = 20000 ,
    dim = 512 ,
    depth = 6 ,
    dim_head = 64 ,
    heads = 8 ,
    ff_mult = 4 ,
)

tokens = torch . randint ( 0 , 20000 , ( 1 , 512 ))
logits = longnet ( tokens )
print ( logits )

電車

enwiki8 データセット、gitclone で簡単なトレーニングを実行するには、requirements.txt をインストールしてから、 python3 train.py実行します。

LongNet の要約

シーケンスの長さのスケーリングは、大規模な言語モデルの時代における重大なボトルネックになっています。ただし、既存の方法は計算の複雑さまたはモデルの表現力に問題があり、シーケンスの最大長が制限されています。この論文では、短いシーケンスのパフォーマンスを犠牲にすることなく、シーケンス長を 10 億トークン以上に拡張できる Transformer のバリアントである LongNet を紹介します。具体的には、距離が伸びるにつれて注意のフィールドを指数関数的に拡大する拡張型注意を提案しています。

特徴

LongNet には次のような大きな利点があります。

線形の計算複雑さとトークン間の対数依存性があります。
非常に長いシーケンスの分散トレーナーとして機能します。
その拡張された注意は、標準的な注意のドロップイン代替品であり、既存の Transformer ベースの最適化とシームレスに統合できます。

実験結果は、LongNet が長いシーケンスのモデリングと一般的な言語タスクの両方で優れたパフォーマンスを発揮することを示しています。彼らの研究は、非常に長いシーケンスをモデル化するための新しい可能性を切り開きます。たとえば、コーパス全体、さらにはインターネット全体をシーケンスとして扱うことができます。

引用

 @inproceedings { ding2023longnet ,
  title = { LongNet: Scaling Transformers to 1,000,000,000 Tokens } ,
  author = { Ding, Jiayu and Ma, Shuming and Dong, Li and Zhang, Xingxing and Huang, Shaohan and Wang, Wenhui and Wei, Furu } ,
  booktitle = { Proceedings of the 10th International Conference on Learning Representations } ,
  year = { 2023 }
}