LongNet下载 - LongNet源码下载

LongNet

Ai源码

0.4.8

下载

多模态

LongNet：将 Transformer 扩展到 1,000,000,000 个代币

长网横幅

这是论文 LongNet: Scaling Transformers to 1,000,000,000 Tokens 的开源实现，作者为 Jiayu Ding、Shuming Ma、Li Dong、Xingxing Zhang、Shaohan Huang、Wenhui Wang、Furu Wei。 LongNet 是 Transformer 的变体，旨在将序列长度扩展到超过 10 亿个标记，而不会牺牲较短序列的性能。

安装

pip install longnet

用法

安装 LongNet 后，您可以使用DilatedAttention类，如下所示：

 import torch
from long_net import DilatedAttention


# model config
dim = 512
heads = 8
dilation_rate = 2
segment_size = 64

# input data
batch_size = 32
seq_len = 8192


# create model and data
model = DilatedAttention ( dim , heads , dilation_rate , segment_size , qk_norm = True )
x = torch . randn (( batch_size , seq_len , dim ))

output = model ( x )
print ( output )

`LongNetTransformer`

完全准备好训练变压器模型，其中包含带有层范数、SWIGLU 和并行变压器块的前馈的扩张变压器块

 import torch
from long_net . model import LongNetTransformer

longnet = LongNetTransformer (
    num_tokens = 20000 ,
    dim = 512 ,
    depth = 6 ,
    dim_head = 64 ,
    heads = 8 ,
    ff_mult = 4 ,
)

tokens = torch . randint ( 0 , 20000 , ( 1 , 512 ))
logits = longnet ( tokens )
print ( logits )

火车

要在enwiki8数据集上运行简单的训练，请使用gitclone，安装requirements.txt，然后运行python3 train.py

LongNet总结

缩放序列长度已成为大型语言模型时代的关键瓶颈。然而，现有方法要么面临计算复杂性，要么面临模型表达能力，导致最大序列长度受到限制。在本文中，他们介绍了 LongNet，这是一种 Transformer 变体，可以将序列长度扩展到超过 10 亿个标记，而不会牺牲较短序列的性能。具体来说，他们提出了扩张注意力，随着距离的增加，注意力范围呈指数级扩大。

特征

LongNet具有显着的优势：

它具有线性计算复杂度和令牌之间的对数依赖性。
它可以用作极长序列的分布式训练器。
它的扩张注意力是标准注意力的直接替代品，可以与现有的基于 Transformer 的优化无缝集成。

实验结果表明，LongNet 在长序列建模和通用语言任务上都有很强的性能。他们的工作为建模很长的序列开辟了新的可能性，例如，将整个语料库甚至整个互联网视为一个序列。

引文

 @inproceedings { ding2023longnet ,
  title = { LongNet: Scaling Transformers to 1,000,000,000 Tokens } ,
  author = { Ding, Jiayu and Ma, Shuming and Dong, Li and Zhang, Xingxing and Huang, Shaohan and Wang, Wenhui and Wei, Furu } ,
  booktitle = { Proceedings of the 10th International Conference on Learning Representations } ,
  year = { 2023 }
}