Implementação de Pytorch do FNET: misturando tokens com transformadas de Fourier.
Clone este repositório.
git clone https://github.com/jaketae/fnet.git
Navegue até o diretório clonado. Você pode começar a usar o modelo via
>> > from fnet import FNet
>> > model = FNet ()Por padrão, o modelo vem com os seguintes parâmetros:
FNet (
d_model = 256 ,
expansion_factor = 2 ,
dropout = 0.5 ,
num_layers = 6 ,
) Embora os transformadores tenham provado ter sucesso em vários domínios, sua complexidade da computação O(n^2) tem sido considerada uma fraqueza estrutural. Muitas tentativas foram feitas para otimizar a arquitetura do modelo. Os autores do artigo apresentam o FNET, um modelo que substitui a auto-atendimento por transformadas padrão de Fourier não parametrizadas. O FNET não é apenas mais rápido e computacional mais eficiente que o transformador clássico, mas também mantém 92% da precisão de Bert no benchmark de cola. Dado um número menor de parâmetros, o FNET superou os transformadores.
