Implementación de Pytorch de FNET: tokens de mezcla con transformaciones de Fourier.
Clon este repositorio.
git clone https://github.com/jaketae/fnet.git
Navegue al directorio clonado. Puede comenzar a usar el modelo a través de
>> > from fnet import FNet
>> > model = FNet ()Por defecto, el modelo viene con los siguientes parámetros:
FNet (
d_model = 256 ,
expansion_factor = 2 ,
dropout = 0.5 ,
num_layers = 6 ,
) Si bien los transformadores han demostrado ser exitosos en varios dominios, su complejidad de cálculo O(n^2) se ha considerado una debilidad estructural. Se han hecho muchos intentos para optimizar la arquitectura del modelo. Los autores del documento presentan FNET, un modelo que reemplaza la autoatención con transformaciones estándar de Fourier no parametrizadas. FNET no solo es más rápido y la computación más eficiente que el transformador clásico, sino que también conserva el 92% de la precisión de Bert en el punto de referencia de pegamento. Dado un número menor de parámetros, FNET superó a los transformadores.
