Реализация Pytorch fnet: перемешивание токенов с преобразованием Фурье.
Клонировать это хранилище.
git clone https://github.com/jaketae/fnet.git
Перейдите к клонированному каталогу. Вы можете начать использовать модель через
>> > from fnet import FNet
>> > model = FNet ()По умолчанию модель поставляется со следующими параметрами:
FNet (
d_model = 256 ,
expansion_factor = 2 ,
dropout = 0.5 ,
num_layers = 6 ,
) В то время как трансформаторы оказались успешными в различных областях, его сложность вычислений O(n^2) считается структурной слабостью. Было предпринято много попыток оптимизировать модельную архитектуру. Авторы статьи представляют FNET, модель, которая заменяет самопринятие стандартными непараметризированными преобразованием Фурье. Мало того, что FNET более быстрее и вычислительно более эффективен, чем классический трансформатор, но также сохраняет 92% точности BERT на эталоне клея. Учитывая меньшее количество параметров, Fnet превзошел трансформаторы.
