fnet 다운로드 fnet 소스 코드 다운로드

fnet

기타 소스코드

다운로드

fnet

Fnet의 Pytorch 구현 : 토큰과 푸리에 변환을 혼합합니다.

QuickStart

이 저장소를 복제하십시오.

 git clone https://github.com/jaketae/fnet.git

복제 된 디렉토리로 이동하십시오. 모델을 사용하여 시작할 수 있습니다

 >> > from fnet import FNet
>> > model = FNet ()

기본적으로 모델에는 다음 매개 변수가 제공됩니다.

 FNet (
    d_model = 256 ,
    expansion_factor = 2 ,
    dropout = 0.5 ,
    num_layers = 6 ,
)

요약

변압기는 다양한 영역에서 성공한 것으로 입증되었지만, O(n^2) 계산 복잡성은 구조적 약점으로 간주되었습니다. 모델 아키텍처를 최적화하려는 많은 시도가 이루어졌습니다. 논문의 저자는 자체 소송을 표준 비교되지 않은 푸리에 변환으로 대체하는 모델 인 FNET을 제시합니다. FNET은 클래식 트랜스포머보다 더 빠르고 전산적이 될뿐만 아니라 접착제 벤치 마크에서 Bert의 정확도의 92%를 유지합니다. 더 적은 수의 매개 변수가 주어지면 Fnet은 변압기를 능가했습니다.