การใช้งาน Pytorch ของ FNET: การผสมโทเค็นกับการแปลงฟูริเยร์
โคลนที่เก็บนี้
git clone https://github.com/jaketae/fnet.git
นำทางไปยังไดเรกทอรีที่ถูกโคลน คุณสามารถเริ่มใช้โมเดลผ่าน
>> > from fnet import FNet
>> > model = FNet ()โดยค่าเริ่มต้นโมเดลมาพร้อมกับพารามิเตอร์ต่อไปนี้:
FNet (
d_model = 256 ,
expansion_factor = 2 ,
dropout = 0.5 ,
num_layers = 6 ,
) ในขณะที่หม้อแปลงได้พิสูจน์แล้วว่าประสบความสำเร็จในโดเมนต่าง ๆ ความซับซ้อนของการคำนวณ O(n^2) ได้รับการพิจารณาว่าเป็นจุดอ่อนของโครงสร้าง มีความพยายามหลายอย่างเพื่อเพิ่มประสิทธิภาพสถาปัตยกรรมแบบจำลอง ผู้เขียนกระดาษนำเสนอ FNET ซึ่งเป็นแบบจำลองที่แทนที่ความตั้งใจของตนเองด้วยการแปลงฟูริเยร์ที่ไม่ได้ใช้มาตรฐานมาตรฐาน ไม่เพียง แต่ FNET จะเร็วขึ้นและมีประสิทธิภาพมากกว่าหม้อแปลงคลาสสิกเท่านั้น แต่ยังรักษาความแม่นยำของเบิร์ตไว้ 92% ในเกณฑ์มาตรฐานกาว ได้รับพารามิเตอร์จำนวนน้อยกว่าหม้อแปลง FNET ที่มีประสิทธิภาพสูงกว่า
