หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Memory Footprint และ FLOP สำหรับรุ่น SOTA ใน CV/NLP/Speech

นี่คือพื้นที่เก็บข้อมูลที่มีข้อมูลที่ใช้สำหรับกระดาษ AI และ Memory Wall เรารายงานจำนวนพารามิเตอร์ ขนาดฟีเจอร์ รวมถึง FLOP ทั้งหมดสำหรับการอนุมาน/การฝึกอบรมสำหรับโมเดล SOTA ใน CV, การเรียนรู้คำพูด และ NLP

แบบจำลอง NLP

เรามุ่งเน้นไปที่การคำนวณหน่วยวัดต่างๆ สำหรับโมเดลหม้อแปลงไฟฟ้าเป็นส่วนใหญ่ โดยเริ่มจาก BERT FLOP ดั้งเดิมสำหรับการฝึกอบรม/การอนุมาน ตลอดจนพารามิเตอร์และขนาดหน่วยความจำ จากนั้นเราจะคำนวณหน่วยเมตริกเดียวกันสำหรับรูปแบบ BERT ต่างๆ ตามที่รายงานในตารางด้านล่าง

PS: จำนวน PFLOP ทั้งหมดที่จำเป็นสำหรับการฝึกแต่ละโมเดล คำนวณโดยใช้การตั้งค่าที่รายงานในรายงานแต่ละฉบับ

วันที่ แบบอย่าง ขนาดโทเค็น #พารามส์ #คุณสมบัติ GFLOP การอนุมาน การฝึกอบรม PFLOP
09/10/2014 Seq2Seq 11,000
12/06/2017 หม้อแปลงไฟฟ้า 512 65ม 77ม 54 23,000
02/15/2018 เอลโม 94ม 3,300
10/11/2018 เบิร์ต ใหญ่ 512 330ม 230ม 340 250,000
06/11/2018 GPT-1 512 110ม 85ม 96 57,000
02/14/2019 GPT-2 1,024 1,500M 2,000ล้าน 3,400
26/07/2019 โรเบอร์ตา ใหญ่ 512 1,500M 2,000ล้าน 3,400 4,300,000
17/08/2019 เมกะตรอน 1,024 8,300M 4,700ล้าน 18,000 8,100,000
09/26/2019 อัลเบิร์ต xxl 512 235ม 450ม 2,500 31,000,000
02/13/2020 ไมโครซอฟต์ T-NLG 1,024 17,000ล้าน 5,700ล้าน 36,000 28,000,000
03/23/2020 อีเล็คตร้า ใหญ่ 128 330ม 38ม 79 3,100,000
05/28/2020 GPT-3 2048 175,000ล้าน 63,000ล้าน 740,000 310,000,000
06/30/2020 จีฮาร์ด 600,000M
06/20/2020 Baidu RecSys-C ไม่มี 2,000,000ล้าน ไม่มี ~โอ(0.1) ไม่มี
06/20/2020 Baidu RecSys-E ไม่มี 10,000,000M ไม่มี ~โอ(0.1) ไม่มี

โมเดล CV

ตารางด้านล่างรายงานตัววัดที่แตกต่างกันสำหรับโมเดลวิชัน SOTA ต่างๆ รวมถึงความละเอียดของรูปภาพอินพุต จำนวนพารามิเตอร์ GFLOP การอนุมานทั้งหมด รวมถึง PFLOP ทั้งหมดที่จำเป็นในการฝึกแต่ละโมเดล

วันที่ แบบอย่าง ความละเอียดอินพุต #พารามส์ GFLOP การอนุมาน การฝึกอบรม PFLOP
06/01/2012 อเล็กซ์เน็ต 227 x 227 61ม 1.4 460
09/04/2014 วีจีจี-19 224 x 224 138ม 39 11,000
12/02/2558 InceptionV3 299 x 299 24ม 5.7 100,000
12/10/2558 เรสเน็ต152 224 x 224 55ม 23 11,000
26/02/2559 การเริ่มต้นV4 299 x 299 82ม 24.6
10/07/2016 ข้อยกเว้น 299 x 299 23ม 17 450,000
11/16/2016 ResNeXt101(64x4d) 224 x 224 83ม 31 12,000
12/03/2016 DenseNet201 224 x 224 20ม 8.9 2,800

หน่วยความจำพัง

ตารางด้านล่างรายงานการแจกแจงหน่วยความจำที่จำเป็นในการฝึก SOTA รุ่นต่างๆ ตลอดทั้งปี ซึ่งรวมถึงหน่วยความจำทั้งหมดที่จำเป็นสำหรับการจัดเก็บพารามิเตอร์ รอยเท้าหน่วยความจำที่เกี่ยวข้องกับอัลกอริทึมการปรับให้เหมาะสม เช่นเดียวกับหน่วยความจำการเปิดใช้งาน/ฟีเจอร์

ปี แบบอย่าง ความละเอียดอินพุต (ความยาวประโยค) ขนาดแบทช์ หน่วยความจำพาราม หน่วยความจำเครื่องมือเพิ่มประสิทธิภาพ หน่วยความจำการเปิดใช้งาน หน่วยความจำทั้งหมด
2555 อเล็กซ์เน็ต 227 x 227 128 0.23GB 0.23GB 0.71GB 1.71GB
2014 วีจีจี19 224 x 224 64 0.54GB 0.54GB 4.64GB 5.72GB
2558 เรสเน็ต152 224 x 224 32 0.22GB 0.22GB 5.14GB 5.58GB
2559 DenseNet201 224 x 224 32 0.07GB 0.07GB 6.04GB 6.18GB
2559 ResNeXt101 (64x4d) 224 x 224 32 0.31GB 0.31GB 7.34GB 7.96GB
2017 หม้อแปลงไฟฟ้าขนาดใหญ่ (WMT) 512 6 1.02GB 2.04GB 11.78GB 14.84GB
2018 เบิร์ต ใหญ่ 512 16 1.32GB 2.64GB 14.38GB 18.34GB
2019 GPT-2 2014 1 5.86GB 11.62GB 8.63GB 26.21GB

รับทราบ

เราขอขอบคุณเป็นอย่างยิ่งหากคุณโปรดอ้างอิงเอกสารต่อไปนี้หากคุณพบว่าห้องสมุดมีประโยชน์สำหรับงานของคุณ: 

 Gholami A, Yao Z, Kim S, Mahoney MW, Keutzer K. AI and Memory Wall. RiseLab Medium Blog Post, University of Califonia Berkeley, 2021, March 29.

 @article{gholami2020ai_and_memory_wall,
  title={AI and Memory Wall},
  author={ Gholami, Amir and Yao, Zhewei and Kim, Sehoon and Hooper, Coleman and Mahoney, Michael W, and Keutzer, Kurt},
  journal={IEEE Micro Journal},
  year={2024}
}
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด