Awesome World Model

สุดยอดโมเดลโลกสำหรับการขับขี่แบบอัตโนมัติ

รวบรวมเอกสาร World Models (สำหรับการขับขี่อัตโนมัติ)

หากคุณพบเอกสารที่ถูกละเลย อย่าลังเลที่จะ สร้างคำขอดึง ปัญหาที่เปิดอยู่ หรือ ส่งอีเมล ถึงฉัน / Qi Wang เรายินดีให้ความช่วยเหลือในรูปแบบใดๆ เพื่อทำให้รายการนี้ครอบคลุมมากขึ้น

หากคุณพบว่าพื้นที่เก็บข้อมูลนี้มีประโยชน์ โปรดพิจารณา ให้ดาวแก่เรา หรือไม่

แบ่งปันรายการนี้กับผู้อื่นได้ตามสบาย! -

เวิร์คช็อปและความท้าทาย

• CVPR 2024 Workshop & Challenge | OpenDriveLab Track #4: โมเดลโลกทำนาย

  แบบจำลองโลกสามารถทำนายสถานะในอนาคตตามสถานะปัจจุบันได้ โดยทำหน้าที่เป็นตัวแทนเชิงนามธรรมเชิงพื้นที่และชั่วคราวของความเป็นจริง กระบวนการเรียนรู้ของแบบจำลองโลกมีศักยภาพในการยกระดับแบบจำลองพื้นฐานที่ได้รับการฝึกอบรมขึ้นไปอีกระดับ เมื่อป้อนข้อมูลด้วยการมองเห็นเท่านั้น โครงข่ายประสาทเทียมจะส่งออกพอยต์คลาวด์ในอนาคตเพื่อเป็นพยานถึงความสามารถในการคาดการณ์ของโลก

• CVPR 2023 Workshop on Autonomous Driving ความท้าทายที่ 3: ความท้าทาย ARGOVERSE การพยากรณ์การเข้าพัก 3 มิติโดยใช้ชุดข้อมูลเซ็นเซอร์ Argoverse 2 ทำนายการครอบครองกาลอวกาศของโลกในอีก 3 วินาทีข้างหน้า

เอกสาร

กระดาษต้นฉบับโมเดลโลก

• การใช้ตารางการเข้าครอบครองสำหรับการรับรู้และการนำทางของหุ่นยนต์เคลื่อนที่ [กระดาษ]

บล็อกหรือวิดีโอทางเทคนิค

• Yann LeCun : เส้นทางสู่ความฉลาดของเครื่องจักรอัตโนมัติ [กระดาษ] [วิดีโอ]
• คำปราศรัยของ CVPR'23 WAD - Ashok Elluswamy, Tesla [วิดีโอ]
• Wayve ขอแนะนำ GAIA-1: โมเดล AI เจนเนอเรชั่นที่ล้ำสมัยเพื่อความเป็นอิสระ [บล็อก]

  โมเดลโลกเป็นพื้นฐานสำหรับความสามารถในการคาดการณ์สิ่งที่อาจเกิดขึ้นต่อไป ซึ่งเป็นสิ่งสำคัญพื้นฐานสำหรับการขับขี่แบบอัตโนมัติ พวกเขาสามารถทำหน้าที่เป็นตัวจำลองการเรียนรู้หรือการทดลองทางความคิด "จะเกิดอะไรขึ้นถ้า" ทางจิตสำหรับการเรียนรู้การเสริมกำลังตามแบบจำลอง (RL) หรือการวางแผน ด้วยการรวมโมเดลโลกเข้ากับโมเดลการขับขี่ของเรา เราสามารถช่วยให้พวกเขาเข้าใจการตัดสินใจของมนุษย์ได้ดีขึ้น และท้ายที่สุดสามารถสรุปสถานการณ์ในโลกแห่งความเป็นจริงได้มากขึ้น

สำรวจ

• การสำรวจโมเดลภาษาขนาดใหญ่หลายรูปแบบสำหรับการขับขี่แบบอัตโนมัติ WACVW 2024 [กระดาษ] [รหัส]
• แบบจำลองโลก: มุมมองด้านความปลอดภัย ISSREW [กระดาษ
• เข้าใจโลกหรือทำนายอนาคต? การสำรวจแบบจำลองโลกอย่างครอบคลุม arXiv 2024.11 [กระดาษ]
• การสำรวจการทำงานร่วมกันระหว่างการสร้างวิดีโอและโมเดลโลกในการขับขี่แบบอิสระ: แบบสำรวจ arXiv 2024.11 [กระดาษ]
• การจัดพื้นที่ไซเบอร์ให้สอดคล้องกับโลกทางกายภาพ: การสำรวจที่ครอบคลุมเกี่ยวกับ AI ที่เป็นตัวเป็นตน arXiv 2024.7 [กระดาษ] [รหัส]
• โซระคือเกมจำลองโลกใช่ไหม? การสำรวจที่ครอบคลุมเกี่ยวกับโมเดลโลกทั่วไปและอื่นๆ arXiv 2024.5 [กระดาษ] [รหัส]
• โมเดลโลกสำหรับการขับขี่อัตโนมัติ: การสำรวจเบื้องต้น 2024.3, arxiv [กระดาษ]

2024

• [ SEM2 ] เพิ่มประสิทธิภาพตัวอย่างและความทนทานของการขับขี่อัตโนมัติในเมืองแบบ end-to-end ผ่านโมเดล Semantic Masked World TITS [กระดาษ]
• Vista : โมเดลโลกแห่งการขับขี่ทั่วไปที่มีความเที่ยงตรงสูงและสามารถควบคุมได้หลากหลาย NeurIPS 2024 [กระดาษ] [รหัส]
• ชุดข้อมูล DrivingDojo : โมเดลโลกการขับขี่แบบโต้ตอบและเสริมความรู้ที่ล้ำหน้า NeurIPS 2024 [กระดาษ] [โครงการ]
• Think2Drive : การเรียนรู้แบบเสริมกำลังอย่างมีประสิทธิภาพด้วยการคิดในโลกที่แฝงอยู่สำหรับการขับขี่อัตโนมัติแบบกึ่งสมจริง ECCV 2024 [กระดาษ]
• [ MARL-CCE ] การสร้างแบบจำลองพฤติกรรมการแข่งขันในการขับขี่อัตโนมัติภายใต้โมเดลโลกกำเนิด ECCV 2024 [กระดาษ] [รหัส]
• DriveDreamer : สู่โมเดลโลกที่ขับเคลื่อนด้วยโลกแห่งความเป็นจริงสำหรับการขับขี่แบบอัตโนมัติ ECCV 2024 [กระดาษ] [รหัส]
• GenAD : การขับขี่อัตโนมัติแบบ End-to-End แบบเจนเนอเรชั่น ECCV 2024 [กระดาษ] [รหัส]
• OccWorld : การเรียนรู้แบบจำลองโลก 3 มิติสำหรับการขับขี่อัตโนมัติ ECCV 2024 [กระดาษ] [รหัส]
• [ NeMo ] โมเดลโลกเชิงปริมาตรประสาทสำหรับการขับขี่อัตโนมัติ ECCV 2024 [กระดาษ]
• CarFormer : การขับขี่ด้วยตนเองพร้อมการเรียนรู้การนำเสนอแบบเน้นวัตถุเป็นศูนย์กลาง ECCV 2024 [กระดาษ] [รหัส]
• [ MARL-CCE ] การสร้างแบบจำลอง-การแข่งขัน-พฤติกรรมในการขับขี่แบบอัตโนมัติ-ภายใต้รุ่นทั่วไป-โลก-แบบจำลอง ECCV 2024 [รหัส]
• [ GUMP ] การแก้ปัญหางานการวางแผนการเคลื่อนไหวด้วยโมเดลการสร้างที่ปรับขนาดได้ ECCV 2024 [กระดาษ] [รหัส]
• DrivingDiffusion : การสร้างวิดีโอฉากการขับขี่แบบหลายมุมมองพร้อมเค้าโครงพร้อมโมเดลการแพร่กระจายแฝง ECCV 2024 [กระดาษ] [รหัส]
• 3D-VLA : โมเดลโลกที่สร้างด้วยการมองเห็น-ภาษา-แอ็คชั่น 3 มิติ ICML 2024 [กระดาษ]
• [ ViDAR ] Visual Point Cloud Forecasting ช่วยให้การขับขี่อัตโนมัติแบบปรับขนาดได้ CVPR 2024 [กระดาษ] [รหัส]
• [ GenAD ] โมเดลการคาดการณ์ทั่วไปสำหรับการขับขี่อัตโนมัติ CVPR 2024 [กระดาษ] [ข้อมูล]
• Cam4DOCC : เกณฑ์มาตรฐานสำหรับการคาดการณ์การเข้าใช้งาน 4 มิติเฉพาะกล้องในแอปพลิเคชันการขับขี่อัตโนมัติ CVPR 2024 [กระดาษ] [รหัส]
• [ Drive-WM ] การขับเคลื่อนสู่อนาคต: การพยากรณ์และการวางแผนด้วยภาพหลายมุมมองด้วยโมเดลโลกสำหรับการขับขี่อัตโนมัติ CVPR 2024 [กระดาษ] [รหัส]
• DriveWorld : การทำความเข้าใจฉากก่อนการฝึกอบรม 4 มิติผ่านโมเดลโลกสำหรับการขับขี่อัตโนมัติ CVPR 2024 [กระดาษ]
• Panacea : การสร้างวิดีโอแบบพาโนรามาและควบคุมได้สำหรับการขับขี่อัตโนมัติ CVPR 2024 [กระดาษ] [รหัส]
• UnO : ฟิลด์การครอบครองที่ไม่มีผู้ดูแลสำหรับการรับรู้และการพยากรณ์ CVPR 2024 [กระดาษ] [รหัส]
• MagicDrive : การสร้าง Street View พร้อมการควบคุมเรขาคณิต 3 มิติที่หลากหลาย ICLR 2024 [กระดาษ] [รหัส]
• Copilot4D : การเรียนรู้โมเดลโลกที่ไม่มีผู้ดูแลสำหรับการขับขี่อัตโนมัติผ่านการกระจายแบบแยกส่วน ICLR 2024 [กระดาษ]
• SafeDreamer : การเรียนรู้การเสริมกำลังอย่างปลอดภัยด้วยโมเดลโลก ICLR 2024 [กระดาษ] [รหัส]
• DrivingWorld : การสร้างโมเดลโลกสำหรับการขับขี่อัตโนมัติผ่าน Video GPT arXiv 2024.12 [กระดาษ] [รหัส]
• DrivingGPT : การรวมการสร้างแบบจำลองและการวางแผนโลกของการขับขี่เข้าด้วยกันด้วยหม้อแปลงแบบถดถอยอัตโนมัติหลายรูปแบบ arXiv 2024.12 [กระดาษ] [โครงการ]
• โมเดลโลกการเข้าพักที่มีประสิทธิภาพผ่านไดนามิกโฟลว์แบบแยกส่วนและการฝึกอบรมที่ใช้รูปภาพช่วย arXiv 2024.12 [กระดาษ]
• GEM : โมเดลโลกหลายรูปแบบตามอัตตาที่มองเห็นได้ทั่วไปสำหรับการเคลื่อนไหวตามอัตตาที่ละเอียด พลวัตของวัตถุ และการควบคุมองค์ประกอบของฉาก arXiv 2024.12 [กระดาษ] [โครงการ]
• GaussianWorld : โมเดลโลก Gaussian สำหรับการทำนายอัตราการเข้าพักแบบสตรีมมิ่ง 3 มิติ arXiv 2024.12 [กระดาษ] [รหัส]
• Doe-1 : ระบบขับเคลื่อนอัตโนมัติแบบ Closed-Loop พร้อมโมเดลโลกกว้าง arXiv 2024.12 [กระดาษ] [รหัส]
• [ DrivePhysica ] โมเดลโลกการขับขี่ตามข้อมูลทางกายภาพ arXiv 2024.12 [กระดาษ] [รหัส]
• HoloDrive : การสร้างฉากถนนหลายรูปแบบ 2D-3D แบบองค์รวมสำหรับการขับขี่อัตโนมัติ arXiv 2024.12 [กระดาษ]
• InfinityDrive : ทำลายขีดจำกัดเวลาในการขับขี่โมเดลโลก arXiv 2024.12 [กระดาษ] [หน้าโครงการ]
• ReconDreamer : การสร้างโมเดลโลกเพื่อขับเคลื่อนการสร้างฉากใหม่ผ่านการฟื้นฟูแบบออนไลน์ arXiv 2024.11 [กระดาษ] [รหัส]
• การสร้างสถานการณ์นอกการเผยแพร่โดยใช้โมเดลภาษา arXiv 2024.11 [กระดาษ]
• Imagine-2-Drive : การสร้างแบบจำลองโลกที่มีความเที่ยงตรงสูงใน CARLA สำหรับรถยนต์ขับเคลื่อนอัตโนมัติ arXiv 2024.11 [กระดาษ] [หน้าโครงการ]
• WorldSimBench : มุ่งสู่โมเดลการสร้างวิดีโอเป็น World Simulator arXiv 2024.10 [กระดาษ] [หน้าโครงการ]
• DriveDreamer4D : โมเดลระดับโลกเป็นเครื่องข้อมูลที่มีประสิทธิภาพสำหรับการนำเสนอฉากการขับขี่แบบ 4 มิติ arXiv 2024.10 [กระดาษ] [หน้าโครงการ]
• DOME : ฝึกฝนโมเดลการแพร่กระจายสู่โมเดลโลกที่ควบคุมได้ด้วยความเที่ยงตรงสูง arXiv 2024.10 [กระดาษ] [หน้าโครงการ]
• [ SSR ] การขับขี่อัตโนมัติแบบ End-to-End จำเป็นต้องมีการรับรู้จริง ๆ หรือไม่? arXiv 2024.9 [กระดาษ] [รหัส]
• การบรรเทาการเปลี่ยนแปลงโควาเรียตในการเรียนรู้การเลียนแบบสำหรับยานพาหนะอัตโนมัติโดยใช้แบบจำลองโลกที่สร้างอวกาศแฝง arXiv 2024.9 [กระดาษ]
• [ LatentDriver ] เรียนรู้การตัดสินใจที่น่าจะเป็นหลายประการจากโมเดลโลกแฝงในการขับขี่แบบอัตโนมัติ arXiv 2024.9 [กระดาษ] [รหัส]
• RenderWorld : โมเดลโลกพร้อมป้ายกำกับ 3D ที่ควบคุมตนเอง arXiv 2024.9 [กระดาษ]
• OccLLaMA : โมเดลโลกที่สร้างโดย Occupancy-Language-Action สำหรับการขับขี่อัตโนมัติ arXiv 2024.9 [กระดาษ]
• DriveGenVLM : การสร้างวิดีโอในโลกแห่งความเป็นจริงสำหรับโมเดลภาษาวิชั่นตามการขับขี่อัตโนมัติ arXiv 2024.8 [กระดาษ]
• [ Drive-OccWorld ] การขับรถในโลกแห่งการครอบครอง: การพยากรณ์และการวางแผนอัตราการเข้าพัก 4 มิติที่เน้นวิสัยทัศน์ผ่านแบบจำลองโลกสำหรับการขับขี่อัตโนมัติ arXiv 2024.8 [กระดาษ]
• BEVWorld : โมเดลโลกหลายรูปแบบสำหรับการขับขี่อัตโนมัติผ่าน Unified BEV Latent Space arXiv 2024.7 [กระดาษ] [รหัส]
• [ TOKEN ] แปลงโลกเป็นโทเค็นความรู้ระดับวัตถุเพื่อรับมือกับเหตุการณ์หางยาวในการขับขี่อัตโนมัติ arXiv 2024.7 [กระดาษ]
• UMAD : การตรวจจับความผิดปกติระดับ Mask ที่ไม่ได้รับการดูแลสำหรับการขับขี่แบบอัตโนมัติ arXiv 2024.6 [กระดาษ]
• SimGen : การสร้างฉากการขับขี่ที่มีเงื่อนไขจำลอง arXiv 2024.6 [กระดาษ] [รหัส]
• [ AdaptiveDriver ] การวางแผนด้วยโมเดล Adaptive World สำหรับการขับขี่อัตโนมัติ arXiv 2024.6 [กระดาษ] [รหัส]
• [ กฎหมาย ] การเพิ่มประสิทธิภาพการขับขี่อัตโนมัติแบบ End-to-End ด้วยโมเดลโลกแฝง arXiv 2024.6 [กระดาษ] [รหัส]
• [ Delphi ] ปลดปล่อยลักษณะทั่วไปของการขับขี่อัตโนมัติแบบครบวงจรด้วยการสร้างวิดีโอขนาดยาวที่ควบคุมได้ arXiv 2024.6 [กระดาษ] [รหัส]
• OccSora : โมเดลการสร้างอัตราการเข้าพัก 4 มิติเป็นเครื่องจำลองโลกสำหรับการขับขี่อัตโนมัติ arXiv 2024.5 [กระดาษ] [รหัส]
• MagicDrive3D : การสร้าง 3D ที่ควบคุมได้สำหรับการเรนเดอร์ทุกมุมมองในฉากบนท้องถนน arXiv 2024.5 [กระดาษ] [รหัส]
• CarDreamer : แพลตฟอร์มการเรียนรู้แบบโอเพ่นซอร์สสำหรับการขับขี่อัตโนมัติแบบโลก arXiv 2024.5 [กระดาษ] [รหัส]
• [ DriveSim ] ทดลอง Multimodal LLMs ให้เป็นแบบจำลองระดับโลกสำหรับการขับขี่ arXiv 2024.5 [กระดาษ] [รหัส]
• LidarDM : การจำลอง LiDAR เชิงสร้างสรรค์ในโลกที่สร้างขึ้น arXiv 2024.4 [กระดาษ] [รหัส]
• SubjectDrive : การปรับขนาดข้อมูลทั่วไปในการขับขี่อัตโนมัติผ่านการควบคุมหัวเรื่อง arXiv 2024.3 [กระดาษ] [โครงการ]
• DriveDreamer-2 : โมเดลโลกที่ได้รับการปรับปรุง LLM สำหรับการสร้างวิดีโอการขับขี่ที่หลากหลาย arXiv 2024.3 [กระดาษ] [รหัส]

2023

• TrafficBots : สู่โมเดลโลกสำหรับการจำลองการขับขี่อัตโนมัติและการทำนายการเคลื่อนไหว ICRA 2023 [กระดาษ] [รหัส]
• WoVoGen : การกระจายการรับรู้ปริมาณทั่วโลกสำหรับการสร้างฉากการขับขี่ด้วยกล้องหลายตัวที่ควบคุมได้ arXiv 2023.12 [กระดาษ] [รหัส]
• [ CTT ] หม้อแปลงจราจรแบบแบ่งหมวดหมู่: การทำนายพฤติกรรมที่เข้าใจได้และหลากหลายด้วยโทเค็นแฝง arXiv 2023.11 [กระดาษ]
• MUVO : โมเดลโลก Multimodal Generative สำหรับการขับขี่อัตโนมัติพร้อมการนำเสนอทางเรขาคณิต arXiv 2023.11 [กระดาษ]
• GAIA-1 : โมเดลโลกเจนเนอเรชั่นสำหรับการขับขี่อัตโนมัติ arXiv 2023.9 ​​[กระดาษ]
• ADriver-I : โมเดลโลกทั่วไปสำหรับการขับขี่อัตโนมัติ arXiv 2023.9 ​​[กระดาษ]
• UniWorld : การฝึกอบรมเบื้องต้นเกี่ยวกับการขับขี่อัตโนมัติผ่าน World Models arXiv 2023.8 [กระดาษ] [รหัส]

2022

• [ ไมล์ ] การเรียนรู้การเลียนแบบตามแบบจำลองสำหรับการขับขี่ในเมือง NeurIPS 2022 [กระดาษ] [รหัส]
• Iso-Dream : การแยกและการใช้ประโยชน์จากพลศาสตร์การมองเห็นที่ไม่สามารถควบคุมได้ในแบบจำลองโลก NeurIPS 2022 Spotlight [กระดาษ] [รหัส]
• Symphony : การเรียนรู้ตัวแทนที่สมจริงและหลากหลายสำหรับการจำลองการขับขี่อัตโนมัติ ICRA 2022 [กระดาษ]
• การเรียนรู้การเลียนแบบตามแบบจำลองตามลำดับชั้นเพื่อการวางแผนในการขับขี่อัตโนมัติ IROS 2022 [กระดาษ]
• [ SEM2 ] เพิ่มประสิทธิภาพตัวอย่างและความทนทานของการขับขี่อัตโนมัติในเมืองแบบ end-to-end ผ่านโมเดล Semantic Masked World NeurIPS 2022 workshop [กระดาษ]

กระดาษโมเดลโลกอื่น ๆ

2025

• แพลตฟอร์มโมเดลมูลนิธิ Cosmos World สำหรับ AI ทางกายภาพ NVIDIA [กระดาษ] [รหัส]

2024

• [ SMAC ] คำตอบที่มีเหตุผลสำหรับปัญหาการตัดสินใจแบบหลายตัวแทนผ่านโมเดล Generative World NeurIPS 2024 [กระดาษ]

• [ CoWorld ] การสร้าง RL ออฟไลน์ออนไลน์: โมเดลโลกที่ทำงานร่วมกันเพื่อการเรียนรู้การเสริมแรงด้วยภาพออฟไลน์ NeurIPS 2024 [กระดาษ] [เว็บไซต์] [รหัสไฟฉาย]

• [ เพชร ] การแพร่กระจายสำหรับการสร้างแบบจำลองโลก: รายละเอียดภาพมีความสำคัญใน Atari NeurIPS 2024 [กระดาษ] [รหัส]

• PIVOT-R : โมเดลโลกที่รับรู้ถึงจุดอ้างอิงที่ขับเคลื่อนด้วยดั้งเดิมสำหรับการจัดการด้วยหุ่นยนต์ NeurIPS 2024 [กระดาษ]

• [ MUN ] โมเดลการเรียนรู้โลกสำหรับการนำทางตามเป้าหมายที่ไม่มีข้อจำกัด NeurIPS 2024 [กระดาษ] [รหัส]

• VidMan : การใช้ประโยชน์จากไดนามิกโดยนัยจากโมเดลการแพร่กระจายวิดีโอเพื่อการจัดการหุ่นยนต์อย่างมีประสิทธิภาพ NeurIPS 24 [กระดาษ]

• โมเดลโลกที่ปรับเปลี่ยนได้ : พฤติกรรมการเรียนรู้ด้วยจินตนาการแฝงภายใต้สภาวะไม่อยู่กับที่ NeurIPSW 2024 [กระดาษ]

• การเกิดขึ้นของแบบจำลองโลกโดยนัยจากตัวแทนมนุษย์ NeurIPSW 2024 [กระดาษ]

• การเป็นตัวแทนโลกเชิงสาเหตุในโมเดล GPT NeurIPSW 2024 [กระดาษ]

• PreLAR : การฝึกอบรมล่วงหน้าโมเดลโลกพร้อมการนำเสนอการดำเนินการที่เรียนรู้ได้ ECCV 2024 [กระดาษ] [รหัส]

• [ CWM ] ทำความเข้าใจพลวัตทางกายภาพด้วยการสร้างแบบจำลองโลกที่ขัดแย้งกับความเป็นจริง ECCV 2024 [กระดาษ] [รหัส]

• ManiGaussian : Dynamic Gaussian Splatting สำหรับการจัดการหุ่นยนต์หลายงาน ECCV 2024 [กระดาษ] [รหัส]

• [ DWL ] การเคลื่อนที่แบบมนุษย์ที่ล้ำหน้า: การเรียนรู้ภูมิประเทศที่ท้าทายด้วยการเรียนรู้โมเดลโลกแบบ Denoising RSS 2024 (Best Paper Award Finalist) [กระดาษ]

• [ LLM-Sim ] โมเดลภาษาสามารถใช้เป็นเครื่องจำลองโลกแบบข้อความได้หรือไม่ ACL [กระดาษ] [รหัส]

• RoboDreamer : การเรียนรู้แบบจำลองโลกเชิงองค์ประกอบสำหรับจินตนาการของหุ่นยนต์ ICML 2024 [กระดาษ] [รหัส]

• [ Δ-IRIS ] โมเดลโลกที่มีประสิทธิภาพพร้อมโทเค็นการรับรู้บริบท ICML 2024 [กระดาษ] [รหัส]

• AD3 : การกระทำโดยปริยายเป็นกุญแจสำคัญสำหรับโมเดลโลกในการแยกแยะสิ่งรบกวนสายตาที่หลากหลาย ICML 2024 [กระดาษ]

• ลำดับชั้น : จินตนาการเชิงลำดับชั้นเกี่ยวกับแบบจำลองโลกลำดับอวกาศที่มีโครงสร้างของรัฐ ICML 2024 [กระดาษ]

• [ HRSSM ] การเรียนรู้การนำเสนอแบบไดนามิกที่แข็งแกร่งแบบแฝงสำหรับโมเดลโลก ICML 2024 [กระดาษ] [รหัส]

• HarmonyDream : การประสานงานภายในโมเดลโลก ICML 2024 [กระดาษ] [รหัส]

• [ REM ] การปรับปรุงโมเดลโลกที่ใช้โทเค็นพร้อมการคาดการณ์การสังเกตแบบขนาน ICML 2024 [กระดาษ] [รหัส]

• โมเดล Transformer World ให้การไล่ระดับนโยบายที่ดีกว่าหรือไม่ ICML 2024 [กระดาษ]

• TD-MPC2 : โมเดลโลกที่แข็งแกร่งและปรับขนาดได้เพื่อการควบคุมอย่างต่อเนื่อง ICLR 2024 [กระดาษ] [รหัสคบเพลิง]

• DreamSmooth : การปรับปรุงการเรียนรู้การเสริมแรงตามแบบจำลองผ่านการให้รางวัลที่ราบรื่น ICLR 2024 [กระดาษ]

• [ R2I ] การเรียนรู้งานหน่วยความจำด้วยโมเดลโลก ICLR 2024 [กระดาษ] [รหัส JAX]

• MAMBA : แนวทางแบบจำลองโลกที่มีประสิทธิผลสำหรับการเรียนรู้แบบเสริมเมตาดาต้า ICLR 2024 [กระดาษ] [รหัส]

• การเรียนรู้กองเรือหุ่นยนต์เชิงโต้ตอบแบบหลายงานด้วยโมเดล Visual World CoRL 2024 [กระดาษ] [รหัส]

• สู่แบบจำลองโลกที่ตีความได้ทางกายภาพ : การแสดงแทนที่มีการควบคุมดูแลอย่างอ่อนแอที่มีความหมายสำหรับการทำนายวิถีการมองเห็น arXiv 2024.12 [กระดาษ]

• ความฝันที่จะจัดการ : โมเดลโลกเชิงองค์ประกอบเสริมพลังการเรียนรู้การเลียนแบบหุ่นยนต์ด้วยจินตนาการ arXiv 2024.12 [กระดาษ] [โครงการ]

• Transformers ใช้โมเดล Causal World ในงานแก้เขาวงกต arXiv 2024.12 [กระดาษ]

• Owl-1 : โมเดล Omni World สำหรับการสร้างวิดีโอขนาดยาวที่สม่ำเสมอ arXiv 2024.12 [กระดาษ] [รหัส]

• StoryWeaver : โมเดลโลกที่เป็นหนึ่งเดียวสำหรับการปรับแต่งตัวละครเรื่องราวที่เสริมความรู้ arXiv 2024.12 [กระดาษ] [รหัส]

• SimuDICE : การเพิ่มประสิทธิภาพนโยบายออฟไลน์ผ่านการอัปเดตโมเดลโลกและการประมาณค่า DICE BNAIC 2024 [กระดาษ]

• การสำรวจแบบมีขอบเขตด้วยความไม่แน่นอนของแบบจำลองโลกในอัลกอริทึมการเรียนรู้การเสริมกำลังนักแสดง-นักวิจารณ์แบบอ่อน arXiv 2024.12 [กระดาษ]

• Genie 2 : แบบจำลองโลกรากฐานขนาดใหญ่ 2024.12 Google DeepMind [บล็อก]

• [ NWM ] โมเดลโลกการนำทาง arXiv 2024.12 Yann LeCun [กระดาษ] [โครงการ]

• The Matrix : การสร้างโลกที่ขอบฟ้าไม่มีที่สิ้นสุดพร้อมการควบคุมการเคลื่อนไหวแบบเรียลไทม์ arXiv 2024.12 [กระดาษ] [โครงการ]

• Motion Prompting : การควบคุมการสร้างวิดีโอด้วยวิถีการเคลื่อนที่ arXiv 2024.12 [กระดาษ] [โครงการ]

• เจนเนอเรชั่น เวิลด์ เอ็กซ์พลอเรอร์ arXiv 2024.11 [กระดาษ] [โครงการ]

• [ WebDreamer ] LLM ของคุณคือโมเดลโลกของอินเทอร์เน็ตอย่างลับๆ หรือไม่? การวางแผนตามโมเดลสำหรับตัวแทนเว็บ arXiv 2024.11 [กระดาษ] [รหัส]

• WHALE : สู่แบบจำลองโลกที่สามารถปรับขนาดได้ทั่วไปและปรับขนาดได้สำหรับการตัดสินใจที่เป็นตัวเป็นตน arXiv 2024.11 [กระดาษ]

• DINO-WM : โมเดลโลกเกี่ยวกับฟีเจอร์ภาพที่ได้รับการฝึกอบรมล่วงหน้าช่วยให้สามารถวางแผน Zero-shot ได้ arXiv 2024.11 Yann LeCun [กระดาษ]

• กฎหมายการปรับขนาดสำหรับตัวแทนการฝึกอบรมล่วงหน้าและแบบจำลองโลก arXiv 2024.11 [กระดาษ]

• [ Phyworld ] การสร้างวิดีโอจากแบบจำลองโลกนั้นอยู่ไกลแค่ไหน: มุมมองด้านกฎหมายกายภาพ arXiv 2024.11 [กระดาษ] [โครงการ]

• IGOR : การแสดง Image-GOal คือหน่วยควบคุมอะตอมสำหรับโมเดลพื้นฐานใน AI ที่เป็นตัวเป็นตน arXiv 2024.10 [กระดาษ] [โครงการ]

• EVA : แบบจำลองโลกที่เป็นตัวเป็นตนสำหรับการรอคอยวิดีโอในอนาคต arXiv 2024.10 [กระดาษ]

• VisualPredicator : การเรียนรู้แบบจำลองโลกเชิงนามธรรมด้วยภาคแสดงสัญลักษณ์ประสาทสำหรับการวางแผนหุ่นยนต์ arXiv 2024.10 [กระดาษ]

• [ LLMCWM ] ตัวแทนภาษาพบกับความเป็นเหตุเป็นผล - การเชื่อมโยง LLM และแบบจำลองโลกเชิงสาเหตุ arXiv 2024.10 [กระดาษ] [รหัส]

• โมเดลโลกที่ปราศจากรางวัลสำหรับการเรียนรู้การเลียนแบบออนไลน์ arXiv 2024.10 [กระดาษ]

• ตัวแทนเว็บพร้อมโมเดลโลก : การเรียนรู้และการใช้ประโยชน์จากพลวัตของสภาพแวดล้อมในการนำทางเว็บ arXiv 2024.10 [กระดาษ]

• [ GLIMO ] การสร้างโมเดลภาษาขนาดใหญ่ในสภาพแวดล้อมที่เป็นตัวเป็นตนด้วยโมเดลโลกที่ไม่สมบูรณ์ arXiv 2024.10 [กระดาษ]

• AVID : การปรับโมเดลการแพร่กระจายวิดีโอให้เข้ากับโมเดลโลก arXiv 2024.10 [กระดาษ] [รหัส]

• [ WMP ] การรับรู้ตามแบบจำลองของโลกสำหรับการเคลื่อนไหวด้วยสายตา arXiv 2024.9 [กระดาษ] [โครงการ]

• [ OSWM ] โมเดลโลกนัดเดียวโดยใช้หม้อแปลงไฟฟ้าที่ได้รับการฝึกฝนบนแผ่นสังเคราะห์ arXiv 2024.9 [กระดาษ]

• R-AIF : การแก้ปัญหางานหุ่นยนต์แบบกระจัดกระจายจากพิกเซลด้วยการอนุมานแบบแอคทีฟและโมเดลโลก arXiv 2024.9 [กระดาษ]

• การแสดงข้อมูลตำแหน่งในแบบจำลองโลกกำเนิดสำหรับการจัดการวัตถุ arXiv 2024.9 [กระดาษ]

• การสร้างโมเดลภาษาขนาดใหญ่ให้เป็นโมเดลระดับโลกด้วยความรู้เบื้องต้นและเอฟเฟกต์ arXiv 2024.9 [กระดาษ]

• DexSim2Real$^2$ : การสร้างแบบจำลองโลกที่ชัดเจนสำหรับการจัดการวัตถุที่ชัดแจ้งอย่างแม่นยำ arXiv 2024.9 [กระดาษ]

• การสำรวจที่มีประสิทธิภาพและการเรียนรู้แบบจำลองโลกแบบแบ่งแยกด้วยนามธรรมที่มีวัตถุเป็นศูนย์กลาง arXiv 2024.8 [กระดาษ]

• [ MoReFree ] โมเดลโลกเพิ่มความเป็นอิสระในการเรียนรู้แบบเสริมกำลัง arXiv 2024.8 [กระดาษ] [โครงการ]

• UrbanWorld : โมเดลโลกเมืองสำหรับการสร้างเมือง 3 มิติ arXiv 2024.7 [กระดาษ]

• PWM : การเรียนรู้เชิงนโยบายด้วยแบบจำลองโลกกว้าง arXiv 2024.7 [กระดาษ] [รหัส]

• การทำนายกับการแสดง : การแลกเปลี่ยนระหว่างการสร้างแบบจำลองโลกและการสร้างแบบจำลองตัวแทน arXiv 2024.7 [กระดาษ]

• [ GenRL ] แบบจำลองโลกของมูลนิธิหลายรูปแบบสำหรับตัวแทนทั่วไป arXiv 2024.6 [กระดาษ] [รหัส]

• [ DLLM ] โมเดลโลกพร้อมคำแนะนำเกี่ยวกับโมเดลภาษาขนาดใหญ่เพื่อการบรรลุเป้าหมาย arXiv 2024.6 [กระดาษ]

• แผนที่ความรู้ความเข้าใจสำหรับโมเดลภาษา: การวางแผนที่เหมาะสมที่สุดผ่านการเป็นตัวแทนโมเดลโลกด้วยวาจา arXiv 2024.6 [กระดาษ]

• CityBench : การประเมินความสามารถของโมเดลภาษาขนาดใหญ่ให้เป็นโมเดลโลก arXiv 2024.6 [กระดาษ] [รหัส]

• CoDreamer : โมเดลโลกที่กระจายอำนาจตามการสื่อสาร arXiv 2024.6 [กระดาษ]

• [ EBWM ] แบบจำลองโลกที่ใช้พลังงานจากแรงบันดาลใจทางปัญญา arXiv 2024.6 [กระดาษ]

• การประเมินแบบจำลองโลกโดยนัยในแบบจำลองเชิงกำเนิด arXiv 2024.6 [กระดาษ] [รหัส]

• หม้อแปลงและการเข้ารหัสสล็อตสำหรับการสร้างแบบจำลองโลกทางกายภาพที่มีประสิทธิภาพตัวอย่าง arXiv 2024.5 [กระดาษ] [รหัส]

• [ Puppeteer ] โมเดลโลกแบบลำดับชั้นในฐานะตัวควบคุมฮิวแมนนอยด์ทั้งร่างกายที่มองเห็นได้ arXiv 2024.5 Yann LeCun [กระดาษ] [รหัส]

• โมเดล BWArea : โมเดลโลกแห่งการเรียนรู้ ไดนามิกแบบผกผัน และนโยบายสำหรับการสร้างภาษาที่ควบคุมได้ arXiv 2024.5 [กระดาษ]

• แพนโดร่า : มุ่งสู่โมเดลโลกทั่วไปด้วยการกระทำทางภาษาธรรมชาติและสถานะวิดีโอ [กระดาษ] [รหัส]

• [ WKM ] การวางแผนตัวแทนด้วยโมเดลความรู้ระดับโลก arXiv 2024.5 [กระดาษ] [รหัส]

• นิวตัน ™ – แบบจำลองพื้นฐานตัวแรกสำหรับการทำความเข้าใจโลกทางกายภาพ Archetype AI [บล็อก]

• แข่งขันและเขียน : เรียนรู้กลไกอิสระสำหรับโมเดลโลกโมดูลาร์ arXiv 2024.4 [กระดาษ]

• MagicTime : โมเดลการสร้างวิดีโอแบบไทม์แลปส์เป็นเครื่องจำลองการเปลี่ยนแปลง arXiv 2024.4 [กระดาษ] [รหัส]

• ความฝันของหลายโลก : การเรียนรู้แบบจำลองโลกตามบริบทช่วยในการสรุปภาพรวมแบบ Zero-Shot arXiv 2024.3 [กระดาษ] [รหัส]

• ManiGaussian : Dynamic Gaussian Splatting สำหรับการจัดการหุ่นยนต์หลายงาน arXiv 2024.3 [กระดาษ] [รหัส]

• V-JEPA : การฝังสถาปัตยกรรมการคาดการณ์ร่วมวิดีโอ Meta AI Yann LeCun [บล็อก] [กระดาษ] [รหัส]

• [ IWM ] การเรียนรู้และการใช้ประโยชน์จากโมเดลโลกในการเรียนรู้การแสดงภาพ Meta AI [กระดาษ]

• Genie : สภาพแวดล้อมเชิงโต้ตอบเชิงสร้างสรรค์ DeepMind [กระดาษ] [บล็อก]

• [ โซระ ] โมเดลการสร้างวิดีโอเป็นเครื่องจำลองโลก OpenAI [รายงานทางเทคนิค]

• [ LWM ] โมเดลระดับโลกเกี่ยวกับวิดีโอและภาษาที่มีความยาวล้านล้านพร้อม RingAttention arXiv 2024.2 [กระดาษ] [รหัส]

• การวางแผนด้วยชุดโมเดลโลก OpenReview [กระดาษ]

• WorldDreamer : สู่โมเดลโลกทั่วไปสำหรับการสร้างวิดีโอผ่านการทำนายโทเค็นที่สวมหน้ากาก arXiv 2024.1 [กระดาษ] [รหัส]

2023

• [ IRIS ] หม้อแปลงไฟฟ้าเป็นตัวอย่างโมเดลระดับโลกที่มีประสิทธิภาพ ICLR 2023 Oral [กระดาษ] [รหัสไฟฉาย]
• STORM : โมเดลโลกที่ใช้หม้อแปลงสุ่มที่มีประสิทธิภาพสำหรับการเรียนรู้แบบเสริมแรง NIPS 2023 [กระดาษ] [รหัสไฟฉาย]
• [ TWM ] โมเดลโลกที่ใช้ Transformer พอใจกับการโต้ตอบ 100,000 ครั้ง ICLR 2023 [กระดาษ] [รหัสคบเพลิง]
• [ Dynalang ] การเรียนรู้ที่จะสร้างแบบจำลองโลกด้วยภาษา arXiv 2023.8 [กระดาษ] [รหัส JAX]
• [ DreamerV3 ] การเรียนรู้ Atari ด้วย Discrete World Models arXiv 2023.1 [กระดาษ] [รหัส JAX] [รหัสไฟฉาย]

2022

• [ TD-MPC ] การเรียนรู้ความแตกต่างชั่วขณะสำหรับการควบคุมการทำนายแบบจำลอง ICML 2022 [กระดาษ] [รหัสไฟฉาย]
• DreamerPro : การเรียนรู้การเสริมแรงตามแบบจำลองโดยไม่ต้องสร้างใหม่พร้อมการนำเสนอต้นแบบ ICML 2022 [กระดาษ] [รหัส TF]
• DayDreamer : โมเดลโลกสำหรับการเรียนรู้หุ่นยนต์ทางกายภาพ CoRL 2022 [กระดาษ] [รหัส TF]
• การวางแผนเชิงลึกจากพิกเซล NIPS 2022 [กระดาษ] [รหัส TF]
• Iso-Dream : การแยกและการใช้ประโยชน์จากพลศาสตร์การมองเห็นที่ไม่สามารถควบคุมได้ในแบบจำลองโลก NIPS 2022 Spotlight [กระดาษ] [รหัสไฟฉาย]
• DreamingV2 : การเรียนรู้แบบเสริมกำลังด้วยแบบจำลองโลกแยกโดยไม่ต้องสร้างใหม่ arXiv 2022.3 [กระดาษ]

2021

• [ DreamerV2 ] การเรียนรู้ Atari ด้วยโมเดล Discrete World ICLR 2021 [กระดาษ] [รหัส TF] [รหัสไฟฉาย]
• ความฝัน : การเรียนรู้การเสริมกำลังตามแบบจำลองด้วยจินตนาการแฝงโดยไม่ต้องสร้างใหม่ ICRA 2021 [กระดาษ]

2020

• [ DreamerV1 ] ความฝันที่ต้องควบคุม: พฤติกรรมการเรียนรู้ด้วยจินตนาการแฝง ICLR 2020 [กระดาษ] [รหัส TF] [รหัสไฟฉาย]
• [ Plan2Explore ] การวางแผนในการสำรวจผ่านโมเดลโลกที่มีการดูแลตนเอง ICML 2020 [กระดาษ] [รหัส TF] [รหัสไฟฉาย]

2018

• โมเดลโลก. NIPS 2018 Oral [กระดาษ]