Awesome World Model下载 - Awesome World Model源码下载

Awesome World Model

Ai源码

1.0.0

下载

令人惊叹的自动驾驶世界模型

收集一些世界模型（自动驾驶）论文。

如果您发现一些被忽略的论文，请随时创建拉取请求、开放问题或给我/ Qi Wang发送电子邮件。欢迎以任何形式做出贡献以使此列表更加全面。

如果您发现此存储库有用，请考虑给我们一颗星？。

请随意与其他人分享此列表！ ???

工作坊与挑战

CVPR 2024 Workshop & Challenge | OpenDriveLab轨道 #4：预测世界模型。
世界模型作为现实的抽象时空表示，可以根据当前状态预测未来状态。世界模型的学习过程有可能将预训练的基础模型提升到一个新的水平。给定仅视觉输入，神经网络在未来输出点云，以证明其对世界的预测能力。
CVPR 2023 Workshop on Autonomous Driving挑战 3：ARGOVERSE 挑战，使用 Argoverse 2 传感器数据集进行 3D 占用预测。预测未来 3 秒世界的时空占用情况。

文件

世界模型原纸

使用占用网格进行移动机器人感知和导航 [论文]

技术博客或视频

Yann LeCun ：通往自主机器智能的道路 [论文] [视频]
CVPR'23 WAD主题演讲 - Ashok Elluswamy，特斯拉 [视频]
Wayve推出 GAIA-1：尖端的自主生成人工智能模型 [博客]
世界模型是预测接下来可能发生的事情的能力的基础，这对于自动驾驶至关重要。它们可以充当学习模拟器，或者用于基于模型的强化学习 (RL) 或规划的心理“假设”思维实验。通过将世界模型纳入我们的驾驶模型中，我们可以使它们更好地理解人类决策，并最终推广到更真实的情况。

民意调查

自动驾驶多模态大语言模型调查。 WACVW 2024 [论文] [代码]
世界模型：安全视角。 ISSREW [纸
理解世界还是预测未来？世界模型的综合调查。 arXiv 2024.11 [论文]
探索自动驾驶中视频生成与世界模型之间的相互作用：一项调查。 arXiv 2024.11 [论文]
将网络空间与物理世界结合起来：对嵌入式人工智能的全面调查。 arXiv 2024.7 [论文] [代码]
Sora是世界模拟器吗？对一般世界模型及其他模型的全面调查。 arXiv 2024.5 [论文] [代码]
自动驾驶的世界模型：初步调查。 2024.3, arxiv [论文]

2024年

[ SEM2 ]通过语义屏蔽世界模型提高端到端城市自动驾驶的样本效率和鲁棒性。 TITS [纸]
Vista ：具有高保真度和多功能可控性的通用驾驶世界模型。 NeurIPS 2024 [论文] [代码]
DrivingDojo 数据集：推进交互式和知识丰富的驾驶世界模型。 NeurIPS 2024 [论文] [项目]
Think2Drive ：通过准现实自动驾驶潜在世界模型中的思考进行高效强化学习。 ECCV 2024 [论文]
[ MARL-CCE ] 生成世界模型下自动驾驶竞争行为建模。 ECCV 2024 [论文] [代码]
DriveDreamer ：迈向现实世界驱动的自动驾驶世界模型。 ECCV 2024 [论文] [代码]
GenAD ：生成式端到端自动驾驶。 ECCV 2024 [论文] [代码]
OccWorld ：学习自动驾驶的 3D 占用世界模型。 ECCV 2024 [论文] [代码]
[ NeMo ] 自动驾驶的神经体积世界模型。 ECCV 2024 [论文]
CarFormer ：通过学习的以对象为中心的表示进行自动驾驶。 ECCV 2024 [论文] [代码]
[ MARL-CCE ] 生成世界模型下自主驾驶竞争行为建模。 ECCV 2024 [代码]
[ GUMP ] 使用可扩展的生成模型解决运动规划任务。 ECCV 2024 [论文] [代码]
DrivingDiffusion ：具有潜在扩散模型的布局引导多视图驾驶场景视频生成。 ECCV 2024 [论文] [代码]
3D-VLA ：3D 视觉-语言-动作生成世界模型。 ICML 2024 [论文]
[ ViDAR ] 视觉点云预测支持可扩展的自动驾驶。 CVPR 2024 [论文] [代码]
[ GenAD ] 自动驾驶广义预测模型。 CVPR 2024 [论文] [数据]
Cam4DOCC ：自动驾驶应用中仅使用摄像头的 4D 占用预测基准。 CVPR 2024 [论文] [代码]
[ Drive-WM ] 驶向未来：利用自动驾驶世界模型进行多视角视觉预测和规划。 CVPR 2024 [论文] [代码]
DriveWorld ：通过自动驾驶世界模型进行 4D 预训练场景理解。 CVPR 2024 [论文]
万能药：自动驾驶的全景可控视频生成。 CVPR 2024 [论文] [代码]
UnO ：用于感知和预测的无监督占用场。 CVPR 2024 [论文] [代码]
MagicDrive ：具有多种 3D 几何控制的街景生成。 ICLR 2024 [论文] [代码]
Copilot4D ：通过离散扩散学习自动驾驶的无监督世界模型。 ICLR 2024 [论文]
SafeDreamer ：使用世界模型进行安全强化学习。 ICLR 2024 [论文] [代码]
DrivingWorld ：通过视频 GPT 构建自动驾驶世界模型。 arXiv 2024.12 [论文] [代码]
DrivingGPT ：通过多模态自回归变压器统一驾驶世界建模和规划。 arXiv 2024.12 [论文] [项目]
通过解耦动态流和图像辅助训练的高效占用世界模型。 arXiv 2024.12 [论文]
GEM ：一种可推广的自我视觉多模态世界模型，用于细粒度自我运动、对象动力学和场景合成控制。 arXiv 2024.12 [论文] [项目]
GaussianWorld ：用于流式 3D 占用预测的高斯世界模型。 arXiv 2024.12 [论文] [代码]
Doe-1 ：具有大世界模型的闭环自动驾驶。 arXiv 2024.12 [论文] [代码]
[ DrivePhysica ] 物理知情驾驶世界模型。 arXiv 2024.12 [论文] [代码]
HoloDrive ：用于自动驾驶的整体 2D-3D 多模式街道场景生成。 arXiv 2024.12 [论文]
InfinityDrive ：打破驾驶世界模型的时间限制。 arXiv 2024.12 [论文] [项目页面]
ReconDreamer ：通过在线恢复制作用于驾驶场景重建的世界模型。 arXiv 2024.11 [论文] [代码]
使用语言模型生成分布外场景。 arXiv 2024.11 [论文]
Imagine-2-Drive ：CARLA 中自动驾驶汽车的高保真世界建模。 arXiv 2024.11 [论文] [项目页面]
WorldSimBench ：将视频生成模型作为世界模拟器。 arXiv 2024.10 [论文] [项目页面]
DriveDreamer4D ：世界模型是 4D 驾驶场景表示的有效数据机。 arXiv 2024.10 [论文] [项目页面]
DOME ：将扩散模型驯服为高保真可控占用世界模型。 arXiv 2024.10 [论文] [项目页面]
[ SSR ] 端到端自动驾驶真的需要感知任务吗？ arXiv 2024.9 [论文] [代码]
使用潜在空间生成世界模型减轻自动驾驶汽车模仿学习中的协变量变化。 arXiv 2024.9 [论文]
[ LatentDriver ] 从自动驾驶中的潜在世界模型学习多个概率决策。 arXiv 2024.9 [论文] [代码]
RenderWorld ：具有自监督 3D 标签的世界模型。 arXiv 2024.9 [论文]
OccLLaMA ：自动驾驶的占用-语言-动作生成世界模型。 arXiv 2024.9 [论文]
DriveGenVLM ：基于视觉语言模型的自动驾驶的真实视频生成。 arXiv 2024.8 [论文]
[ Drive-OccWorld ] 在占用世界中驾驶：通过自动驾驶世界模型进行以视觉为中心的 4D 占用预测和规划。 arXiv 2024.8 [论文]
BEVWorld ：通过统一 BEV 潜在空间实现自动驾驶的多模式世界模型。 arXiv 2024.7 [论文] [代码]
[ TOKEN ] 将世界标记为对象级知识，以解决自动驾驶中的长尾事件。 arXiv 2024.7 [论文]
UMAD ：用于自动驾驶的无监督掩模级异常检测。 arXiv 2024.6 [论文]
SimGen ：模拟器条件下的驾驶场景生成。 arXiv 2024.6 [论文] [代码]
[ AdaptiveDriver ] 使用自适应世界模型进行自动驾驶规划。 arXiv 2024.6 [论文] [代码]
[法律]利用潜在世界模型增强端到端自动驾驶。 arXiv 2024.6 [论文] [代码]
[德尔福]通过可控长视频生成释放端到端自动驾驶的通用化。 arXiv 2024.6 [论文] [代码]
OccSora ：4D 占用生成模型作为自动驾驶的世界模拟器。 arXiv 2024.5 [论文] [代码]
MagicDrive3D ：用于街道场景中任意视图渲染的可控 3D 生成。 arXiv 2024.5 [论文] [代码]
CarDreamer ：基于世界模型的自动驾驶开源学习平台。 arXiv 2024.5 [论文] [代码]
[ DriveSim ] 探索多模式法学硕士作为世界驾驶模型。 arXiv 2024.5 [论文] [代码]
LidarDM ：生成世界中的生成 LiDAR 模拟。 arXiv 2024.4 [论文] [代码]
subjectDrive ：通过主题控制扩展自动驾驶中的生成数据。 arXiv 2024.3 [论文] [项目]
DriveDreamer-2 ：用于生成多样化驾驶视频的法学硕士增强世界模型。 arXiv 2024.3 [论文] [代码]

2023年

TrafficBots ：走向自动驾驶模拟和运动预测的世界模型。 ICRA 2023 [论文] [代码]
WoVoGen ：用于可控多摄像头驾驶场景生成的世界体积感知扩散。 arXiv 2023.12 [论文] [代码]
[ CTT ] 分类流量转换器：具有标记化潜伏的可解释且多样化的行为预测。 arXiv 2023.11 [论文]
MUVO ：具有几何表示的自动驾驶多模态生成世界模型。 arXiv 2023.11 [论文]
GAIA-1 ：自动驾驶的生成世界模型。 arXiv 2023.9 [论文]
ADriver-I ：自动驾驶的通用世界模型。 arXiv 2023.9 [论文]
UniWorld ：通过世界模型进行自动驾驶预训练。 arXiv 2023.8 [论文] [代码]

2022年

[ MILE ] 基于模型的城市驾驶模仿学习。 NeurIPS 2022 [论文] [代码]
Iso-Dream ：在世界模型中隔离和利用不可控的视觉动力学。 NeurIPS 2022 Spotlight [论文] [代码]
Symphony ：学习现实且多样化的自动驾驶模拟代理。 ICRA 2022 [论文]
用于自动驾驶规划的基于分层模型的模仿学习。 IROS 2022 [论文]
[ SEM2 ]通过语义屏蔽世界模型提高端到端城市自动驾驶的样本效率和鲁棒性。 NeurIPS 2022 workshop [论文]

其他世界模型纸

2025年

物理人工智能的Cosmos World 基础模型平台。 NVIDIA [论文] [代码]

2024年

[ SMAC ] 通过生成世界模型解决多智能体决策问题。 NeurIPS 2024 [论文]
[ CoWorld ] 将离线强化学习在线化：离线视觉强化学习的协作世界模型。 NeurIPS 2024 [论文] [网站] [Torch 代码]
[ Diamond ] 世界建模的扩散：Atari 中的视觉细节很重要。 NeurIPS 2024 [论文] [代码]
PIVOT-R ：用于机器人操作的原始驱动的路径点感知世界模型。 NeurIPS 2024 [论文]
[模拟联合国]学习无约束目标导航的世界模型。 NeurIPS 2024 [论文] [代码]
VidMan ：利用视频扩散模型的隐式动力学进行有效的机器人操作。 NeurIPS 24 [论文]
自适应世界模型：非平稳性下通过潜在想象力学习行为。 NeurIPSW 2024 [论文]
来自凡人代理的隐式世界模型的出现。 NeurIPSW 2024 [论文]
GPT 模型中的因果世界表示。 NeurIPSW 2024 [论文]
PreLAR ：具有可学习动作表示的世界模型预训练。 ECCV 2024 [论文] [代码]
[ CWM ] 通过反事实世界建模理解物理动力学。 ECCV 2024 [论文] [代码]
ManiGaussian ：用于多任务机器人操作的动态高斯泼溅。 ECCV 2024 [论文] [代码]
[ DWL ] 推进人形运动：通过去噪世界模型学习掌握具有挑战性的地形。 RSS 2024 (Best Paper Award Finalist) [论文]
[ LLM-Sim ] 语言模型可以作为基于文本的世界模拟器吗？ ACL [论文] [代码]
RoboDreamer ：学习机器人想象力的组合世界模型。 ICML 2024 [论文] [代码]
[ Δ-IRIS ] 具有上下文感知标记化的高效世界模型。 ICML 2024 [论文] [代码]
AD3 ：内隐行动是世界模型区分各种视觉干扰因素的关键。 ICML 2024 [论文]
Hieros ：结构化状态空间序列世界模型的层次想象。 ICML 2024 [论文]
[ HRSSM ] 学习世界模型的潜在动态鲁棒表示。 ICML 2024 [论文] [代码]
HarmonyDream ：世界模型内的任务协调。 ICML 2024 [论文] [代码]
[ REM ] 通过并行观测预测改进基于代币的世界模型。 ICML 2024 [论文] [代码]
Transformer 世界模型能否提供更好的策略梯度？ ICML 2024 [论文]
TD-MPC2 ：用于连续控制的可扩展、稳健的世界模型。 ICLR 2024 [论文] [火炬代码]
DreamSmooth ：通过奖励平滑改进基于模型的强化学习。 ICLR 2024 [论文]
[ R2I ] 使用世界模型掌握记忆任务。 ICLR 2024 [论文] [JAX 代码]
MAMBA ：元强化学习的有效世界模型方法。 ICLR 2024 [论文] [代码]
使用视觉世界模型进行多任务交互式机器人舰队学习。 CoRL 2024 [论文] [代码]
走向物理上可解释的世界模型：用于视觉轨迹预测的有意义的弱监督表示。 arXiv 2024.12 [论文]
操纵梦想：组合世界模型赋予机器人模仿学习与想象力。 arXiv 2024.12 [论文] [项目]
变形金刚在解决迷宫任务中使用因果世界模型。 arXiv 2024.12 [论文]
Owl-1 ：用于一致长视频生成的全方位世界模型。 arXiv 2024.12 [论文] [代码]
StoryWeaver ：用于知识增强的故事角色定制的统一世界模型。 arXiv 2024.12 [论文] [代码]
SimuDICE ：通过世界模型更新和 DICE 估计进行离线策略优化。 BNAIC 2024 [论文]
软演员批评家强化学习算法中世界模型不确定性的有界探索。 arXiv 2024.12 [论文]
Genie 2 ：大型基础世界模型。 2024.12 Google DeepMind [博客]
[ NWM ] 导航世界模型。 arXiv 2024.12 Yann LeCun [论文] [项目]
黑客帝国：具有实时移动控制的无限地平线世界生成。 arXiv 2024.12 [论文] [项目]
运动提示：通过运动轨迹控制视频生成。 arXiv 2024.12 [论文] [项目]
生成世界探索者。 arXiv 2024.11 [论文] [项目]
[ WebDreamer ] 你的LLM是秘密的互联网世界模型吗？基于模型的 Web 代理规划。 arXiv 2024.11 [论文] [代码]
WHALE ：迈向可推广和可扩展的具体决策世界模型。 arXiv 2024.11 [论文]
DINO-WM ：基于预训练视觉特征的世界模型可实现零样本规划。 arXiv 2024.11 Yann LeCun [论文]
预训练代理和世界模型的缩放定律。 arXiv 2024.11 [论文]
[ Phyworld ] 视频生成距世界模型还有多远：物理定律的角度。 arXiv 2024.11 [论文] [项目]
IGOR ：图像目标表示是具体人工智能中基础模型的原子控制单元。 arXiv 2024.10 [论文] [项目]
EVA ：未来视频预期的具体世界模型。 arXiv 2024.10 [论文]
VisualPredicator ：使用神经符号谓词学习抽象世界模型以进行机器人规划。 arXiv 2024.10 [论文]
[ LLMCWM ] 语言代理满足因果关系——桥接法学硕士和因果世界模型。 arXiv 2024.10 [论文] [代码]
在线模仿学习的无奖励世界模型。 arXiv 2024.10 [论文]
具有世界模型的网络代理：学习和利用网络导航中的环境动态。 arXiv 2024.10 [论文]
[ GLIMO ] 在具有不完美世界模型的具体环境中建立大型语言模型。 arXiv 2024.10 [论文]
AVID ：使视频扩散模型适应世界模型。 arXiv 2024.10 [论文] [代码]
[ WMP ] 基于世界模型的视觉腿部运动感知。 arXiv 2024.9 [论文] [项目]
[ OSWM ] 使用在合成先验上训练的 Transformer 的一次性世界模型。 arXiv 2024.9 [论文]
R-AIF ：利用主动推理和世界模型解决像素稀疏奖励机器人任务。 arXiv 2024.9 [论文]
表示对象操作的生成世界模型中的位置信息。 arXiv 2024.9 [论文]
利用前提和效果知识将大型语言模型变成世界模型。 arXiv 2024.9 [论文]
DexSim2Real$^2$ ：为精确铰接物体灵巧操作构建显式世界模型。 arXiv 2024.9 [论文]
以对象为中心的抽象的有效探索和判别世界模型学习。 arXiv 2024.8 [论文]
[ MoReFree ] 世界模型增加了强化学习的自主性。 arXiv 2024.8 [论文] [项目]
UrbanWorld ：3D 城市生成的城市世界模型。 arXiv 2024.7 [论文]
PWM ：利用大世界模型进行政策学习。 arXiv 2024.7 [论文] [代码]
预测与行动：世界建模与代理建模之间的权衡。 arXiv 2024.7 [论文]
[ GenRL ] 通才体现代理的多模式基础世界模型。 arXiv 2024.6 [论文] [代码]
[ DLLM ] 带有用于实现目标的大型语言模型提示的世界模型。 arXiv 2024.6 [论文]
语言模型的认知地图：通过口头表达世界模型进行优化规划。 arXiv 2024.6 [论文]
CityBench ：评估大型语言模型作为世界模型的能力。 arXiv 2024.6 [论文] [代码]
CoDreamer ：基于通信的去中心化世界模型。 arXiv 2024.6 [论文]
[ EBWM ] 认知启发的基于能量的世界模型。 arXiv 2024.6 [论文]
评估生成模型中隐含的世界模型。 arXiv 2024.6 [论文] [代码]
用于示例高效物理世界建模的变压器和插槽编码。 arXiv 2024.5 [论文] [代码]
[ Puppeteer ] 分层世界模型作为视觉全身人形控制器。 arXiv 2024.5 Yann LeCun [论文] [代码]
BWArea 模型：学习世界模型、逆动力学和可控语言生成策略。 arXiv 2024.5 [论文]
潘多拉：走向具有自然语言动作和视频状态的通用世界模型。 [论文] [代码]
[ WKM ] 使用世界知识模型进行代理规划。 arXiv 2024.5 [论文] [代码]
Newton ™ – 用于理解物理世界的首个基础模型。 Archetype AI [博客]
竞争与组合：学习模块化世界模型的独立机制。 arXiv 2024.4 [论文]
MagicTime ：延时视频生成模型作为变形模拟器。 arXiv 2024.4 [论文] [代码]
梦想多个世界：学习情境世界模型有助于零样本泛化。 arXiv 2024.3 [论文] [代码]
ManiGaussian ：用于多任务机器人操作的动态高斯泼溅。 arXiv 2024.3 [论文] [代码]
V-JEPA ：视频联合嵌入预测架构。 Meta AI Yann LeCun [博客] [论文] [代码]
[ IWM ] 在视觉表示学习中学习和利用世界模型。 Meta AI [论文]
Genie ：生成交互环境。 DeepMind [论文] [博客]
[ Sora ] 视频生成模型作为世界模拟器。 OpenAI 【技术报告】
[ LWM ] 使用 RingAttention 实现百万长度视频和语言的世界模型。 arXiv 2024.2 [论文] [代码]
与世界模型集合进行规划。 OpenReview [论文]
WorldDreamer ：通过预测屏蔽令牌实现视频生成的通用世界模型。 arXiv 2024.1 [论文] [代码]