Awesome World Model

자율주행을 위한 멋진 세계 모델

World Models(자율주행용) 논문을 수집하세요.

무시된 논문을 발견한 경우 언제든지 끌어오기 요청을 작성하거나 이슈를 공개하거나 저/ Qi Wang에게 이메일을 보내주세요 . 이 목록을 더욱 포괄적으로 만들기 위한 어떤 형태의 기여도 환영합니다.

이 저장소가 유용하다고 생각되면 별표를 표시해 주세요.

이 목록을 다른 사람들과 자유롭게 공유해 보세요! ???

워크숍 및 챌린지

• CVPR 2024 Workshop & Challenge | OpenDriveLab 트랙 #4: 예측 세계 모델.

  현실의 추상적인 시공간 표현 역할을 하는 세계 모델은 현재 상태를 기반으로 미래 상태를 예측할 수 있습니다. 세계 모델의 학습 과정은 사전 훈련된 기초 모델을 다음 단계로 끌어올릴 수 있는 잠재력을 가지고 있습니다. 비전 전용 입력이 주어지면 신경망은 미래에 포인트 클라우드를 출력하여 세계의 예측 능력을 입증합니다.

• CVPR 2023 Workshop on Autonomous Driving 과제 3: ARGOVERSE 과제, Argoverse 2 센서 데이터세트를 사용한 3D 점유 예측. 다음 3초 동안 세계의 시공간 점유를 예측합니다.

서류

세계모델원지

• 모바일 로봇 인식 및 탐색을 위한 점유 그리드 사용 [논문]

기술 블로그 또는 비디오

• Yann LeCun : 자율 기계 지능을 향한 길 [논문] [비디오]
• CVPR'23 WAD 기조연설 - Ashok Elluswamy, Tesla [비디오]
• Wayve GAIA-1 소개: 자율성을 위한 최첨단 생성 AI 모델 [블로그]

  월드 모델은 다음에 일어날 일을 예측하는 능력의 기초이며, 이는 자율주행에 근본적으로 중요합니다. 학습된 시뮬레이터 역할을 하거나 모델 기반 강화 학습(RL) 또는 계획을 위한 정신적 "만약" 사고 실험 역할을 할 수 있습니다. 세계 모델을 우리의 운전 모델에 통합함으로써 우리는 인간이 인간의 결정을 더 잘 이해하고 궁극적으로 더 실제적인 상황에 일반화할 수 있도록 할 수 있습니다.

조사

• 자율주행을 위한 다중 모드 대형 언어 모델에 대한 조사. WACVW 2024 [논문] [코드]
• 월드 모델: 안전 관점. ISSREW [종이
• 세계를 이해하는가, 미래를 예측하는가? 세계 모델에 대한 종합적인 조사. arXiv 2024.11 [논문]
• 자율 주행에서 비디오 생성과 세계 모델 간의 상호 작용 탐색: 설문조사. arXiv 2024.11 [논문]
• 사이버 공간과 실제 세계의 조화: 구현된 AI에 대한 종합 조사. arXiv 2024.7 [논문] [코드]
• 소라는 월드 시뮬레이터인가요? 일반 세계 모델과 그 이상에 대한 종합적인 조사. arXiv 2024.5 [논문] [코드]
• 자율 주행을 위한 세계 모델: 초기 설문조사. 2024.3, arxiv [논문]

2024년

• [ SEM2 ] 시맨틱 마스크 월드 모델을 통해 엔드투엔드 도시 자율 주행의 샘플 효율성과 견고성을 향상합니다. TITS [종이]
• Vista : 높은 충실도와 다양한 제어 기능을 갖춘 일반화 가능한 드라이빙 월드 모델입니다. NeurIPS 2024 [논문] [코드]
• DrivingDojo 데이터 세트 : 대화형 및 지식이 풍부한 운전 세계 모델을 발전시킵니다. NeurIPS 2024 [논문] [프로젝트]
• Think2Drive : 준현실적인 자율 주행을 위한 잠재 세계 모델을 고려하여 효율적인 강화 학습. ECCV 2024 [논문]
• [ MARL-CCE ] 생성 세계 모델 하에서 자율 주행의 경쟁 행동 모델링. ECCV 2024 [논문] [코드]
• DriveDreamer : 자율 주행을 위한 현실 세계 중심 모델을 향하여. ECCV 2024 [논문] [코드]
• GenAD : 생성적 엔드투엔드 자율주행. ECCV 2024 [논문] [코드]
• OccWorld : 자율주행을 위한 3D Occupancy World 모델 학습. ECCV 2024 [논문] [코드]
• [ NeMo ] 자율 주행을 위한 신경 체적 세계 모델. ECCV 2024 [논문]
• CarFormer : 학습된 객체 중심 표현을 사용한 자율 주행. ECCV 2024 [논문] [코드]
• [ MARL-CCE ] 모델링-경쟁-행동-자율 운전-Under-Generative-World-모델. ECCV 2024 [코드]
• [ GUMP ] 확장 가능한 생성 모델을 사용하여 모션 계획 작업 해결. ECCV 2024 [논문] [코드]
• DrivingDiffusion : 잠재확산 모델을 이용한 레이아웃 기반 멀티뷰 주행 장면 영상 생성. ECCV 2024 [논문] [코드]
• 3D-VLA : 3D 비전-언어-동작 생성 세계 모델. ICML 2024 [논문]
• [ ViDAR ] 시각적 포인트 클라우드 예측은 확장 가능한 자율 주행을 가능하게 합니다. CVPR 2024 [논문] [코드]
• [ GenAD ] 자율주행을 위한 일반화된 예측 모델. CVPR 2024 [논문] [자료]
• Cam4DOCC : 자율 주행 애플리케이션에서 카메라 전용 4D 점유율 예측을 위한 벤치마크입니다. CVPR 2024 [논문] [코드]
• [ Drive-WM ] 미래를 향한 운전: 자율 주행을 위한 세계 모델을 통한 다중 시점 시각적 예측 및 계획. CVPR 2024 [논문] [코드]
• DriveWorld : 자율 주행을 위한 월드 모델을 통한 4D 사전 훈련된 장면 이해. CVPR 2024 [논문]
• Panacea : 자율주행을 위한 파노라마 및 제어 가능한 비디오 생성. CVPR 2024 [논문] [코드]
• UnO : 인식 및 예측을 위한 감독되지 않은 점유 필드입니다. CVPR 2024 [논문] [코드]
• MagicDrive : 다양한 3D 기하학 제어를 통한 스트리트 뷰 생성. ICLR 2024 [논문] [코드]
• Copilot4D : 이산 확산을 통해 자율 주행을 위한 비지도 세계 모델 학습. ICLR 2024 [논문]
• SafeDreamer : 세계 모델을 통한 안전한 강화 학습. ICLR 2024 [논문] [코드]
• DrivingWorld : 비디오 GPT를 통한 자율주행 월드 모델 구축. arXiv 2024.12 [논문] [코드]
• DrivingGPT : 다중 모드 자동 회귀 변환기를 사용하여 운전 세계 모델링 및 계획 통합. arXiv 2024.12 [논문] [프로젝트]
• 분리된 동적 흐름 및 이미지 지원 교육을 통한 효율적인 점유 세계 모델. arXiv 2024.12 [논문]
• GEM : 세분화된 자아 모션, 객체 역학 및 장면 구성 제어를 위한 일반화 가능한 Ego-Vision 다중 모드 세계 모델입니다. arXiv 2024.12 [논문] [프로젝트]
• GaussianWorld : 스트리밍 3D 점유율 예측을 위한 가우스 월드 모델. arXiv 2024.12 [논문] [코드]
• Doe-1 : 넓은 세계 모델을 이용한 폐쇄 루프 자율 주행. arXiv 2024.12 [논문] [코드]
• [ DrivePhysica ] 물리적 정보를 활용한 운전 세계 모델. arXiv 2024.12 [논문] [코드]
• HoloDrive : 자율 주행을 위한 전체적인 2D-3D 다중 모드 거리 장면 생성. arXiv 2024.12 [논문]
• InfinityDrive : 드라이빙 월드 모델의 시간 제한을 깨뜨립니다. arXiv 2024.12 [논문] [프로젝트 페이지]
• ReconDreamer : 온라인 복원을 통해 운전 장면 재구성을 위한 세계 모델 제작. arXiv 2024.11 [논문] [코드]
• 언어 모델을 사용하여 배포되지 않은 시나리오 생성. arXiv 2024.11 [논문]
• Imagine-2-Drive : 자율 주행 차량을 위한 CARLA의 고정밀 세계 모델링. arXiv 2024.11 [논문] [프로젝트 페이지]
• WorldSimBench : 월드 시뮬레이터로서 비디오 생성 모델을 향하여. arXiv 2024.10 [논문] [프로젝트 페이지]
• DriveDreamer4D : 월드 모델은 4D 운전 장면 표현을 위한 효과적인 데이터 머신입니다. arXiv 2024.10 [논문] [프로젝트 페이지]
• DOME : 확산 모델을 충실도가 높고 제어 가능한 점유 세계 모델로 길들이기. arXiv 2024.10 [논문] [프로젝트 페이지]
• [ SSR ] 엔드투엔드 자율주행에는 실제로 인식 작업이 필요한가요? arXiv 2024.9 [논문] [코드]
• 잠재 공간 생성 세계 모델을 사용하여 자율 주행 차량에 대한 모방 학습의 공변량 변화 완화. arXiv 2024.9 [논문]
• [ LatentDriver ] 자율 주행의 잠재 세계 모델에서 다중 확률적 결정 학습. arXiv 2024.9 [논문] [코드]
• RenderWorld : 자체 감독 3D 라벨이 포함된 월드 모델. arXiv 2024.9 [논문]
• OccLLaMA : 자율 주행을 위한 점유-언어-행동 생성 세계 모델. arXiv 2024.9 [논문]
• DriveGenVLM : 비전 언어 모델 기반 자율 주행을 위한 실제 비디오 생성. arXiv 2024.8 [논문]
• [ Drive-OccWorld ] 점유 세계에서의 운전: 자율 주행을 위한 월드 모델을 통한 비전 중심 4D 점유 예측 및 계획. arXiv 2024.8 [논문]
• BEVWorld : 통합 BEV 잠재 공간을 통한 자율 주행을 위한 다중 모드 세계 모델. arXiv 2024.7 [논문] [코드]
• [ TOKEN ] 자율 주행의 롱테일 이벤트를 해결하기 위해 세계를 객체 수준 지식으로 토큰화합니다. arXiv 2024.7 [논문]
• UMAD : 자율주행을 위한 비지도 마스크 수준 이상 탐지. arXiv 2024.6 [논문]
• SimGen : 시뮬레이터 기반 운전 장면 생성. arXiv 2024.6 [논문] [코드]
• [ AdaptiveDriver ] 자율주행을 위한 Adaptive World 모델을 계획합니다. arXiv 2024.6 [논문] [코드]
• [ 법 ] 잠재 세계 모델을 통한 엔드투엔드 자율주행 강화. arXiv 2024.6 [논문] [코드]
• [ Delphi ] 제어 가능한 긴 비디오 생성을 통한 엔드투엔드 자율주행 일반화 촉진. arXiv 2024.6 [논문] [코드]
• OccSora : 자율 주행을 위한 월드 시뮬레이터로서의 4D 점유 생성 모델. arXiv 2024.5 [논문] [코드]
• MagicDrive3D : 거리 장면의 Any-View 렌더링을 위한 제어 가능한 3D 생성. arXiv 2024.5 [논문] [코드]
• CarDreamer : World Model 기반 자율주행을 위한 오픈소스 학습 플랫폼입니다. arXiv 2024.5 [논문] [코드]
• [ DriveSim ] 운전을 위한 세계 모델로서 다중 모드 LLM 조사. arXiv 2024.5 [논문] [코드]
• LidarDM : 생성된 세계에서의 생성적 LiDAR 시뮬레이션. arXiv 2024.4 [논문] [코드]
• SubjectDrive : 주제 제어를 통해 자율 주행에서 생성 데이터 확장. arXiv 2024.3 [논문] [프로젝트]
• DriveDreamer-2 : 다양한 운전 비디오 생성을 위한 LLM 강화 월드 모델. arXiv 2024.3 [논문] [코드]

2023년

• TrafficBots : 자율 주행 시뮬레이션 및 모션 예측을 위한 세계 모델을 향하여. ICRA 2023 [논문] [코드]
• WoVoGen : 제어 가능한 멀티 카메라 운전 장면 생성을 위한 월드 볼륨 인식 확산. arXiv 2023.12 [논문] [코드]
• [ CTT ] 범주형 트래픽 변환기: 토큰화된 잠재성을 통한 해석 가능하고 다양한 행동 예측. arXiv 2023.11 [논문]
• MUVO : 기하학적 표현을 사용한 자율 주행을 위한 다중 모드 생성 세계 모델입니다. arXiv 2023.11 [논문]
• GAIA-1 : 자율 주행을 위한 생성 세계 모델. arXiv 2023.9 ​​[논문]
• ADriver-I : 자율주행을 위한 일반적인 세계 모델. arXiv 2023.9 ​​[논문]
• UniWorld : World Model을 통한 자율주행 사전훈련. arXiv 2023.8 [논문] [코드]

2022년

• [ MILE ] 도심 주행을 위한 모델 기반 모방 학습. NeurIPS 2022 [논문] [코드]
• Iso-Dream : 세계 모델에서 통제할 수 없는 시각적 역동성을 분리하고 활용합니다. NeurIPS 2022 Spotlight [논문] [코드]
• Symphony : 자율주행 시뮬레이션을 위한 현실적이고 다양한 에이전트 학습. ICRA 2022 [논문]
• 자율주행 계획을 위한 계층적 모델 기반 모방 학습. IROS 2022 [논문]
• [ SEM2 ] 시맨틱 마스크 월드 모델을 통해 엔드투엔드 도시 자율 주행의 샘플 효율성과 견고성을 향상합니다. NeurIPS 2022 workshop [논문]

다른 세계 모형 종이

2025년

• Cosmos World 물리 AI 기반 모델 플랫폼. NVIDIA [문서] [코드]

2024년

• [ SMAC ] 생성적 세계 모델을 통한 다중 에이전트 의사결정 문제에 대한 근거 있는 답변. NeurIPS 2024 [논문]

• [ CoWorld ] 오프라인 RL을 온라인으로 만들기: 오프라인 시각적 강화 학습을 위한 협업 세계 모델. NeurIPS 2024 [논문] [웹사이트] [토치코드]

• [ 다이아몬드 ] 세계 모델링을 위한 확산: Atari에서는 시각적 세부 사항이 중요합니다. NeurIPS 2024 [논문] [코드]

• PIVOT-R : 로봇 조작을 위한 원시 중심 웨이포인트 인식 세계 모델. NeurIPS 2024 [논문]

• [ MUN ] 무제한 목표 탐색을 위한 학습 세계 모델. NeurIPS 2024 [논문] [코드]

• VidMan : 효과적인 로봇 조작을 위해 비디오 확산 모델의 암시적 역학 활용. NeurIPS 24 [종이]

• 적응형 세계 모델 : 비정상성 하에서 잠재된 상상력에 의한 학습 행동. NeurIPSW 2024 [논문]

• 필멸의 행위자로부터 암시적 세계 모델의 출현. NeurIPSW 2024 [논문]

• GPT 모델의 인과 세계 표현. NeurIPSW 2024 [논문]

• PreLAR : 학습 가능한 동작 표현을 사용한 월드 모델 사전 훈련. ECCV 2024 [논문] [코드]

• [ CWM ] 반사실적 세계 모델링을 통한 물리적 역학 이해. ECCV 2024 [논문] [코드]

• ManiGaussian : 다중 작업 로봇 조작을 위한 동적 가우스 스플래팅. ECCV 2024 [논문] [코드]

• [ DWL ] 휴머노이드 이동의 발전: 노이즈 제거 세계 모델 학습을 통해 까다로운 지형 마스터하기. RSS 2024 (Best Paper Award Finalist) [논문]

• [ LLM-Sim ] 언어 모델이 텍스트 기반 세계 시뮬레이터 역할을 할 수 있습니까? ACL [용지] [코드]

• RoboDreamer : 로봇 상상력을 위한 구성 세계 모델 학습. ICML 2024 [논문] [코드]

• [ Δ-IRIS ] 상황 인식 토큰화를 통한 효율적인 세계 모델. ICML 2024 [논문] [코드]

• AD3 : 암시적 행동은 다양한 시각적 방해 요소를 구별하는 세계 모델의 핵심입니다. ICML 2024 [논문]

• Hieros : 구조화된 상태 공간 시퀀스 월드 모델에 대한 계층적 상상력. ICML 2024 [논문]

• [ HRSSM ] 세계 모델에 대한 잠재 동적 강건 표현 학습. ICML 2024 [논문] [코드]

• HarmonyDream : 세계 모델 내부의 작업 조화. ICML 2024 [논문] [코드]

• [ REM ] 병렬 관찰 예측을 통해 토큰 기반 세계 모델 개선. ICML 2024 [논문] [코드]

• Transformer World 모델이 더 나은 정책 그라데이션을 제공합니까? ICML 2024 [논문]

• TD-MPC2 : 지속적인 제어를 위한 확장 가능하고 견고한 월드 모델. ICLR 2024 [논문] [토치코드]

• DreamSmooth : Reward Smoothing을 통해 모델 기반 강화 학습 개선. ICLR 2024 [논문]

• [ R2I ] 월드 모델을 사용하여 메모리 작업 마스터하기. ICLR 2024 [논문] [JAX 코드]

• MAMBA : 메타 강화 학습을 위한 효과적인 세계 모델 접근 방식. ICLR 2024 [논문] [코드]

• 시각적 세계 모델을 사용한 다중 작업 대화형 로봇 함대 학습. CoRL 2024 [논문] [코드]

• 물리적으로 해석 가능한 세계 모델을 향하여 : 시각적 궤적 예측을 위한 의미 있는 약한 지도 표현. arXiv 2024.12 [논문]

• 조작하는 꿈 : 상상력을 통해 로봇 모방 학습을 강화하는 구성 세계 모델. arXiv 2024.12 [논문] [프로젝트]

• Transformers는 미로 해결 작업에 인과 세계 모델을 사용합니다. arXiv 2024.12 [논문]

• Owl-1 : 일관된 긴 비디오 생성을 위한 Omni World 모델. arXiv 2024.12 [논문] [코드]

• StoryWeaver : 지식이 강화된 스토리 캐릭터 맞춤화를 위한 통합된 세계 모델입니다. arXiv 2024.12 [논문] [코드]

• SimuDICE : 월드 모델 업데이트 및 DICE 추정을 통한 오프라인 정책 최적화. BNAIC 2024 [논문]

• 소프트 행위자 평론 강화 학습 알고리즘에서 세계 모델 불확실성을 이용한 제한된 탐색. arXiv 2024.12 [논문]

• Genie 2 : 대규모 기반 세계 모델입니다. 2024.12 Google DeepMind [블로그]

• [ NWM ] 내비게이션 월드 모델. arXiv 2024.12 Yann LeCun [페이퍼] [프로젝트]

• 매트릭스 : 실시간 이동 제어 기능을 갖춘 무한-수평 세계 생성. arXiv 2024.12 [논문] [프로젝트]

• 모션 프롬프트 : 모션 궤적을 사용하여 비디오 생성 제어. arXiv 2024.12 [논문] [프로젝트]

• 생성 세계 탐험가. arXiv 2024.11 [논문] [프로젝트]

• [ WebDreamer ] 당신의 LLM이 비밀리에 인터넷의 세계 모델인가요? 웹 에이전트를 위한 모델 기반 계획. arXiv 2024.11 [논문] [코드]

• WHALE : 구체화된 의사결정을 위한 일반화 가능하고 확장 가능한 세계 모델을 향하여. arXiv 2024.11 [논문]

• DINO-WM : 사전 훈련된 시각적 기능의 월드 모델을 통해 제로샷 계획이 가능합니다. arXiv 2024.11 Yann LeCun [논문]

• 사전 훈련 에이전트 및 월드 모델에 대한 확장 법칙. arXiv 2024.11 [논문]

• [ Phyworld ] 비디오 생성은 월드 모델과 얼마나 멀리 떨어져 있습니까? 물리 법칙 관점. arXiv 2024.11 [논문] [프로젝트]

• IGOR : Image-GOal 표현은 구현된 AI의 기초 모델에 대한 원자 제어 단위입니다. arXiv 2024.10 [논문] [프로젝트]

• EVA : 미래 비디오 기대를 위한 구체화된 세계 모델. arXiv 2024.10 [논문]

• VisualPredicator : 로봇 계획을 위한 신경 기호 술어를 사용하여 추상 세계 모델 학습. arXiv 2024.10 [논문]

• [ LLMCWM ] 언어 에이전트가 인과 관계를 충족합니다 - LLM과 인과 세계 모델을 연결합니다. arXiv 2024.10 [논문] [코드]

• 온라인 모방 학습을 위한 보상 없는 세계 모델. arXiv 2024.10 [논문]

• 월드 모델을 갖춘 웹 에이전트 : 웹 탐색에서 환경 역학 학습 및 활용. arXiv 2024.10 [논문]

• [ GLIMO ] 불완전한 세계 모델을 사용하여 구현된 환경에서 대규모 언어 모델을 접지합니다. arXiv 2024.10 [논문]

• AVID : 비디오 확산 모델을 월드 모델에 적용. arXiv 2024.10 [논문] [코드]

• [ WMP ] 시각적 다리 이동을 위한 세계 모델 기반 인식. arXiv 2024.9 [논문] [프로젝트]

• [ OSWM ] 합성 사전에 훈련된 변환기를 사용하는 One-Shot World 모델. arXiv 2024.9 [논문]

• R-AIF : 활성 추론 및 월드 모델을 사용하여 픽셀에서 희소 보상 로봇 작업을 해결합니다. arXiv 2024.9 [논문]

• 객체 조작을 위한 생성 세계 모델의 위치 정보 표현. arXiv 2024.9 [논문]

• 전제 조건 및 효과 지식을 사용하여 대규모 언어 모델을 세계 모델로 만들기. arXiv 2024.9 [논문]

• DexSim2Real$^2$ : 정확한 관절 개체의 능숙한 조작을 위한 명시적 세계 모델 구축. arXiv 2024.9 [논문]

• 객체 중심 추상화를 통한 효율적인 탐색 및 차별적인 세계 모델 학습. arXiv 2024.8 [논문]

• [ MoReFree ] 세계 모델은 강화 학습의 자율성을 높입니다. arXiv 2024.8 [논문] [프로젝트]

• UrbanWorld : 3D 도시 생성을 위한 도시 세계 모델. arXiv 2024.7 [논문]

• PWM : 대규모 세계 모델을 통한 정책 학습. arXiv 2024.7 [논문] [코드]

• 예측 vs. 행동 : 세계 모델링과 에이전트 모델링 간의 균형. arXiv 2024.7 [논문]

• [ GenRL ] 일반 구현 에이전트에 대한 다중 모드 기반 세계 모델입니다. arXiv 2024.6 [논문] [코드]

• [ DLLM ] 목표 달성을 위한 대규모 언어 모델의 힌트가 포함된 세계 모델. arXiv 2024.6 [논문]

• 언어 모델에 대한 인지 지도: 세계 모델을 구두로 표현함으로써 최적의 계획. arXiv 2024.6 [논문]

• CityBench : 세계 모델로서 대규모 언어 모델의 기능 평가. arXiv 2024.6 [논문] [코드]

• CoDreamer : 통신 기반 분산 세계 모델. arXiv 2024.6 [논문]

• [ EBWM ] 인지적으로 영감을 받은 에너지 기반 세계 모델. arXiv 2024.6 [논문]

• 생성 모델에 내재된 월드 모델 평가. arXiv 2024.6 [논문] [코드]

• 샘플의 효율적인 물리적 세계 모델링을 위한 변환기 및 슬롯 인코딩. arXiv 2024.5 [논문] [코드]

• [ 인형극 ] 시각적 전신 휴머노이드 컨트롤러로서의 계층적 세계 모델. arXiv 2024.5 Yann LeCun [논문] [코드]

• BWArea 모델 : 학습 세계 모델, 역동성 및 제어 가능한 언어 생성 정책. arXiv 2024.5 [논문]

• Pandora : 자연어 동작 및 비디오 상태를 갖춘 일반 세계 모델을 향하여. [용지] [코드]

• [ WKM ] 세계 지식 모델을 이용한 에이전트 계획. arXiv 2024.5 [논문] [코드]

• Newton ™ – 물리적 세계를 이해하기 위한 최초의 기초 모델입니다. Archetype AI [블로그]

• 경쟁과 구성 : 모듈형 세계 모델을 위한 독립적인 메커니즘 학습. arXiv 2024.4 [논문]

• MagicTime : 변형 시뮬레이터로서의 저속 촬영 비디오 생성 모델. arXiv 2024.4 [논문] [코드]

• 다양한 세계를 꿈꾸다 : 상황에 맞는 세계 모델을 학습하면 제로샷 일반화에 도움이 됩니다. arXiv 2024.3 [논문] [코드]

• ManiGaussian : 다중 작업 로봇 조작을 위한 동적 가우스 스플래팅. arXiv 2024.3 [논문] [코드]

• V-JEPA : 비디오 조인트 임베딩 예측 아키텍처. Meta AI Yann LeCun [블로그] [논문] [코드]

• [ IWM ] 시각적 표현 학습에서 세계 모델 학습 및 활용. Meta AI [종이]

• Genie : 생성적 상호작용 환경. DeepMind [논문] [블로그]

• [ Sora ] 월드 시뮬레이터로서의 비디오 생성 모델. OpenAI [기술보고서]

• [ LWM ] RingAttention을 사용하여 백만 길이의 비디오 및 언어에 대한 세계 모델. arXiv 2024.2 [논문] [코드]

• 세계모델 앙상블을 통한 기획. OpenReview [논문]

• WorldDreamer : 마스킹된 토큰 예측을 통한 비디오 생성을 위한 일반 세계 모델을 지향합니다. arXiv 2024.1 [논문] [코드]

2023년

• [ IRIS ] Transformers는 샘플 효율적인 세계 모델입니다. ICLR 2023 Oral [논문] [토치 코드]
• STORM : 강화 학습을 위한 효율적인 확률적 변환기 기반 월드 모델. NIPS 2023 [종이] [토치코드]
• [ TWM ] Transformer 기반 월드 모델은 100,000개의 상호작용에 만족합니다. ICLR 2023 [논문] [토치코드]
• [ Dynalang ] 언어로 세상을 모델링하는 법을 배웁니다. arXiv 2023.8 [논문] [JAX 코드]
• [ DreamerV3 ] 이산 세계 모델로 Atari를 마스터하세요. arXiv 2023.1 [논문] [JAX 코드] [토치 코드]

2022년

• [ TD-MPC ] 모델 예측 제어를 위한 시간차 학습. ICML 2022 [논문][토치코드]
• DreamerPro : 원형 표현을 사용한 재구성 없는 모델 기반 강화 학습. ICML 2022 [논문] [TF 코드]
• DayDreamer : 물리적 로봇 학습을 위한 세계 모델. CoRL 2022 [논문] [TF 코드]
• 픽셀을 통한 심층 계층적 계획. NIPS 2022 [논문] [TF 코드]
• Iso-Dream : 세계 모델에서 통제할 수 없는 시각적 역동성을 분리하고 활용합니다. NIPS 2022 Spotlight [종이] [토치코드]
• DreamingV2 : 재구성 없이 이산 세계 모델을 사용한 강화 학습. arXiv 2022.3 [논문]

2021

• [ DreamerV2 ] 이산 세계 모델로 Atari를 마스터하세요. ICLR 2021 [논문] [TF 코드] [토치 코드]
• Dreaming : 재구성 없는 잠재 상상력을 통한 모델 기반 강화 학습. ICRA 2021 [논문]

2020

• [ DreamerV1 ] 통제하는 꿈: 잠재된 상상력을 통한 학습 행동. ICLR 2020 [논문] [TF 코드] [토치 코드]
• [ Plan2Explore ] 자기 감독 세계 모델을 통해 탐색할 계획입니다. ICML 2020 [논문] [TF 코드] [토치 코드]

2018

• 월드 모델. NIPS 2018 Oral [종이]