Awesome World Model

Impresionantes modelos mundiales para la conducción autónoma

Reúna algunos documentos sobre modelos mundiales (para conducción autónoma).

Si encuentra algunos artículos ignorados, no dude en crear solicitudes de extracción , abrir incidencias o enviarme un correo electrónico a Qi Wang . Se aceptan contribuciones de cualquier tipo para hacer esta lista más completa.

Si encuentra útil este repositorio, considere darnos una estrella .

¡Siéntete libre de compartir esta lista con otros! ???

Taller y desafío

• CVPR 2024 Workshop & Challenge | OpenDriveLab Track #4: Modelo mundial predictivo.

  Al servir como una representación espacio-temporal abstracta de la realidad, el modelo mundial puede predecir estados futuros basándose en el estado actual. El proceso de aprendizaje de modelos mundiales tiene el potencial de elevar un modelo básico previamente entrenado al siguiente nivel. Dadas las entradas de visión únicamente, la red neuronal genera nubes de puntos en el futuro para testificar su capacidad de predicción del mundo.

• CVPR 2023 Workshop on Autonomous Driving DESAFÍO 3: DESAFÍOS ARGOVERSE, Previsión de ocupación 3D utilizando el conjunto de datos de sensores Argoverse 2. Predice la ocupación del espacio-tiempo del mundo durante los próximos 3 segundos.

Papeles

Papel original del modelo mundial.

• Uso de cuadrículas de ocupación para la percepción y navegación de robots móviles [artículo]

Blog técnico o vídeo

• Yann LeCun : Un camino hacia la inteligencia de las máquinas autónomas [artículo] [Vídeo]
• Conferencia magistral CVPR'23 WAD : Ashok Elluswamy, Tesla [vídeo]
• Wayve presenta GAIA-1: un modelo de IA generativa de vanguardia para la autonomía [blog]

  Los modelos mundiales son la base para la capacidad de predecir lo que podría suceder a continuación, lo cual es de fundamental importancia para la conducción autónoma. Pueden actuar como un simulador aprendido o un experimento mental de "qué pasaría si" para la planificación o el aprendizaje por refuerzo (RL) basado en modelos. Al incorporar modelos mundiales en nuestros modelos de conducción, podemos permitirles comprender mejor las decisiones humanas y, en última instancia, generalizarlas a situaciones más reales.

Encuesta

• Una encuesta sobre modelos de lenguajes grandes multimodales para la conducción autónoma. WACVW 2024 [Documento] [Código]
• Modelos mundiales: la perspectiva de la seguridad. ISSREW [Papel
• ¿Comprender el mundo o predecir el futuro? Un estudio completo de los modelos mundiales. arXiv 2024.11 [Documento]
• Explorando la interacción entre la generación de videos y los modelos mundiales en la conducción autónoma: una encuesta. arXiv 2024.11 [Documento]
• Alinear el ciberespacio con el mundo físico: un estudio completo sobre la IA incorporada. arXiv 2024.7 [Papel] [Código]
• ¿Es Sora un simulador mundial? Un estudio completo sobre los modelos mundiales generales y más allá. arXiv 2024.5 [Papel] [Código]
• Modelos mundiales de conducción autónoma: una encuesta inicial. 2024.3, arxiv [Papel]

2024

• [ SEM2 ] Mejore la eficiencia y la solidez de las muestras de la conducción autónoma urbana de un extremo a otro mediante un modelo de mundo enmascarado semántico. TITS [Papel]
• Vista : un modelo de mundo de conducción generalizable con alta fidelidad y controlabilidad versátil. NeurIPS 2024 [Papel] [Código]
• Conjunto de datos de DrivingDojo : avance del modelo mundial de conducción interactivo y enriquecido con conocimientos. NeurIPS 2024 [Artículo] [Proyecto]
• Think2Drive : aprendizaje por refuerzo eficiente mediante el pensamiento en un modelo de mundo latente para una conducción autónoma cuasi realista. ECCV 2024 [Artículo]
• [ MARL-CCE ] Modelado de comportamientos competitivos en la conducción autónoma según el modelo mundial generativo. ECCV 2024 [Artículo] [Código]
• DriveDreamer : hacia modelos mundiales de conducción autónoma impulsados ​​por el mundo real. ECCV 2024 [Artículo] [Código]
• GenAD : conducción autónoma generativa de extremo a extremo. ECCV 2024 [Artículo] [Código]
• OccWorld : aprendizaje de un modelo mundial de ocupación en 3D para la conducción autónoma. ECCV 2024 [Artículo] [Código]
• [ NeMo ] Modelos mundiales volumétricos neuronales para conducción autónoma. ECCV 2024 [Artículo]
• CarFormer : conducción autónoma con representaciones centradas en objetos aprendidos. ECCV 2024 [Artículo] [Código]
• [ MARL-CCE ] Modelado-de-comportamientos-competitivos-en-la-conducción-autónoma-bajo-un-modelo-mundial-generativo. ECCV 2024 [Código]
• [ GUMP ] Resolución de tareas de planificación de movimiento con un modelo generativo escalable. ECCV 2024 [Artículo] [Código]
• DrivingDiffusion : generación de videos de escenas de conducción de múltiples vistas guiadas por diseño con modelo de difusión latente. ECCV 2024 [Artículo] [Código]
• 3D-VLA : un modelo mundial generativo de visión, lenguaje y acción en 3D. ICML 2024 [artículo]
• [ ViDAR ] El pronóstico visual de nubes de puntos permite una conducción autónoma escalable. CVPR 2024 [Papel] [Código]
• [ GenAD ] Modelo predictivo generalizado para la conducción autónoma. CVPR 2024 [Documento] [Datos]
• Cam4DOCC : punto de referencia para el pronóstico de ocupación 4D solo con cámara en aplicaciones de conducción autónoma. CVPR 2024 [Documento] [Código]
• [ Drive-WM ] Conduciendo hacia el futuro: previsión y planificación visual multivista con modelo mundial para la conducción autónoma. CVPR 2024 [Papel] [Código]
• DriveWorld : comprensión de escenas 4D previamente entrenadas a través de modelos mundiales para conducción autónoma. CVPR 2024 [artículo]
• Panacea : Generación de vídeo panorámico y controlable para conducción autónoma. CVPR 2024 [Documento] [Código]
• ONU : Campos de ocupación no supervisados ​​para percepción y previsión. CVPR 2024 [Documento] [Código]
• MagicDrive : generación de Street View con control de geometría 3D diversa. ICLR 2024 [Documento] [Código]
• Copilot4D : aprendizaje de modelos mundiales no supervisados ​​para conducción autónoma mediante difusión discreta. ICLR 2024 [artículo]
• SafeDreamer : Aprendizaje por refuerzo seguro con modelos mundiales. ICLR 2024 [Documento] [Código]
• DrivingWorld : construcción de un modelo mundial para la conducción autónoma mediante vídeo GPT. arXiv 2024.12 [Papel] [Código]
• DrivingGPT : unificación del modelado y la planificación del mundo de la conducción con transformadores autorregresivos multimodales. arXiv 2024.12 [Documento] [Proyecto]
• Un modelo mundial de ocupación eficiente mediante flujo dinámico desacoplado y formación asistida por imágenes. arXiv 2024.12 [Documento]
• GEM : un modelo de mundo multimodal de visión del ego generalizable para el movimiento del ego detallado, la dinámica de objetos y el control de la composición de escenas. arXiv 2024.12 [Documento] [Proyecto]
• GaussianWorld : modelo mundial gaussiano para la predicción de ocupación 3D en streaming. arXiv 2024.12 [Papel] [Código]
• Doe-1 : conducción autónoma de circuito cerrado con modelo de mundo grande. arXiv 2024.12 [Papel] [Código]
• [ DrivePhysica ] Modelo mundial de conducción física informada. arXiv 2024.12 [Papel] [Código]
• HoloDrive : generación holística de escenas callejeras multimodales 2D-3D para conducción autónoma. arXiv 2024.12 [Documento]
• InfinityDrive : Rompiendo límites de tiempo en los modelos del mundo de la conducción. arXiv 2024.12 [Documento] [Página del proyecto]
• ReconDreamer : creación de modelos mundiales para la reconstrucción de escenas de conducción mediante restauración en línea. arXiv 2024.11 [Papel] [Código]
• Generación de escenarios fuera de distribución utilizando modelos de lenguaje. arXiv 2024.11 [Documento]
• Imagine-2-Drive : modelado mundial de alta fidelidad en CARLA para vehículos autónomos. arXiv 2024.11 [Documento] [Página del proyecto]
• WorldSimBench : Hacia modelos de generación de vídeo como simulador de mundo. arXiv 2024.10 [Documento] [Página del proyecto]
• DriveDreamer4D : Los modelos mundiales son máquinas de datos eficaces para la representación de escenas de conducción en 4D. arXiv 2024.10 [Documento] [Página del proyecto]
• DOME : Domar el modelo de difusión en un modelo mundial de ocupación controlable de alta fidelidad. arXiv 2024.10 [Documento] [Página del proyecto]
• [ SSR ] ¿La conducción autónoma de extremo a extremo realmente necesita tareas de percepción? arXiv 2024.9 [Papel] [Código]
• Mitigar el cambio de covariables en el aprendizaje por imitación para vehículos autónomos utilizando modelos mundiales generativos de espacio latente. arXiv 2024.9 [Documento]
• [ LatentDriver ] Aprendizaje de múltiples decisiones probabilísticas a partir del modelo del mundo latente en la conducción autónoma. arXiv 2024.9 [Papel] [Código]
• RenderWorld : Modelo mundial con etiqueta 3D autosupervisada. arXiv 2024.9 [Documento]
• OccLLaMA : un modelo mundial generativo de ocupación-lenguaje-acción para la conducción autónoma. arXiv 2024.9 [Documento]
• DriveGenVLM : generación de vídeo del mundo real para conducción autónoma basada en modelos de lenguaje de visión. arXiv 2024.8 [Documento]
• [ Drive-OccWorld ] Conducción en el mundo de la ocupación: previsión y planificación de ocupación 4D centrada en la visión a través de modelos mundiales para la conducción autónoma. arXiv 2024.8 [Documento]
• BEVWorld : un modelo mundial multimodal para la conducción autónoma a través del espacio latente BEV unificado. arXiv 2024.7 [Papel] [Código]
• [ TOKEN ] Convierta el mundo en tokens en conocimiento a nivel de objeto para abordar eventos de cola larga en la conducción autónoma. arXiv 2024.7 [Documento]
• UMAD : Detección de anomalías a nivel de máscara no supervisada para conducción autónoma. arXiv 2024.6 [Documento]
• SimGen : Generación de escenas de conducción condicionadas por simulador. arXiv 2024.6 [Papel] [Código]
• [ AdaptiveDriver ] Planificación con modelos Adaptive World para conducción autónoma. arXiv 2024.6 [Papel] [Código]
• [ LEY ] Mejora de la conducción autónoma de un extremo a otro con un modelo de mundo latente. arXiv 2024.6 [Papel] [Código]
• [ Delphi ] Liberando la generalización de la conducción autónoma de extremo a extremo con generación de video larga controlable. arXiv 2024.6 [Papel] [Código]
• OccSora : Modelos de generación de ocupación 4D como simuladores mundiales de conducción autónoma. arXiv 2024.5 [Papel] [Código]
• MagicDrive3D : Generación 3D controlable para renderizado de cualquier vista en escenas callejeras. arXiv 2024.5 [Papel] [Código]
• CarDreamer : plataforma de aprendizaje de código abierto para la conducción autónoma basada en modelos mundiales. arXiv 2024.5 [Papel] [Código]
• [ DriveSim ] Explorando los LLM multimodales como modelos mundiales para la conducción. arXiv 2024.5 [Papel] [Código]
• LidarDM : simulación LiDAR generativa en un mundo generado. arXiv 2024.4 [Papel] [Código]
• SubjectDrive : escalamiento de datos generativos en conducción autónoma mediante el control de sujetos. arXiv 2024.3 [Documento] [Proyecto]
• DriveDreamer-2 : modelos mundiales mejorados por LLM para una generación diversa de videos de conducción. arXiv 2024.3 [Papel] [Código]

2023

• TrafficBots : hacia modelos mundiales de simulación de conducción autónoma y predicción de movimiento. ICRA 2023 [Documento] [Código]
• WoVoGen : Difusión mundial basada en el volumen para la generación de escenas de conducción controlables con múltiples cámaras. arXiv 2023.12 [Papel] [Código]
• [ CTT ] Transformador de tráfico categórico: predicción de comportamiento diversa e interpretable con latente tokenizada. arXiv 2023.11 [Documento]
• MUVO : Un modelo mundial generativo multimodal para la conducción autónoma con representaciones geométricas. arXiv 2023.11 [Documento]
• GAIA-1 : un modelo mundial generativo para la conducción autónoma. arXiv 2023.9 ​​[Documento]
• ADriver-I : un modelo mundial general para la conducción autónoma. arXiv 2023.9 ​​[Documento]
• UniWorld : Preentrenamiento en conducción autónoma a través de modelos mundiales. arXiv 2023.8 [Papel] [Código]

2022

• [ MILE ] Aprendizaje por imitación basado en modelos para la conducción urbana. NeurIPS 2022 [Papel] [Código]
• Iso-Dream : aislar y aprovechar la dinámica visual no controlable en modelos mundiales. NeurIPS 2022 Spotlight [Papel] [Código]
• Symphony : aprendizaje de agentes realistas y diversos para la simulación de conducción autónoma. ICRA 2022 [Documento]
• Aprendizaje por imitación basado en modelos jerárquicos para la planificación en conducción autónoma. IROS 2022 [Artículo]
• [ SEM2 ] Mejore la eficiencia y la solidez de las muestras de la conducción autónoma urbana de un extremo a otro mediante un modelo de mundo enmascarado semántico. NeurIPS 2022 workshop [Artículo]

Otro papel modelo mundial

2025

• Plataforma modelo de la Fundación Cosmos World para IA física. NVIDIA [Papel] [Código]

2024

• [ SMAC ] Respuestas fundamentadas para el problema de la toma de decisiones de múltiples agentes a través del modelo mundial generativo. NeurIPS 2024 [artículo]

• [ CoWorld ] Creación de RL sin conexión en línea: modelos de mundo colaborativo para el aprendizaje por refuerzo visual sin conexión. NeurIPS 2024 [Documento] [Sitio web] [Código de antorcha]

• [ Diamond ] Difusión del modelado mundial: los detalles visuales importan en Atari. NeurIPS 2024 [Papel] [Código]

• PIVOT-R : modelo mundial consciente de waypoints impulsado por primitivos para manipulación robótica. NeurIPS 2024 [artículo]

• [ MUN ] Modelos del mundo del aprendizaje para la navegación de objetivos sin restricciones. NeurIPS 2024 [Papel] [Código]

• VidMan : explotación de la dinámica implícita del modelo de difusión de vídeo para una manipulación eficaz de robots. NeurIPS 24 [Papel]

• Modelos de mundos adaptativos : comportamientos de aprendizaje mediante imaginación latente en condiciones no estacionarias. NeurIPSW 2024 [artículo]

• Surgimiento de modelos mundiales implícitos a partir de agentes mortales. NeurIPSW 2024 [artículo]

• Representación mundial causal en el modelo GPT. NeurIPSW 2024 [artículo]

• PreLAR : preentrenamiento del modelo mundial con representación de acciones que se pueden aprender. ECCV 2024 [Artículo] [Código]

• [ CWM ] Comprensión de la dinámica física con modelos de mundos contrafactuales. ECCV 2024 [Artículo] [Código]

• ManiGaussian : salpicaduras dinámicas gaussianas para manipulación robótica multitarea. ECCV 2024 [Artículo] [Código]

• [ DWL ] Avance de la locomoción humanoide: dominio de terrenos desafiantes con el aprendizaje del modelo mundial de eliminación de ruido. RSS 2024 (Best Paper Award Finalist) [Artículo]

• [ LLM-Sim ] ¿Pueden los modelos de lenguaje servir como simuladores de mundos basados ​​en texto? ACL [Papel] [Código]

• RoboDreamer : aprendizaje de modelos de mundos compositivos para la imaginación de robots. ICML 2024 [Documento] [Código]

• [ Δ-IRIS ] Modelos mundiales eficientes con tokenización consciente del contexto. ICML 2024 [Documento] [Código]

• AD3 : La acción implícita es la clave para que los modelos mundiales distingan los diversos distractores visuales. ICML 2024 [artículo]

• Hieros : imaginación jerárquica en modelos mundiales de secuencia espacial de estados estructurados. ICML 2024 [artículo]

• [ HRSSM ] Aprendizaje de representaciones robustas dinámicas latentes para modelos mundiales. ICML 2024 [Documento] [Código]

• HarmonyDream : Armonización de tareas dentro de modelos mundiales. ICML 2024 [Documento] [Código]

• [ REM ] Mejora de los modelos mundiales basados ​​en tokens con predicción de observación paralela. ICML 2024 [Documento] [Código]

• ¿Los modelos de mundo transformador ofrecen mejores gradientes de políticas? ICML 2024 [artículo]

• TD-MPC2 : modelos mundiales robustos y escalables para control continuo. ICLR 2024 [Papel] [Código de antorcha]

• DreamSmooth : mejora del aprendizaje por refuerzo basado en modelos mediante el suavizado de recompensas. ICLR 2024 [artículo]

• [ R2I ] Dominar las tareas de memoria con modelos mundiales. ICLR 2024 [Documento] [Código JAX]

• MAMBA : un enfoque de modelo mundial eficaz para el aprendizaje por meta-refuerzo. ICLR 2024 [Documento] [Código]

• Aprendizaje interactivo de flotas de robots multitarea con modelos del mundo visual. CoRL 2024 [Documento] [Código]

• Hacia modelos mundiales físicamente interpretables : representaciones significativas débilmente supervisadas para la predicción de trayectorias visuales. arXiv 2024.12 [Documento]

• Sueño para manipular : modelos compositivos del mundo que potencian el aprendizaje por imitación de robots con imaginación. arXiv 2024.12 [Documento] [Proyecto]

• Los transformadores utilizan modelos mundiales causales en tareas de resolución de laberintos. arXiv 2024.12 [Documento]

• Owl-1 : modelo Omni World para una generación de videos largos y consistentes. arXiv 2024.12 [Papel] [Código]

• StoryWeaver : un modelo mundial unificado para la personalización de personajes de historias mejorada por el conocimiento. arXiv 2024.12 [Papel] [Código]

• SimuDICE : optimización de políticas fuera de línea mediante actualizaciones del modelo mundial y estimación DICE. BNAIC 2024 [Artículo]

• Exploración limitada con la incertidumbre del modelo mundial en el algoritmo de aprendizaje por refuerzo de actor-crítico suave. arXiv 2024.12 [Documento]

• Genie 2 : un modelo mundial de fundación a gran escala. 2024.12 Google DeepMind [Blog]

• [ NWM ] Modelos mundiales de navegación. arXiv 2024.12 Yann LeCun [Artículo] [Proyecto]

• The Matrix : generación mundial de horizonte infinito con control de movimiento en tiempo real. arXiv 2024.12 [Documento] [Proyecto]

• Instrucción de movimiento : control de la generación de video con trayectorias de movimiento. arXiv 2024.12 [Documento] [Proyecto]

• Explorador del mundo generativo. arXiv 2024.11 [Documento] [Proyecto]

• [ WebDreamer ] ¿Es su LLM en secreto un modelo mundial de Internet? Planificación basada en modelos para agentes web. arXiv 2024.11 [Papel] [Código]

• BALLENA : Hacia modelos mundiales generalizables y escalables para la toma de decisiones incorporada. arXiv 2024.11 [Documento]

• DINO-WM : Los modelos mundiales con características visuales previamente entrenadas permiten una planificación de disparo cero. arXiv 2024.11 Yann LeCun [Artículo]

• Leyes de escala para agentes de preformación y modelos mundiales. arXiv 2024.11 [Documento]

• [ Phyworld ] ¿Qué tan lejos está la generación de videos del modelo mundial: una perspectiva de la ley física? arXiv 2024.11 [Documento] [Proyecto]

• IGOR : Las representaciones de Image-GOal son las unidades de control atómico para los modelos básicos en la IA incorporada. arXiv 2024.10 [Documento] [Proyecto]

• EVA : un modelo mundial encarnado para la anticipación de vídeos futuros. arXiv 2024.10 [Documento]

• VisualPredicator : aprendizaje de modelos del mundo abstracto con predicados neurosimbólicos para la planificación de robots. arXiv 2024.10 [Documento]

• [ LLMCWM ] Los agentes del lenguaje se encuentran con la causalidad: uniendo los LLM y los modelos mundiales causales. arXiv 2024.10 [Papel] [Código]

• Modelos mundiales sin recompensas para el aprendizaje por imitación en línea. arXiv 2024.10 [Documento]

• Agentes web con modelos mundiales : aprendizaje y aprovechamiento de la dinámica del entorno en la navegación web. arXiv 2024.10 [Documento]

• [ GLIMO ] Fundamentar modelos de lenguajes grandes en un entorno incorporado con modelos de mundos imperfectos. arXiv 2024.10 [Documento]

• AVID : Adaptación de los modelos de difusión de vídeo a los modelos mundiales. arXiv 2024.10 [Papel] [Código]

• [ WMP ] Percepción basada en modelos mundiales para la locomoción visual de las piernas. arXiv 2024.9 [Documento] [Proyecto]

• [ OSWM ] Modelos mundiales de una sola vez que utilizan un transformador entrenado en un previo sintético. arXiv 2024.9 [Documento]

• R-AIF : resolución de tareas robóticas de escasa recompensa a partir de píxeles con inferencia activa y modelos mundiales. arXiv 2024.9 [Documento]

• Representación de información posicional en modelos mundiales generativos para la manipulación de objetos. arXiv 2024.9 [Documento]

• Convirtiendo grandes modelos de lenguaje en modelos mundiales con conocimiento de condiciones previas y efectos. arXiv 2024.9 [Documento]

• DexSim2Real$^2$ : Construcción de un modelo mundial explícito para una manipulación diestra de objetos articulados precisos. arXiv 2024.9 [Documento]

• Exploración eficiente y aprendizaje discriminativo de modelos mundiales con una abstracción centrada en objetos. arXiv 2024.8 [Documento]

• [ MoReFree ] Los modelos mundiales aumentan la autonomía en el aprendizaje por refuerzo. arXiv 2024.8 [Documento] [Proyecto]

• UrbanWorld : un modelo de mundo urbano para la generación de ciudades en 3D. arXiv 2024.7 [Documento]

• PWM : aprendizaje de políticas con modelos mundiales grandes. arXiv 2024.7 [Papel] [Código]

• Predecir versus actuar : una compensación entre el modelado mundial y el modelado de agentes. arXiv 2024.7 [Documento]

• [ GenRL ] Modelos mundiales de fundamentos multimodales para agentes encarnados generalistas. arXiv 2024.6 [Papel] [Código]

• [ DLLM ] Modelos mundiales con sugerencias de modelos de lenguaje grandes para el logro de objetivos. arXiv 2024.6 [Documento]

• Mapa cognitivo para modelos lingüísticos: planificación óptima mediante la representación verbal del modelo mundial. arXiv 2024.6 [Documento]

• CityBench : Evaluación de las capacidades del modelo de lenguaje grande como modelo mundial. arXiv 2024.6 [Papel] [Código]

• CoDreamer : modelos mundiales descentralizados basados ​​​​en la comunicación. arXiv 2024.6 [Documento]

• [ EBWM ] Modelos mundiales basados ​​en energía de inspiración cognitiva. arXiv 2024.6 [Documento]

• Evaluación del modelo mundial implícito en un modelo generativo. arXiv 2024.6 [Papel] [Código]

• Transformadores y codificación de ranuras para un modelado eficiente del mundo físico. arXiv 2024.5 [Papel] [Código]

• [ Titiritero ] Modelos de mundos jerárquicos como controladores humanoides visuales de cuerpo entero. arXiv 2024.5 Yann LeCun [Papel] [Código]

• Modelo BWArea : modelo del mundo del aprendizaje, dinámica inversa y política para la generación de lenguaje controlable. arXiv 2024.5 [Documento]

• Pandora : hacia un modelo mundial general con acciones de lenguaje natural y estados de vídeo. [Papel] [Código]

• [ WKM ] Planificación de agentes con modelo de conocimiento mundial. arXiv 2024.5 [Papel] [Código]

• Newton ™: el primer modelo básico de su tipo para comprender el mundo físico. Archetype AI [Blog]

• Competir y componer : aprender mecanismos independientes para modelos de mundos modulares. arXiv 2024.4 [Documento]

• MagicTime : modelos de generación de vídeos time-lapse como simuladores metamórficos. arXiv 2024.4 [Papel] [Código]

• Soñar con muchos mundos : aprender modelos de mundos contextuales ayuda a la generalización de tiro cero. arXiv 2024.3 [Papel] [Código]

• ManiGaussian : salpicaduras dinámicas gaussianas para manipulación robótica multitarea. arXiv 2024.3 [Papel] [Código]

• V-JEPA : Arquitectura predictiva de incrustación de juntas de vídeo. Meta AI Yann LeCun [Blog] [Documento] [Código]

• [ IWM ] Aprendizaje y aprovechamiento de modelos mundiales en el aprendizaje de representación visual. Meta AI [papel]

• Genie : entornos interactivos generativos. DeepMind [artículo] [Blog]

• [ Sora ] Modelos de generación de vídeo como simuladores de mundos. OpenAI [Informe técnico]

• [ LWM ] Modelo mundial en lenguaje y video de un millón de longitud con RingAttention. arXiv 2024.2 [Papel] [Código]

• Planificación con un conjunto de modelos mundiales. OpenReview [artículo]

• WorldDreamer : Hacia modelos mundiales generales para la generación de videos mediante la predicción de tokens enmascarados. arXiv 2024.1 [Papel] [Código]

2023

• [ IRIS ] Los transformadores son ejemplos de modelos mundiales eficientes. ICLR 2023 Oral [Documento] [Código de antorcha]
• STORM : Modelos mundiales basados ​​en transformadores estocásticos eficientes para el aprendizaje por refuerzo. NIPS 2023 [Papel] [Código de antorcha]
• [ TWM ] Los modelos mundiales basados ​​en transformadores están contentos con 100.000 interacciones. ICLR 2023 [Documento] [Código de antorcha]
• [ Dynalang ] Aprender a modelar el mundo con el lenguaje. arXiv 2023.8 [Papel] [Código JAX]
• [ DreamerV3 ] Dominando Atari con modelos de mundos discretos. arXiv 2023.1 [Papel] [Código JAX] [Código de antorcha]

2022

• [ TD-MPC ] Aprendizaje de diferencias temporales para el control predictivo de modelos. ICML 2022 [Papel][Código de antorcha]
• DreamerPro : aprendizaje por refuerzo basado en modelos sin reconstrucción con representaciones prototípicas. ICML 2022 [Documento] [Código TF]
• DayDreamer : modelos mundiales para el aprendizaje de robots físicos. CoRL 2022 [Documento] [Código TF]
• Planificación Jerárquica Profunda a partir de Píxeles. NIPS 2022 [Papel] [Código TF]
• Iso-Dream : aislar y aprovechar la dinámica visual no controlable en modelos mundiales. NIPS 2022 Spotlight [Papel] [Código de antorcha]
• DreamingV2 : Aprendizaje por refuerzo con modelos de mundos discretos sin reconstrucción. arXiv 2022.3 [Documento]

2021

• [ DreamerV2 ] Dominando Atari con modelos de mundos discretos. ICLR 2021 [Papel] [Código TF] [Código de antorcha]
• Soñar : aprendizaje por refuerzo basado en modelos mediante imaginación latente sin reconstrucción. ICRA 2021 [Documento]

2020

• [ DreamerV1 ] Sueño para controlar: aprendizaje de comportamientos mediante imaginación latente. ICLR 2020 [Documento] [Código TF] [Código de antorcha]
• [ Plan2Explore ] Planificación de la exploración mediante modelos mundiales autosupervisados. ICML 2020 [Documento] [Código TF] [Código de antorcha]

2018

• Modelos mundiales. NIPS 2018 Oral [Artículo]