Awesome World Model

Modelos mundiais incríveis para direção autônoma

Colete alguns papéis de Modelos Mundiais (para Condução Autônoma).

Se você encontrar alguns artigos ignorados, sinta-se à vontade para criar pull requests , abrir problemas ou enviar um e-mail para mim / Qi Wang . Contribuições sob qualquer forma para tornar esta lista mais abrangente são bem-vindas.

Se você achar este repositório útil, considere nos dar uma estrela ?.

Sinta-se à vontade para compartilhar esta lista com outras pessoas! ???

Workshop e Desafio

• CVPR 2024 Workshop & Challenge | OpenDriveLab Trilha 4 CVPR 2024 Workshop & Challenge | OpenDriveLab : Modelo de mundo preditivo.

  Servindo como uma representação espaço-temporal abstrata da realidade, o modelo mundial pode prever estados futuros com base no estado atual. O processo de aprendizagem de modelos mundiais tem o potencial de elevar um modelo básico pré-treinado para o próximo nível. Dadas entradas apenas de visão, a rede neural gera nuvens de pontos no futuro para testemunhar sua capacidade preditiva do mundo.

• CVPR 2023 Workshop on Autonomous Driving DESAFIO 3: DESAFIOS ARGOVERSE, previsão de ocupação 3D usando o conjunto de dados do sensor Argoverse 2. Preveja a ocupação do espaço-tempo do mundo pelos próximos 3 segundos.

Artigos

Papel original do modelo mundial

• Usando grades de ocupação para percepção e navegação de robôs móveis [artigo]

Blog ou vídeo técnico

• Yann LeCun : Um caminho em direção à inteligência de máquina autônoma [artigo] [Vídeo]
• Palestra CVPR'23 WAD - Ashok Elluswamy, Tesla [Vídeo]
• Wayve apresentando GAIA-1: um modelo de IA generativo de ponta para autonomia [blog]

  Os modelos mundiais são a base para a capacidade de prever o que poderá acontecer a seguir, o que é de fundamental importância para a condução autónoma. Eles podem atuar como um simulador aprendido ou um experimento mental “e se” para aprendizagem por reforço (RL) ou planejamento baseado em modelo. Ao incorporar modelos mundiais nos nossos modelos de condução, podemos capacitá-los a compreender melhor as decisões humanas e, em última análise, generalizar para situações mais reais.

Enquete

• Uma pesquisa sobre modelos multimodais de grandes linguagens para direção autônoma. WACVW 2024 [Artigo] [Código]
• Modelos mundiais: a perspectiva da segurança. ISSREW [Artigo
• Compreendendo o mundo ou prevendo o futuro? Uma pesquisa abrangente de modelos mundiais. arXiv 2024.11 [artigo]
• Explorando a interação entre a geração de vídeo e os modelos mundiais na direção autônoma: uma pesquisa. arXiv 2024.11 [artigo]
• Alinhando o espaço cibernético com o mundo físico: uma pesquisa abrangente sobre IA incorporada. arXiv 2024.7 [Artigo] [Código]
• Sora é um simulador mundial? Uma pesquisa abrangente sobre modelos mundiais gerais e muito mais. arXiv 2024.5 [Artigo] [Código]
• Modelos mundiais para direção autônoma: uma pesquisa inicial. 2024.3, arxiv [Artigo]

2024

• [ SEM2 ] Melhore a eficiência e a robustez da amostra de direção autônoma urbana de ponta a ponta por meio do modelo de mundo mascarado semântico. TITS [Papel]
• Vista : um modelo de mundo de direção generalizável com alta fidelidade e controlabilidade versátil. NeurIPS 2024 [Artigo] [Código]
• Conjunto de dados DrivingDojo : avançando no modelo de mundo de direção interativo e enriquecido com conhecimento. NeurIPS 2024 [Artigo] [Projeto]
• Think2Drive : Aprendizagem por reforço eficiente pensando no modelo de mundo latente para direção autônoma quase realista. ECCV 2024 [Artigo]
• [ MARL-CCE ] Modelagem de Comportamentos Competitivos em Direção Autônoma sob Modelo Mundial Generativo. ECCV 2024 [Artigo] [Código]
• DriveDreamer : Rumo a modelos mundiais orientados para o mundo real para direção autônoma. ECCV 2024 [Artigo] [Código]
• GenAD : direção autônoma generativa de ponta a ponta. ECCV 2024 [Artigo] [Código]
• OccWorld : Aprendendo um modelo mundial de ocupação 3D para direção autônoma. ECCV 2024 [Artigo] [Código]
• [ NeMo ] Modelos volumétricos neurais do mundo para direção autônoma. ECCV 2024 [Artigo]
• CarFormer : direção autônoma com representações centradas em objetos aprendidas. ECCV 2024 [Artigo] [Código]
• [ MARL-CCE ] Modelagem-Comportamentos-Competitivos-na-Condução-Autônoma-Sob-Modelo-Mundo-Generativo. ECCV 2024 [Código]
• [ GUMP ] Resolvendo tarefas de planejamento de movimento com um modelo generativo escalável. ECCV 2024 [Artigo] [Código]
• DrivingDiffusion : geração de vídeo de cena de direção multivisualização guiada por layout com modelo de difusão latente. ECCV 2024 [Artigo] [Código]
• 3D-VLA : Um modelo mundial generativo de visão-linguagem-ação em 3D. ICML 2024 [artigo]
• [ ViDAR ] Visual Point Cloud Forecasting permite direção autônoma escalável. CVPR 2024 [Artigo] [Código]
• [ GenAD ] Modelo Preditivo Generalizado para Direção Autônoma. CVPR 2024 [Artigo] [Dados]
• Cam4DOCC : referência para previsão de ocupação 4D somente com câmera em aplicações de direção autônoma. CVPR 2024 [Artigo] [Código]
• [ Drive-WM ] Dirigindo para o Futuro: Previsão e Planejamento Visual Multiview com Modelo Mundial para Direção Autônoma. CVPR 2024 [Artigo] [Código]
• DriveWorld : compreensão de cena pré-treinada em 4D por meio de modelos mundiais para direção autônoma. CVPR 2024 [artigo]
• Panaceia : Geração de Vídeo Panorâmico e Controlável para Condução Autônoma. CVPR 2024 [Artigo] [Código]
• UnO : Campos de Ocupação Não Supervisionada para Percepção e Previsão. CVPR 2024 [Artigo] [Código]
• MagicDrive : geração de Street View com controle diversificado de geometria 3D. ICLR 2024 [Artigo] [Código]
• Copilot4D : Aprendendo modelos mundiais não supervisionados para direção autônoma por meio de difusão discreta. ICLR 2024 [artigo]
• SafeDreamer : Aprendizagem por Reforço Seguro com Modelos Mundiais. ICLR 2024 [Artigo] [Código]
• DrivingWorld : Construindo Modelo Mundial para Condução Autônoma via Vídeo GPT. arXiv 2024.12 [Artigo] [Código]
• DrivingGPT : Unificando Modelagem e Planejamento do Mundo de Condução com Transformadores Autoregressivos Multimodais. arXiv 2024.12 [Artigo] [Projeto]
• Um modelo mundial de ocupação eficiente por meio de fluxo dinâmico desacoplado e treinamento assistido por imagem. arXiv 2024.12 [artigo]
• GEM : um modelo de mundo multimodal generalizável de visão de ego para movimento de ego refinado, dinâmica de objetos e controle de composição de cena. arXiv 2024.12 [Artigo] [Projeto]
• GaussianWorld : modelo mundial gaussiano para streaming de previsão de ocupação 3D. arXiv 2024.12 [Artigo] [Código]
• Doe-1 : Condução autônoma em circuito fechado com modelo de mundo grande. arXiv 2024.12 [Artigo] [Código]
• [ DrivePhysica ] Modelo de mundo de direção fisicamente informado. arXiv 2024.12 [Artigo] [Código]
• HoloDrive : geração holística de cenas de rua multimodais 2D-3D para direção autônoma. arXiv 2024.12 [artigo]
• InfinityDrive : quebrando limites de tempo na condução de modelos mundiais. arXiv 2024.12 [artigo] [página do projeto]
• ReconDreamer : Criando modelos mundiais para reconstrução de cenas de direção por meio de restauração online. arXiv 2024.11 [Artigo] [Código]
• Gerando cenários fora de distribuição usando modelos de linguagem. arXiv 2024.11 [artigo]
• Imagine-2-Drive : Modelagem Mundial de Alta Fidelidade em CARLA para Veículos Autônomos. arXiv 2024.11 [artigo] [página do projeto]
• WorldSimBench : Rumo a modelos de geração de vídeo como simulador mundial. arXiv 2024.10 [artigo] [página do projeto]
• DriveDreamer4D : Modelos mundiais são máquinas de dados eficazes para representação de cenas de direção em 4D. arXiv 2024.10 [artigo] [página do projeto]
• DOME : domesticando o modelo de difusão em um modelo mundial de ocupação controlável de alta fidelidade. arXiv 2024.10 [artigo] [página do projeto]
• [ SSR ] A direção autônoma de ponta a ponta realmente precisa de tarefas de percepção? arXiv 2024.9 [Artigo] [Código]
• Mitigando a mudança covariável na aprendizagem de imitação para veículos autônomos usando modelos mundiais geradores de espaço latente. arXiv 2024.9 [artigo]
• [ LatentDriver ] Aprendendo múltiplas decisões probabilísticas do modelo mundial latente na direção autônoma. arXiv 2024.9 [Artigo] [Código]
• RenderWorld : Modelo Mundial com Etiqueta 3D Auto-Supervisionada. arXiv 2024.9 [artigo]
• OccLLaMA : Um modelo mundial generativo de ocupação-linguagem-ação para direção autônoma. arXiv 2024.9 [artigo]
• DriveGenVLM : geração de vídeo do mundo real para direção autônoma baseada em modelo de linguagem de visão. arXiv 2024.8 [artigo]
• [ Drive-OccWorld ] Dirigindo no mundo da ocupação: previsão e planejamento de ocupação 4D centrados na visão por meio de modelos mundiais para direção autônoma. arXiv 2024.8 [artigo]
• BEVWorld : um modelo mundial multimodal para direção autônoma por meio do espaço latente BEV unificado. arXiv 2024.7 [Artigo] [Código]
• [ TOKEN ] Tokenize o mundo em conhecimento em nível de objeto para lidar com eventos de cauda longa na direção autônoma. arXiv 2024.7 [artigo]
• UMAD : Detecção de anomalias não supervisionadas no nível da máscara para direção autônoma. arXiv 2024.6 [artigo]
• SimGen : geração de cena de direção condicionada por simulador. arXiv 2024.6 [Artigo] [Código]
• [ AdaptiveDriver ] Planejamento com modelos mundiais adaptativos para direção autônoma. arXiv 2024.6 [Artigo] [Código]
• [ LEI ] Aprimorando a direção autônoma de ponta a ponta com modelo de mundo latente. arXiv 2024.6 [Artigo] [Código]
• [ Delphi ] Liberando a generalização da direção autônoma de ponta a ponta com geração de vídeo longo e controlável. arXiv 2024.6 [Artigo] [Código]
• OccSora : Modelos 4D de geração de ocupação como simuladores mundiais para direção autônoma. arXiv 2024.5 [Artigo] [Código]
• MagicDrive3D : Geração 3D controlável para renderização de qualquer visualização em cenas de rua. arXiv 2024.5 [Artigo] [Código]
• CarDreamer : plataforma de aprendizagem de código aberto para direção autônoma baseada em modelo mundial. arXiv 2024.5 [Artigo] [Código]
• [ DriveSim ] Sondando LLMs Multimodais como Modelos Mundiais para Direção. arXiv 2024.5 [Artigo] [Código]
• LidarDM : Simulação LiDAR generativa em um mundo gerado. arXiv 2024.4 [Artigo] [Código]
• SubjectDrive : Dimensionando dados generativos em direção autônoma por meio de controle de assunto. arXiv 2024.3 [Artigo] [Projeto]
• DriveDreamer-2 : Modelos mundiais aprimorados por LLM para geração diversificada de vídeos de condução. arXiv 2024.3 [Artigo] [Código]

2023

• TrafficBots : Rumo a modelos mundiais para simulação de direção autônoma e previsão de movimento. ICRA 2023 [Artigo] [Código]
• WoVoGen : difusão mundial com reconhecimento de volume para geração controlável de cenas de direção com várias câmeras. arXiv 2023.12 [Artigo] [Código]
• [ CTT ] Transformador de Tráfego Categórico: Predição de Comportamento Interpretável e Diversificado com Latência Tokenizada. arXiv 2023.11 [artigo]
• MUVO : Um modelo mundial generativo multimodal para direção autônoma com representações geométricas. arXiv 2023.11 [artigo]
• GAIA-1 : Um modelo mundial generativo para direção autônoma. arXiv 2023.9 ​​[artigo]
• ADriver-I : Um modelo mundial geral para direção autônoma. arXiv 2023.9 ​​[artigo]
• UniWorld : Pré-treinamento de direção autônoma por meio de modelos mundiais. arXiv 2023.8 [Artigo] [Código]

2022

• [ MILE ] Aprendizagem de imitação baseada em modelo para direção urbana. NeurIPS 2022 [Artigo] [Código]
• Iso-Dream : Isolando e aproveitando dinâmicas visuais não controláveis ​​em modelos mundiais. NeurIPS 2022 Spotlight [Artigo] [Código]
• Symphony : Aprendendo agentes realistas e diversos para simulação de direção autônoma. ICRA 2022 [artigo]
• Aprendizagem de imitação baseada em modelo hierárquico para planejamento em direção autônoma. IROS 2022 [Artigo]
• [ SEM2 ] Melhore a eficiência e a robustez da amostra de direção autônoma urbana de ponta a ponta por meio do modelo de mundo mascarado semântico. NeurIPS 2022 workshop [artigo]

Outro documento de modelo mundial

2025

• Plataforma modelo da Cosmos World Foundation para IA física. NVIDIA [Artigo] [Código]

2024

• [ SMAC ] Respostas fundamentadas para problemas de tomada de decisão multiagentes por meio de modelo de mundo generativo. NeurIPS 2024 [artigo]

• [ CoWorld ] Tornando RL offline online: modelos mundiais colaborativos para aprendizagem por reforço visual offline. NeurIPS 2024 [Artigo] [Site] [Código da tocha]

• [ Diamante ] Difusão para modelagem mundial: detalhes visuais são importantes na Atari. NeurIPS 2024 [Artigo] [Código]

• PIVOT-R : Modelo mundial com reconhecimento de waypoint orientado por primitivos para manipulação robótica. NeurIPS 2024 [artigo]

• [ MUN ]Aprendendo modelos mundiais para navegação irrestrita de metas. NeurIPS 2024 [Artigo] [Código]

• VidMan : Explorando Dinâmica Implícita do Modelo de Difusão de Vídeo para Manipulação Eficaz de Robôs. NeurIPS 24 [artigo]

• Modelos de mundo adaptativos : comportamentos de aprendizagem por imaginação latente sob não estacionariedade. NeurIPSW 2024 [Artigo]

• Emergência de Modelos de Mundo Implícitos de Agentes Mortais. NeurIPSW 2024 [artigo]

• Representação do Mundo Causal no Modelo GPT. NeurIPSW 2024 [artigo]

• PreLAR : Pré-treinamento de modelo mundial com representação de ação que pode ser aprendida. ECCV 2024 [Artigo] [Código]

• [ CWM ] Compreendendo a dinâmica física com modelagem de mundo contrafactual. ECCV 2024 [Artigo] [Código]

• ManiGaussian : Respingos Gaussianos Dinâmicos para Manipulação Robótica Multitarefa. ECCV 2024 [Artigo] [Código]

• [ DWL ] Avançando na Locomoção Humanóide: Dominando Terrenos Desafiadores com Denoising World Model Learning. RSS 2024 (Best Paper Award Finalist) [Artigo]

• [ LLM-Sim ] Os modelos de linguagem podem servir como simuladores mundiais baseados em texto? ACL [Papel] [Código]

• RoboDreamer : Aprendendo modelos de mundo composicional para imaginação de robôs. ICML 2024 [Artigo] [Código]

• [ Δ-IRIS ] Modelos mundiais eficientes com tokenização sensível ao contexto. ICML 2024 [Artigo] [Código]

• AD3 : A ação implícita é a chave para os modelos mundiais distinguirem os diversos distratores visuais. ICML 2024 [artigo]

• Hieros : Imaginação Hierárquica em Modelos Mundiais de Sequência Espacial de Estados Estruturados. ICML 2024 [artigo]

• [ HRSSM ] Aprendendo Representações Robustas Dinâmicas Latentes para Modelos Mundiais. ICML 2024 [Artigo] [Código]

• HarmonyDream : Harmonização de tarefas dentro dos modelos mundiais. ICML 2024 [Artigo] [Código]

• [ REM ] Melhorando modelos mundiais baseados em tokens com previsão de observação paralela. ICML 2024 [Artigo] [Código]

• Os modelos do Transformer World oferecem melhores gradientes políticos? ICML 2024 [artigo]

• TD-MPC2 : Modelos mundiais robustos e escaláveis ​​para controle contínuo. ICLR 2024 [Artigo] [Código da Tocha]

• DreamSmooth : Melhorando o aprendizado por reforço baseado em modelo por meio de suavização de recompensa. ICLR 2024 [artigo]

• [ R2I ] Dominando tarefas de memória com modelos mundiais. ICLR 2024 [Artigo] [Código JAX]

• MAMBA : uma abordagem de modelo mundial eficaz para aprendizagem por meta-reforço. ICLR 2024 [Artigo] [Código]

• Aprendizagem interativa de frota de robôs multitarefa com modelos de mundo visual. CoRL 2024 [Artigo] [Código]

• Rumo a modelos de mundo fisicamente interpretáveis : representações significativas e fracamente supervisionadas para previsão de trajetória visual. arXiv 2024.12 [artigo]

• Sonhe para manipular : modelos de mundo composicionais que capacitam o aprendizado de imitação de robôs com imaginação. arXiv 2024.12 [Artigo] [Projeto]

• Transformadores usam modelos de mundo causal em tarefas de resolução de labirintos. arXiv 2024.12 [artigo]

• Owl-1 : Modelo Omni World para geração consistente de vídeos longos. arXiv 2024.12 [Artigo] [Código]

• StoryWeaver : um modelo mundial unificado para personalização de personagens de histórias com conhecimento aprimorado. arXiv 2024.12 [Artigo] [Código]

• SimuDICE : Otimização de políticas off-line por meio de atualizações do modelo mundial e estimativa DICE. BNAIC 2024 [Artigo]

• Exploração limitada com incerteza do modelo mundial no algoritmo de aprendizagem por reforço ator-crítico suave. arXiv 2024.12 [artigo]

• Genie 2 : Um modelo mundial de base em grande escala. 2024.12 Google DeepMind [Blog]

• [ NWM ] Modelos mundiais de navegação. arXiv 2024.12 Yann LeCun [Artigo] [Projeto]

• The Matrix : Geração de Mundo em Horizonte Infinito com Controle de Movimento em Tempo Real. arXiv 2024.12 [Artigo] [Projeto]

• Solicitação de movimento : controlando a geração de vídeo com trajetórias de movimento. arXiv 2024.12 [Artigo] [Projeto]

• Explorador Mundial Generativo. arXiv 2024.11 [Artigo] [Projeto]

• [ WebDreamer ] Seu LLM é secretamente um modelo mundial da Internet? Planejamento Baseado em Modelo para Agentes Web. arXiv 2024.11 [Artigo] [Código]

• WHALE : Rumo a modelos mundiais generalizáveis ​​e escaláveis ​​para tomada de decisões incorporadas. arXiv 2024.11 [artigo]

• DINO-WM : Modelos mundiais com recursos visuais pré-treinados permitem planejamento zero-shot. arXiv 2024.11 Yann LeCun [artigo]

• Dimensionando Leis para Agentes de Pré-treinamento e Modelos Mundiais. arXiv 2024.11 [artigo]

• [ Phyworld ] Quão distante está a geração de vídeo do modelo mundial: uma perspectiva da lei física. arXiv 2024.11 [Artigo] [Projeto]

• IGOR : As representações Image-GOal são as unidades de controle atômico para modelos básicos em IA incorporada. arXiv 2024.10 [Artigo] [Projeto]

• EVA : um modelo de mundo incorporado para antecipação de vídeos futuros. arXiv 2024.10 [artigo]

• VisualPredicator : Aprendendo Modelos de Mundo Abstratos com Predicados Neuro-Simbólicos para Planejamento de Robôs. arXiv 2024.10 [artigo]

• [ LLMCWM ] Agentes linguísticos encontram causalidade - conectando LLMs e modelos de mundo causal. arXiv 2024.10 [Artigo] [Código]

• Modelos mundiais sem recompensa para aprendizagem de imitação on-line. arXiv 2024.10 [artigo]

• Agentes Web com Modelos Mundiais : Aprendendo e Aproveitando a Dinâmica Ambiental na Navegação Web. arXiv 2024.10 [artigo]

• [ GLIMO ] Fundamentando grandes modelos de linguagem em ambientes incorporados com modelos de mundo imperfeitos. arXiv 2024.10 [artigo]

• AVID : Adaptando Modelos de Difusão de Vídeo a Modelos Mundiais. arXiv 2024.10 [Artigo] [Código]

• [ WMP ] Percepção baseada em modelo mundial para locomoção visual com pernas. arXiv 2024.9 [Artigo] [Projeto]

• [ OSWM ] Modelos de mundo únicos usando um transformador treinado em um antecedente sintético. arXiv 2024.9 [artigo]

• R-AIF : Resolvendo tarefas robóticas de recompensa esparsa a partir de pixels com inferência ativa e modelos mundiais. arXiv 2024.9 [artigo]

• Representando informações posicionais em modelos mundiais generativos para manipulação de objetos. arXiv 2024.9 [artigo]

• Transformando grandes modelos de linguagem em modelos mundiais com conhecimento de pré-condições e efeitos. arXiv 2024.9 [artigo]

• DexSim2Real$^2$ : Construindo um modelo de mundo explícito para manipulação hábil de objetos articulados e precisos. arXiv 2024.9 [artigo]

• Exploração eficiente e aprendizagem discriminativa de modelos mundiais com uma abstração centrada em objetos. arXiv 2024.8 [artigo]

• [ MoReFree ] Modelos mundiais aumentam a autonomia na aprendizagem por reforço. arXiv 2024.8 [Artigo] [Projeto]

• UrbanWorld : um modelo de mundo urbano para geração de cidades em 3D. arXiv 2024.7 [artigo]

• PWM : Aprendizagem de Políticas com Grandes Modelos Mundiais. arXiv 2024.7 [Artigo] [Código]

• Predição versus atuação : uma compensação entre modelagem mundial e modelagem de agente. arXiv 2024.7 [artigo]

• [ GenRL ] Modelos mundiais de base multimodal para agentes incorporados generalistas. arXiv 2024.6 [Artigo] [Código]

• [ DLLM ] Modelos mundiais com dicas de grandes modelos de linguagem para cumprimento de metas. arXiv 2024.6 [artigo]

• Mapa Cognitivo para Modelos de Linguagem: Planejamento Ideal por meio da Representação Verbal do Modelo Mundial. arXiv 2024.6 [artigo]

• CityBench : Avaliando as capacidades do modelo de linguagem grande como modelo mundial. arXiv 2024.6 [Artigo] [Código]

• CoDreamer : Modelos mundiais descentralizados baseados em comunicação. arXiv 2024.6 [artigo]

• [ EBWM ] Modelos mundiais baseados em energia de inspiração cognitiva. arXiv 2024.6 [artigo]

• Avaliando o modelo mundial implícito em um modelo generativo. arXiv 2024.6 [Artigo] [Código]

• Transformadores e codificação de slot para modelagem eficiente de mundo físico. arXiv 2024.5 [Artigo] [Código]

• [ Marionetista ] Modelos de mundo hierárquicos como controladores humanóides visuais de corpo inteiro. arXiv 2024.5 Yann LeCun [Artigo] [Código]

• Modelo BWArea : Modelo do Mundo de Aprendizagem, Dinâmica Inversa e Política para Geração de Linguagem Controlável. arXiv 2024.5 [artigo]

• Pandora : Rumo ao Modelo Mundial Geral com Ações de Linguagem Natural e Estados de Vídeo. [Papel] [Código]

• [ WKM ] Planejamento de Agentes com Modelo de Conhecimento Mundial. arXiv 2024.5 [Artigo] [Código]

• Newton ™ – um modelo básico inédito para a compreensão do mundo físico. Archetype AI [Blog]

• Competir e compor : aprendendo mecanismos independentes para modelos mundiais modulares. arXiv 2024.4 [artigo]

• MagicTime : modelos de geração de vídeo com lapso de tempo como simuladores metamórficos. arXiv 2024.4 [Artigo] [Código]

• Sonhando com muitos mundos : aprender modelos mundiais contextuais auxilia na generalização zero-shot. arXiv 2024.3 [Artigo] [Código]

• ManiGaussian : Respingos Gaussianos Dinâmicos para Manipulação Robótica Multitarefa. arXiv 2024.3 [Artigo] [Código]

• V-JEPA : Arquitetura Preditiva de Incorporação Conjunta de Vídeo. Meta AI Yann LeCun [Blog] [Artigo] [Código]

• [ IWM ] Aprendendo e aproveitando modelos mundiais na aprendizagem de representação visual. Meta AI [artigo]

• Genie : ambientes interativos generativos. DeepMind [Artigo] [Blog]

• [ Sora ] Modelos de geração de vídeo como simuladores de mundo. OpenAI [relatório técnico]

• [ LWM ] Modelo mundial em vídeo e linguagem de um milhão de comprimento com RingAttention. arXiv 2024.2 [Artigo] [Código]

• Planejando com um Conjunto de Modelos Mundiais. OpenReview [Artigo]

• WorldDreamer : Rumo a modelos mundiais gerais para geração de vídeo por meio da previsão de tokens mascarados. arXiv 2024.1 [Artigo] [Código]

2023

• [ IRIS ] Transformadores são exemplos de modelos mundiais eficientes. ICLR 2023 Oral [Artigo] [Código da Tocha]
• STORM : Modelos Mundiais baseados em Transformadores Estocásticos Eficientes para Aprendizagem por Reforço. NIPS 2023 [Artigo] [Código da Tocha]
• [ TWM ] Modelos mundiais baseados em transformadores ficam satisfeitos com 100 mil interações. ICLR 2023 [Artigo] [Código da Tocha]
• [ Dynalang ] Aprendendo a modelar o mundo com a linguagem. arXiv 2023.8 [Artigo] [Código JAX]
• [ DreamerV3 ] Dominando Atari com modelos de mundo discretos. arXiv 2023.1 [Artigo] [Código JAX] [Código da tocha]

2022

• [ TD-MPC ] Aprendizagem por diferença temporal para controle preditivo de modelo. ICML 2022 [Artigo][Código da Tocha]
• DreamerPro : Aprendizagem por reforço baseada em modelo livre de reconstrução com representações prototípicas. ICML 2022 [Artigo] [Código TF]
• DayDreamer : Modelos Mundiais para Aprendizagem Física de Robôs. CoRL 2022 [Artigo] [Código TF]
• Planejamento hierárquico profundo a partir de pixels. NIPS 2022 [Artigo] [Código TF]
• Iso-Dream : Isolando e aproveitando dinâmicas visuais não controláveis ​​em modelos mundiais. NIPS 2022 Spotlight [Artigo] [Código da Tocha]
• DreamingV2 : Aprendizagem por Reforço com Modelos de Mundo Discretos sem Reconstrução. arXiv 2022.3 [artigo]

2021

• [ DreamerV2 ] Dominando Atari com modelos de mundo discretos. ICLR 2021 [Artigo] [Código TF] [Código da Tocha]
• Sonhando : Aprendizagem por Reforço Baseada em Modelo por Imaginação Latente sem Reconstrução. ICRA 2021 [artigo]

2020

• [ DreamerV1 ] Sonho para Controlar: Aprendendo Comportamentos por Imaginação Latente. ICLR 2020 [Artigo] [Código TF] [Código da Tocha]
• [ Plan2Explore ] Planejando explorar por meio de modelos mundiais auto-supervisionados. ICML 2020 [Artigo] [Código TF] [Código Tocha]

2018

• Modelos mundiais. NIPS 2018 Oral [artigo]