Соберите несколько статей о моделях мира (для автономного вождения).
Если вы обнаружите какие-то игнорируемые документы, не стесняйтесь создавать запросы на включение , открывать проблемы или отправлять электронное письмо мне / Ци Вану . Приветствуются любые вклады, которые сделают этот список более полным.
Если вы найдете этот репозиторий полезным, поставьте нам звезду ?
Не стесняйтесь поделиться этим списком с другими! ???
CVPR 2024 Workshop & Challenge | OpenDriveLab
Трек № 4: Прогнозируемая модель мира.
Выступая в качестве абстрактного пространственно-временного представления реальности, модель мира может предсказывать будущие состояния на основе текущего состояния. Процесс обучения моделей мира может поднять предварительно обученную базовую модель на новый уровень. Учитывая входные данные только для зрения, нейронная сеть выводит облака точек в будущем, чтобы подтвердить свою способность прогнозировать мир.
CVPR 2023 Workshop on Autonomous Driving
ЗАДАЧА 3: ЗАДАЧИ ARGOVERSE, 3D-прогнозирование занятости с использованием набора данных датчиков Argoverse 2. Предскажите пространственно-временную занятость мира на следующие 3 секунды.
Yann LeCun
: Путь к автономному машинному интеллекту [бумага] [Видео]CVPR'23 WAD
— Ашок Эллусвами, Tesla [Видео]Wayve
представляет GAIA-1: передовую модель генеративного искусственного интеллекта для автономности [блог]Мировые модели являются основой способности предсказывать, что может произойти дальше, что принципиально важно для автономного вождения. Они могут действовать как обучаемый симулятор или мысленный эксперимент «а что, если» для обучения с подкреплением на основе моделей (RL) или планирования. Включая модели мира в наши модели вождения, мы можем позволить им лучше понимать человеческие решения и, в конечном итоге, обобщать их на более реальные ситуации.
WACVW 2024
[Бумага] [Код]ISSREW
[БумагаarXiv 2024.11
[Бумага]arXiv 2024.11
[Бумага]arXiv 2024.7
[Бумага] [Код]arXiv 2024.5
[Бумага] [Код]2024.3, arxiv
[Бумага]TITS
[Бумага]NeurIPS 2024
[Бумага] [Код]NeurIPS 2024
[Документ] [Проект]ECCV 2024
[Бумага]ECCV 2024
[Бумага] [Кодекс]ECCV 2024
[Бумага] [Кодекс]ECCV 2024
[Бумага] [Кодекс]ECCV 2024
[Бумага] [Кодекс]ECCV 2024
[Бумага]ECCV 2024
[Бумага] [Кодекс]ECCV 2024
[Код]ECCV 2024
[Бумага] [Кодекс]ECCV 2024
[Бумага] [Кодекс]ICML 2024
[Бумага]CVPR 2024
[Бумага] [Кодекс]CVPR 2024
[Документ] [Данные]CVPR 2024
[Бумага] [Кодекс]CVPR 2024
[Бумага] [Кодекс]CVPR 2024
[Бумага]CVPR 2024
[Бумага] [Кодекс]CVPR 2024
[Бумага] [Кодекс]ICLR 2024
[Бумага] [Код]ICLR 2024
[Документ]ICLR 2024
[Бумага] [Код]arXiv 2024.12
[Бумага] [Код]arXiv 2024.12
[Документ] [Проект]arXiv 2024.12
[Бумага]arXiv 2024.12
[Документ] [Проект]arXiv 2024.12
[Бумага] [Код]arXiv 2024.12
[Бумага] [Код]arXiv 2024.12
[Бумага] [Код]arXiv 2024.12
[Бумага]arXiv 2024.12
[Документ] [Страница проекта]arXiv 2024.11
[Бумага] [Код]arXiv 2024.11
[Бумага]arXiv 2024.11
[Документ] [Страница проекта]arXiv 2024.10
[Документ] [Страница проекта]arXiv 2024.10
[Документ] [Страница проекта]arXiv 2024.10
[Документ] [Страница проекта]arXiv 2024.9
[Бумага] [Код]arXiv 2024.9
[Бумага]arXiv 2024.9
[Бумага] [Код]arXiv 2024.9
[Бумага]arXiv 2024.9
[Бумага]arXiv 2024.8
[Бумага]arXiv 2024.8
[Бумага]arXiv 2024.7
[Бумага] [Код]arXiv 2024.7
[Бумага]arXiv 2024.6
[Бумага]arXiv 2024.6
[Бумага] [Код]arXiv 2024.6
[Бумага] [Код]arXiv 2024.6
[Бумага] [Код]arXiv 2024.6
[Бумага] [Код]arXiv 2024.5
[Бумага] [Код]arXiv 2024.5
[Бумага] [Код]arXiv 2024.5
[Бумага] [Код]arXiv 2024.5
[Бумага] [Код]arXiv 2024.4
[Бумага] [Код]arXiv 2024.3
[Документ] [Проект]arXiv 2024.3
[Бумага] [Код]ICRA 2023
[Бумага] [Кодекс]arXiv 2023.12
[Бумага] [Код]arXiv 2023.11
[Бумага]arXiv 2023.11
[Бумага]arXiv 2023.9
[Бумага]arXiv 2023.9
[Бумага]arXiv 2023.8
[Бумага] [Код]NeurIPS 2022
[Бумага] [Код]NeurIPS 2022 Spotlight
[Бумага] [Код]ICRA 2022
[Документ]IROS 2022
[Бумага]NeurIPS 2022 workshop
[Документ] NVIDIA
[Бумага] [Код] [ SMAC ] Обоснованные ответы на задачу многоагентного принятия решений с помощью генеративной модели мира. NeurIPS 2024
[Документ]
[ CoWorld ] Создание автономного RL онлайн: совместные модели мира для автономного обучения с визуальным подкреплением. NeurIPS 2024
[Документ] [Веб-сайт] [Код Torch]
[ Diamond ] Распространение для моделирования мира: визуальные детали имеют значение в Atari. NeurIPS 2024
[Бумага] [Код]
PIVOT-R : примитивная модель мира с учетом путевых точек для роботизированных манипуляций. NeurIPS 2024
[Документ]
[ MUN ]Изучение мировых моделей для неограниченной навигации по целям. NeurIPS 2024
[Бумага] [Код]
VidMan : использование неявной динамики модели распространения видео для эффективного манипулирования роботом. NeurIPS 24
[Бумага]
Адаптивные модели мира : обучение поведению с помощью скрытого воображения в условиях нестационарности. NeurIPSW 2024
[Бумага]
Возникновение неявных моделей мира из смертных агентов. NeurIPSW 2024
[Бумага]
Причинное представление мира в модели GPT. NeurIPSW 2024
[Бумага]
PreLAR : предварительное обучение модели мира с обучаемым представлением действий. ECCV 2024
[Бумага] [Кодекс]
[ CWM ] Понимание физической динамики с помощью контрфактического моделирования мира. ECCV 2024
[Бумага] [Кодекс]
ManiGaussian : Динамическое гауссово распределение для многозадачных роботизированных манипуляций. ECCV 2024
[Бумага] [Кодекс]
[ DWL ] Развитие передвижения гуманоидов: освоение сложных ландшафтов с шумоподавлением обучения модели мира. RSS 2024 (Best Paper Award Finalist)
[бумага]
[ LLM-Sim ] Могут ли языковые модели служить текстовыми симуляторами мира? ACL
[Бумага] [Код]
RoboDreamer : Изучение композиционных моделей мира для воображения роботов. ICML 2024
[Бумага] [Кодекс]
[ Δ-IRIS ] Эффективные модели мира с контекстно-зависимой токенизацией. ICML 2024
[Бумага] [Кодекс]
AD3 : Неявное действие является ключом к моделям мира, позволяющим различать разнообразные визуальные отвлекающие факторы. ICML 2024
[Бумага]
Иерос : Иерархическое воображение в моделях мира со структурированными состояниями в пространстве. ICML 2024
[Бумага]
[ HRSSM ] Изучение скрытых динамических робастных представлений моделей мира. ICML 2024
[Бумага] [Кодекс]
HarmonyDream : Гармонизация задач внутри моделей мира. ICML 2024
[Бумага] [Кодекс]
[ REM ] Улучшение моделей мира на основе токенов с помощью прогнозирования параллельного наблюдения. ICML 2024
[Бумага] [Кодекс]
Дают ли модели мира-трансформера лучшие политические градиенты? ICML 2024
[Бумага]
TD-MPC2 : Масштабируемые и надежные мировые модели для непрерывного управления. ICLR 2024
[Бумага] [Код Факела]
DreamSmooth : улучшение обучения с подкреплением на основе моделей посредством сглаживания вознаграждения. ICLR 2024
[Документ]
[ R2I ] Освоение задач на запоминание с помощью моделей мира. ICLR 2024
[Бумага] [JAX-код]
МАМБА : эффективный подход к модели мира для обучения с метаподкреплением. ICLR 2024
[Бумага] [Код]
Многозадачное интерактивное обучение парка роботов с помощью визуальных моделей мира. CoRL 2024
[Бумага] [Кодекс]
На пути к физически интерпретируемым моделям мира : значимые слабоконтролируемые представления для визуального прогнозирования траектории. arXiv 2024.12
[Бумага]
Мечта манипулировать : композиционные модели мира, расширяющие возможности обучения имитации роботов с помощью воображения. arXiv 2024.12
[Документ] [Проект]
Трансформеры используют причинно-следственные модели мира в задачах по решению лабиринтов. arXiv 2024.12
[Бумага]
Owl-1 : Модель универсального мира для последовательной генерации длинных видео. arXiv 2024.12
[Бумага] [Код]
StoryWeaver : унифицированная мировая модель для настройки персонажей сюжета с расширенными знаниями. arXiv 2024.12
[Бумага] [Код]
SimuDICE : оптимизация политики в автономном режиме посредством обновления мировой модели и оценки DICE. BNAIC 2024
[Документ]
Ограниченное исследование с неопределенностью модели мира в алгоритме обучения с подкреплением «мягкий актер-критик». arXiv 2024.12
[Бумага]
Genie 2 : Крупномасштабная модель мира-основания. 2024.12
Google DeepMind
[Блог]
[ NWM ] Модели навигационного мира. arXiv 2024.12
Yann LeCun
[Документ] [Проект]
Матрица : создание мира с бесконечным горизонтом и управлением движением в реальном времени. arXiv 2024.12
[Документ] [Проект]
Подсказка к движению : управление генерацией видео с помощью траекторий движения. arXiv 2024.12
[Документ] [Проект]
Генеративный исследователь мира. arXiv 2024.11
[Документ] [Проект]
[ WebDreamer ] Является ли ваш LLM тайной мировой моделью Интернета? Модельно-ориентированное планирование для веб-агентов. arXiv 2024.11
[Бумага] [Код]
КИТ : К обобщаемым и масштабируемым мировым моделям для воплощенного принятия решений. arXiv 2024.11
[Бумага]
DINO-WM : мировые модели на предварительно обученных визуальных функциях позволяют осуществлять планирование с нулевой точки зрения. arXiv 2024.11
Yann LeCun
[Бумага]
Законы масштабирования для агентов предварительного обучения и моделей мира. arXiv 2024.11
[Бумага]
[ Phyworld ] Насколько генерация видео далека от модели мира: взгляд на физический закон. arXiv 2024.11
[Документ] [Проект]
ИГОРЬ : Представления «изображение-цель» — это атомарные единицы управления базовыми моделями в воплощенном ИИ. arXiv 2024.10
[Документ] [Проект]
EVA : воплощенная мировая модель для предвкушения видео будущего. arXiv 2024.10
[Бумага]
VisualPredicator : изучение моделей абстрактного мира с помощью нейросимволических предикатов для планирования роботов. arXiv 2024.10
[Бумага]
[ LLMCWM ] Языковые агенты встречают причинность - соединяя LLM и причинные модели мира. arXiv 2024.10
[Бумага] [Код]
Модели мира без вознаграждения для онлайн-имитационного обучения. arXiv 2024.10
[Бумага]
Веб-агенты с моделями мира : изучение и использование динамики среды в веб-навигации. arXiv 2024.10
[Бумага]
[ GLIMO ] Обоснование больших языковых моделей в воплощенной среде с помощью несовершенных моделей мира. arXiv 2024.10
[Бумага]
AVID : адаптация моделей распространения видео к мировым моделям. arXiv 2024.10
[Бумага] [Код]
[ WMP ] Восприятие визуального передвижения ног на основе мировых моделей. arXiv 2024.9
[Документ] [Проект]
[ OSWM ] Одноразовые модели мира с использованием трансформатора, обученного на синтетическом априорном уровне. arXiv 2024.9
[Бумага]
R-AIF : Решение роботизированных задач с разреженным вознаграждением из пикселей с помощью активного вывода и моделей мира. arXiv 2024.9
[Бумага]
Представление позиционной информации в генеративных моделях мира для манипулирования объектами. arXiv 2024.9
[Бумага]
Превращение больших языковых моделей в модели мира с использованием знаний о предусловиях и эффектах. arXiv 2024.9
[Бумага]
DexSim2Real$^2$ : построение явной модели мира для точного и ловкого манипулирования шарнирно-сочлененными объектами. arXiv 2024.9
[Бумага]
Эффективное исследование и дискриминационное обучение модели мира с помощью объектно-ориентированной абстракции. arXiv 2024.8
[Бумага]
[ MoReFree ] Модели мира повышают автономность в обучении с подкреплением. arXiv 2024.8
[Документ] [Проект]
UrbanWorld : модель городского мира для создания 3D-городов. arXiv 2024.7
[Бумага]
ШИМ : изучение политики с помощью моделей большого мира. arXiv 2024.7
[Бумага] [Код]
Прогнозирование против действия : компромисс между моделированием мира и моделированием агентов. arXiv 2024.7
[Бумага]
[ GenRL ] Мультимодальные базовые модели мира для воплощенных агентов широкого профиля. arXiv 2024.6
[Бумага] [Код]
[ DLLM ] Модели мира с намеками на большие языковые модели для достижения целей. arXiv 2024.6
[Бумага]
Когнитивная карта для языковых моделей: оптимальное планирование посредством вербального представления модели мира. arXiv 2024.6
[Бумага]
CityBench : Оценка возможностей большой языковой модели как модели мира. arXiv 2024.6
[Бумага] [Код]
CoDreamer : Модели децентрализованного мира, основанные на коммуникации. arXiv 2024.6
[Бумага]
[ EBWM ] Когнитивные модели мира, основанные на энергии. arXiv 2024.6
[Бумага]
Оценка модели мира, неявной в генеративной модели. arXiv 2024.6
[Бумага] [Код]
Трансформаторы и слот-кодирование для эффективного моделирования физического мира. arXiv 2024.5
[Бумага] [Код]
[ Кукловод ] Иерархические модели мира как визуальные контроллеры всего тела гуманоида. arXiv 2024.5
Yann LeCun
[Бумага] [Код]
Модель BWArea : модель обучающегося мира, обратная динамика и политика создания управляемого языка. arXiv 2024.5
[Бумага]
Пандора : к общей модели мира с действиями на естественном языке и состояниями видео. [Бумага] [Код]
[ WKM ] Планирование агента с использованием модели мировых знаний. arXiv 2024.5
[Бумага] [Код]
Newton ™ – первая в своем роде фундаментальная модель для понимания физического мира. Archetype AI
[Блог]
Соревнуйтесь и составляйте : изучение независимых механизмов модульных моделей мира. arXiv 2024.4
[Бумага]
MagicTime : модели создания покадрового видео как метаморфические симуляторы. arXiv 2024.4
[Бумага] [Код]
Мечтать о многих мирах : изучение контекстуальных моделей мира помогает безобидному обобщению. arXiv 2024.3
[Бумага] [Код]
ManiGaussian : Динамическое гауссово распределение для многозадачных роботизированных манипуляций. arXiv 2024.3
[Бумага] [Код]
V-JEPA : Прогнозирующая архитектура совместного внедрения видео. Meta AI
Yann LeCun
[Блог] [Документ] [Код]
[ IWM ] Изучение и использование мировых моделей в обучении визуальному представлению. Meta AI
[Бумага]
Genie : Генеративные интерактивные среды. DeepMind
[Статья] [Блог]
[ Сора ] Модели генерации видео как симуляторы мира. OpenAI
[Технический отчет]
[ LWM ] Модель мира на видео и языке длиной в миллион с помощью RingAttention. arXiv 2024.2
[Бумага] [Код]
Планирование с помощью ансамбля мировых моделей. OpenReview
[бумага]
WorldDreamer : К общим моделям мира для генерации видео посредством прогнозирования замаскированных токенов. arXiv 2024.1
[Бумага] [Код]
ICLR 2023 Oral
[Бумага] [Код Факела]NIPS 2023
[Бумага] [Код Факела]ICLR 2023
[Бумага] [Код Факела]arXiv 2023.8
[Бумага] [JAX-код]arXiv 2023.1
[Бумага] [Код JAX] [Код Факела]ICML 2022
[Бумага][Кодекс Факела]ICML 2022
[Бумага] [Кодекс TF]CoRL 2022
[Бумага] [Кодекс TF]NIPS 2022
[Бумага] [Кодекс TF]NIPS 2022 Spotlight
[Бумага] [Код фонарика]arXiv 2022.3
[Бумага]ICLR 2021
[Бумага] [Кодекс TF] [Кодекс Факела]ICRA 2021
[Документ]ICLR 2020
[Бумага] [Код TF] [Кодекс Факела]ICML 2020
[Бумага] [Кодекс TF] [Кодекс Факела]NIPS 2018 Oral
[бумага]