Скачать AGI survey - Загрузить исходный код AGI survey

AGI survey

Другой исходный код

Скачать

Потрясающий опрос AGI
_{Обязательно прочтите статьи об искусственном общем интеллекте}

Абстрактное изображение

? Новости

[2024-10] ? Наша статья была принята TMLR 2024.
[2024-05] ? Мы организуем семинар по AGI на ICLR 2024 и опубликовали наш позиционный документ «Как далеко мы от AGI?».

Наш проект — это постоянная открытая инициатива, которая будет развиваться параллельно с развитием AGI. Мы горячо приветствуем отзывы и запросы сообщества и планируем обновлять нашу статью ежегодно. Авторы веб-сайта проекта будут с благодарностью отмечены за будущие исправления.

Цитата BibTex, если наша работа/ресурсы кажутся вам полезными:

 @article { feng2024far ,
  title = { How Far Are We From AGI } ,
  author = { Feng, Tao and Jin, Chuanyang and Liu, Jingyu and Zhu, Kunlun and Tu, Haoqin and Cheng, Zirui and Lin, Guanyu and You, Jiaxuan } ,
  journal = { arXiv preprint arXiv:2405.10313 } ,
  year = { 2024 }
}

Содержание

Содержание
- 1. Введение
- 2. Внутренний AGI: раскрытие сути AGI
  - 2.1 Восприятие ИИ
  - 2.2 Рассуждения ИИ
  - 2.3 Память ИИ
  - 2.4 Метапознание ИИ
- 3. Интерфейс AGI: соединяем мир с помощью AGI
  - 3.1 Интерфейсы искусственного интеллекта для цифрового мира
  - 3.2 Интерфейсы ИИ для физического мира
  - 3.3 Интерфейсы искусственного интеллекта для разведки
    - 3.3.1 Интерфейсы ИИ для агентов ИИ
    - 3.3.2 Интерфейсы искусственного интеллекта для человека
- 4. Системы AGI: реализация механизма AGI
  - 4.2 Архитектура масштабируемых моделей
  - 4.3 Масштабное обучение
  - 4.4 Методы вывода
  - 4.5 Стоимость и эффективность
  - 4.6 Вычислительные платформы
- 5. Согласование AGI: обеспечение соответствия AGI различным потребностям
  - 5.1 Ожидания от согласования AGI
  - 5.2 Современные методы выравнивания
  - 5.3 Как подойти к согласованию AGI
- 6. Дорожная карта AGI: ответственный подход к AGI
  - 6.1 Уровни искусственного интеллекта: график эволюции искусственного интеллекта
  - 6.2 Оценка AGI
    - 6.2.1 Ожидания от оценки AGI
    - 6.2.2 Текущие оценки и их ограничения
  - 6.5 Дополнительные соображения при разработке AGI
- 7. Тематические исследования
  - 7.1 ИИ для научных открытий и исследований
  - 7.2 Генеративный визуальный интеллект
  - 7.3 Модели мира
  - 7.4 Децентрализованный LLM
  - 7.5 ИИ для кодирования
  - 7.6 ИИ для робототехники в реальных приложениях
  - 7.7 Сотрудничество человека и ИИ

вступление

-> Структура нашей статьи. <-

1. Введение

-> Доля человеческой деятельности, превзойденная искусственным интеллектом. <-

2. Внутренний AGI: раскрытие сути AGI

2.1 Восприятие ИИ

Фламинго: модель визуального языка для кратковременного обучения . Жан-Батист Алайрак и др. NeurIPS 2022. [бумага]
BLIP-2: Предварительное обучение языку-изображению с помощью кодировщиков замороженных изображений и больших языковых моделей . Джуннан Ли и др. ICML 2023. [бумага]
СФИНКС: Совместное смешивание весов, задач и визуальных вложений для мультимодальных моделей большого языка . Цзыи Линь и др. ЭМНЛП 2023. [бумага]
Визуальная инструкция по настройке . Хаотянь Лю и др. NeurIPS 2023. [бумага]
GPT4Tools: обучение большой языковой модели использованию инструментов посредством самообучения . Руй Ян и др. NeurIPS 2023. [бумага]
Otter: мультимодальная модель с контекстной настройкой инструкций . Бо Ли и др. arXiv 2023. [бумага]
VideoChat: понимание видео, ориентированное на чат . Куньчан Ли и др. arXiv 2023. [бумага]
mPLUG-Owl: Модульизация расширяет возможности мультимодальности больших языковых моделей . Цинхао Е и др. arXiv 2023. [бумага]
Обзор мультимодальных моделей большого языка . Шукан Инь и др. arXiv 2023. [бумага]
PandaGPT: одна модель для инструкций — следуйте всем . Исюань Су и др. arXiv 2023. [бумага]
LLaMA-Adapter: эффективная тонкая настройка языковых моделей с нулевым вниманием к инициализации . Ренруй Чжан и др. arXiv 2023. [бумага]
Gemini: семейство высокопроизводительных мультимодальных моделей . Рохан Анил и др. arXiv 2023. [бумага]
Шикра: раскрывая магию мультимодального диалога LLM . Кэцинь Чен и др. arXiv 2023. [бумага]
ImageBind: одно пространство для встраивания, чтобы связать их все . Рохит Гирдхар и др. CVPR 2023. [бумага]
MobileVLM: быстрый, мощный и открытый языковой помощник для мобильных устройств . Сянсян Чу и др. arXiv 2023. [бумага]
Что делает хорошие визуальные токенизаторы для больших языковых моделей? . Гуанжи Ван и др. arXiv 2023. [бумага]
MiniGPT-4: улучшение понимания визуального языка с помощью усовершенствованных моделей большого языка . Дэяо Чжу и др. ICLR 2024. [бумага]
LanguageBind: расширение предварительной подготовки видеоязыка до N-модальности посредством семантического выравнивания на основе языка . Бинь Чжу и др. ICLR 2024. [бумага]

2.2 Рассуждения ИИ

Подсказки по цепочке мыслей вызывают рассуждения в больших языковых моделях . Джейсон Вэй и др. NeurIPS 2022. [бумага]
Нейронная теория разума? О пределах социального интеллекта в крупных LM . Маартен Сап и др. ЭМНЛП 2022. [бумага]
Внутренний монолог: воплощенное рассуждение посредством планирования с помощью языковых моделей . Вэньлун Хуан и др. CoRL 2022. [бумага]
Исследование галлюцинаций в формировании естественного языка . Цзивэй Цзи и др. Обзоры вычислительных систем ACM 2022. [бумага]
ReAct: синергия рассуждений и действий в языковых моделях . Шуньюй Яо и др. ICLR 2023. [бумага]
Декомпозированные подсказки: модульный подход к решению сложных задач . Тушар Хот и др. ICLR 2023. [бумага]
Подсказки на основе сложности для многоэтапного рассуждения . Яо Фу и др. ICLR 2023. [бумага]
Подсказки от наименьшего к наибольшему позволяют проводить сложные рассуждения в больших языковых моделях . Денни Чжоу и др. ICLR 2023. [бумага]
На пути к рассуждению в больших языковых моделях: обзор . Цзе Хуан и др. Выводы ACL 2023. [бумага]
ProgPrompt: Создание планов задач расположенного робота с использованием больших языковых моделей . Ишика Сингх и др. ICRA 2023. [бумага]
Рассуждение с помощью языковой модели — это планирование с помощью модели мира . Шибо Хао и др. ЭМНЛП 2023. [бумага]
Оценка объектных галлюцинаций в больших моделях языка видения . Ифань Ли и др. ЭМНЛП 2023. [бумага]
Дерево мыслей: целенаправленное решение проблем с помощью больших языковых моделей . Шуньюй Яо и др. NeurIPS 2023. [бумага]
Самоуточнение: итеративное уточнение с самообратной связью . Аман Мадаан и др. NeurIPS 2023. [бумага]
Рефлексия: языковые агенты с обучением с вербальным подкреплением . Ной Шинн и др. NeurIPS 2023. [бумага]
Описывайте, объясняйте, планируйте и выбирайте: интерактивное планирование с использованием больших языковых моделей позволяет использовать многозадачные агенты в открытом мире . Цзихао Ван и др. NeurIPS 2023. [бумага]
LLM+P: Расширение возможностей больших языковых моделей с оптимальными навыками планирования . Бо Лю и др. arXiv 2023. [бумага]
Языковые модели, модели агентов и модели мира: ЗАКОН машинного рассуждения и планирования . Чжитинг Ху и др. arXiv 2023. [бумага]
MMToM-QA: Ответы на вопросы мультимодальной теории разума . Чуаньян Цзинь и др. arXiv 2024. [бумага]
График мыслей: решение сложных проблем с помощью больших языковых моделей . Мацей Беста и др. АААИ 2024. [бумага]
Достижение >97% на GSM8K: глубокое понимание проблем делает выпускников LLM идеальными рассудителями . Цихуан Чжун и др. arXiv 2024. [бумага] на рассмотрении

2.3 Память ИИ

Плотный поиск проходов для ответов на вопросы открытой области . Владимир Карпухин и др. ЭМНЛП 2020. [бумага]
Расширенная поисковая генерация для наукоемких задач НЛП . Патрик Льюис и др. NeurIPS 2020. [бумага]
REALM: Предварительное обучение языковой модели с расширенным поиском . Кельвин Гуу и др. ICML 2020. [бумага]
Аугментация поиска уменьшает галлюцинации в разговоре . Курт Шустер и др. Выводы EMNLP за 2021 год. [бумага]
Улучшение языковых моделей путем извлечения из триллионов токенов . Себастьян Боржо и др. ICML 2022. [бумага]
Генеративные агенты: интерактивные симулякры человеческого поведения . Джун Сон Пак и др. UIST 2023. [бумага]
Когнитивные архитектуры для языковых агентов . Теодор Р. Сумерс и др. ТМЛР 2024. [бумага]
«Вояджер: открытый агент с большими языковыми моделями» . Гуанжи Ван и др. arXiv 2023. [бумага]
Обзор механизма памяти агентов на основе больших языковых моделей . Зею Чжан и др. arXiv 2024. [бумага]
Рекурсивное суммирование обеспечивает долговременную диалоговую память в больших языковых моделях . Цинъюэ Ван и др. arXiv 2023. [бумага] на рассмотрении

2.4 Метапознание ИИ

Учет метаспособностей при экстернализации неявных знаний и организационном обучении . Джиоти Чоудри и др. HICSS 2006. [бумага]
Развивающиеся самоуправляемые нейронные сети. Автономный интеллект на основе развитого самообучения . Нам Ле . arXiv 2019. [бумага]
Превращение предварительно обученных языковых моделей в более эффективное обучение с небольшим количеством попыток . Тяньюй Гао и др. ACL 2021. [бумага]
Выявление и манипулирование личностными качествами языковых моделей . Грэм Кэрон и др. arXiv 2022. [бумага]
Brainish: формализация мультимодального языка для интеллекта и сознания . Пол Лян и др. arXiv 2022. [бумага]
Теория сознания с точки зрения теоретической информатики: идеи сознательной машины Тьюринга . Ленор Блюм и др. ПНАС 2022. [бумага]
WizardLM: расширение возможностей больших языковых моделей для выполнения сложных инструкций . Кан Сюй и др. arXiv 2023. [бумага]
Самообучение: согласование языковых моделей с самостоятельно генерируемыми инструкциями . Ичжун Ван и др. ACL 2023. [бумага]
ReST соответствует ReAct: самосовершенствование для многоэтапного мышления LLM Agent . Ренат Акситов и др. arXiv 2023. [бумага]
Культурная психология больших языковых моделей: является ли ChatGPT целостным или аналитическим мышлением? . Чуаньян Цзинь и др. arXiv 2023. [бумага]
Сознание в искусственном интеллекте: идеи науки о сознании . Патрик Батлин и др. arXiv 2023. [бумага]
Пересмотр надежности психологических шкал на больших языковых моделях . Джен-це Хуанг и др. arXiv 2023. [бумага]
Оценка и стимулирование личности с помощью предварительно обученных языковых моделей . Гуангюань Цзян и др. NeurIPS 2024. [бумага]
Уровни ОИИ: операционализация прогресса на пути к ОИИ . Мередит Рингел Моррис и др. arXiv 2024. [бумага] на рассмотрении
Расследование-объединение-эксплуатация: общая стратегия саморазвития агентов между задачами . Ченг Цянь и др. arXiv 2024. [бумага] на рассмотрении

3. Интерфейс AGI: соединяем мир с помощью AGI

3.1 Интерфейсы искусственного интеллекта для цифрового мира

Принципы пользовательских интерфейсов смешанной инициативы . Эрик Хорвиц. СИГЧИ 1999. [бумага]
Возникновение и потенциал агентов, основанных на крупных языковых моделях: опрос . Чжихэн Си и др. arXiv 2023. [бумага]
Инструментальное обучение с использованием моделей фундамента . Юйцзя Цинь и др. arXiv 2023. [бумага]
Создатель: разделение абстрактных и конкретных рассуждений больших языковых моделей посредством создания инструментов . Ченг Цянь и др. arXiv 2023. [бумага]
AppAgent: мультимодальные агенты как пользователи смартфонов . Чжао Ян и др. arXiv 2023. [бумага]
Mind2Web: на пути к универсальному агенту для Интернета . Сян Дэн и др. Тест NeurIPS 2023. [бумага]
ToolQA: набор данных для ответов на вопросы LLM с помощью внешних инструментов . Юйчен Чжуан и др. arXiv 2023. [бумага]
Генеративные агенты: Интерактивные симулякры человеческого поведения . Джун Сон Пак и др. arXiv 2023. [бумага]
Toolformer: Языковые модели могут сами обучаться использованию инструментов . Тимо Шик и др. arXiv 2023. [бумага]
Gorilla: большая языковая модель, связанная с массивными API . Шишир Дж. Патил и др. arXiv 2023. [бумага]
«Вояджер»: воплощенный агент открытого типа с большими языковыми моделями . Гуанжи Ван и др. arXiv 2023. [бумага]
OS-Copilot: К универсальным компьютерным агентам с самосовершенствованием . Чжиюн Ву и др. arXiv 2024. [бумага]
WebArena: реалистичная веб-среда для создания автономных агентов . Шуян Чжоу и др. ICLR 2024. [бумага]
Большие языковые модели как создатели инструментов . Тианле Цай и др. ICLR 2024. [бумага]

3.2 Интерфейсы ИИ для физического мира

Уроки проблемы выбора на Амазонке: четыре аспекта создания роботизированных систем . Клеменс Эппнер и др. RSS 2016. [бумага]
Воспринимающий актер: многозадачный преобразователь для роботизированных манипуляций . Мохит Шридхар и др. arXiv 2022. [бумага]
Вима: Общие манипуляции с роботами с помощью мультимодальных подсказок . Юньфан Цзян и др. arXiv 2022. [бумага]
Делай то, что я могу, а не то, что я говорю: закрепление языка в возможностях роботов . Майкл Ан и др. arXiv 2022. [бумага]
Voxposer: составные трехмерные карты значений для роботизированных манипуляций с языковыми моделями . Вэньлун Хуан и др. arXiv 2023. [бумага]
MotionGPT: движение человека как иностранный язык . Бяо Цзян и др. arXiv 2023. [бумага]
Rt-2: Модели «видение-язык-действие» передают веб-знания роботизированному управлению . Энтони Брохан и др. arXiv 2023. [бумага]
Навигация к объектам реального мира . Теофил Гервет и др. Научная робототехника 2023. [бумага]
Lm-nav: роботизированная навигация с большими предварительно обученными моделями языка, зрения и действий . Дхрув Шах и др. CRL 2023. [бумага]
Palm-e: воплощенная мультимодальная языковая модель . Дэнни Дрисс и др. arXiv 2023. [бумага]
LLM-Planner: пошаговое обоснованное планирование для воплощенных агентов с большими языковыми моделями . Чан Хи Сон и др. ICCV 2023. [бумага]
Instruct2Act: сопоставление мультимодальных инструкций с роботизированными действиями с помощью большой языковой модели . Сиюань Хуан и др. arXiv 2023. [бумага]
DROID: крупномасштабный набор данных для манипуляций с роботами в дикой природе . Александр Хазацкий и др. arXiv 2024. [бумага]
BEHAVIOR-1K: ориентированный на человека, воплощенный тест искусственного интеллекта с 1000 повседневных действий и реалистичным моделированием . Чэншу Ли и др. arXiv 2024. [бумага]

3.3 Интерфейсы искусственного интеллекта для разведки

3.3.1 Интерфейсы ИИ для агентов ИИ

Контрфактические градиенты многоагентной политики . Якоб Ферстер и др. AAAI 2018. [бумага]
Пояснения, основанные на больших языковых моделях, делают маленьких рассуждений более эффективными . Шиян Ли и др. arXiv 2022. [бумага]
Дистилляция контекстного обучения: передача способности к обучению с помощью предварительно обученных языковых моделей за несколько шагов . Юкунь Хуан и др. arXiv 2022. [бумага]
Автоагенты: платформа для автоматического создания агентов . Гуанъяо Чен и др. arXiv 2023. [бумага]
Нейронный амортизированный вывод для вложенных многоагентных рассуждений . Кунал Джа и др. arXiv 2023. [бумага]
Дистилляция знаний больших языковых моделей . Юсянь Гу и др. arXiv 2023. [бумага]
Metagpt: Метапрограммирование для многоагентной среды совместной работы . Сируи Хонг и др. arXiv 2023. [бумага]
Описывайте, объясняйте, планируйте и выбирайте: интерактивное планирование с использованием больших языковых моделей позволяет агентам в открытом мире выполнять многозадачные задачи . Цзихао Ван и др. arXiv 2023. [бумага]
Agentverse: содействие совместной работе нескольких агентов и изучение возникающего поведения агентов . Вайзе Чен и др. arXiv 2023. [бумага]
Ментальные бури в обществах разума, основанных на естественном языке . Минчен Чжуге и др. arXiv 2023. [бумага]
Джарвис-1: Многозадачные агенты в открытом мире с мультимодальными языковыми моделями с расширенной памятью . Цзихао Ван и др. arXiv 2023. [бумага]
Символическая дистилляция цепочки мыслей: маленькие модели также могут «думать» шаг за шагом . Люниан Гарольд Ли и др. ACL 2023. [бумага]
Дистилляция шаг за шагом! превосходство более крупных языковых моделей при меньшем объеме обучающих данных и меньших размерах моделей . Ченг-Ю Се и др. arXiv 2023. [бумага]
Обобщение от слабого к сильному: выявление сильных способностей при слабом контроле . Коллин Бернс и др. arXiv 2023. [бумага]
Улучшение языковых моделей чата за счет масштабирования высококачественных обучающих бесед . Нин Дин и др. arXiv 2023. [бумага]
GAIA: эталон для общих помощников по искусственному интеллекту . Грегуар Миалон и др. ICLR 2024. [бумага]
«Вояджер»: воплощенный агент открытого типа с большими языковыми моделями . Гуанжи Ван и др. arXiv 2023. [бумага]
Camel: коммуникативные агенты для исследования «разума» крупномасштабной языковой модели общества . Гохао Ли и др. arXiv 2023. [бумага]
Адаптация саморационализаторов с помощью дистилляции с множеством наград . Сахана Рамнатх и др. arXiv 2023. [бумага]
Суперсогласование видения: обобщение от слабого к сильному для моделей основания видения . Цзяньюань Го и др. arXiv 2024. [бумага]
WebArena: реалистичная веб-среда для создания автономных агентов . Шуян Чжоу и др. ICLR 2024. [бумага]
Принципиальная самовыравнивание языковых моделей с нуля при минимальном человеческом контроле . Чжицин Сунь и др. NeurIPS 2024. [бумага]
Mind2web: На пути к универсальному агенту для Интернета . Сян Дэн и др. NeurIPS 2024. [бумага]
На пути к общему компьютерному контролю: мультимодальный агент для Red Dead Redemption II на примере тематического исследования . Вэйхао Тан и др. arXiv 2024. [бумага]

3.3.2 Интерфейсы искусственного интеллекта для человека

Рекомендации по взаимодействию человека и ИИ . Салима Амерши и др. ОМС 2019. [бумага]
Принципы проектирования приложений генеративного искусственного интеллекта . Джастин Д. Вайс и др. ОМС 2024. [бумага]
Графолог: изучение ответов большой языковой модели с помощью интерактивных диаграмм . Пейлин Цзян и др. UIST 2023. [бумага]
Sensecape: обеспечение многоуровневого исследования и осмысления с помощью больших языковых моделей . Санго Су и др. UIST 2023. [бумага]
Поддержка осмысления выходных данных больших языковых моделей в любом масштабе . Кэти Илонка Геро и др. ОМС 2024. [бумага]
Luminate: структурированная генерация и исследование пространства дизайна с помощью больших языковых моделей для совместного создания человека и искусственного интеллекта . Санго Су и др. ОМС 2024. [Бумага]
Цепочки искусственного интеллекта: прозрачное и контролируемое взаимодействие человека и искусственного интеллекта посредством объединения подсказок большой языковой модели . Тонгшуан Ву и др. ОМС 2022. [бумага]
Promptify: преобразование текста в изображение посредством интерактивного исследования подсказок с использованием больших языковых моделей . Стивен Брэйд и др. ОМС 2023. [бумага]
ChainForge: визуальный набор инструментов для оперативного проектирования и проверки гипотез LLM . Ян Аравхо и др. ОМС 2024. [бумага]
CoPrompt: поддержка обмена подсказками и ссылок при совместном программировании на естественном языке . Ли Фэн и др. ОМС 2024. [бумага]
Генерация автоматической обратной связи по макетам пользовательского интерфейса с большими языковыми моделями . Пейтун Дуань и др. ОМС 2024. [бумага]
Рамблер: Поддержка письма с помощью речи посредством манипулирования сутью с помощью LLM . Сьюзан Лин и др. ОМС 2024. [бумага]
Встраивание больших языковых моделей в расширенную реальность: возможности и проблемы для инклюзивности, взаимодействия и конфиденциальности . Эфе Бозкир и др. arXiv 2024. [бумага]
GenAssist: обеспечение доступности создания изображений . Мина Ху и др. UIST 2023. [бумага]
«Чем меньше я печатаю, тем лучше»: как языковые модели искусственного интеллекта могут улучшить или затруднить общение пользователей AAC . Стефани Валенсия и др. ОМС 2023. [бумага]
Переосмысление того, почему и как взаимодействие человека и искусственного интеллекта исключительно сложно спроектировать . Цянь Ян и др. ОМС 2020. [бумага]

4. Системы AGI: реализация механизма AGI.

4.2 Масштабируемые модели архитектуры

Невероятно большие нейронные сети: редкий слой смешанных экспертов . Ноам Шазир и др. arXiv 2017. [бумага]
Трансформаторы — это RNN: быстрые авторегрессионные трансформаторы с линейным вниманием . Ангелос Катаропулос и др. arXiv 2020. [бумага]
Лонгформер: Трансформатор длинных документов . Из Бельтаги и др. arXiv 2020. [бумага]
LightSeq: высокопроизводительная библиотека вывода для трансформаторов . Сяохуэй Ван и др. arXiv 2021. [бумага]
Переключающие трансформаторы: масштабирование до моделей с триллионом параметров с простой и эффективной разреженностью . Уильям Федус и др. arXiv 2022. [бумага]
Эффективное моделирование длинных последовательностей с помощью структурированных пространств состояний . Альберт Гу и др. arXiv 2022. [бумага]
MegaBlocks: эффективное разреженное обучение со смесью экспертов . Тревор Гейл и др. arXiv 2022. [бумага]
Обучение вычислительно-оптимальных моделей большого языка . Джордан Хоффманн и др. arXiv 2022. [бумага]
Эффективное масштабирование базовых моделей в длинном контексте . Вэньхан Сюн и др. arXiv 2023. [бумага]
Иерархия гиен: на пути к более крупным сверточным языковым моделям . Майкл Поли и др. arXiv 2023. [бумага]
Стэнфордская альпака: модель LLaMA, выполняющая инструкции . Рохан Таори и др. GitHub 2023. [код]
Rwkv: Новое изобретение rnn для эпохи трансформаторов . Бо Пэн и др. arXiv 2023. [бумага]
Дежавю: Контекстуальная разреженность для эффективных LLM во время вывода . Цзычан Лю и др. arXiv 2023. [бумага]
Flash-LLM: обеспечение экономичного и высокоэффективного вывода больших генеративных моделей с неструктурированной разреженностью . Хаоцзюнь Ся и др. arXiv 2023. [бумага]
ByteTransformer: высокопроизводительный преобразователь, оптимизированный для входов переменной длины . Юцзя Чжай и др. arXiv 2023. [бумага]
Tutel: Адаптивная смесь экспертов в масштабе . Чанхо Хван и др. arXiv 2023. [бумага]
Мамба: моделирование последовательностей линейного времени с выборочными пространствами состояний . Альберт Гу, Три Дао. arXiv 2023. [бумага]
Hungry Hungry Hippos: на пути к языковому моделированию с помощью моделей пространства состояний . Дэниел Ю. Фу и др. arXiv 2023. [бумага]
Сохраняющая сеть: преемник преобразователя для больших языковых моделей . Ютао Сунь и др. АрXiv, 2023.
Механистическое проектирование и масштабирование гибридных архитектур . Майкл Поли и др. arXiv 2024. [бумага]
Возвращение к дистилляции знаний для авторегрессионных языковых моделей . Цихуан Чжун и др. arXiv 2024. [бумага]
DB-LLM: точная двойная бинаризация для эффективных LLM . Хун Чен и др. arXiv 2024. [бумага]
Уменьшение размера кэша ключей и значений преобразователя с помощью межуровневого внимания . Уильям Брэндон и др. arXiv 2024.[бумага]
Вы кэшируете только один раз: архитектуры декодера-декодера для языковых моделей Ютао Сан и др. arXiv 2024. [бумага]

4.3 Масштабное обучение

Обучение глубоких сетей с сублинейной стоимостью памяти . Тяньци Чен и др. arXiv 2016. [бумага]
За пределами параллелизма данных и моделей для глубоких нейронных сетей . Чжихао Цзя и др. arXiv 2018. [бумага]
GPipe: эффективное обучение гигантских нейронных сетей с использованием конвейерного параллелизма . Яньпин Хуан и др. arXiv 2019. [бумага]
Перенос обучения с эффективным использованием параметров для НЛП . Нил Хоулсби и др. ICML 2019. Бумага
Megatron-LM: обучение языковых моделей с несколькими миллиардами параметров с использованием модельного параллелизма . Мохаммад Шойби и др. arXiv 2020. [бумага]
Alpa: автоматизация меж- и внутриоператорного параллелизма для распределенного глубокого обучения . Ляньминь Чжэн и др. arXiv 2022. [бумага]
DeepSpeed Inference: обеспечение эффективного вывода моделей трансформаторов в беспрецедентном масштабе . Реза Яздани Аминабади и др. arXiv 2022. [бумага]
Запоминание без переобучения: анализ динамики обучения больших языковых моделей . Кушал Тирумала и др. arXiv 2022. [бумага]
SWARM-параллелизм: обучение больших моделей может оказаться удивительно эффективным с точки зрения коммуникации . Макс Рябинин и др. arXiv 2023. [бумага]
Траектории обучения языковых моделей в разных масштабах . Мэнчжоу Ся и др. arXiv 2023. [бумага]
HexGen: генеративный вывод базовой модели в гетерогенной децентрализованной среде . Юхе Цзян и др. arXiv 2023. [бумага]
FusionAI: децентрализованное обучение и развертывание LLM с помощью массивных графических процессоров потребительского уровня . Чжэньхэн Тан и др. arXiv 2023. [бумага]
Привлекайте внимание с помощью блочных преобразователей для почти бесконечного контекста . Хао Лю и др. arXiv 2023. [бумага]
Pythia: пакет для анализа больших языковых моделей при обучении и масштабировании . Стелла Бидерман и др. arXiv 2023. [бумага]
Точная настройка языковых моделей в медленных сетях с использованием сжатия активации с гарантиями . Цзюэ Ван и др. arXiv 2023. [бумага]
LLaMA-Adapter: эффективная тонкая настройка языковых моделей с нулевым вниманием к инициализации . Ренруй Чжан и др. arXiv 2023. [бумага]
QLoRA: эффективная точная настройка квантованных LLM . Тим Деттмерс и др. arXiv 2023. [бумага]
Эффективное управление памятью для обслуживания больших языковых моделей с помощью PagedAttention . Вусук Квон и др. arXiv 2023. [бумага]
Infinite-LLM: эффективный сервис LLM для длительного контекста с DistAttention и распределенным KVCache . Бин Лин и др. arXiv 2024. [бумага]
ОЛМо: Ускорение изучения языковых моделей . Дирк Гроеневелд и др. arXiv 2024. [бумага]
Об эффективном обучении крупномасштабных моделей глубокого обучения: обзор литературы . Ли Шен и др. arXiv 2023. [бумага] на рассмотрении

4.4 Методы вывода

FlashAttention: быстрое и эффективное использование памяти Exact Attention с поддержкой ввода-вывода . Три Дао и др. NeurIPS 2022. [бумага]
Проект и проверка: ускорение модели большого языка без потерь посредством самоспекулятивного декодирования . Цзюнь Чжан и др. arXiv 2023. [бумага]
На пути к эффективному обслуживанию генеративных моделей большого языка: обзор от алгоритмов к системам . Сюпэн Мяо и др. arXiv 2023. [бумага]
FlashDecoding++: более быстрый вывод моделей большого языка на графических процессорах . Ке Хонг и др. arXiv 2023. [бумага]
Быстрый вывод из трансформаторов посредством спекулятивного декодирования . Янив Левиафан и др. arXiv 2023. [бумага]
Быстрое обслуживание распределенного вывода для больших языковых моделей . Бинъян Ву и др. arXiv 2023. [бумага]
S-LoRA: обслуживание тысяч одновременных адаптеров LoRA . Ин Шэн и др. arXiv 2023. [бумага]
TensorRT-LLM: набор инструментов TensorRT для оптимизированного вывода моделей большого языка . NVIDIA. GitHub 2023. [код]
Пуника: многотенантное обслуживание LoRA . Лекун Чен и др. arXiv 2023. [бумага]
S$^3: Увеличение использования графического процессора во время генеративного вывода для повышения пропускной способности . Юнхо Джин и др. arXiv 2023. [бумага]
Сервер вывода Multi-LoRA, масштабируемый до тысяч точно настроенных LLM . Предибаза. GitHub 2023. [код]
Быстрое декодирование поиска . Апурв Саксена. GitHub 2023. [код]
БыстрееТрансформер . NVIDIA. GitHub 2021. [бумага]
DeepSpeed-FastGen: Высокопроизводительная генерация текста для LLM с помощью MII и DeepSpeed-Inference . Коннор Холмс и др. arXiv 2024. [бумага]
SpecInfer: ускорение обслуживания генеративных моделей большого языка с помощью спекулятивного вывода и проверки на основе дерева . Сюпэн Мяо и др. arXiv 2024. [бумага]
Medusa: Простая платформа ускорения вывода LLM с несколькими головками декодирования . Тианле Цай и др. arXiv 2024. [бумага]
Модель подсказывает, что следует отбросить: адаптивное сжатие KV-кэша для LLM . Сую Ге и др. ICLR 2024. [бумага]
Эффективные модели потокового языка с приемниками внимания . Гуансюань Сяо и др. ICLR 2024. [бумага]
DeFT: внимание к Flash-дереву с учетом ввода-вывода для эффективного вывода LLM на основе поиска в дереве . Цзиньвэй Яо и др. arXiv 2024. [бумага]
Эффективное программирование больших языковых моделей с использованием SGLang . Ляньминь Чжэн и др. arXiv 2023. [бумага]
СКОРОСТЬ: спекулятивное конвейерное выполнение для эффективного декодирования . Коулман Хупер и др. arXiv 2023. [бумага]
Sequoia: масштабируемое, надежное и аппаратно-ориентированное спекулятивное декодирование . Чжуомин Чен и др. arXiv 2024. [бумага] на рассмотрении

4.5 Стоимость и эффективность

Демонстрация-поиск-предсказание: составление поисковых и языковых моделей для наукоемкого НЛП . Омар Хаттаб и др. arXiv 2023. [бумага]
Автоматизированное машинное обучение: методы, системы, проблемы . Фрэнк Хаттер и др. Издательская компания Springer, Incorporated, 2019 г.
Модельные супы: усреднение весов нескольких точно настроенных моделей повышает точность без увеличения времени вывода . Митчелл Вортсман и др. arXiv 2022. [бумага]
Отладка данных с помощью Шепли. Важность сквозных конвейеров машинного обучения . Боян Карлаш и др. arXiv 2022. [бумага]
Экономичная оптимизация гиперпараметров для вывода больших языковых моделей . Чи Ван и др. arXiv 2023. [бумага]
Большие языковые модели — это инженеры быстрого реагирования на уровне человека . Юнчао Чжоу и др. arXiv 2023. [бумага]
Слияние путем сопоставления моделей в подпространствах задач . Дерек Тэм и др. arXiv 2023. [бумага]
Редактирование моделей с помощью арифметики задач . Габриэль Ильхарко и др. arXiv 2023. [бумага]
PriorBand: Практическая оптимизация гиперпараметров в эпоху глубокого обучения . Ниратёй Маллик и др. arXiv 2023. [бумага]
Эмпирическое исследование слияния мультимодальных моделей . И-Лин Сун и др. arXiv 2023. [бумага]
DSPy: компиляция вызовов декларативной языковой модели в самоулучшающиеся конвейеры . Омар Хаттаб и др. arXiv 2023. [бумага]
FrugalGPT: как использовать большие языковые модели, сокращая затраты и повышая производительность . Линцзяо Чен и др. arXiv 2023. [бумага]
Тандемные трансформаторы для эффективных LLM . Айшвария П.С. и др. arXiv 2024. [бумага]
AIOS: Операционная система агента LLM . Кай Мэй и др. arXiv 2024. [бумага]
LoraHub: эффективное обобщение перекрестных задач с помощью динамической композиции LoRA . Ченгсонг Хуан и др. arXiv 2024. [бумага]
AutoML в эпоху больших языковых моделей: текущие проблемы, будущие возможности и риски . Александр Торнеде и др. arXiv 2024. [бумага]
Объединение экспертов в одного: повышение вычислительной эффективности смешанных экспертов . Швай Хэ и др. EMNLP 2023. [бумага] на рассмотрении

4.6 Вычислительные платформы

TVM: автоматизированный компилятор сквозной оптимизации для глубокого обучения . Тяньци Чен и др. arXiv 2018. [бумага]
TPU v4: оптически реконфигурируемый суперкомпьютер для машинного обучения с аппаратной поддержкой встраивания . Норман П. Джуппи и др. arXiv 2023. [бумага]

5. Согласование AGI: обеспечение соответствия AGI различным потребностям

5.1 Ожидания от согласования AGI

Совместимость с человеком: искусственный интеллект и проблема управления . Стюарт Рассел . Викинг, 2019.
Искусственный интеллект, ценности и согласованность . Ясон Габриэль . Умы и машины, 2020. [бумага]
Согласование языковых агентов . Закари Кентон и др. arXiv, 2021. [Статья]
Проблема обучения ценности . Нейт Соарес . Технический отчет Исследовательского института машинного интеллекта [бумага]
Конкретные проблемы безопасности ИИ . Дарио Амодей и др. arXiv, 2016. [бумага]
Этические и социальные риски вреда от языковых моделей . Лаура Вейдингер и др. arXiv, 2021. [бумага]
Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими? . Эмили М. Бендер и др. ФАКТ 2021. [бумага]
Глобальный ландшафт руководящих принципов этики ИИ . Анна Джобин и др. Природный машинный интеллект, 2019. [бумага]
Стойкая антимусульманская предвзятость в больших языковых моделях . Абубакар Абид и др. АИЕС, 2021. [бумага]
На пути к гендерно-инклюзивному разрешению проблем корференции . Ян Триста Цао и др. ACL, 2020. [бумага]
Социальное влияние обработки естественного языка . Дирк Хови и др. ACL 2016. [бумага]
TruthfulQA: измерение того, как модели имитируют человеческую ложь . Стефани Лин и др. ACL 2022. [бумага]
Риски радикализации GPT-3 и продвинутых моделей нейронного языка . Крис МакГаффи и др. arXiv, 2020. [бумага]
Прозрачность искусственного интеллекта в эпоху магистратуры: дорожная карта исследований, ориентированных на человека . Вопрос. Вера Ляо и др. arXiv 2023. [бумага]
Помимо опыта и ролей: основа для характеристики заинтересованных сторон интерпретируемого машинного обучения и их потребностей . Харини Суреш и др. ОМС 2021. [бумага]
Выявление и снижение рисков безопасности, связанных с генеративным ИИ . Кларк Барретт и др. arXiv, 2023. [бумага]
Агенты LLM могут автономно взламывать веб-сайты . Ричард Фанг и др. arXiv, 2024. [бумага]
Дипфейки, френология, наблюдение и многое другое! Таксономия рисков конфиденциальности ИИ . Хао-Пин Ли и др. ОМС 2024. [бумага]
Конфиденциальность в эпоху искусственного интеллекта . Саувик Дас и др. Сообщения ACM, 2023 г. [бумага]

5.2 Современные методы выравнивания

Учимся подводить итоги с помощью обратной связи с человеком . Нисан Стиеннон и др. NeurIPS 2020. [бумага]
Лучше всего подумать о втором: научиться заново соответствовать человеческим ценностям с помощью редактирования текста . Жуйбо Лю и др. NeurIPS 2022. [бумага]
Обучение языковых моделей следованию инструкциям с обратной связью от человека . Лонг Оуян и др. NeurIPS 2022. [бумага]
Высвобождение внутренних демонов: самодетоксикация для языковых моделей . Канвен Сюй и др. АААИ 2022. бумага
Согласование генеративных языковых моделей с человеческими ценностями . Жуйбо Лю и др. NAACL 2022. [бумага]
Обучение полезного и безобидного помощника с подкреплением обучения на основе отзывов людей . Юнтао Бай и др. arXiv 2022. [бумага]
Конституционный ИИ: безвредность от обратной связи ИИ . Юнтао Бай и др. arXiv 2022. [бумага]
Raft: тонкая настройка по рейтингу для согласования модели генеративного фундамента . Ханзе Донг и др. arXiv 2023. [бумага]
Улучшение языковых моделей с помощью градиентов автономной политики, основанных на преимуществах . Ашутош Бахети и др. arXiv 2023. [бумага]
Обучение языковым моделям с языковой обратной связью в любом масштабе . Джереми Шерер и др. arXiv 2023. [бумага]
Общая теоретическая парадигма для понимания обучения на основе человеческих предпочтений . Мохаммад Гешлаги Азар и др. arXiv 2023. [бумага]
Давайте проверим шаг за шагом . Хантер Лайтман и др. arXiv 2023. [бумага]
Открытые проблемы и фундаментальные ограничения обучения с подкреплением на основе обратной связи между людьми . Стивен Каспер и др. arXiv 2023. [бумага]
Согласование больших языковых моделей посредством синтетической обратной связи . Сунгдонг Ким и др. arXiv 2023. [бумага]
RLAIF: масштабирование обучения с подкреплением на основе обратной связи между людьми и обратной связью от ИИ . Харрисон Ли и др. arXiv 2023. [бумага]
Оптимизация ранжирования предпочтений для человеческого выравнивания . Фейфан Сонг и др. arXiv 2023. [бумага]
Повышение фактичности и рассуждения в языковых моделях посредством многоагентных дебатов . Илун Ду и др. arXiv 2023. [бумага]
Согласование большой языковой модели: опрос . Тяньхао Шен и др. arXiv 2023. [бумага]
Прямая оптимизация предпочтений: ваша языковая модель тайно является моделью вознаграждения . Рафаэль Рафаилов и др. NeurIPS 2024. [бумага]
Лима: Для согласованности лучше меньше, да лучше . Чуньтинг Чжоу и др. NeurIPS 2024. [бумага]

5.3 Как подойти к согласованию AGI

Этические и социальные риски вреда от языка . Меллор Вейдингер и др. arXiv 2021. [бумага]
Пекинский международный консенсус по безопасности ИИ . Пекинская академия искусственного интеллекта. 2024. [бумага]
Контрфактические объяснения без открытия черного ящика: автоматизированные решения и GDPR . Сандра Вахтер и др. Гарвардский журнал права и технологий, 2017. [бумага]
Масштабируемое выравнивание агента через моделирование вознаграждения: направление исследования . Jan Leike et al. Arxiv 2018. [Paper]
Встроение этики в искусственный интеллект . Хан Ю и соавт. IJCAI 2018. Бумага
Совместимый с человеком: искусственный интеллект и проблема контроля . Стюарт Рассел . Viking, 2019. [Paper]
Ответственный искусственный интеллект: как разрабатывать и использовать ИИ ответственным образом . Вирджиния Диньум . Springer Nature, 2019. [Paper]
Машиная этика: проектирование и управление этическим ИИ и автономными системами . Алан Ф. Уинфилд и соавт. Материалы IEEE, 2019. [Paper]
Открытые проблемы в кооперативном ИИ . Allan Dafoe et al. Arxiv 2020. [Бумага]
Искусственный интеллект, ценности и выравнивание . Ясон Габриэль . Умы и машины, 2020. [Бумага]
Кооперативный ИИ: Машины должны научиться находить общий язык . Allan Dafoe et al. Nature 2021. [Paper]
Машинная мораль, моральный прогресс и надвигающаяся экологическая катастрофа . Ben Kenward et al. Arxiv 2021. [Paper]
Анализ рентгеновского риска для исследований искусственного интеллекта . Dan Hendrycks et al. Arxiv 2022. [Paper]
Разложение задачи для масштабируемого надзора (дистилляция AGISF) . Чарбель-Рафаэль Сегери. Блог 2023. [Блог]
Слабое и сильное обобщение: выявление сильных возможностей со слабым надзором . Коллин Бернс и др. Arxiv 2023. [Paper]
Чьи мнения отражают языковые модели? . Shibani Santurkar et al. ICML 2023. [Paper]
Выравнивание AI: комплексный опрос . Jiaming Ji et al. Arxiv 2023. [Paper]
Открытые проблемы и фундаментальные ограничения подкрепления обучения от обратной связи человека . Стивен Каспер и соавт. Arxiv 2023. [Paper]
Заклинание разблокировки на базовых LLMS: переосмысление выравнивания с помощью встроенного обучения . Билл Юхен Лин и соавт. Arxiv 2023. [Paper]
Выравнивание модели большого языка: опрос . Tianhao Shen et al. Arxiv 2023. [Paper]

6. Agi Roadmap: ответственно приближается к Agi

6.1 Уровни ИИ: наброски эволюции искусственного интеллекта

Спарки искусственного общего интеллекта: ранние эксперименты с GPT-4 . Sébastien Bubeck et al. Arxiv 2023. [Paper]
Уровни AGI: Операционное прогресс на пути к AGI . Meredith Ringel Morris et al. Arxiv 2024. [Paper]

6.2 Оценка AGI

6.2.1 Ожидания оценки AGI

На пути к систематической отчетности энергетических и углеродных следов машинного обучения . Peter Henderson et al. Журнал исследований машинного обучения, 2020.
Зеленый ИИ . Рой Шварц Коммуникации ACM, 2020.
Оценка крупных языковых моделей, обученных коду . Mark Chen et al. Нет журнала, 2021.
Документирование крупных веб -текстных корпораций: тематическое исследование о колоссальном чистом корпусе . Jesse Dodge et al. Arxiv 2021. [Paper]
О возможностях и рисках фундаментальных моделей . Rishi Bommasani et al. Arxiv 2021. [Paper]
Человеческое систематическое обобщение через нейронную сеть мета-обучения . Brenden M Lake et al. Природа, 2023. [Бумага]
Superbench измеряет LLM на открытом воздухе: критический анализ . Superbench Team. Arxiv 2023.
Целостная оценка языковых моделей . Percy Liang et al. Arxiv 2023. [Paper]

6.2.2 Текущие оценки и их ограничения

Отряд: 100 000+ вопросов для понимания машины текста . Pranav Rajpurkar et al. Arxiv 2016. [Paper]
VIRIVIAQA: крупномасштабный набор данных с отдаленным контролем для понимания прочитанного . Мандар Джоши и соавт. Arxiv 2017. [Paper]
Coqa: разговорная задача ответа . Siva Reddy et al. Транзакции Ассоциации вычислительной лингвистики, 2019.
Точная, надежная и быстрая оценка надежности . Wieland Brendel et al. Neurips 2019. [Paper]
Измерение массового многозадачного понимания языка . Dan Hendrycks et al. Arxiv 2020. [Бумага]
Оценка модели устойчивости и стабильности к сдвигу наборов данных . Adarsh Subbaswamy et al. Представлено на Международной конференции по искусственному интеллекту и статистике, 2021 год.
Mmdialog: крупномасштабный набор данных по многословным диалогам для мультимодального разговора с открытым доменом . Jiazhan Feng et al. Arxiv 2022. [Paper]
Самоубийство: выравнивание языковых моделей с самостоятельными инструкциями . Yizhong Wang et al. Arxiv 2022. [Paper]
Super-NaturalInstructions: обобщение с помощью декларативных инструкций по заданиям NLP 1600+ . Yizhong Wang et al. Arxiv 2022. [Paper]
Целостный анализ галлюцинации в GPT-4V (ISION): проблемы и вмешательство . Chenhang Cui et al. Arxiv 2023. [Paper]
Оценка надежности к инструкциям крупных языковых моделей . Yuanssheng Ni et al. Arxiv 2023. [Paper]
GAIA: эталон для генеральных помощников ИИ . Gregoire Mialon et al. Arxiv 2023. [Paper]
Комплексная структура оценки для глубокой модели . Jun Guo et al. Распознавание шаблона, 2023. [Paper]
Agival: ориентированный на человека эталон для оценки моделей фундамента . Wanjun Zhong et al. Arxiv 2023. [Paper]
MMMU: массовый многодисциплинальный многомодальный эталон и рассуждения для экспертов AGI . Xiang et al. Arxiv 2023. [Paper]
Оценка творчества крупной языковой модели с литературной точки зрения . Murray Shanahan et al. Arxiv 2023. [Paper]
Agentbench: оценка LLM . Сяо Лю и соавт. ICLR 2024. [Бумага]
Оценка и понимание творчества в моделях крупных языков . Yunpu Zhao et al. Arxiv 2024. [Paper]
Судя по LLM-как сужу, с Mt-Bench и Chatbot Arena . Lianmin Zheng et al. Neurips 2024. [Paper]

6.5 Дальнейшие соображения во время развития AGI

Основополагающие проблемы в обеспечении выравнивания и безопасности крупных языковых моделей . Usman Anwar et al. Arxiv 2024. [Paper]
Лучшие практики и уроки, извлеченные по синтетическим данным для языковых моделей . Ruibo Liu et al. Arxiv 2024. [Paper]
Добавление социального интеллекта в агентах искусственного интеллекта: технические проблемы и открытые вопросы . Leena Mathur et al. Arxiv 2024. [Paper]

7. Тематические исследования

7.1 AI для науки об открытии и исследованиях

Высокий точный прогноз структуры белка с помощью алфалолда . Джемпер, Джон и соавт. Nature, 2021. [Paper]
Автоматизированное научное обнаружение: от уравнения обнаружения до автономных систем обнаружения . Kramer, Stefan et al. Arxiv 2023. [Paper]
Прогнозирование эффектов некодирующих вариантов с помощью модели последовательности на основе глубокого обучения . Чжоу, Цзянь и соавт. Методы природы, 2015.
Учимся видеть физику посредством визуальной де-анимации . Wu, Jiajun et al. Neurips 2017. [Paper]
Глубокое обучение для обнаружения гравитационных волн в реальном времени и оценки параметров: результаты с расширенными данными LIGO . Джордж, Даниэль и соавт. Физические буквы B, 2018. [Paper]
Выявление квантовых фазовых переходов с состязательными нейронными сетями . Рем, Барт-Ян и соавт. Физика природы, 2019. [Paper]
Openagi: когда LLM встречает доменных экспертов . GE, Yingqiang et al. Neurips, 2023. [Paper]
От темной материи до галактик с сверточными сетями . Zhang, Xinyue et al. Arxiv 2019. [Paper]
Глобальная оптимизация квантовой динамики с Alphazero Deep Exploration . Dalgaard, Mogens et al. npj Quantum Information, 2020. [Paper]
Обучение для использования временной структуры для обработки биомедицинского языка . Shruthi Bannur et al. CVPR, 2023. [Paper]
Mathbert: предварительно обученная языковая модель для общих задач NLP в математическом образовании . Шен, Цзя Трейси и соавт. Arxiv 2021. [Paper]
Молекулярная оптимизация с использованием языковых моделей . Maziarz, Krzysztof et al. Arxiv 2022. [Paper]
Retrotrae: ретросинтетический перевод атомных сред с трансформатором . Ucak, Umit Volkan et al. Нет журнала, 2022. [Paper]
Scholarbert: Больше не всегда лучше . Хонг, Чжи и соавт. Arxiv 2022. [Paper]
Галактика: большая языковая модель для науки . Тейлор, Росс и соавт. Arxiv 2022. [Paper]
Формальная математическая учебная программа . Polu, Stanislas et al. Arxiv 2022. [Paper]
Доказательство артефакта Co-обучение для теоремы, доказывающей языковые модели . Джесси Майкл Хан и соавт. ICLR 2022. [Бумага]
Решение количественных проблем рассуждений с языковыми моделями . Lewkowycz, Aitor et al. Arxiv 2022. [Paper]
BIOGPT: генеративный предварительно обученный трансформатор для генерации биомедицинского текста и добычи . Luo, Renqian et al. Брифинги в биоинформатике, 2022.
Chemcrow: расширение моделей крупноязывания с помощью химических инструментов . Bran, Andres M et al. Arxiv 2023. [Paper]
Автономные химические исследования с большими языковыми моделями . Boiko, Daniil A et al. Природа, 2023. [Бумага]
Эффективные возможности автономных научных исследований крупных языковых моделей . Daniil A. Boiko et al. Arxiv 2023. [Paper]
MathPrompter: математические рассуждения с использованием больших языковых моделей . Imani, Shima, et al. Представлено на процессе 61 -го годового собрания Ассоциации вычислительной лингвистики (том 5: отраслевой трек), 2023. [Paper]
Обучение для использования временной структуры для обработки биомедицинского языка . Shruthi Bannur et al. Arxiv 2023. [Paper]
LLMS для науки: использование для генерации кода и анализа данных . Nejjar, Mohamed et al. Arxiv 2023. [Paper]
Medagents: крупные языковые модели в качестве сотрудников для медицинских рассуждений с нулевым выстрелом . Siangru Tang et al. Arxiv 2024. [Paper]

7.2 Генеративный визуальный интеллект

Глубокое неконтролируемое обучение с использованием неравновесной термодинамики . Jascha Sohl-Dickstein et al. ICML 2015. [Paper]
Генеративное моделирование путем оценки градиентов распределения данных . Yang Song et al. Neurips 2019. [Paper]
Обезделить диффузионные вероятностные модели . Jonathan Ho et al. Neurips 2020. [Paper]
Генеративное моделирование на основе баллов с помощью стохастических дифференциальных уравнений . Yang Song et al. ICLR 2021. [Бумага]
Glide: к фотореалистическому генерации изображений и редактирование с помощью текстовых диффузионных моделей . Алекс Никол и соавт. ICML 2022. [Бумага]
SDEDIT: Синтез и редактирование с управляемым изображением со стохастическими дифференциальными уравнениями . Chenlin Meng et al. ICLR 2022. [Бумага]
Видео диффузионные модели . Jonathan Ho et al. Neurips 2022. [Paper]
Иерархическое создание текстовых кондиционированных изображений с задержками клипа . Aditya Ramesh et al. Arxiv 2022. [Paper]
Без классификатора диффузионного руководства . Jonathan Ho et al. Arxiv 2022. [Paper]
Палитра: модели диффузии изображения до изображения . Chitwan Saharia et al. Siggraph 2022. [Paper]
Синтез изображения высокого разрешения с скрытыми диффузионными моделями . Robin Rombach et al. CVPR 2022. [Paper]
Добавление условного управления к моделям диффузии текста до изображения . Lvmin Zhang et al. ICCV 2023. [Paper]
Масштабируемые диффузионные модели с трансформаторами . William Peebles et al. ICCV 2023. [Paper]
Последовательное моделирование позволяет масштабируемому обучению для больших моделей зрения . Yutong Bai et al. Arxiv 2023. [Paper]
Модели генерации видео как мировые симуляторы . Тим Брукс и соавт. Openai 2024. [Бумага]

7.3 Мировые модели

Учимся видеть физику посредством визуальной де-анимации . Wu, Jiajun et al. Neurips 2017. [Paper]
Безопасное обучение на основе модели с гарантиями стабильности . Berkenkamp, Felix et al. Neurips, 2017. [Paper]
Симнет: мировые модели, основанные на обучении, для физических рассуждений . Vicol, Paul, Menapace et al. ICLR 2022. [Бумага]
Dreamix: Dreamfusion через итеративное пространственно -временное смешивание . Khalifa, Anji et al. Arxiv 2022. [Paper]
Общий назначенный агент ИИ общего назначения посредством обучения подкреплению с знаниями в интернет-масштабе . Guo, Xiaoxiao et al. Arxiv 2022. [Paper]
VQGAN-CLIP: Генерация и редактирование изображений с открытым доменом с помощью руководства естественного языка . Кровсон, Кэтрин. Arxiv 2022. [Paper]
Путь к интеллекту автономного машины . Lecun Yann OpenReview, 2022. [Paper]
Языковые модели соответствуют мировым моделям: воплощенный опыт улучшает языковые модели . Jiannan Xiang et al. Neurips 2023. [Paper]
Освоение разнообразных областей через мировые модели . Hafner, Danijar et al. Arxiv 2023. [Paper]
Приобретение мультимодальных моделей с помощью поиска . Рид, Скотт и соавт. Arxiv 2023. [Paper]
Языковые модели как планировщики с нулевым выстрелом: извлечение действенных знаний для воплощенных агентов . Дохан, Дэвид и соавт. Arxiv 2023. [Paper]
Языковые модели, агентские модели и мировые модели: закон о рассуждениях и планировании машин . Zhiting Hu et al. Arxiv 2023. [Paper]
Рассуждение с языковой моделью планирует с мировой моделью . Хао, Шибо и соавт. Arxiv 2023. [Paper]
Метазим: научиться генерировать синтетические наборы данных . Zhang, Yuxuan et al. Arxiv 2023. [Paper]
Мировая модель на видео и языке с миллионами с рингом . Hao Liu et al. Arxiv 2024. [Paper]
Джинн: генеративные интерактивные среды . Джейк Брюс и соавт. Arxiv 2024. [Paper]

7.4 Децентрализованный LLM

Лепестки: совместный вывод и тонкая настройка крупных моделей . Александр Борзунов и соавт. Arxiv 2022. [Paper]
Блокчейн для глубокого обучения: просмотреть и открыть проблемы . Экономические времена. Кластерные вычисления 2021. [бумага]
FlexGen: высокопроизводительный генеративный вывод крупных языковых моделей с одним графическим процессором . Ying Sheng et al. Arxiv 2023. [Paper]
Децентрализованное обучение основных моделей в гетерогенной среде . Binhang Yuan et al. Arxiv 2023. [Paper]

7.5 AI для кодирования

Структура для оценки моделей генерации кодов . Ben Allal et al. GitHub, 2023. [Код]
Оценка крупных языковых моделей, обученных коду . Mark Chen et al. Arxiv 2021. [Paper]
Синтез программы с большими языковыми моделями . Джейкоб Остин и соавт. Arxiv 2021. [Paper]
Генерация кода на уровне конкуренции с альфакодом . Yujia Li et al. Science, 2022. [Paper]
Эффективное обучение языковых моделей для заполнения в середине . Mohammad Bavarian et al. Arxiv 2022. [Paper]
Santacoder: Не дотянитесь за звездами! . Loubna Ben Allal et al. Mind, 2023. [Paper]
StarCoder: Да пребудет с вами источник! . Raymond Li et al. Arxiv 2023. [Paper]
Большие языковые модели для оптимизации компилятора . Chris Cummins et al. Arxiv 2023. [Paper]
Учебники - это все, что вам нужно . Suriya Gunasekar et al. Arxiv 2023. [Paper]
Межуд: стандартизация и сравнительный анализ интерактивного кодирования с обратной связью . Джон Ян и соавт. Arxiv 2023. [Paper]
Подкрепление обучения от автоматической обратной связи для высококачественных модульных тестов . Benjamin Steenhoek et al. Arxiv 2023. [Paper]
Инкодер: генеративная модель для заполнения кода и синтеза . Даниэль Фрид и соавт. Arxiv 2023. [Paper]
Уточнение декомпилированного C -кода с большими языковыми моделями . Wai Kin Wong et al. Arxiv 2023. [Paper]
Swe-Bench: Can Language Models разрешают реальное мир