Опрос АГИ

Потрясающий опрос AGI
_{Обязательно прочтите статьи об искусственном общем интеллекте}

? Новости

• [2024-10] ? Наша статья была принята TMLR 2024.
• [2024-05] ? Мы организуем семинар по AGI на ICLR 2024 и опубликовали наш позиционный документ «Как далеко мы от AGI?».

Наш проект — это постоянная открытая инициатива, которая будет развиваться параллельно с развитием AGI. Мы горячо приветствуем отзывы и запросы сообщества и планируем обновлять нашу статью ежегодно. Авторы веб-сайта проекта будут с благодарностью отмечены за будущие исправления.

Цитата BibTex, если наша работа/ресурсы кажутся вам полезными:

 @article { feng2024far ,
  title = { How Far Are We From AGI } ,
  author = { Feng, Tao and Jin, Chuanyang and Liu, Jingyu and Zhu, Kunlun and Tu, Haoqin and Cheng, Zirui and Lin, Guanyu and You, Jiaxuan } ,
  journal = { arXiv preprint arXiv:2405.10313 } ,
  year = { 2024 }
}

Содержание

• Содержание
  • 1. Введение
  • 2. Внутренний AGI: раскрытие сути AGI
    • 2.1 Восприятие ИИ
    • 2.2 Рассуждения ИИ
    • 2.3 Память ИИ
    • 2.4 Метапознание ИИ
  • 3. Интерфейс AGI: соединяем мир с помощью AGI
    • 3.1 Интерфейсы искусственного интеллекта для цифрового мира
    • 3.2 Интерфейсы ИИ для физического мира
    • 3.3 Интерфейсы искусственного интеллекта для разведки
      • 3.3.1 Интерфейсы ИИ для агентов ИИ
      • 3.3.2 Интерфейсы искусственного интеллекта для человека
  • 4. Системы AGI: реализация механизма AGI
    • 4.2 Архитектура масштабируемых моделей
    • 4.3 Масштабное обучение
    • 4.4 Методы вывода
    • 4.5 Стоимость и эффективность
    • 4.6 Вычислительные платформы
  • 5. Согласование AGI: обеспечение соответствия AGI различным потребностям
    • 5.1 Ожидания от согласования AGI
    • 5.2 Современные методы выравнивания
    • 5.3 Как подойти к согласованию AGI
  • 6. Дорожная карта AGI: ответственный подход к AGI
    • 6.1 Уровни искусственного интеллекта: график эволюции искусственного интеллекта
    • 6.2 Оценка AGI
      • 6.2.1 Ожидания от оценки AGI
      • 6.2.2 Текущие оценки и их ограничения
    • 6.5 Дополнительные соображения при разработке AGI
  • 7. Тематические исследования
    • 7.1 ИИ для научных открытий и исследований
    • 7.2 Генеративный визуальный интеллект
    • 7.3 Модели мира
    • 7.4 Децентрализованный LLM
    • 7.5 ИИ для кодирования
    • 7.6 ИИ для робототехники в реальных приложениях
    • 7.7 Сотрудничество человека и ИИ

-> Структура нашей статьи. <-

1. Введение

-> Доля человеческой деятельности, превзойденная искусственным интеллектом. <-

2. Внутренний AGI: раскрытие сути AGI

2.1 Восприятие ИИ

1. Фламинго: модель визуального языка для кратковременного обучения . Жан-Батист Алайрак и др. NeurIPS 2022. [бумага]
2. BLIP-2: Предварительное обучение языку-изображению с помощью кодировщиков замороженных изображений и больших языковых моделей . Джуннан Ли и др. ICML 2023. [бумага]
3. СФИНКС: Совместное смешивание весов, задач и визуальных вложений для мультимодальных моделей большого языка . Цзыи Линь и др. ЭМНЛП 2023. [бумага]
4. Визуальная инструкция по настройке . Хаотянь Лю и др. NeurIPS 2023. [бумага]
5. GPT4Tools: обучение большой языковой модели использованию инструментов посредством самообучения . Руй Ян и др. NeurIPS 2023. [бумага]
6. Otter: мультимодальная модель с контекстной настройкой инструкций . Бо Ли и др. arXiv 2023. [бумага]
7. VideoChat: понимание видео, ориентированное на чат . Куньчан Ли и др. arXiv 2023. [бумага]
8. mPLUG-Owl: Модульизация расширяет возможности мультимодальности больших языковых моделей . Цинхао Е и др. arXiv 2023. [бумага]
9. Обзор мультимодальных моделей большого языка . Шукан Инь и др. arXiv 2023. [бумага]
10. PandaGPT: одна модель для инструкций — следуйте всем . Исюань Су и др. arXiv 2023. [бумага]
11. LLaMA-Adapter: эффективная тонкая настройка языковых моделей с нулевым вниманием к инициализации . Ренруй Чжан и др. arXiv 2023. [бумага]
12. Gemini: семейство высокопроизводительных мультимодальных моделей . Рохан Анил и др. arXiv 2023. [бумага]
13. Шикра: раскрывая магию мультимодального диалога LLM . Кэцинь Чен и др. arXiv 2023. [бумага]
14. ImageBind: одно пространство для встраивания, чтобы связать их все . Рохит Гирдхар и др. CVPR 2023. [бумага]
15. MobileVLM: быстрый, мощный и открытый языковой помощник для мобильных устройств . Сянсян Чу и др. arXiv 2023. [бумага]
16. Что делает хорошие визуальные токенизаторы для больших языковых моделей? . Гуанжи Ван и др. arXiv 2023. [бумага]
17. MiniGPT-4: улучшение понимания визуального языка с помощью усовершенствованных моделей большого языка . Дэяо Чжу и др. ICLR 2024. [бумага]
18. LanguageBind: расширение предварительной подготовки видеоязыка до N-модальности посредством семантического выравнивания на основе языка . Бинь Чжу и др. ICLR 2024. [бумага]

2.2 Рассуждения ИИ

1. Подсказки по цепочке мыслей вызывают рассуждения в больших языковых моделях . Джейсон Вэй и др. NeurIPS 2022. [бумага]
2. Нейронная теория разума? О пределах социального интеллекта в крупных LM . Маартен Сап и др. ЭМНЛП 2022. [бумага]
3. Внутренний монолог: воплощенное рассуждение посредством планирования с помощью языковых моделей . Вэньлун Хуан и др. CoRL 2022. [бумага]
4. Исследование галлюцинаций в формировании естественного языка . Цзивэй Цзи и др. Обзоры вычислительной техники ACM 2022. [бумага]
5. ReAct: синергия рассуждений и действий в языковых моделях . Шуньюй Яо и др. ICLR 2023. [бумага]
6. Декомпозированные подсказки: модульный подход к решению сложных задач . Тушар Хот и др. ICLR 2023. [бумага]
7. Подсказки на основе сложности для многоэтапного рассуждения . Яо Фу и др. ICLR 2023. [бумага]
8. Подсказки от наименьшего к наибольшему позволяют проводить сложные рассуждения в больших языковых моделях . Денни Чжоу и др. ICLR 2023. [бумага]
9. На пути к рассуждению в больших языковых моделях: обзор . Цзе Хуан и др. Выводы ACL 2023. [бумага]
10. ProgPrompt: Создание планов задач расположенного робота с использованием больших языковых моделей . Ишика Сингх и др. ICRA 2023. [бумага]
11. Рассуждение с помощью языковой модели — это планирование с помощью модели мира . Шибо Хао и др. ЭМНЛП 2023. [бумага]
12. Оценка объектных галлюцинаций в больших моделях языка видения . Ифань Ли и др. ЭМНЛП 2023. [бумага]
13. Дерево мыслей: целенаправленное решение проблем с помощью больших языковых моделей . Шуньюй Яо и др. NeurIPS 2023. [бумага]
14. Самоуточнение: итеративное уточнение с самообратной связью . Аман Мадаан и др. NeurIPS 2023. [бумага]
15. Рефлексия: языковые агенты с обучением с вербальным подкреплением . Ной Шинн и др. NeurIPS 2023. [бумага]
16. Описывайте, объясняйте, планируйте и выбирайте: интерактивное планирование с использованием больших языковых моделей позволяет использовать многозадачные агенты в открытом мире . Цзихао Ван и др. NeurIPS 2023. [бумага]
17. LLM+P: Расширение возможностей больших языковых моделей с оптимальными навыками планирования . Бо Лю и др. arXiv 2023. [бумага]
18. Языковые модели, модели агентов и модели мира: ЗАКОН машинного рассуждения и планирования . Чжитинг Ху и др. arXiv 2023. [бумага]
19. MMToM-QA: Ответы на вопросы мультимодальной теории разума . Чуаньян Цзинь и др. arXiv 2024. [бумага]
20. График мыслей: решение сложных проблем с помощью больших языковых моделей . Мацей Беста и др. АААИ 2024. [бумага]
21. Достижение >97% на GSM8K: глубокое понимание проблем делает выпускников LLM идеальными рассудителями . Цихуан Чжун и др. arXiv 2024. [бумага] на рассмотрении

2.3 Память ИИ

1. Плотный поиск проходов для ответов на вопросы открытой области . Владимир Карпухин и др. ЭМНЛП 2020. [бумага]
2. Расширенная поисковая генерация для наукоемких задач НЛП . Патрик Льюис и др. NeurIPS 2020. [бумага]
3. REALM: Предварительное обучение языковой модели с расширенным поиском . Кельвин Гуу и др. ICML 2020. [бумага]
4. Аугментация поиска уменьшает галлюцинации в разговоре . Курт Шустер и др. Выводы EMNLP за 2021 год. [бумага]
5. Улучшение языковых моделей путем извлечения из триллионов токенов . Себастьян Боржо и др. ICML 2022. [бумага]
6. Генеративные агенты: интерактивные симулякры человеческого поведения . Джун Сон Пак и др. UIST 2023. [бумага]
7. Когнитивные архитектуры для языковых агентов . Теодор Р. Сумерс и др. ТМЛР 2024. [бумага]
8. «Вояджер: открытый агент с большими языковыми моделями» . Гуанжи Ван и др. arXiv 2023. [бумага]
9. Обзор механизма памяти агентов на основе больших языковых моделей . Зею Чжан и др. arXiv 2024. [бумага]
10. Рекурсивное суммирование обеспечивает долговременную диалоговую память в больших языковых моделях . Цинъюэ Ван и др. arXiv 2023. [бумага] на рассмотрении

2.4 Метапознание ИИ

1. Учет метаспособностей при экстернализации неявных знаний и организационном обучении . Джиоти Чоудри и др. HICSS 2006. [бумага]
2. Развивающиеся самоуправляемые нейронные сети. Автономный интеллект на основе развитого самообучения . Нам Ле . arXiv 2019. [бумага]
3. Сделать предварительно обученные языковые модели более эффективными для учащихся, обучающихся с помощью нескольких попыток . Тяньюй Гао и др. ACL 2021. [бумага]
4. Выявление и манипулирование личностными качествами языковых моделей . Грэм Кэрон и др. arXiv 2022. [бумага]
5. Brainish: формализация мультимодального языка для интеллекта и сознания . Пол Лян и др. arXiv 2022. [бумага]
6. Теория сознания с точки зрения теоретической информатики: идеи сознательной машины Тьюринга . Ленор Блюм и др. ПНАС 2022. [бумага]
7. WizardLM: расширение возможностей больших языковых моделей для выполнения сложных инструкций . Кан Сюй и др. arXiv 2023. [бумага]
8. Самообучение: согласование языковых моделей с самостоятельно генерируемыми инструкциями . Ичжун Ван и др. ACL 2023. [бумага]
9. ReST соответствует ReAct: самосовершенствование для многоэтапного мышления LLM Agent . Ренат Акситов и др. arXiv 2023. [бумага]
10. Культурная психология больших языковых моделей: является ли ChatGPT целостным или аналитическим мышлением? . Чуаньян Цзинь и др. arXiv 2023. [бумага]
11. Сознание в искусственном интеллекте: идеи науки о сознании . Патрик Батлин и др. arXiv 2023. [бумага]
12. Пересмотр надежности психологических шкал на больших языковых моделях . Джен-це Хуанг и др. arXiv 2023. [бумага]
13. Оценка и стимулирование личности с помощью предварительно обученных языковых моделей . Гуангюань Цзян и др. NeurIPS 2024. [бумага]
14. Уровни ОИИ: операционализация прогресса на пути к ОИИ . Мередит Рингел Моррис и др. arXiv 2024. [бумага] на рассмотрении
15. Расследование-объединение-эксплуатация: общая стратегия саморазвития агентов между задачами . Ченг Цянь и др. arXiv 2024. [бумага] на рассмотрении

3. Интерфейс AGI: соединяем мир с помощью AGI

3.1 Интерфейсы искусственного интеллекта для цифрового мира

1. Принципы пользовательских интерфейсов смешанной инициативы . Эрик Хорвиц. СИГЧИ 1999. [бумага]
2. Возникновение и потенциал агентов, основанных на крупных языковых моделях: опрос . Чжихэн Си и др. arXiv 2023. [бумага]
3. Инструментальное обучение с использованием моделей фундамента . Юйцзя Цинь и др. arXiv 2023. [бумага]
4. Создатель: разделение абстрактных и конкретных рассуждений больших языковых моделей посредством создания инструментов . Ченг Цянь и др. arXiv 2023. [бумага]
5. AppAgent: мультимодальные агенты как пользователи смартфонов . Чжао Ян и др. arXiv 2023. [бумага]
6. Mind2Web: на пути к универсальному агенту для Интернета . Сян Дэн и др. Тест NeurIPS 2023. [бумага]
7. ToolQA: набор данных для ответов на вопросы LLM с помощью внешних инструментов . Юйчен Чжуан и др. arXiv 2023. [бумага]
8. Генеративные агенты: Интерактивные симулякры человеческого поведения . Джун Сон Пак и др. arXiv 2023. [бумага]
9. Toolformer: Языковые модели могут сами обучаться использованию инструментов . Тимо Шик и др. arXiv 2023. [бумага]
10. Gorilla: большая языковая модель, связанная с массивными API . Шишир Дж. Патил и др. arXiv 2023. [бумага]
11. «Вояджер»: воплощенный агент открытого типа с большими языковыми моделями . Гуанжи Ван и др. arXiv 2023. [бумага]
12. OS-Copilot: К универсальным компьютерным агентам с самосовершенствованием . Чжиюн Ву и др. arXiv 2024. [бумага]
13. WebArena: реалистичная веб-среда для создания автономных агентов . Шуян Чжоу и др. ICLR 2024. [бумага]
14. Большие языковые модели как создатели инструментов . Тианле Цай и др. ICLR 2024. [бумага]

3.2 Интерфейсы ИИ для физического мира

1. Уроки проблемы выбора на Амазонке: четыре аспекта создания роботизированных систем . Клеменс Эппнер и др. RSS 2016. [бумага]
2. Воспринимающий актер: многозадачный преобразователь для роботизированных манипуляций . Мохит Шридхар и др. arXiv 2022. [бумага]
3. Вима: Общие манипуляции с роботами с помощью мультимодальных подсказок . Юньфан Цзян и др. arXiv 2022. [бумага]
4. Делай то, что я могу, а не то, что я говорю: закрепление языка в возможностях роботов . Майкл Ан и др. arXiv 2022. [бумага]
5. Voxposer: составные трехмерные карты значений для роботизированных манипуляций с языковыми моделями . Вэньлун Хуан и др. arXiv 2023. [бумага]
6. MotionGPT: движение человека как иностранный язык . Бяо Цзян и др. arXiv 2023. [бумага]
7. Rt-2: Модели «видение-язык-действие» передают веб-знания роботизированному управлению . Энтони Брохан и др. arXiv 2023. [бумага]
8. Навигация к объектам реального мира . Теофил Гервет и др. Научная робототехника 2023. [бумага]
9. Lm-nav: роботизированная навигация с большими предварительно обученными моделями языка, зрения и действий . Дхрув Шах и др. CRL 2023. [бумага]
10. Palm-e: воплощенная мультимодальная языковая модель . Дэнни Дрисс и др. arXiv 2023. [бумага]
11. LLM-Planner: пошаговое обоснованное планирование для воплощенных агентов с большими языковыми моделями . Чан Хи Сон и др. ICCV 2023. [бумага]
12. Instruct2Act: сопоставление мультимодальных инструкций с роботизированными действиями с помощью большой языковой модели . Сиюань Хуан и др. arXiv 2023. [бумага]
13. DROID: крупномасштабный набор данных для манипуляций с роботами в дикой природе . Александр Хазацкий и др. arXiv 2024. [бумага]
14. BEHAVIOR-1K: ориентированный на человека, воплощенный тест искусственного интеллекта с 1000 повседневных действий и реалистичным моделированием . Чэншу Ли и др. arXiv 2024. [бумага]

3.3 Интерфейсы искусственного интеллекта для разведки

3.3.1 Интерфейсы ИИ для агентов ИИ

1. Контрфактические градиенты многоагентной политики . Якоб Ферстер и др. AAAI 2018. [бумага]
2. Пояснения, основанные на больших языковых моделях, делают маленьких рассуждений более эффективными . Шиян Ли и др. arXiv 2022. [бумага]
3. Дистилляция контекстного обучения: передача способности к обучению с помощью предварительно обученных языковых моделей за несколько шагов . Юкунь Хуан и др. arXiv 2022. [бумага]
4. Автоагенты: платформа для автоматического создания агентов . Гуанъяо Чен и др. arXiv 2023. [бумага]
5. Нейронный амортизированный вывод для вложенных многоагентных рассуждений . Кунал Джа и др. arXiv 2023. [бумага]
6. Дистилляция знаний больших языковых моделей . Юсянь Гу и др. arXiv 2023. [бумага]
7. Metagpt: метапрограммирование для многоагентной среды совместной работы . Сируи Хонг и др. arXiv 2023. [бумага]
8. Описывайте, объясняйте, планируйте и выбирайте: интерактивное планирование с использованием больших языковых моделей позволяет агентам в открытом мире выполнять многозадачные задачи . Цзихао Ван и др. arXiv 2023. [бумага]
9. Agentverse: содействие совместной работе нескольких агентов и изучение возникающего поведения агентов . Вайзе Чен и др. arXiv 2023. [бумага]
10. Ментальные бури в обществах разума, основанных на естественном языке . Минчен Чжуге и др. arXiv 2023. [бумага]
11. Джарвис-1: Многозадачные агенты в открытом мире с мультимодальными языковыми моделями с расширенной памятью . Цзихао Ван и др. arXiv 2023. [бумага]
12. Символическая дистилляция цепочки мыслей: маленькие модели также могут «думать» шаг за шагом . Люнянь Гарольд Ли и др. ACL 2023. [бумага]
13. Дистилляция шаг за шагом! превосходство более крупных языковых моделей при меньшем объеме обучающих данных и меньших размерах моделей . Ченг-Ю Се и др. arXiv 2023. [бумага]
14. Обобщение от слабого к сильному: выявление сильных способностей при слабом контроле . Коллин Бернс и др. arXiv 2023. [бумага]
15. Улучшение языковых моделей чата за счет масштабирования высококачественных обучающих бесед . Нин Дин и др. arXiv 2023. [бумага]
16. GAIA: эталон для общих помощников по искусственному интеллекту . Грегуар Миалон и др. ICLR 2024. [бумага]
17. «Вояджер»: воплощенный агент открытого типа с большими языковыми моделями . Гуанжи Ван и др. arXiv 2023. [бумага]
18. Camel: коммуникативные агенты для исследования «разума» крупномасштабной языковой модели общества . Гохао Ли и др. arXiv 2023. [бумага]
19. Адаптация саморационализаторов с помощью дистилляции с множеством наград . Сахана Рамнатх и др. arXiv 2023. [бумага]
20. Суперсогласование видения: обобщение от слабого к сильному для моделей основания видения . Цзяньюань Го и др. arXiv 2024. [бумага]
21. WebArena: реалистичная веб-среда для создания автономных агентов . Шуян Чжоу и др. ICLR 2024. [бумага]
22. Принципиальная самосогласование языковых моделей с нуля при минимальном человеческом контроле . Чжицин Сунь и др. NeurIPS 2024. [бумага]
23. Mind2web: На пути к универсальному агенту для Интернета . Сян Дэн и др. NeurIPS 2024. [бумага]
24. На пути к общему компьютерному контролю: мультимодальный агент для Red Dead Redemption II на примере тематического исследования . Вэйхао Тан и др. arXiv 2024. [бумага]

3.3.2 Интерфейсы искусственного интеллекта для человека

1. Рекомендации по взаимодействию человека и ИИ . Салима Амерши и др. ОМС 2019. [бумага]
2. Принципы проектирования приложений генеративного искусственного интеллекта . Джастин Д. Вайс и др. ОМС 2024. [бумага]
3. Графолог: изучение ответов большой языковой модели с помощью интерактивных диаграмм . Пейлин Цзян и др. UIST 2023. [бумага]
4. Sensecape: обеспечение многоуровневого исследования и осмысления с помощью больших языковых моделей . Санго Су и др. UIST 2023. [бумага]
5. Поддержка осмысления выходных данных больших языковых моделей в любом масштабе . Кэти Илонка Геро и др. ОМС 2024. [бумага]
6. Luminate: структурированная генерация и исследование пространства дизайна с помощью больших языковых моделей для совместного создания человека и искусственного интеллекта . Санго Су и др. ОМС 2024. [Бумага]
7. Цепочки искусственного интеллекта: прозрачное и контролируемое взаимодействие человека и искусственного интеллекта посредством объединения подсказок большой языковой модели . Тонгшуан Ву и др. ОМС 2022. [бумага]
8. Promptify: преобразование текста в изображение посредством интерактивного исследования подсказок с использованием больших языковых моделей . Стивен Брэйд и др. ОМС 2023. [бумага]
9. ChainForge: визуальный набор инструментов для оперативного проектирования и проверки гипотез LLM . Ян Аравхо и др. ОМС 2024. [бумага]
10. CoPrompt: поддержка обмена подсказками и ссылок при совместном программировании на естественном языке . Ли Фэн и др. ОМС 2024. [бумага]
11. Генерация автоматической обратной связи по макетам пользовательского интерфейса с большими языковыми моделями . Пейтун Дуань и др. ОМС 2024. [бумага]
12. Рамблер: Поддержка письма с помощью речи посредством манипулирования сутью с помощью LLM . Сьюзен Лин и др. ОМС 2024. [бумага]
13. Встраивание больших языковых моделей в расширенную реальность: возможности и проблемы для инклюзивности, взаимодействия и конфиденциальности . Эфе Бозкир и др. arXiv 2024. [бумага]
14. GenAssist: обеспечение доступности создания изображений . Мина Ху и др. UIST 2023. [бумага]
15. «Чем меньше я печатаю, тем лучше»: как языковые модели искусственного интеллекта могут улучшить или затруднить общение пользователей AAC . Стефани Валенсия и др. ОМС 2023. [бумага]
16. Переосмысление того, почему и как взаимодействие человека и искусственного интеллекта исключительно сложно спроектировать . Цянь Ян и др. ОМС 2020. [бумага]

4. Системы AGI: реализация механизма AGI

4.2 Архитектура масштабируемых моделей

1. Невероятно большие нейронные сети: редкий слой смешанных экспертов . Ноам Шазир и др. arXiv 2017. [бумага]
2. Трансформаторы — это RNN: быстрые авторегрессионные трансформаторы с линейным вниманием . Ангелос Катаропулос и др. arXiv 2020. [бумага]
3. Лонгформер: Трансформатор длинных документов . Из Бельтаги и др. arXiv 2020. [бумага]
4. LightSeq: высокопроизводительная библиотека вывода для трансформаторов . Сяохуэй Ван и др. arXiv 2021. [бумага]
5. Переключающие трансформаторы: масштабирование до моделей с триллионом параметров с простой и эффективной разреженностью . Уильям Федус и др. arXiv 2022. [бумага]
6. Эффективное моделирование длинных последовательностей с помощью структурированных пространств состояний . Альберт Гу и др. arXiv 2022. [бумага]
7. MegaBlocks: эффективное разреженное обучение со смесью экспертов . Тревор Гейл и др. arXiv 2022. [бумага]
8. Обучение вычислительно-оптимальных моделей большого языка . Джордан Хоффманн и др. arXiv 2022. [бумага]
9. Эффективное масштабирование базовых моделей в длинном контексте . Вэньхан Сюн и др. arXiv 2023. [бумага]
10. Иерархия гиен: на пути к более крупным сверточным языковым моделям . Майкл Поли и др. arXiv 2023. [бумага]
11. Стэнфордская альпака: модель LLaMA, выполняющая инструкции . Рохан Таори и др. GitHub 2023. [код]
12. Rwkv: Новое изобретение rnn для эпохи трансформаторов . Бо Пэн и др. arXiv 2023. [бумага]
13. Дежавю: Контекстуальная разреженность для эффективных LLM во время вывода . Цзычан Лю и др. arXiv 2023. [бумага]
14. Flash-LLM: обеспечение экономичного и высокоэффективного вывода больших генеративных моделей с неструктурированной разреженностью . Хаоцзюнь Ся и др. arXiv 2023. [бумага]
15. ByteTransformer: высокопроизводительный преобразователь, оптимизированный для входов переменной длины . Юцзя Чжай и др. arXiv 2023. [бумага]
16. Tutel: Адаптивная смесь экспертов в масштабе . Чанхо Хван и др. arXiv 2023. [бумага]
17. Мамба: моделирование последовательностей линейного времени с выборочными пространствами состояний . Альберт Гу, Три Дао. arXiv 2023. [бумага]
18. Hungry Hungry Hippos: на пути к языковому моделированию с помощью моделей пространства состояний . Дэниел Ю. Фу и др. arXiv 2023. [бумага]
19. Сохраняющая сеть: преемник преобразователя для больших языковых моделей . Ютао Сунь и др. АрXiv, 2023.
20. Механистическое проектирование и масштабирование гибридных архитектур . Майкл Поли и др. arXiv 2024. [бумага]
21. Возвращение к дистилляции знаний для авторегрессионных языковых моделей . Цихуан Чжун и др. arXiv 2024. [бумага]
22. DB-LLM: точная двойная бинаризация для эффективных LLM . Хун Чен и др. arXiv 2024. [бумага]
23. Уменьшение размера кэша ключей и значений преобразователя с помощью межуровневого внимания . Уильям Брэндон и др. arXiv 2024.[бумага]
24. Вы кэшируете только один раз: архитектуры декодера-декодера для языковых моделей Ютао Сан и др. arXiv 2024. [бумага]

4.3 Масштабное обучение

1. Обучение глубоких сетей с сублинейной стоимостью памяти . Тяньци Чен и др. arXiv 2016. [бумага]
2. За пределами параллелизма данных и моделей для глубоких нейронных сетей . Чжихао Цзя и др. arXiv 2018. [бумага]
3. GPipe: эффективное обучение гигантских нейронных сетей с использованием конвейерного параллелизма . Яньпин Хуан и др. arXiv 2019. [бумага]
4. Перенос обучения с эффективным использованием параметров для НЛП . Нил Хоулсби и др. ICML 2019. Бумага
5. Megatron-LM: обучение языковых моделей с несколькими миллиардами параметров с использованием модельного параллелизма . Мохаммад Шойби и др. arXiv 2020. [бумага]
6. Alpa: автоматизация меж- и внутриоператорного параллелизма для распределенного глубокого обучения . Ляньминь Чжэн и др. arXiv 2022. [бумага]
7. DeepSpeed ​​Inference: обеспечение эффективного вывода моделей трансформаторов в беспрецедентном масштабе . Реза Яздани Аминабади и др. arXiv 2022. [бумага]
8. Запоминание без переобучения: анализ динамики обучения больших языковых моделей . Кушал Тирумала и др. arXiv 2022. [бумага]
9. SWARM-параллелизм: обучение больших моделей может оказаться удивительно эффективным с точки зрения коммуникации . Макс Рябинин и др. arXiv 2023. [бумага]
10. Траектории обучения языковых моделей в разных масштабах . Мэнчжоу Ся и др. arXiv 2023. [бумага]
11. HexGen: генеративный вывод базовой модели в гетерогенной децентрализованной среде . Юхе Цзян и др. arXiv 2023. [бумага]
12. FusionAI: децентрализованное обучение и развертывание LLM с помощью массивных графических процессоров потребительского уровня . Чжэньхэн Тан и др. arXiv 2023. [бумага]
13. Привлекайте внимание с помощью блочных преобразователей для почти бесконечного контекста . Хао Лю и др. arXiv 2023. [бумага]
14. Pythia: пакет для анализа больших языковых моделей при обучении и масштабировании . Стелла Бидерман и др. arXiv 2023. [бумага]
15. Точная настройка языковых моделей в медленных сетях с использованием сжатия активации с гарантиями . Цзюэ Ван и др. arXiv 2023. [бумага]
16. LLaMA-Adapter: эффективная тонкая настройка языковых моделей с нулевым вниманием к инициализации . Ренруй Чжан и др. arXiv 2023. [бумага]
17. QLoRA: эффективная точная настройка квантованных LLM . Тим Деттмерс и др. arXiv 2023. [бумага]
18. Эффективное управление памятью для обслуживания больших языковых моделей с помощью PagedAttention . Вусук Квон и др. arXiv 2023. [бумага]
19. Infinite-LLM: эффективный сервис LLM для длительного контекста с DistAttention и распределенным KVCache . Бин Лин и др. arXiv 2024. [бумага]
20. ОЛМо: Ускорение изучения языковых моделей . Дирк Гроеневелд и др. arXiv 2024. [бумага]
21. Об эффективном обучении крупномасштабных моделей глубокого обучения: обзор литературы . Ли Шен и др. arXiv 2023. [бумага] на рассмотрении

4.4 Методы вывода

1. FlashAttention: быстрое и эффективное использование памяти Exact Attention с поддержкой ввода-вывода . Три Дао и др. NeurIPS 2022. [бумага]
2. Проект и проверка: ускорение модели большого языка без потерь посредством самоспекулятивного декодирования . Цзюнь Чжан и др. arXiv 2023. [бумага]
3. На пути к эффективному обслуживанию генеративных моделей большого языка: обзор от алгоритмов к системам . Сюпэн Мяо и др. arXiv 2023. [бумага]
4. FlashDecoding++: более быстрый вывод моделей большого языка на графических процессорах . Ке Хонг и др. arXiv 2023. [бумага]
5. Быстрый вывод из трансформаторов посредством спекулятивного декодирования . Янив Левиафан и др. arXiv 2023. [бумага]
6. Быстрое обслуживание распределенного вывода для больших языковых моделей . Бинъян Ву и др. arXiv 2023. [бумага]
7. S-LoRA: обслуживание тысяч одновременных адаптеров LoRA . Ин Шэн и др. arXiv 2023. [бумага]
8. TensorRT-LLM: набор инструментов TensorRT для оптимизированного вывода моделей большого языка . NVIDIA. GitHub 2023. [код]
9. Пуника: многотенантное обслуживание LoRA . Лекун Чен и др. arXiv 2023. [бумага]
10. S$^3: Увеличение использования графического процессора во время генеративного вывода для повышения пропускной способности . Юнхо Джин и др. arXiv 2023. [бумага]
11. Сервер вывода Multi-LoRA, масштабируемый до тысяч точно настроенных LLM . Предибаза. GitHub 2023. [код]
12. Быстрое декодирование поиска . Апурв Саксена. GitHub 2023. [код]
13. БыстрееТрансформер . NVIDIA. GitHub 2021. [бумага]
14. DeepSpeed-FastGen: Высокопроизводительная генерация текста для LLM с помощью MII и DeepSpeed-Inference . Коннор Холмс и др. arXiv 2024. [бумага]
15. SpecInfer: ускорение обслуживания генеративных моделей большого языка с помощью спекулятивного вывода и проверки на основе дерева . Сюпэн Мяо и др. arXiv 2024. [бумага]
16. Medusa: Простая платформа ускорения вывода LLM с несколькими головками декодирования . Тианле Цай и др. arXiv 2024. [бумага]
17. Модель подсказывает, что следует отбросить: адаптивное сжатие KV-кэша для LLM . Сую Ге и др. ICLR 2024. [бумага]
18. Эффективные модели потокового языка с приемниками внимания . Гуансюань Сяо и др. ICLR 2024. [бумага]
19. DeFT: внимание к Flash-дереву с учетом ввода-вывода для эффективного вывода LLM на основе поиска в дереве . Цзиньвэй Яо и др. arXiv 2024. [бумага]
20. Эффективное программирование больших языковых моделей с использованием SGLang . Ляньминь Чжэн и др. arXiv 2023. [бумага]
21. СКОРОСТЬ: спекулятивное конвейерное выполнение для эффективного декодирования . Коулман Хупер и др. arXiv 2023. [бумага]
22. Sequoia: масштабируемое, надежное и аппаратно-ориентированное спекулятивное декодирование . Чжуомин Чен и др. arXiv 2024. [бумага] на рассмотрении

4.5 Стоимость и эффективность

1. Демонстрация-поиск-предсказание: составление поисковых и языковых моделей для наукоемкого НЛП . Омар Хаттаб и др. arXiv 2023. [бумага]
2. Автоматизированное машинное обучение: методы, системы, проблемы . Фрэнк Хаттер и др. Издательская компания Springer, Incorporated, 2019 г.
3. Модельные супы: усреднение весов нескольких точно настроенных моделей повышает точность без увеличения времени вывода . Митчелл Вортсман и др. arXiv 2022. [бумага]
4. Отладка данных с помощью Шепли. Важность сквозных конвейеров машинного обучения . Боян Карлаш и др. arXiv 2022. [бумага]
5. Экономичная оптимизация гиперпараметров для вывода больших языковых моделей . Чи Ван и др. arXiv 2023. [бумага]
6. Большие языковые модели — это инженеры быстрого реагирования на уровне человека . Юнчао Чжоу и др. arXiv 2023. [бумага]
7. Слияние путем сопоставления моделей в подпространствах задач . Дерек Тэм и др. arXiv 2023. [бумага]
8. Редактирование моделей с помощью арифметики задач . Габриэль Ильхарко и др. arXiv 2023. [бумага]
9. PriorBand: Практическая оптимизация гиперпараметров в эпоху глубокого обучения . Ниратёй Маллик и др. arXiv 2023. [бумага]
10. Эмпирическое исследование слияния мультимодальных моделей . И-Лин Сун и др. arXiv 2023. [бумага]
11. DSPy: компиляция вызовов декларативной языковой модели в самоулучшающиеся конвейеры . Омар Хаттаб и др. arXiv 2023. [бумага]
12. FrugalGPT: как использовать большие языковые модели, сокращая затраты и повышая производительность . Линцзяо Чен и др. arXiv 2023. [бумага]
13. Тандемные трансформаторы для эффективных LLM . Айшвария П.С. и др. arXiv 2024. [бумага]
14. AIOS: Операционная система агента LLM . Кай Мэй и др. arXiv 2024. [бумага]
15. LoraHub: эффективное обобщение перекрестных задач с помощью динамической композиции LoRA . Ченгсонг Хуан и др. arXiv 2024. [бумага]
16. AutoML в эпоху больших языковых моделей: текущие проблемы, будущие возможности и риски . Александр Торнеде и др. arXiv 2024. [бумага]
17. Объединение экспертов в одного: повышение вычислительной эффективности смешанных экспертов . Швай Хэ и др. EMNLP 2023. [бумага] на рассмотрении

4.6 Вычислительные платформы

1. TVM: автоматизированный компилятор сквозной оптимизации для глубокого обучения . Тяньци Чен и др. arXiv 2018. [бумага]
2. TPU v4: оптически реконфигурируемый суперкомпьютер для машинного обучения с аппаратной поддержкой встраивания . Норман П. Джуппи и др. arXiv 2023. [бумага]

5. Согласование AGI: обеспечение соответствия AGI различным потребностям

5.1 Ожидания от согласования AGI

1. Совместимость с человеком: искусственный интеллект и проблема управления . Стюарт Рассел . Викинг, 2019.
2. Искусственный интеллект, ценности и согласованность . Ясон Габриэль . Умы и машины, 2020. [бумага]
3. Согласование языковых агентов . Закари Кентон и др. arXiv, 2021. [Статья]
4. Проблема обучения ценности . Нейт Соарес . Технический отчет Исследовательского института машинного интеллекта [бумага]
5. Конкретные проблемы безопасности ИИ . Дарио Амодей и др. arXiv, 2016. [бумага]
6. Этические и социальные риски вреда от языковых моделей . Лаура Вейдингер и др. arXiv, 2021. [бумага]
7. Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими? . Эмили М. Бендер и др. ФАКТ 2021. [бумага]
8. Глобальный ландшафт руководящих принципов этики ИИ . Анна Джобин и др. Природный машинный интеллект, 2019. [бумага]
9. Стойкая антимусульманская предвзятость в больших языковых моделях . Абубакар Абид и др. АИЕС, 2021. [бумага]
10. На пути к гендерно-инклюзивному разрешению проблем корференции . Ян Триста Цао и др. ACL, 2020. [бумага]
11. Социальное влияние обработки естественного языка . Дирк Хови и др. ACL 2016. [бумага]
12. TruthfulQA: измерение того, как модели имитируют человеческую ложь . Стефани Лин и др. ACL 2022. [бумага]
13. Риски радикализации GPT-3 и продвинутых моделей нейронного языка . Крис МакГаффи и др. arXiv, 2020. [бумага]
14. Прозрачность искусственного интеллекта в эпоху магистратуры: дорожная карта исследований, ориентированных на человека . Вопрос. Вера Ляо и др. arXiv 2023. [бумага]
15. Помимо опыта и ролей: основа для характеристики заинтересованных сторон интерпретируемого машинного обучения и их потребностей . Харини Суреш и др. ОМС 2021. [бумага]
16. Выявление и снижение рисков безопасности, связанных с генеративным ИИ . Кларк Барретт и др. arXiv, 2023. [бумага]
17. Агенты LLM могут автономно взламывать веб-сайты . Ричард Фанг и др. arXiv, 2024. [бумага]
18. Дипфейки, френология, наблюдение и многое другое! Таксономия рисков конфиденциальности ИИ . Хао-Пин Ли и др. ОМС 2024. [бумага]
19. Конфиденциальность в эпоху искусственного интеллекта . Саувик Дас и др. Сообщения ACM, 2023 г. [бумага]

5.2 Современные методы выравнивания

1. Учимся подводить итоги с помощью обратной связи с человеком . Нисан Стиеннон и др. NeurIPS 2020. [бумага]
2. Лучше всего передумать: научиться заново соответствовать человеческим ценностям с помощью редактирования текста . Жуйбо Лю и др. NeurIPS 2022. [бумага]
3. Обучение языковых моделей следованию инструкциям с обратной связью от человека . Лонг Оуян и др. NeurIPS 2022. [бумага]
4. Высвобождение внутренних демонов: самодетоксикация для языковых моделей . Канвен Сюй и др. АААИ 2022. бумага
5. Согласование генеративных языковых моделей с человеческими ценностями . Жуйбо Лю и др. NAACL 2022. [бумага]
6. Обучение полезного и безобидного помощника с подкреплением обучения на основе отзывов людей . Юнтао Бай и др. arXiv 2022. [бумага]
7. Конституционный ИИ: безвредность от обратной связи ИИ . Юнтао Бай и др. arXiv 2022. [бумага]
8. Raft: тонкая настройка по рейтингу для согласования модели генеративного фундамента . Ханзе Донг и др. arXiv 2023. [бумага]
9. Улучшение языковых моделей с помощью градиентов автономной политики, основанных на преимуществах . Ашутош Бахети и др. arXiv 2023. [бумага]
10. Обучение языковым моделям с языковой обратной связью в любом масштабе . Джереми Шерер и др. arXiv 2023. [бумага]
11. Общая теоретическая парадигма для понимания обучения на основе человеческих предпочтений . Мохаммад Гешлаги Азар и др. arXiv 2023. [бумага]
12. Давайте проверим шаг за шагом . Хантер Лайтман и др. arXiv 2023. [бумага]
13. Открытые проблемы и фундаментальные ограничения обучения с подкреплением на основе обратной связи между людьми . Стивен Каспер и др. arXiv 2023. [бумага]
14. Согласование больших языковых моделей посредством синтетической обратной связи . Сунгдонг Ким и др. arXiv 2023. [бумага]
15. RLAIF: масштабирование обучения с подкреплением на основе обратной связи между людьми и обратной связью от ИИ . Харрисон Ли и др. arXiv 2023. [бумага]
16. Оптимизация ранжирования предпочтений для человеческого выравнивания . Фейфан Сонг и др. arXiv 2023. [бумага]
17. Повышение фактичности и рассуждения в языковых моделях посредством многоагентных дебатов . Илун Ду и др. arXiv 2023. [бумага]
18. Согласование большой языковой модели: опрос . Тяньхао Шен и др. arXiv 2023. [бумага]
19. Прямая оптимизация предпочтений: ваша языковая модель тайно является моделью вознаграждения . Рафаэль Рафаилов и др. NeurIPS 2024. [бумага]
20. Лима: Для согласованности лучше меньше, да лучше . Чуньтинг Чжоу и др. NeurIPS 2024. [бумага]

5.3 Как подойти к согласованию AGI

1. Этические и социальные риски вреда от языка . Меллор Вейдингер и др. arXiv 2021. [бумага]
2. Пекинский международный консенсус по безопасности искусственного интеллекта . Пекинская академия искусственного интеллекта. 2024. [бумага]
3. Контрфактические объяснения без открытия черного ящика: автоматизированные решения и GDPR . Сандра Вахтер и др. Гарвардский журнал права и технологий, 2017. [бумага]
4. Масштабируемое выравнивание агента через моделирование вознаграждения: направление исследования . Jan Leike et al. Arxiv 2018. [Paper]
5. Встроение этики в искусственный интеллект . Хан Ю и соавт. IJCAI 2018. Бумага
6. Совместимый с человеком: искусственный интеллект и проблема контроля . Стюарт Рассел . Viking, 2019. [Paper]
7. Ответственный искусственный интеллект: как разрабатывать и использовать ИИ ответственным образом . Вирджиния Диньум . Springer Nature, 2019. [Paper]
8. Машиная этика: проектирование и управление этическим ИИ и автономными системами . Алан Ф. Уинфилд и соавт. Материалы IEEE, 2019. [Paper]
9. Открытые проблемы в кооперативном ИИ . Allan Dafoe et al. Arxiv 2020. [Бумага]
10. Искусственный интеллект, ценности и выравнивание . Ясон Габриэль . Умы и машины, 2020. [Бумага]
11. Кооперативный ИИ: Машины должны научиться находить общий язык . Allan Dafoe et al. Nature 2021. [Paper]
12. Машинная мораль, моральный прогресс и надвигающаяся экологическая катастрофа . Ben Kenward et al. Arxiv 2021. [Paper]
13. Анализ рентгеновского риска для исследований искусственного интеллекта . Dan Hendrycks et al. Arxiv 2022. [Paper]
14. Разложение задачи для масштабируемого надзора (дистилляция AGISF) . Чарбель-Рафаэль Сегери. Блог 2023. [Блог]
15. Слабое и сильное обобщение: выявление сильных возможностей со слабым надзором . Коллин Бернс и др. Arxiv 2023. [Paper]
16. Чьи мнения отражают языковые модели? . Shibani Santurkar et al. ICML 2023. [Paper]
17. Выравнивание AI: комплексный опрос . Jiaming Ji et al. Arxiv 2023. [Paper]
18. Открытые проблемы и фундаментальные ограничения подкрепления обучения от обратной связи человека . Стивен Каспер и соавт. Arxiv 2023. [Paper]
19. Заклинание разблокировки на базовых LLMS: переосмысление выравнивания с помощью встроенного обучения . Билл Юхен Лин и соавт. Arxiv 2023. [Paper]
20. Выравнивание модели большого языка: опрос . Tianhao Shen et al. Arxiv 2023. [Paper]

6. Agi Roadmap: ответственно приближается к Agi

6.1 Уровни ИИ: наброски эволюции искусственного интеллекта

1. Спарки искусственного общего интеллекта: ранние эксперименты с GPT-4 . Sébastien Bubeck et al. Arxiv 2023. [Paper]
2. Уровни AGI: Операционное прогресс на пути к AGI . Meredith Ringel Morris et al. Arxiv 2024. [Paper]

6.2 Оценка AGI

6.2.1 Ожидания оценки AGI

1. На пути к систематической отчетности энергетических и углеродных следов машинного обучения . Peter Henderson et al. Журнал исследований машинного обучения, 2020.
2. Зеленый ИИ . Рой Шварц Коммуникации ACM, 2020.
3. Оценка крупных языковых моделей, обученных коду . Mark Chen et al. Нет журнала, 2021.
4. Документирование крупных веб -текстных корпораций: тематическое исследование о колоссальном чистом корпусе . Jesse Dodge et al. Arxiv 2021. [Paper]
5. О возможностях и рисках фундаментальных моделей . Rishi Bommasani et al. Arxiv 2021. [Paper]
6. Человеческое систематическое обобщение через нейронную сеть мета-обучения . Brenden M Lake et al. Природа, 2023. [Бумага]
7. Superbench измеряет LLM на открытом воздухе: критический анализ . Superbench Team. Arxiv 2023.
8. Целостная оценка языковых моделей . Percy Liang et al. Arxiv 2023. [Paper]

6.2.2 Текущие оценки и их ограничения

1. Отряд: 100 000+ вопросов для понимания машины текста . Pranav Rajpurkar et al. Arxiv 2016. [Paper]
2. VIRIVIAQA: крупномасштабный набор данных с отдаленным контролем для понимания прочитанного . Мандар Джоши и соавт. Arxiv 2017. [Paper]
3. Coqa: разговорная задача ответа . Siva Reddy et al. Транзакции Ассоциации вычислительной лингвистики, 2019.
4. Точная, надежная и быстрая оценка надежности . Wieland Brendel et al. Neurips 2019. [Paper]
5. Измерение массового многозадачного понимания языка . Dan Hendrycks et al. Arxiv 2020. [Бумага]
6. Оценка модели устойчивости и стабильности к сдвигу наборов данных . Adarsh ​​Subbaswamy et al. Представлено на Международной конференции по искусственному интеллекту и статистике, 2021 год.
7. Mmdialog: крупномасштабный набор данных по многословным диалогам для мультимодального разговора с открытым доменом . Jiazhan Feng et al. Arxiv 2022. [Paper]
8. Самоубийство: выравнивание языковых моделей с самостоятельными инструкциями . Yizhong Wang et al. Arxiv 2022. [Paper]
9. Super-NaturalInstructions: обобщение с помощью декларативных инструкций по заданиям NLP 1600+ . Yizhong Wang et al. Arxiv 2022. [Paper]
10. Целостный анализ галлюцинации в GPT-4V (ISION): проблемы и вмешательство . Chenhang Cui et al. Arxiv 2023. [Paper]
11. Оценка надежности к инструкциям крупных языковых моделей . Yuanssheng Ni et al. Arxiv 2023. [Paper]
12. GAIA: эталон для генеральных помощников ИИ . Gregoire Mialon et al. Arxiv 2023. [Paper]
13. Комплексная структура оценки для глубокой модели . Jun Guo et al. Распознавание шаблона, 2023. [Paper]
14. Agival: ориентированный на человека эталон для оценки моделей фундамента . Wanjun Zhong et al. Arxiv 2023. [Paper]
15. MMMU: массовый многодисциплинальный многомодальный эталон и рассуждения для экспертов AGI . Xiang et al. Arxiv 2023. [Paper]
16. Оценка творчества крупной языковой модели с литературной точки зрения . Murray Shanahan et al. Arxiv 2023. [Paper]
17. Agentbench: оценка LLM . Сяо Лю и соавт. ICLR 2024. [Бумага]
18. Оценка и понимание творчества в моделях крупных языков . Yunpu Zhao et al. Arxiv 2024. [Paper]
19. Судя по LLM-как сужу, с Mt-Bench и Chatbot Arena . Lianmin Zheng et al. Neurips 2024. [Paper]

6.5 Дальнейшие соображения во время развития AGI

1. Основополагающие проблемы в обеспечении выравнивания и безопасности крупных языковых моделей . Usman Anwar et al. Arxiv 2024. [Paper]
2. Лучшие практики и уроки, извлеченные по синтетическим данным для языковых моделей . Ruibo Liu et al. Arxiv 2024. [Paper]
3. Добавление социального интеллекта в агентах искусственного интеллекта: технические проблемы и открытые вопросы . Leena Mathur et al. Arxiv 2024. [Paper]

7. Тематические исследования

7.1 AI для науки об открытии и исследованиях

1. Высокий точный прогноз структуры белка с помощью алфалолда . Джемпер, Джон и соавт. Nature, 2021. [Paper]
2. Автоматизированное научное обнаружение: от уравнения обнаружения до автономных систем обнаружения . Kramer, Stefan et al. Arxiv 2023. [Paper]
3. Прогнозирование эффектов некодирующих вариантов с помощью модели последовательности на основе глубокого обучения . Чжоу, Цзянь и соавт. Методы природы, 2015.
4. Учимся видеть физику посредством визуальной де-анимации . Wu, Jiajun et al. Neurips 2017. [Paper]
5. Глубокое обучение для обнаружения гравитационных волн в реальном времени и оценки параметров: результаты с расширенными данными LIGO . Джордж, Даниэль и соавт. Физические буквы B, 2018. [Paper]
6. Выявление квантовых фазовых переходов с состязательными нейронными сетями . Рем, Барт-Ян и соавт. Физика природы, 2019. [Paper]
7. Openagi: когда LLM встречает доменных экспертов . GE, Yingqiang et al. Neurips, 2023. [Paper]
8. От темной материи до галактик с сверточными сетями . Zhang, Xinyue et al. Arxiv 2019. [Paper]
9. Глобальная оптимизация квантовой динамики с Alphazero Deep Exploration . Dalgaard, Mogens et al. npj Quantum Information, 2020. [Paper]
10. Обучение для использования временной структуры для обработки биомедицинского языка . Shruthi Bannur et al. CVPR, 2023. [Paper]
11. Mathbert: предварительно обученная языковая модель для общих задач NLP в математическом образовании . Шен, Цзя Трейси и соавт. Arxiv 2021. [Paper]
12. Молекулярная оптимизация с использованием языковых моделей . Maziarz, Krzysztof et al. Arxiv 2022. [Paper]
13. Retrotrae: ретросинтетический перевод атомных сред с трансформатором . Ucak, Umit Volkan et al. Нет журнала, 2022. [Paper]
14. Scholarbert: Больше не всегда лучше . Хонг, Чжи и соавт. Arxiv 2022. [Paper]
15. Галактика: большая языковая модель для науки . Тейлор, Росс и соавт. Arxiv 2022. [Paper]
16. Формальная математическая учебная программа . Polu, Stanislas et al. Arxiv 2022. [Paper]
17. Доказательство артефакта Co-обучение для теоремы, доказывающей языковые модели . Джесси Майкл Хан и соавт. ICLR 2022. [Бумага]
18. Решение количественных проблем рассуждений с языковыми моделями . Lewkowycz, Aitor et al. Arxiv 2022. [Paper]
19. BIOGPT: генеративный предварительно обученный трансформатор для генерации биомедицинского текста и добычи . Luo, Renqian et al. Брифинги в биоинформатике, 2022.
20. Chemcrow: расширение моделей крупноязывания с помощью химических инструментов . Bran, Andres M et al. Arxiv 2023. [Paper]
21. Автономные химические исследования с большими языковыми моделями . Boiko, Daniil A et al. Природа, 2023. [Бумага]
22. Эффективные возможности автономных научных исследований крупных языковых моделей . Daniil A. Boiko et al. Arxiv 2023. [Paper]
23. MathPrompter: математические рассуждения с использованием больших языковых моделей . Imani, Shima, et al. Представлено на процессе 61 -го годового собрания Ассоциации вычислительной лингвистики (том 5: отраслевой трек), 2023. [Paper]
24. Обучение для использования временной структуры для обработки биомедицинского языка . Shruthi Bannur et al. Arxiv 2023. [Paper]
25. LLMS для науки: использование для генерации кода и анализа данных . Nejjar, Mohamed et al. Arxiv 2023. [Paper]
26. Medagents: крупные языковые модели в качестве сотрудников для медицинских рассуждений с нулевым выстрелом . Siangru Tang et al. Arxiv 2024. [Paper]

7.2 Генеративный визуальный интеллект

1. Глубокое неконтролируемое обучение с использованием неравновесной термодинамики . Jascha Sohl-Dickstein et al. ICML 2015. [Paper]
2. Генеративное моделирование путем оценки градиентов распределения данных . Yang Song et al. Neurips 2019. [Paper]
3. Обезделить диффузионные вероятностные модели . Jonathan Ho et al. Neurips 2020. [Paper]
4. Генеративное моделирование на основе баллов с помощью стохастических дифференциальных уравнений . Yang Song et al. ICLR 2021. [Бумага]
5. Glide: к фотореалистическому генерации изображений и редактирование с помощью текстовых диффузионных моделей . Алекс Никол и соавт. ICML 2022. [Бумага]
6. SDEDIT: Синтез и редактирование с управляемым изображением со стохастическими дифференциальными уравнениями . Chenlin Meng et al. ICLR 2022. [Бумага]
7. Видео диффузионные модели . Jonathan Ho et al. Neurips 2022. [Paper]
8. Иерархическое создание текстовых кондиционированных изображений с задержками клипа . Aditya Ramesh et al. Arxiv 2022. [Paper]
9. Без классификатора диффузионного руководства . Jonathan Ho et al. Arxiv 2022. [Paper]
10. Палитра: модели диффузии изображения до изображения . Chitwan Saharia et al. Siggraph 2022. [Paper]
11. Синтез изображения высокого разрешения с скрытыми диффузионными моделями . Robin Rombach et al. CVPR 2022. [Paper]
12. Добавление условного управления к моделям диффузии текста до изображения . Lvmin Zhang et al. ICCV 2023. [Paper]
13. Масштабируемые диффузионные модели с трансформаторами . William Peebles et al. ICCV 2023. [Paper]
14. Последовательное моделирование позволяет масштабируемому обучению для больших моделей зрения . Yutong Bai et al. Arxiv 2023. [Paper]
15. Модели генерации видео как мировые симуляторы . Тим Брукс и соавт. Openai 2024. [Бумага]

7.3 Мировые модели

1. Учимся видеть физику посредством визуальной де-анимации . Wu, Jiajun et al. Neurips 2017. [Paper]
2. Безопасное обучение на основе модели с гарантиями стабильности . Berkenkamp, ​​Felix et al. Neurips, 2017. [Paper]
3. Симнет: мировые модели, основанные на обучении, для физических рассуждений . Vicol, Paul, Menapace et al. ICLR 2022. [Бумага]
4. Dreamix: Dreamfusion через итеративное пространственно -временное смешивание . Khalifa, Anji et al. Arxiv 2022. [Paper]
5. Общий назначенный агент ИИ общего назначения посредством обучения подкреплению с знаниями в интернет-масштабе . Guo, Xiaoxiao et al. Arxiv 2022. [Paper]
6. VQGAN-CLIP: Генерация и редактирование изображений с открытым доменом с помощью руководства естественного языка . Кровсон, Кэтрин. Arxiv 2022. [Paper]
7. Путь к интеллекту автономного машины . Lecun Yann OpenReview, 2022. [Paper]
8. Языковые модели соответствуют мировым моделям: воплощенный опыт улучшает языковые модели . Jiannan Xiang et al. Neurips 2023. [Paper]
9. Освоение разнообразных областей через мировые модели . Hafner, Danijar et al. Arxiv 2023. [Paper]
10. Приобретение мультимодальных моделей с помощью поиска . Рид, Скотт и соавт. Arxiv 2023. [Paper]
11. Языковые модели как планировщики с нулевым выстрелом: извлечение действенных знаний для воплощенных агентов . Дохан, Дэвид и соавт. Arxiv 2023. [Paper]
12. Языковые модели, агентские модели и мировые модели: закон о рассуждениях и планировании машин . Zhiting Hu et al. Arxiv 2023. [Paper]
13. Рассуждение с языковой моделью планирует с мировой моделью . Хао, Шибо и соавт. Arxiv 2023. [Paper]
14. Метазим: научиться генерировать синтетические наборы данных . Zhang, Yuxuan et al. Arxiv 2023. [Paper]
15. Мировая модель на видео и языке с миллионами с рингом . Hao Liu et al. Arxiv 2024. [Paper]
16. Джинн: генеративные интерактивные среды . Джейк Брюс и соавт. Arxiv 2024. [Paper]

7.4 Децентрализованный LLM

1. Лепестки: совместный вывод и тонкая настройка крупных моделей . Александр Борзунов и соавт. Arxiv 2022. [Paper]
2. Блокчейн для глубокого обучения: просмотреть и открыть проблемы . Экономические времена. Кластерные вычисления 2021. [бумага]
3. FlexGen: высокопроизводительный генеративный вывод крупных языковых моделей с одним графическим процессором . Ying Sheng et al. Arxiv 2023. [Paper]
4. Децентрализованное обучение основных моделей в гетерогенной среде . Binhang Yuan et al. Arxiv 2023. [Paper]

7.5 AI для кодирования

1. Структура для оценки моделей генерации кодов . Ben Allal et al. GitHub, 2023. [Код]
2. Оценка крупных языковых моделей, обученных коду . Mark Chen et al. Arxiv 2021. [Paper]
3. Синтез программы с большими языковыми моделями . Джейкоб Остин и соавт. Arxiv 2021. [Paper]
4. Генерация кода на уровне конкуренции с альфакодом . Yujia Li et al. Science, 2022. [Paper]
5. Эффективное обучение языковых моделей для заполнения в середине . Mohammad Bavarian et al. Arxiv 2022. [Paper]
6. Santacoder: Не дотянитесь за звездами! . Loubna Ben Allal et al. Mind, 2023. [Paper]
7. StarCoder: Да пребудет с вами источник! . Raymond Li et al. Arxiv 2023. [Paper]
8. Большие языковые модели для оптимизации компилятора . Chris Cummins et al. Arxiv 2023. [Paper]
9. Учебники - это все, что вам нужно . Suriya Gunasekar et al. Arxiv 2023. [Paper]
10. Межуд: стандартизация и сравнительный анализ интерактивного кодирования с обратной связью . Джон Ян и соавт. Arxiv 2023. [Paper]
11. Подкрепление обучения от автоматической обратной связи для высококачественных модульных тестов . Benjamin Steenhoek et al. Arxiv 2023. [Paper]
12. Инкодер: генеративная модель для заполнения кода и синтеза . Даниэль Фрид и соавт. Arxiv 2023. [Paper]
13. Уточнение декомпилированного C -кода с большими языковыми моделями . Wai Kin Wong et al. Arxiv 2023. [Paper]
14. SWE-bench: могут ли языковые модели решить реальные проблемы GitHub? . Carlos E et al. Arxiv 2023. [Paper]
15. Эвопроумирование: языковые модели для поиска нейронной архитектуры на уровне кода . Анжелика Чен и соавт. Arxiv 2023. [Paper]
16. Могут ли крупные языковые модели идентифицировать и рассуждать о уязвимости безопасности? Еще нет . Saad Ullah et al. Arxiv 2023. [Paper]
17. Сценарий: агент LLM для синтеза 3D -сцены в качестве кода блендера . Ziniu Hu et al. Arxiv 2024. [Paper]
18. Debugbench: оценка возможностей отладки крупных языковых моделей . Runchu Tian et al. Arxiv 2024. [Paper]
19. A-ASISTED CODE Авторирование в масштабе: точная настройка, развертывание и смешанные методы оценка . Vijayaraghavan Muruli et al. Arxiv 2024. [Paper]
20. Код Llama: Open Foundation Models для кода . Baptiste Rozière et al. Arxiv 2024. [Paper]
21. Может ли LLM уже служить интерфейсом базы данных? Большая скамейка для крупномасштабной базы данных заземленного текста в SQL . Jinyang Li et al. Neurips 2024.
22. ООП: объектно-ориентированный эталон оценки программирования для крупных языковых моделей . Shuai Wang et al. Arxiv 2024. [Paper]

7.6 ИИ для робототехники в реальном мире приложениях

1. Второй машинный возраст: работа, прогресс и процветание во времена блестящих технологий . Brynjolfsson, Erik WW Norton & Company, 2014.
2. Восстание роботов: технология и угроза безработного будущего . Форд, Мартин. Основные книги, 2015.
3. Уроки от Amazon Picking Challenge: четыре аспекта построения роботизированных систем. . Eppner, Clemens, H "O. Представлено в Robotics: Science and Systems, 2016. [Paper]
4. Жизнь 3.0: Быть человеком в эпоху искусственного интеллекта . Tegmark, Max. Knopf, 2017.
5. Языковой агент для автономного вождения . Jiageng Mao et al. Arxiv 2023. [Paper]
6. GPT-4V (ISION) для робототехники: мультимодальное планирование задач от человеческой демонстрации . Naoki Wake et al. Arxiv 2023. [Paper]
7. Noir: нейронные сигналы управляли интеллектуальными роботами для повседневной деятельности . Ruohan Zhang et al. Corl 2023. [Paper]
8. GPT-Driver: Учимся ездить с GPT . JIAGENG MAO ARXIV 2023. [Paper]
9. Кричать на своего робота: улучшение на лету от языковых исправлений . Люси Сяоян Ши и соавт. Arxiv 2024. [Paper]
10. Dilu: основанный на знаниях подход к автономному вождению с большими языковыми моделями . Licheng Wen et al. ICLR 2024. [Бумага]
11. AgentScodriver: Большая языковая модель, обеспечивающая возможности совместного вождения с обучением на протяжении всей жизни . Senkang Hu et al. Arxiv 2024. [Paper]

7.7 Cumn-AI Collaboration

1. Соавтор: проектирование набора данных о совместной работе Human-AI для изучения возможностей языковой модели . Mina Lee et al. Чи 2022. [Бумага]
2. Пространство дизайна для интеллектуальных и интерактивных помощников по письму . Mina Lee et al. Чи 2024. [Бумага]
3. CreativeConnect: поддерживающая справочная рекомбинация для идеи графического дизайна с генеративным ИИ . Daeun Choi et al. Чи 2024. [Бумага]
4. Я веду, вы помогаете, но только с достаточным количеством деталей: понимание пользовательского опыта совместного создания с искусственным интеллектом . Changhoon Oh et al. Chi 2018. [Paper]
5. Codeaid: Оценка развертывания в классе ассистента по программированию на основе LLM, который уравновешивает потребности студентов и педагога . Majeed Kazemitabaar et al. Чи 2024. [Бумага]
6. AI-Augment Brainwriting: исследование использования LLMS в групповых идеях . Orit Shaer et al. Чи 2024. [Бумага]
7. Самый точный ИИ - лучший товарищ по команде? Оптимизация ИИ для командной работы . Gagan Bansal et al. AAAI 2021. [Бумага]
8. Обновления в командах Human-AI: понимание и устранение компромисса производительности/совместимости . Gagan Bansal et al. AAAI 2019. [Paper]
9. Использовать биомедицинскую литературу для калибровки доверия клиницистов в системы поддержки решений искусственным интеллектом . Qian Yang et al. Чи 2023. [Бумага]
10. Цепочки AI: прозрачное и контролируемое взаимодействие человека-AI, цепляя большие языковые подсказки . Tongshuang Wu et al. Чи 2022. [Бумага]
11. Проектирование цепей LLM путем адаптации методов из краудсорсинга рабочих процессов . Madeleine Grunde-McLaughlin et al. Arxiv, 2023. [Paper]
12. Почему Джонни не может задействовать: как эксперты, не являющиеся АИ, пытаются (и не смогут проектировать подсказки LLM . JD Zamfirescu-Pereira et al. Чи 2023. [Бумага]
13. Проектирование теории, ориентированного на пользователь, объясняемый ИИ . Danding Wang et al. Chi 2019. [Paper]
14. Люди общаются познавательно с ИИ? Влияние помощи ИИ на случайное обучение . Krzysztof Z. Gajos et al. Iui 2022. [бумага]

? Вклад

Внесение вклад в этот список

Присоединяйтесь к нам в улучшении этого репозитория! Пожалуйста, внесите свой вклад, если вы знаете какую -либо важную работу, которую мы пропустили. Ваши усилия высоко ценятся!

Авторы

---