GenAI_Papers

GenAI_Papers

Этот проект содержит список интересных исследовательских работ в области GenAI.

Темы

1. Обзор
2. Цели
3. Область применения и контекст
4. Исследовательские статьи
5. Журналы обучения

---

Обзор

Этот репозиторий посвящен агрегированию и обсуждению новаторских исследований в области генеративного искусственного интеллекта.

Генеративный ИИ, или GenAI, относится к подмножеству искусственного интеллекта, ориентированному на создание нового контента, начиная от текста и изображений и заканчивая кодом и не только. Включенный в этот сборник статей охватывает множество тем GenAI, таких как генеративно-состязательные сети (GAN), вариационные автоэнкодеры (VAE) и модели на основе трансформаторов.

Этот сборник служит ресурсом для ученых, практиков и энтузиастов, стремящихся продвигать современные достижения в области создания контента на основе искусственного интеллекта.

Цели

Основные цели этого репозитория:

1. Консолидация знаний : централизовать плодотворные и передовые исследовательские работы, которые определяют и продвигают область GenAI.
2. Сотрудничество с сообществом : создание среды сотрудничества, в которой идеи и выводы могут делиться, обсуждаться и критиковаться исследовательским сообществом Gen AI.
3. Продвижение инноваций : вдохновлять и направлять новые исследовательские инициативы и практическое применение технологий GenAI.
4. Междисциплинарная интеграция : поощрять перекрестное опыление идеями из различных областей, таких как информатика, когнитивная психология и цифровое искусство, для обогащения исследований GenAI.

Область применения и контекст

Объем

Объем этого репозитория охватывает широкий спектр исследований в области GenAI, включая, помимо прочего:

• Теоретические основы генеративных моделей
• Технические достижения в разработке алгоритмов
• Применение GenAI в различных областях (например, искусство, здравоохранение, разработка программного обеспечения)
• Этические соображения и социальные последствия GenAI

Контекст

Область GenAI находится на пересечении нескольких дисциплин. Он использует глубокое обучение, статистическое моделирование и вычислительную креативность для создания новых результатов, которые могут имитировать или даже превосходить креативность человеческого уровня в определенных аспектах. Учитывая быстрые темпы развития искусственного интеллекта, крайне важно поддерживать четкий и организованный обзор прогресса в этой области, который и призван предоставить этот репозиторий.

Исследовательские статьи

Примечание. Не в определенном порядке.

Классификация

Категория	Статьи	Описание
Языковые модели и общий искусственный интеллект	1, 10, 11, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 31, 34, 35, 36, 37, 38, 40, 41, 42, 43, 44, 45, 48, 54, 56, 58, 60, 66, 69, 74, 76, 79, 80, 82, 84, 86, 87, 89, 90, 92, 93, 95, 98, 99, 101, 103, 104.	Статьи, посвященные языковым моделям, их применению, этическим соображениям и улучшениям в обучении или функциональности.
Интеграция видения и языка	3, 4, 29, 30, 33, 64	Сосредоточение внимания на интеграции визуальных данных с языковыми моделями, включая преобразователи зрения и персонализацию преобразования текста в изображение.
Механизмы внимания и трансформеры	8, 9, 25, 28, 73	Обсуждение теории внимания в глубоком обучении и оптимизации моделей-трансформеров.
Музыка и творческий искусственный интеллект	5	Уникальная статья о создании музыки с помощью искусственного интеллекта.
Синтез изображений высокого разрешения	6, 7, 63	Обсуждаем синтез изображений высокого разрешения с использованием диффузионных моделей и преобразователей зрения.
Эффективность и масштабирование в сфере искусственного интеллекта	2, 25, 26, 27, 28, 59, 61, 71, 72, 83, 88, 97.	Обеспечение эффективности ИИ с точки зрения памяти, вывода и масштабирования.
Воздействие ИИ на окружающую среду	12	Уникальный документ, посвященный влиянию систем искусственного интеллекта на окружающую среду.
ИИ, ориентированный на диалог и взаимодействие	13, 24, 34, 35, 36, 37, 39, 53, 67, 81, 91.	Привлечение диалоговых приложений и платформ для интерактивных языковых агентов.
Улучшение искусственного интеллекта и метаобучение	27, 31, 32, 37, 46, 47, 49, 55, 57, 62, 65, 68, 70, 75, 78, 96.	Об улучшении возможностей ИИ посредством самосовершенствования, оптимизации предпочтений и дистилляции.
Разные приложения искусственного интеллекта	29, 30, 33, 50, 52, 77, 85, 94, 100, 102.	Обсуждение нишевых приложений ИИ, таких как общепринятые нормы и настройка визуальных инструкций.

Полный список

1. Улучшение CLIP с помощью GPT-4: использование визуальных описаний в качестве подсказок
2. EfficientViT: преобразователь зрения с эффективным использованием памяти и каскадным групповым вниманием
3. Редактирование первого уровня с блокировкой клавиш для персонализации преобразования текста в изображение
4. ELIXR: На пути к рентгеновской системе искусственного интеллекта общего назначения путем согласования больших языковых моделей и кодировщиков радиологического зрения.
5. Простое и управляемое создание музыки
6. Синтез изображений высокого разрешения с использованием моделей скрытой диффузии
7. Все стоит слов: основа ViT для диффузионных моделей
8. Внимание — это все, что вам нужно
9. Математический взгляд на модели внимания в глубоком обучении
10. Улучшение понимания языка с помощью генеративной предварительной подготовки
11. Большие языковые модели и обратный тест Тьюринга
12. Оценка углеродного следа Блума, языковая модель с параметрами 176b
13. LaMDA: языковые модели для диалоговых приложений
14. Gorilla: большая языковая модель, связанная с массивными API
15. Базовые модели проблем, методов и возможностей принятия решений
16. Постоянное предварительное обучение языковых моделей
17. Как далеко могут зайти верблюды? Изучение состояния настройки инструкций на открытых ресурсах
18. Альпагас: обучение лучшей альпаки с меньшим количеством данных
19. Этические и социальные риски вреда от языковых моделей
20. Целостная оценка языковых моделей
21. О риске загрязнения дезинформацией большими языковыми моделями
22. Способность к моральной самокоррекции в больших языковых моделях
23. ЧЕСТНОСТЬ: измерение завершения обидных предложений в языковых моделях
24. ReAct: синергия рассуждений и действий в языковых моделях
25. Эффективное масштабирование вывода трансформатора
26. Hungry Hungry Hippos: к языковому моделированию с помощью моделей пространства состояний
27. Promptbreeder: Самосовершенствование через быструю эволюцию
28. Эффективные модели потокового языка с приемниками внимания
29. Визуальная инструкция по настройке
30. Улучшенные базовые показатели с настройкой визуальных инструкций
31. Прямая оптимизация предпочтений: ваша языковая модель тайно является моделью вознаграждения
32. Distil-Whisper: надежная фильтрация знаний посредством крупномасштабной псевдомаркировки
33. Чтение книг — это здорово, но только не в том случае, если вы за рулем! Визуально обоснованные рассуждения об отменяемых нормах здравого смысла
34. TeacherLM: Учить ловить рыбу, а не давать рыбу, а также языковое моделирование
35. Self-RAG: учимся извлекать, генерировать и критиковать посредством саморефлексии
36. InstructRetro: настройка инструкций после предварительной тренировки с расширенным поиском
37. OpenAgents: открытая платформа для языковых агентов в дикой природе
38. Большие языковые модели понимают и могут быть улучшены с помощью эмоциональных стимулов
39. Коммуникативные агенты для разработки программного обеспечения
40. Большие языковые модели — это быстрые инженеры на уровне человека
41. Подсказки от наименьшего к наибольшему позволяют проводить сложные рассуждения в больших языковых моделях
42. Самосогласованность улучшает цепочку мыслей в языковых моделях
43. Языковые модели могут быть логическими решателями
44. Затерянные посередине: как языковые модели используют длинные контексты
45. Контрастная цепочка мыслей
46. RankZephyr: эффективное и надежное реранжирование по спискам с нулевым шансом — это совсем несложно!
47. LLM в мгновение ока: эффективный вывод модели большого языка с ограниченной памятью
48. PowerInfer: быстрая модель большого языка, обслуживающая графический процессор потребительского уровня
49. Человеко-ориентированные функции потерь (HALO)
50. Претендент на GPT-4V? Ранние исследования Близнецов в визуальной экспертизе
51. Распределенный вывод и точная настройка больших языковых моделей через Интернет
52. GAIA: Генерация говорящих аватаров с нулевым выстрелом
53. СПЯЩИЕ АГЕНТЫ: ОБУЧЕНИЕ ВМЕСТНЫХ LLMS, КОТОРЫЕ ПРОДОЛЖАЮТСЯ ПОСРЕДСТВОМ ОБУЧЕНИЯ ПО БЕЗОПАСНОСТИ
54. LLMLingua: сжатие подсказок для ускоренного вывода больших языковых моделей
55. Основы векторного поиска
56. Самовознаграждаемые языковые модели
57. BloombergGPT: большая языковая модель для финансов
58. Мистраль 7Б
59. Невероятно большие нейронные сети: разреженная смесь экспертов
60. MegaBlocks: эффективное разреженное обучение со смесью экспертов
61. Настройка специалистов и инструкций: выигрышная комбинация для больших языковых моделей
62. Orca 2: Обучение моделей малого языка рассуждению
63. ConvNets соответствует масштабным преобразователям машинного зрения
64. Emu Video: факторизация генерации текста в видео с помощью явного преобразования изображения
65. Pythia: пакет для анализа больших языковых моделей при обучении и масштабировании
66. Лама 2: Открытый фундамент и точно настроенные модели чата
67. QLoRA: эффективная точная настройка квантованных LLM
68. RAG против тонкой настройки: трубопроводы, компромиссы и практический пример сельского хозяйства
69. Обучение языковых моделей следованию инструкциям с обратной связью от человека
70. Обнаружение LLM с помощью бинокля: нулевое обнаружение машинного текста
71. Разреженные сети с нуля: более быстрое обучение без потери производительности
72. ZeRO: оптимизация памяти для обучения моделей с триллионом параметров
73. Переключающие трансформаторы: масштабирование до моделей с триллионом параметров с простой и эффективной разреженностью
74. DeepSeekMoE: На пути к высшей экспертной специализации в языковых моделях, состоящих из смешанных экспертов
75. МО-Мамба: эффективные селективные модели государственного пространства со смесью экспертов
76. Code Llama: модели Open Foundation для кода
77. LLaMA Pro: прогрессивная LLaMA с расширением блоков
78. Самостоятельная точная настройка преобразует слабые языковые модели в сильные языковые модели
79. Monarch Mixer: простая субквадратичная архитектура на основе GEMM
80. Мультиагенты на основе большой языковой модели: обзор прогресса и проблем
81. Генерация с расширенным поиском для больших языковых моделей: опрос
82. ReAugKD: поиск расширенных знаний для предварительно обученных языковых моделей
83. Эра 1-битных LLM: все модели больших языков имеют размерность 1,58 бита
84. Помощь в написании статей, подобных Википедии, с нуля с использованием больших языковых моделей
85. RAPTOR: рекурсивная абстрактная обработка для древовидного поиска
86. Beyond A*: лучшее планирование с помощью преобразователей с помощью начальной загрузки поисковой динамики
87. Наборы данных для больших языковых моделей: комплексное исследование
88. Компилятор LLM для параллельного вызова функций
89. Подсказки по цепочке мыслей вызывают рассуждения в больших языковых моделях
90. Подсказки «Планируй и решай»: улучшение цепочки мыслей с нулевым выстрелом с помощью больших языковых моделей
91. ReWOO: отделение рассуждений от наблюдений для эффективных моделей расширенного языка
92. StructLM: На пути к созданию универсальных моделей для структурированного обоснования знаний
93. Критическая оценка обратной связи ИИ для согласования больших языковых моделей
94. Все ли вам нужно больше звонков LLM? К законам масштабирования сложных систем вывода
95. Являются ли новые способности больших языковых моделей миражом?
96. Йи: открытые модели фундамента от 01.AI
97. ORPO: монолитная оптимизация предпочтений без эталонной модели
98. Понимают ли модели большого языка логику или просто имитируют контекст?
99. Оценка больших языковых моделей, обученных на коде
100. Самоуточнение: итеративное уточнение с самообратной связью
101. Рефлексия: языковые агенты с обучением с вербальным подкреплением
102. MM-REACT: побуждает ChatGPT к мультимодальному рассуждению и действию
103. HuggingGPT: решение задач искусственного интеллекта с помощью ChatGPT и его друзей в Hugging Face
104. AutoGen: включение приложений LLM нового поколения посредством межагентного диалога
105. Мегалодон: эффективное предварительное обучение LLM и вывод с неограниченной длиной контекста
106. Обзор приложений генеративного ИИ
107. MAC-SQL: многоагентная платформа совместной работы для преобразования текста в SQL
108. Прометей 2: языковая модель с открытым исходным кодом, специализирующаяся на оценке других языковых моделей
109. MetaGPT: метапрограммирование для многоагентной среды совместной работы
110. Понимание возможностей рассуждения трансформатора с помощью графовых алгоритмов
111. Изгнание галлюцинаций LLM требует переосмысления обобщений
112. Ваш контекст — это не массив: раскрытие ограничений произвольного доступа в преобразователях
113. Ложь LLM: галлюцинации - это не ошибки, а особенности как состязательные примеры
114. Память^3: моделирование языка с явной памятью
115. Нейрологическое декодирование: (не)контролируемая генерация нейронного текста с логическими ограничениями предикатов
116. LOTUS: включение семантических запросов с помощью LLM к таблицам неструктурированных и структурированных данных
117. Text2SQL недостаточно: объединение искусственного интеллекта и баз данных с помощью TAG
118. Цепочка мыслей без подсказок
119. Цепочка мыслей дает трансформерам возможность решать по своей сути серийные проблемы
120. Порядок предпосылок имеет значение при рассуждениях с использованием больших языковых моделей
121. Обучение самоотладке больших языковых моделей
122. SciAgents: автоматизация научных открытий с помощью мультиагентного интеллектуального графического рассуждения.
123. Близнецы 1.5: открытие мультимодального понимания миллионов токенов контекста
124. Генерация с расширенным агентным поиском для анализа временных рядов
125. Reflection-Tuning: переработка данных улучшает настройку инструкций LLM
126. OLMoE: открытые языковые модели с участием экспертов
127. Quiet-STaR: языковые модели могут научить себя думать, прежде чем говорить
128. Агент Q: расширенное мышление и обучение для автономных агентов ИИ
129. Давайте проверим шаг за шагом
130. Узнайте больше, чем ответ: обучение языковым моделям с рефлексией для математического рассуждения
131. V-STaR: обучение верификаторов для рассуждений-самоучек
132. Память рабочего процесса агента
133. Диалоговое преобразование текста в SQL: одиссея в современное состояние и предстоящие задачи
134. Правильное руководство LLM: быстрая, неинвазивная ограниченная генерация
135. Расширение возможностей преобразования текста в SQL в больших языковых моделях: исследование стратегий быстрого проектирования
136. Эффективное преобразование текста в SQL без схемы с использованием больших языковых моделей.
137. Преобразование SQL в схему улучшает связывание схем при преобразовании текста в SQL
138. CodeS: на пути к созданию языковых моделей с открытым исходным кодом для преобразования текста в SQL
139. Теоретическое понимание цепочки мыслей: последовательные рассуждения и демонстрация с учетом ошибок
140. Принципиальные инструкции – это все, что вам нужно для допроса LLaMA-1/2, GPT-3.5/4.
141. Управление большими языковыми моделями между выполнением кода и текстовым рассуждением
142. Парный открытый первопроходец (POET): бесконечное создание все более сложных и разнообразных сред обучения и их решения

Журналы обучения

Дата	Обучение