PLMPapers

Документы по PLM

Предоставлено Сяолеем Ваном

Крупномасштабные предварительно обученные языковые модели (PLM), такие как BERT и GPT, добились большого успеха и стали важной вехой в НЛП.

В этом репозитории мы собрали некоторые репрезентативные статьи по PLM за последние годы на основе количества цитирований и статей, опубликованных на последних ведущих конференциях (например, ACL, EMNLP, ICLR, ICML, NeurIPS).

Мы будем обновлять репозиторий и приветствуем запросы на включение и проблемы! Спасибо за ваши звездочки и вилки!

Оглавление

• Опрос
• Контрольный показатель
• PLM-проектирование
  • Общий
  • Знание
  • Многоязычный
  • Мультимодальный
  • Поиск информации
  • Код
  • Другие
• PLM-анализ
  • Знание
  • Надежность
  • Разреженность
  • Другие
• Эффективный PLM
  • Обучение
  • Вывод
  • Сжатие
• PLM-адаптация
  • Двухэтапный
  • Многозадачность
  • Адаптер
  • Быстрый
  • Другие

Опрос

1. «Предварительно обученные модели для обработки естественного языка: опрос». Science China Technological Sciences(2020) [PDF]
2. «Какой *BERT? Опрос по организации контекстуализированных кодировщиков». EMNLP(2020) [PDF]
3. «Букварь по BERTологии: что мы знаем о том, как работает BERT». TACL(2020) [PDF]
4. «От статических к динамическим словесным представлениям: обзор». International Journal of Machine Learning and Cybernetics(2020) [PDF]
5. «Обзор моделей на основе трансформаторов для задач НЛП». 2020 15th Conference on Computer Science and Information Systems (FedCSIS) [PDF]
6. «Обзор контекстных вложений». arXiv(2020) [PDF]
7. «Поваренная книга НЛП: современные рецепты архитектур глубокого обучения на основе преобразователей». IEEE Access(2021) [PDF]
8. «Предварительно обученные модели: прошлое, настоящее и будущее». arXiv(2021) [PDF]
9. «Предварительное обучение, подсказка и прогнозирование: систематический обзор методов подсказки при обработке естественного языка». arXiv(2021) [PDF]
10. «АММУС: Обзор предварительно обученных моделей на основе преобразователей для обработки естественного языка». arXiv(2021) [PDF]
11. «О возможностях и рисках моделей фундамента». arXiv(2021) [PDF]
12. «Смена парадигмы в обработке естественного языка». arXiv(2021) [PDF]
13. «Последние достижения в обработке естественного языка с помощью больших предварительно обученных языковых моделей: опрос». arXiv(2021) [PDF]

Контрольный показатель

1. XNLI : «XNLI: Оценка межъязыкового представления предложений». EMNLP(2018) [PDF] [Набор данных]
2. GLUE : «GLUE: многозадачная платформа для тестирования и анализа для понимания естественного языка». ICLR(2019) [Домашняя страница]
3. SuperGLUE : «SuperGLUE: более надежный эталон для систем понимания языка общего назначения». NeurIPS(2019) [Домашняя страница]
4. ПОДСКАЗКА : «Подсказка: тест для оценки понимания китайского языка». COLING(2020) [Домашняя страница]
5. XTREME : «XTREME: многоязычный многозадачный тест для оценки межъязыкового обобщения». ICML(2020) [Домашняя страница]
6. XGLUE : «XGLUE: новый эталонный набор данных для межъязыковой предварительной подготовки, понимания и генерации». EMNLP(2020) [Домашняя страница]
7. DialoGLUE : «DialoGLUE: эталон понимания естественного языка для диалога, ориентированного на задачу». arXiv(2020) [Домашняя страница]

PLM-проектирование

Общий

1. GPT : «Улучшение понимания языка посредством генеративной предварительной подготовки». OpenAI(2018) [Проект]
2. GPT-2 : «Языковые модели предназначены для многозадачного обучения без присмотра». OpenAI(2019) [Проект]
3. BERT : «BERT: Предварительная подготовка глубоких двунаправленных преобразователей для понимания языка». NAACL(2019) [PDF] [Код]
4. XLNet : «XLNet: Обобщенная авторегрессионная предварительная тренировка для понимания языка». NeurIPS(2019) [PDF] [Код]
5. SBERT : «Предложение-BERT: встраивание предложений с использованием сиамских BERT-сетей». ACL(2019) [PDF] [Код]
6. UniLM : «Предварительная подготовка унифицированной языковой модели для понимания и генерации естественного языка». NeurIPS(2019) [PDF] [Код]
7. МАССА : «МАССА: предварительная тренировка маскированной последовательности для генерации языка». ICML(2019) [PDF] [Код]
8. Chinese-BERT-wwm : «Предварительная тренировка с маскировкой целых слов для китайского BERT». arXiv(2019) [PDF] [Код]
9. «Предварительное обучение сетей самообслуживания, управляемое Клоузом». EMNLP(2019) [PDF]
10. «У BERT есть рот, и он должен говорить: BERT как языковая модель марковского случайного поля». Workshop on Methods for Optimizing and Evaluating Neural Language Generation(2019) [PDF] [Код]
11. GPT-3 : «Языковые модели изучаются немногими». NeurIPS(2020) [PDF] [Код]
12. T5 : «Изучение границ трансферного обучения с помощью унифицированного преобразователя текста в текст». JMLR(2020) [PDF] [Код]
13. BART : «BART: Предварительная тренировка по последовательному шумоподавлению для генерации, перевода и понимания естественного языка». ACL(2020) [PDF] [Код]
14. Поликодеры : «Поликодеры: архитектуры и стратегии предварительного обучения для быстрой и точной оценки нескольких предложений». ICLR(2020) [PDF]
15. SpanBERT : «SpanBERT: улучшение предварительного обучения путем представления и прогнозирования интервалов». TACL(2020) [PDF] [Код]
16. ЭРНИ 2.0 : «ЭРНИ 2.0: Система непрерывной предварительной подготовки по пониманию языка». AAAI(2020) [PDF] [Код]
17. SemBERT : «BERT с учетом семантики для понимания языка». AAAI(2020) [PDF] [Код]
18. «Использование предварительно обученных контрольных точек для задач генерации последовательностей». TACL(2020) [PDF] [Код]
19. ProphetNet : «ProphetNet: прогнозирование будущей N-граммы для предварительного обучения от последовательности к последовательности». EMNLP(2020) [PDF]
20. UniLMv2 : «UniLMv2: псевдомаскированные языковые модели для предварительного обучения унифицированной языковой модели». ICML(2020) [PDF] [Код]
21. МакБЕРТ : «Возвращаясь к предварительно обученным моделям для обработки китайского естественного языка». EMNLP(2020) [PDF] [Код]
22. MPNet : «MPNet: замаскированная и перестановочная предварительная тренировка по пониманию языка». arXiv(2020) [PDF] [Код]
23. DEBERTA : «DeBERTa: BERT с улучшенным декодированием и распутанным вниманием». ICLR(2021) [PDF] [Код]
24. PALM : «PALM: предварительное обучение языковой модели автокодирования и авторегрессии для генерации с учетом контекста». EMNLP(2020) [PDF]
25. Оптимус : «Оптимус: организация предложений посредством предварительно обученного моделирования скрытого пространства». EMNLP(2020) [PDF] [Код]
26. «Самообучение улучшает предварительную подготовку к пониманию естественного языка». NAACL(2021) [PDF] [Код]
27. CAPT : «Переосмысление автоматического кодирования с шумоподавлением при предварительном обучении языку». EMNLP(2021) [PDF]
28. «Ужасно простые альтернативы предварительному обучению моделированию замаскированного языка». EMNLP(2021) [PDF] [Код]
29. «Извилины и самовнимание: новая интерпретация относительных позиций в предварительно обученных языковых моделях». ACL(2021) [PDF] [Код]
30. ЭРНИ-Док : «ЭРНИ-Док: ретроспективный преобразователь моделирования длинных документов». ACL(2021) [PDF] [Код]
31. «Предварительное обучение универсальному языковому представлению». ACL(2021) [PDF] [Код]

Знание

1. ЭРНИ (Baidu) : «ЭРНИ: Расширенное представление посредством интеграции знаний». arXiv(2019) [PDF] [Код]
2. KnowBert : «Расширенные знания контекстных представлений слов». EMNLP(2019) [PDF]
3. ЭРНИ (Цинхуа) : «ЭРНИ: расширенное языковое представление с информативными объектами». ACL(2019) [PDF] [Код]
4. COMET : «COMET: преобразователи здравого смысла для автоматического построения графов знаний». ACL(2019) [PDF] [Код]
5. K-BERT : «K-BERT: включение языкового представления с помощью графа знаний». AAAI(2020) [PDF] [Код]
6. WKLM : «Предварительно обученная энциклопедия: языковая модель со слабо контролируемыми знаниями». ICLR(2020) [PDF]
7. ЛЮК : ​​«ЛЮК: Глубоко контекстуализированные представления сущностей с самосознанием, осознающим сущности». EMNLP(2020) [PDF] [Код]
8. K-адаптер : «K-адаптер: внедрение знаний в предварительно обученные модели с помощью адаптеров». ICLR(2021) [PDF]
9. КЕПЛЕР : «КЕПЛЕР: унифицированная модель внедрения знаний и предварительно обученного языкового представления». TACL(2021) [PDF] [Код]
10. RuleBERT : «RuleBERT: обучение мягким правилам предварительно обученных языковых моделей». EMNLP(2021) [PDF] [Код]
11. BeliefBank : «Изучение роли представлений токенов BERT для объяснения результатов проверки предложений». EMNLP(2021) [PDF] [Код]
12. Фраза-BERT : «Фраза-BERT: улучшенное встраивание фраз из BERT с применением к исследованию корпуса». EMNLP(2021) [PDF] [Код]
13. «Предварительно обученная модель с расширенным синтаксисом». ACL(2021) [PDF] [Код]
14. StructFormer : «StructFormer: Совместное неконтролируемое создание зависимости и структуры избирательного округа на основе моделирования языка в маске». ACL(2021) [PDF]
15. ЭРИКА : «ЭРИКА: улучшение понимания сущностей и отношений для предварительно обученных языковых моделей посредством контрастного обучения». ACL(2021) [PDF] [Код]
16. «Структурное руководство для языковых моделей трансформаторов». ACL(2021) [PDF] [Код]
17. HORNET : «HORNET: расширение предварительно обученных языковых представлений гетерогенными источниками знаний». CIKM(2021) [PDF]
18. «Удалить избыточность, сократить неактуально: выборочное введение знаний для предварительной языковой подготовки». IJCAI(2021) [PDF]

Многоязычный

1. XLM : «Предварительная подготовка межъязыковой языковой модели». arXiv(2019) [PDF] [Код]
2. «Массовое многоязычное встраивание предложений для беспрепятственного межъязыкового перевода и не только». TACL(2019) [PDF] [Код]
3. UDify : «75 языков, 1 модель: универсальный анализ универсальных зависимостей». EMNLP(2019) [PDF] [Код]
4. Unicoder : «Юникдер: универсальный языковой кодировщик, прошедший предварительное обучение с выполнением нескольких межъязыковых задач». EMNLP(2019) [PDF]
5. XLM-R : «Масштабное обучение межъязыковому представлению без присмотра». ACL(2020) [PDF]
6. «Многоязычное выравнивание контекстных представлений слов». ICLR(2020) [PDF]
7. mBART : «Предварительная тренировка многоязычного шумоподавления для нейронного машинного перевода». TACL(2020) [PDF] [Код]
8. mT5 : «mT5: многоязычный предварительно обученный преобразователь текста в текст». NAACL(2021) [PDF] [Код]
9. InfoXLM : «InfoXLM: Информационно-теоретическая основа для предварительного обучения межъязыковой языковой модели». NAACL(2021) [PDF] [Код]
10. «Выделение большого словарного запаса для предварительной тренировки межъязыковой языковой модели». EMNLP(2021) [PDF] [Код]
11. ЭРНИ-М : «ЭРНИ-М: Расширенное многоязычное представление путем согласования межъязыковой семантики с одноязычным корпусом». EMNLP(2021) [PDF] [Код]
12. «Простой геометрический метод межъязыковых лингвистических преобразований с помощью предварительно обученных автоэнкодеров». EMNLP(2021) [PDF]
13. «Стимулирование межъязыкового перевода посредством самообучения с оценкой неопределенности». EMNLP(2021) [PDF]
14. «Насколько хорош ваш токенизатор? Об одноязычной производительности многоязычных языковых моделей». ACL(2021) [PDF] [Код]
15. «Многоязычное предварительное обучение с использованием универсального зависимого обучения». NeurIPS(2021) [PDF]

Мультимодальный

1. ViLBERT : «ViLBERT: предварительная подготовка не зависящих от задачи визуализирующих представлений для задач зрения и языка». NeuralIPS(2019) [PDF]
2. LXMERT : «LXMERT: Изучение представлений кросс-модального кодера от трансформаторов». EMNLP(2019) [PDF] [Код]
3. VideoBERT : «VideoBERT: совместная модель для обучения видео и языковому представлению» ICCV(2019) [PDF]
4. VisualBERT : «VisualBERT: простая и эффективная основа для зрения и языка». arXiv(2019) [PDF]
5. B2T2 : «Объединение обнаруженных объектов в тексте для визуального ответа на вопрос». EMNLP(2019) [PDF] [Код]
6. ВЛ-БЕРТ : «ВЛ-БЕРТ: Предварительная тренировка общих визуально-лингвистических представлений». ICLR(2020) [PDF] [Код]
7. Unicoder-VL : «Unicoder-VL: универсальный кодировщик для зрения и языка посредством кросс-модального предварительного обучения». AAAI(2020) [PDF]
8. VLP : «Предварительное обучение Unified Vision-Language для субтитров к изображениям и VQA». AAAI(2020) [PDF] [Код]
9. UNITER : «UNITER: универсальное обучение представлению изображений и текста». ECCV(2020) [PDF] [Код]
10. Оскар : «Оскар: Предварительная подготовка, согласованная с объектной семантикой для задач визуального языка». ECCV(2020) [PDF] [Код]
11. «12-в-1: обучение многозадачному видению и языковому представлению». CVPR(2020) [PDF] [Код]
12. ActBERT : «ActBERT: Изучение глобальных-локальных представлений видео-текста». CVPR(2020) [PDF]
13. VLN : «Визуально-языковая навигация с самостоятельными вспомогательными задачами рассуждения». CVPR(2020) [PDF]
14. ВИЛЛА : «Крупномасштабное состязательное обучение обучению зрительному и языковому представлению». arXiv(2020) [PDF] [Код]
15. ImageBERT : «ImageBERT: кросс-модальное предварительное обучение с крупномасштабными данными изображения и текста со слабым контролем». arXiv(2020) [PDF]
16. ВЫРАВНИВАНИЕ : «Расширение обучения визуальному и языковому представлению изображений с помощью контроля зашумленного текста». ICML(2021) [PDF]
17. ClipBERT : «Меньше значит больше: ClipBERT для обучения видео и языка посредством разреженной выборки». CVPR(2021) [PDF] [Код]
18. DALL·E : «Генерация текста в изображение с нулевым выстрелом». arXiv(2021) [PDF] [Код]
19. КЛИП : «Изучение переносимых визуальных моделей под контролем естественного языка». arXiv(2021) [PDF] [Код]
20. IPT : «Преобразователь предварительно обученной обработки изображений». CVPR(2021) [PDF] [Код]
21. CvT : «CvT: введение сверток в преобразователи зрения». ICCV(2021) [PDF] [Код]
22. «Масштабирование обучения визуальному и языковому представлению с помощью наблюдения за зашумленным текстом». ICML(2021) [PDF]
23. TERA : «TERA: Самоконтролируемое обучение представлению преобразовательного кодера для речи». TASLP(2021) [PDF] [Код]
24. CaiT : «Углубляемся в преобразователях изображений». ICCV(2021) [PDF] [Код]
25. ViViT : «ViViT: преобразователь видеовидения». ICCV(2021) [PDF] [Код]
26. VirTex : «VirTex: изучение визуальных представлений на основе текстовых аннотаций». CVPR(2021) [PDF] [Код]
27. M6 : «M6: многозадачный мегатрансформатор из мультимодальности в многомодальность для унифицированной предварительной подготовки». KDD(2021) [PDF]
28. «Исследование интермодальности: визуальный анализ с самовниманием для предварительной тренировки зрения и языка». NeurIPS(2021) [PDF]
29. ГилБЕРТ : «ГилБЕРТ: Предварительная тренировка генеративного видения и языка для модально-неполных визуально-лингвистических задач». SIGIR(2021) [PDF]

Поиск информации

1. ORQA : «Скрытый поиск для ответов на вопросы открытого домена со слабым контролем». ACL(2019) [PDF]
2. REALM : «REALM: Предварительное обучение языковой модели с расширенным поиском». arXiv(2020) [PDF]
3. RAG : «Генерация с расширенным поиском для наукоемких задач НЛП». NeurIPS(2020) [PDF] [Код]
4. DPR : «Поиск плотных проходов для ответов на вопросы в открытой области». EMNLP(2020) [PDF] [Код]
5. «Использование поиска отрывков с генеративными моделями для ответов на вопросы открытого домена». EACL(2021) [PDF] [Код]

Код

1. CodeT5 : «CodeT5: унифицированные предварительно обученные модели кодировщика-декодера с учетом идентификаторов для понимания и генерации кода». EMNLP(2021) [PDF] [Код]
2. Кодекс : «Оценка больших языковых моделей, обученных на коде». arXiv(2021) [PDF] [Код]

Другие

1. ReasonBERT : «ReasonBERT: предварительно обученное рассуждение с дистанционным контролем». EMNLP(2021) [PDF] [Код]
2. «Автокодировщики узких мест предложений на основе языковых моделей трансформаторов». EMNLP(2021) [PDF] [Код]
3. «Умение считать повышает грамотность языковых моделей». EMNLP(2021) [PDF] [Код]
4. EnsLM : «EnsLM: модель ансамблевого языка для разнообразия данных посредством семантической кластеризации». ACL(2021) [PDF] [Код]
5. «Рефлексивное декодирование: помимо однонаправленной генерации с помощью готовых языковых моделей». ACL(2021) [PDF] [Код]
6. БЕРТАК : «БЕРТАК: улучшение языковых моделей на основе преобразователей с помощью состязательно предварительно обученных сверточных нейронных сетей». ACL(2021) [PDF] [Код]
7. «Понимание естественного языка с BERT, сохраняющим конфиденциальность». CIKM(2021) [PDF]
8. BANG : «BANG: объединение авторегрессионной и неавторегрессивной генерации с крупномасштабным предварительным обучением». ICML(2021) [PDF] [Код]

PLM-анализ

Знание

1. «На что смотрит BERT? Анализ внимания BERT». BlackBoxNLP(2019) [PDF] [Код]
2. «БЕРТ заново открывает классический конвейер НЛП». ACL(2019) [PDF]
3. «Насколько многоязычен многоязычный BERT?». ACL(2019) [PDF]
4. «Структурный зонд для поиска синтаксиса в словесных представлениях». NAACL(2019) [PDF] [Код]
5. «Языковые модели как базы знаний?». EMNLP(2019) [PDF] [Код]
6. «Что BERT узнает о структуре языка?». ACL(2019) [PDF] [Код]
7. «Лингвистические знания и переносимость контекстных представлений». NAACL(2019) [PDF]
8. «Оценка синтаксических способностей BERT». arXiv(2019) [PDF] [Код]
9. «Исследование нейронной сетью понимания аргументов естественного языка» ACL(2019) [PDF]
10. «Насколько контекстуализированы представления слов? Сравнение геометрии вложений BERT, ELMo и GPT-2». EMNLP(2019) [PDF]
11. «Визуализация и измерение геометрии BERT». NeurIPS(2019) [PDF]
12. «Проектирование и интерпретация зондов с задачами управления». EMNLP(2019) [PDF]
13. «Открытый кунжут: знакомство с лингвистическими знаниями BERT». BlackboxNLP(2019) [PDF] [Код]
14. «Что вы узнаете из контекста? Исследование структуры предложения в контекстуализированных представлениях слов». ICLR(2019) [PDF] [Код]
15. «Извлечение знаний на основе здравого смысла на основе предварительно обученных моделей». EMNLP(2019) [PDF]
16. «Знают ли модели НЛП числа? Исследование числовых вложений». EMNLP(2019) [PDF]
17. «О межъязыковой переносимости одноязычных представлений». ACL(2020) [PDF]
18. «Межязычная способность многоязычного BERT: эмпирическое исследование». ICLR(2020) [PDF] [Код]
19. «Чем не является BERT: уроки нового набора психолингвистической диагностики языковых моделей». TACL(2020) [PDF] [Код]
20. «Как много знаний можно вместить в параметры языковой модели?». EMNLP(2020) [PDF] [Код]
21. «Как мы можем узнать, что знают языковые модели?». TACL(2020) [PDF] [Код]
22. «oLMpics – Что фиксирует предварительная подготовка языковой модели» . TACL(2020) [PDF] [Код]
23. «Информационное зондирование с минимальной длиной описания». EMNLP(2020) [PDF] [Код]
24. «Получение реляционных знаний от BERT». AAAI(2020) [PDF]
25. Автоподсказка : «Автоподсказка: извлечение знаний из языковых моделей с помощью автоматически создаваемых подсказок». EMNLP(2020) [PDF] [Код]
26. «Эмерджентная лингвистическая структура в искусственных нейронных сетях, обучаемых методом самоконтроля». PNAS(2020) [PDF]
27. «Оценка здравого смысла в предварительно обученных языковых моделях». AAAI(2020) [PDF] [Код]
28. «Получение реляционных знаний от BERT». AAAI(2020) [PDF]
29. «Редактирование фактических знаний в языковых моделях». EMNLP(2021) [PDF] [Код]
30. «Сколько данных для предварительной подготовки необходимо языковым моделям для изучения синтаксиса?». EMNLP(2021) [PDF]
31. «Мачехи злые, а ученые претенциозные: что о вас узнают предварительно обученные языковые модели?». EMNLP(2021) [PDF] [Код]
32. «Вложив слова в рот BERT: навигация по контекстуализированным векторным пространствам с помощью псевдослов». EMNLP(2021) [PDF] [Код]
33. «Влияние частоты на изучение синтаксических правил в преобразователях». EMNLP(2021) [PDF] [Код]
34. «Изучение роли представлений токенов BERT для объяснения результатов проверки предложений». EMNLP(2021) [PDF] [Код]
35. «Чему удивляется BERT? Послойное обнаружение языковых аномалий». ACL(2021) [PDF] [Код]
36. «Неявное представление значения в модели нейронного языка». ACL(2021) [PDF] [Код]
37. «Знающая или образованная догадка? Пересмотр языковых моделей как баз знаний». ACL(2021) [PDF] [Код]

Надежность

1. «Универсальные состязательные триггеры для атаки и анализа НЛП». EMNLP(2019) [PDF] [Код]
2. «Предварительно обученные трансформаторы повышают надежность вне распределения». ACL(2020) [PDF] [Код]
3. BERT-ATTACK : «BERT-ATTACK: состязательная атака на BERT с использованием BERT». EMNLP(2020) [PDF] [Код]
4. «Действительно ли BERT надежный? Прочная основа для атак на естественном языке при классификации и последующем анализе текста». AAAI(2020) [PDF] [Код]
5. «Дьявол кроется в деталях: простые приемы улучшают систематическое обобщение трансформаторов». EMNLP(2021) [PDF] [Код]
6. «Сортировка среди шума: проверка надежности обработки информации в предварительно обученных языковых моделях». EMNLP(2021) [PDF] [Код]

Разреженность

1. «Шестнадцать голов действительно лучше, чем одна?». NeurIPS(2019) [PDF] [Код]
2. «Анализ внимания к себе нескольких голов: специализированные головы выполняют тяжелую работу, остальное можно сократить». ACL(2019) [PDF] [Код]
3. «Раскрытие темных секретов BERT». EMNLP(2019) [PDF]
4. «Гипотеза лотерейных билетов для предварительно обученных сетей BERT». NeurIPS(2020) [PDF] [Код]
5. «Когда BERT играет в лотерею, все билеты выигрывают». EMNLP(2020) [PDF] [Код]

Другие

1. «Законы масштабирования для моделей нейронного языка». arXiv(2020) [PDF]
2. «Извлечение обучающих данных из больших языковых моделей». arXiv(2020) [PDF] [Код]
3. «Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими??». FACCT(2021) [PDF]
4. «Извлечение обучающих данных из больших языковых моделей». USENIX(2021) [PDF] [Код]
5. «Моделирование языка в масках и гипотеза распределения: порядок слов имеет значение, предварительная подготовка для маленьких». EMNLP(2021) [PDF] [Код]
6. «Эффекты роста нормы параметров во время тренировки трансформатора: индуктивное смещение из-за градиентного спуска». EMNLP(2021) [PDF] [Код]
7. «Дискретизированные интегрированные градиенты для объяснения языковых моделей». EMNLP(2021) [PDF] [Код]
8. «Действительно ли языковые модели дальнего действия используют долгосрочный контекст?». EMNLP(2021) [PDF]
9. «Конкуренция по поверхностной форме: почему ответ с наибольшей вероятностью не всегда правильный». EMNLP(2021) [PDF] [Код]
10. «Включение остаточных слоев и слоев нормализации в анализ моделей замаскированного языка». EMNLP(2021) [PDF] [Код]
11. «Длина последовательности - это область: переобучение на основе длины в моделях трансформаторов». EMNLP(2021) [PDF]
12. «Являются ли предварительно обученные свертки лучше, чем предварительно обученные трансформаторы?». ACL(2021) [PDF]
13. «Позиционные артефакты распространяются через замаскированные языковые модели». ACL(2021) [PDF]
14. «Когда вам нужны миллиарды слов предтренировочных данных?». ACL(2021) [PDF] [Код]
15. «BERT для НЛП — это то же самое, что AlexNet для CV: могут ли предварительно обученные языковые модели идентифицировать аналогии?». ACL(2021) [PDF] [Код]
16. «Исследование индуктивного смещения моделей нейронного языка с помощью искусственных языков». ACL(2021) [PDF] [Код]
17. «Почему предварительно обученные языковые модели помогают в последующих задачах? Анализ головы и быстрая настройка». NeurIPS(2021) [PDF]

Эффективный PLM

Обучение

1. RoBERTa : «RoBERTa: надежно оптимизированный подход к предварительному обучению BERT». arXiv(2019) [PDF] [Код]
2. «Эффективное обучение BERT путем постепенного суммирования». ICML(2019) [PDF] [Код]
3. Мегатрон-LM : «Мегатрон-LM: обучение языковых моделей с несколькими миллиардами параметров с использованием параллелизма моделей». arXiv(2019) [PDF] [Код]
4. ELECTRA : «ELECTRA: предварительное обучение кодировщиков текста как дискриминаторов, а не генераторов». ICLR(2020) [PDF] [Код]
5. «Массовая пакетная оптимизация для глубокого обучения: обучение BERT за 76 минут». ICLR(2020) [PDF] [Код]
6. GShard : «GShard: масштабирование гигантских моделей с помощью условных вычислений и автоматического сегментирования». arXiv(2020) [PDF]
7. Админ : «Понимание сложности обучения трансформаторов». EMNLP(2020) [PDF] [Код]
8. ZeRO : «ZeRO: оптимизация памяти для обучения моделей с триллионом параметров». SC20: International Conference for High Performance Computing, Networking, Storage and Analysis [PDF] [Код]
9. Переключающие трансформаторы : «Переключающие трансформаторы: масштабирование до моделей с триллионом параметров с простой и эффективной разреженностью». arXiv(2021) [PDF] [Код]
10. «Как обучать BERT с академическим бюджетом». EMNLP(2021) [PDF]
11. «Оптимизация более глубоких преобразователей на небольших наборах данных». ACL(2021) [PDF] [Код]
12. «EarlyBERT: эффективное обучение BERT с помощью лотерейных билетов раннего бронирования». ACL(2021) [PDF] [Код]

Вывод

1. «БЕРТ теряет терпение: быстрый и надежный вывод с ранним выходом». NeurIPS(2020) [PDF] [Код]
2. GAML-BERT : «GAML-BERT: улучшение раннего выхода из BERT за счет взаимного обучения с градиентным выравниванием». EMNLP(2021) [PDF]
3. «Эффективные языковые модели ближайшего соседа». EMNLP(2021) [PDF] [Код]
4. GhostBERT : «GhostBERT: создайте больше функций с помощью дешевых операций для BERT». ACL(2021) [PDF] [Код]
5. LeeBERT : «LeeBERT: изучен ранний выход для BERT с межуровневой оптимизацией». ACL(2021) [PDF]
6. «Трансформатор с адаптацией к длине: тренируйтесь один раз с уменьшением длины, используйте в любое время с поиском». ACL(2021) [PDF] [Код]
7. «Преобразование знаний из BERT в простые полностью связанные нейронные сети для эффективного вертикального поиска». CIKM(2021) [PDF]

Сжатие

1. DistilBERT : «DistilBERT, усовершенствованная версия BERT: меньше, быстрее, дешевле и легче». arXiv(2019) [PDF] [Код]
2. ДОК : «Обработка знаний пациентов для сжатия модели BERT». EMNLP(2019) [PDF] [Код]
3. «Переработка знаний о конкретных задачах из BERT в простые нейронные сети». arXiv(2019) [PDF]
4. Q8BERT : «Q8BERT: квантованный 8-битный BERT». 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing - NeurIPS 2019 [PDF]
5. АЛЬБЕРТ : «АЛЬБЕРТ: Lite BERT для самостоятельного изучения языковых представлений». ICLR(2020) [PDF] [Код]
6. TinyBERT : «TinyBERT: использование BERT для понимания естественного языка». EMNLP(2020) [PDF] [Код]
7. Layerdrop : «Уменьшение глубины трансформатора по требованию с помощью структурированного отключения». ICLR(2020) [PDF] [Код]
8. Q-BERT : «Q-BERT: квантование BERT сверхнизкой точности на основе гессиана». AAAI(2020) [PDF]
9. MobileBERT : «MobileBERT: компактный BERT, не зависящий от задачи, для устройств с ограниченными ресурсами». ACL(2020) [PDF] [Код]
10. «Сжатие BERT: изучение влияния сокращения веса на трансферное обучение». 5th Workshop on Representation Learning for NLP(2020) [PDF] [Код]
11. MiniLM : «MiniLM: глубокая дистилляция внутреннего внимания для независимого от задачи сжатия предварительно обученных трансформаторов». arXiv(2020) [PDF] [Код]
12. FastBERT : «FastBERT: самоочищающийся BERT с адаптивным временем вывода». ACL(2020) [PDF] [Код]
13. DeeBERT : «DeeBERT: динамический ранний выход для ускорения вывода BERT». ACL(2020) [PDF] [Код]
14. «Сжатие крупномасштабных моделей на основе трансформаторов: практический пример BERT». TACL(2021) [PDF]
15. «Выигрыш в лотерею с постоянным разбросом». NeurIPS(2020) [PDF] [Код]
16. SqueezeBERT : «SqueezeBERT: Чему компьютерное зрение может научить НЛП об эффективных нейронных сетях?». SustaiNLP(2020) [PDF]
17. Аудио АЛЬБЕРТ : «Аудио Альберт: Lite Bert для самостоятельного обучения представлению звука». SLT(2021) [PDF] [Код]
18. T2R : «Точная настройка предварительно обученных трансформаторов в RNN». EMNLP(2021) [PDF] [Код]
19. «За пределами сохраненной точности: оценка лояльности и надежности сжатия BERT». EMNLP(2021) [PDF] [Код]
20. Meta-KD : «Meta-KD: Платформа дистилляции метазнаний для сжатия языковых моделей в разных доменах». ACL(2021) [PDF] [Код]
21. «Супербилеты в предварительно обученных языковых моделях: от сжатия модели к улучшению обобщения». ACL(2021) [PDF] [Код]
22. BinaryBERT : «BinaryBERT: расширяя границы квантования BERT». ACL(2021) [PDF] [Код]
23. AutoTinyBERT : «AutoTinyBERT: автоматическая оптимизация гиперпараметров для эффективных предварительно обученных языковых моделей». ACL(2021) [PDF] [Код]
24. «Предельная полезность уменьшается: изучение минимальных знаний для дистилляции знаний BERT». ACL(2021) [PDF] [Код]
25. «Включение облегченной точной настройки для предварительно обученного сжатия языковой модели на основе операторов матричного произведения». ACL(2021) [PDF] [Код]
26. NAS-BERT : «NAS-BERT: независимое от задачи сжатие BERT с адаптивным размером и поиском по нейронной архитектуре». KDD(2021) [PDF]

PLM-адаптация

Двухэтапный

1. «Кодеры предложений на STILT: дополнительное обучение промежуточным задачам с размеченными данными». arXiv(2018) [PDF] [Код]
2. «Как точно настроить BERT для классификации текста?». CCL(2019) [PDF]
3. «Не прекращайте предварительное обучение: адаптируйте языковые модели к областям и задачам». ACL(2020) [PDF] [Код]
4. «Переносное обучение промежуточных задач с предварительно обученными языковыми моделями: когда и почему это работает?». ACL(2020) [PDF]
5. «Чему заниматься предварительно? Эффективный выбор промежуточных задач». EMNLP(2021) [PDF] [Код]
6. «О влиянии политики маскировки на промежуточную предварительную подготовку». EMNLP(2021) [PDF]
7. TADPOLE : «TADPOLE: Предварительное обучение, адаптированное к задачам, посредством обнаружения AnOmaLy». EMNLP(2021) [PDF]

Многозадачность

1. MT-DNN : «Многозадачные глубокие нейронные сети для понимания естественного языка». ACL(2019) [PDF] [Код]
2. «БАМ! Новые многозадачные сети для понимания естественного языка». ACL(2019) [PDF] [Код]
3. «Улучшение многозадачных глубоких нейронных сетей посредством дистилляции знаний для понимания естественного языка». arXiv(2019) [PDF] [Код]
4. ГрадТС : «ГрадТС: градиентный метод автоматического выбора вспомогательных задач на основе трансформаторных сетей». EMNLP(2021) [PDF]
5. «Что у тебя в голове? Возникающее поведение в моделях многозадачных трансформаторов». EMNLP(2021) [PDF]
6. MTAdam : «MTAdam: автоматическая балансировка условий многократной потери обучения». EMNLP(2021) [PDF]
7. Маппет : «Маппет: масштабные многозадачные представления с предварительной точной настройкой». EMNLP(2021) [PDF]
8. «Гипотеза стволовых клеток: дилемма многозадачного обучения с помощью преобразовательных кодировщиков». EMNLP(2021) [PDF] [Код]
9. BERTGen : «BERTGen: Многозадачная генерация с помощью BERT». ACL(2021) [PDF] [Код]
10. «Параметрически эффективная многозадачная настройка трансформаторов через общие гиперсети». ACL(2021) [PDF] [Код]

Адаптер

1. «BERT и PAL: проецируемые уровни внимания для эффективной адаптации в многозадачном обучении». ICML(2019) [PDF] [Код]
2. Адаптер : «Обучение с эффективным переносом параметров для НЛП». ICML(2019) [PDF] [Код]
3. AdapterDrop : «AdapterDrop: эффективность адаптеров в трансформаторах». EMNLP(2021) [PDF]
4. «Об эффективности настройки на основе адаптера для адаптации предварительно обученной языковой модели». ACL(2021) [PDF]
5. «Научимся создавать адаптеры для конкретных задач на основе описания задачи». ACL(2021) [PDF] [Код]

Быстрый

1. ПЭТ : «Использование вопросов-замыканий для классификации краткого текста и вывода на естественном языке». EACL(2021) [PDF] [Код]
2. «Важен не только размер: модели малого языка также мало учатся». NAACL(2021) [PDF] [Код]
3. «Настройка префиксов: оптимизация непрерывных подсказок для генерации». arXiv(2021) [PDF]
4. LM-BFF : «Как сделать предварительно обученные языковые модели более эффективными для обучения с помощью нескольких попыток». ACL(2021) [PDF] [Код]
5. «Что делает контекстные примеры хорошими для GPT-3?». arXiv(2021) [PDF] [Код]
6. «Сила масштаба для оперативной настройки с эффективным использованием параметров». EMNLP(2021) [PDF] [Код]
7. «Точно настроенные языковые модели — это ученики с нулевым шансом». arXiv(2021) [PDF]
8. «Калибровка перед использованием: повышение производительности языковых моделей за несколько шагов». ICML(2021) [PDF] [Код]
9. TransPrompt : «TransPrompt: на пути к системе автоматически передаваемых подсказок для классификации фрагментов текста». EMNLP(2021) [PDF] [Код]
10. SFLM : «Возвращаясь к самообучению для кратковременного изучения языковой модели». EMNLP(2021) [PDF] [Код]
11. ADAPET : «Улучшение и упрощение обучения использованию шаблонов». EMNLP(2021) [PDF] [Код]

Другие

1. «Настраивать или не настраивать? Адаптация предварительно обученных представлений к различным задачам». RepL4NLP(2019) [PDF]
2. «Поразительно простой подход к трансферному обучению на основе предварительно обученных языковых моделей». NAACL(2019) [PDF] [Код]
3. «Точная настройка предварительно обученных языковых моделей: весовая инициализация, порядок данных и ранняя остановка». arXiv(2020) [PDF]
4. SMART : «SMART: надежная и эффективная точная настройка предварительно обученных моделей естественного языка посредством принципиальной регуляризованной оптимизации». EMNLP(2020) [PDF] [Код]
5. «Возвращаясь к точной настройке BERT с несколькими выборками». ICLR(2021) [PDF]
6. Mirror-BERT : «Быстро, эффективно и с самоконтролем: преобразование замаскированных языковых моделей в универсальные лексические кодировщики и кодировщики предложений». EMNLP(2021) [PDF] [Код]
7. «Предварительное обучение или аннотирование? Адаптация предметной области с ограниченным бюджетом». EMNLP(2021) [PDF] [Код]
8. AVOcaDo : «AVocaDo: Стратегия адаптации словарного запаса к нисходящей области». EMNLP(2021) [PDF]
9. НАСТРОЙКА ДЕТЕЙ : «Воспитание ребенка на большой языковой модели: на пути к эффективной и обобщаемой точной настройке». EMNLP(2021) [PDF] [Код]
10. «Укрощение предварительно обученных языковых моделей с помощью N-граммных представлений для адаптации предметной области с низким уровнем ресурсов». ACL(2021) [PDF] [Код]
11. LexFit : «LexFit: лексическая точная настройка предварительно обученных языковых моделей». ACL(2021) [PDF] [Код]
12. «Выбор информативных контекстов улучшает точную настройку языковой модели». ACL(2021) [PDF] [Код]
13. «Эмпирическое исследование оптимизации гиперпараметров для точной настройки предварительно обученных языковых моделей». ACL(2021) [PDF] [Код]
14. «Как следует настроить предварительно обученные языковые модели для обеспечения состязательной устойчивости?». NeurIPS(2021) [PDF] [Код]