Awesome LLM Uncertainty Reliability Robustness
1.0.0
Этот репозиторий, называемый UR2-LLMs, содержит коллекцию ресурсов и статей по неопределенности , надежности и устойчивости в моделях большого языка .
« Большие языковые модели имеют ограниченную надежность, ограниченное понимание, ограниченный диапазон и, следовательно, нуждаются в человеческом контроле ». — Майкл Осборн, профессор машинного обучения на факультете инженерных наук Оксфордского университета, 25 января 2023 г.
Добро пожаловать, чтобы поделиться своими статьями, мыслями и идеями в этой области!
GPT — ненадежное хранилище информации
Благородный Акерсон
[Связь]
20 февраля 2023 г.
«Неправильное использование» больших языковых моделей и будущее машинного перевода
Арль Ломмель
[Связь]
20 декабря 2022 г.
Большие языковые модели: основы и их применение
Марго Пода
[Связь]
9 февраля 2023 г.
Оперативное проектирование: улучшение реагирования и надежности
Питер Фой
[Связь]
19 марта 2023 г.
Справочник OpenAI по методам повышения надежности
ОпенАИ
[Гитхаб]
18 марта 2023 г.
GPT/тег калибровки
Гверн Бранвен
[Связь]
Оперативное проектирование
Лилиан Венг
[Связь]
Автономные агенты на базе LLM
Лилиан Венг
[Связь]
Надежность в подсказках к обучению
[Связь]
Создание приложений LLM для производства
Чип Хуен
[Связь]
11 апреля 2023 г.
Технический отчет GPT-4
ОпенАИ
arXiv 2023. [Бумага][Кулинарная книга]
16 марта 2023 г.
Системная карта GPT-4
ОпенАИ
arXiv 2023. [Документ] [Github]
15 марта 2023 г.
Оценка неопределенности для обработки естественного языка
Адам Фиш, Робин Цзя, Таль Шустер
КОЛЛИНГ 2022. [Веб-сайт]
Более широкие и глубокие сети LLM являются более справедливыми оценщиками LLM
Синхуа Чжан, Боуэн Юй, Хайян Юй, Янъюй Лв, Тингвэнь Лю, Фэй Хуан, Хунбо Сюй, Юнбинь Ли
arXiv 2023. [Документ][Github]
3 августа 2023 г.
Опрос по оценке больших языковых моделей
Юпэн Чан, Сюй Ван, Цзиньдун Ван, Юань Ву, Кайцзе Чжу, Хао Чен, Линьи Ян, Сяоюань И, Цуньсян Ван, Идун Ван, Вэй Е, Юэ Чжан, И Чанг, Филип С. Ю, Цян Ян, Син Се
Arxiv 2023. [Документ][Github]
6 июля 2023 г.
DecodingTrust: комплексная оценка надежности моделей GPT
Ван Боксин, Чен Вэйсинь, Пей Хэнчжи, Се Чулин, Кан Минтонг, Чэньхуэй Чжан, Чецзянь Сюй, Зиди Сюн, Ритик Датта, Райлан Шеффер, Санг Т. Труонг, Симран Арора, Мантас Мажейка, Дэн Хендрикс, Зинань Линь, Ю Чэн, Санми Коеджо, Дон Сон, Бо Ли
Arxiv, 2023. [Документ] [Github] [Веб-сайт]
20 июня 2023 г.
В ChatGPT мы доверяем? Измерение и характеристика надежности ChatGPT
Синьюэ Шен, Цзэюань Чен, Майкл Бэкес, Ян Чжан
arXiv, 2023. [Документ]
18 апреля 2023 г.
Использование возможностей LLM на практике: опрос ChatGPT и не только
Цзинфэн Ян, Хунъе Цзинь, Жуйсян Тан, Сяотянь Хань, Цичжан Фэн, Хаомин Цзян, Бин Инь, Ся Ху
arXiv 2023. [Документ][Github]
27 апреля 2023 г.
Насколько устойчив GPT-3.5 к предшественникам? Комплексное исследование задач понимания языка
Сюаньтин Чен, Цзюньцзе Е, Цань Цзу, Нуо Сюй, Руй Чжэн, Минлун Пэн, Цзе Чжоу, Тао Гуй, Ци Чжан, Сюаньцзин Хуан
arXiv 2023. [Документ][Github]
1 марта 2023 г.
Целостная оценка языковых моделей
Перси Лян, Риши Боммасани, Тони Ли, Димитрис Ципрас, Дилара Сойлу, Мичихиро Ясунага, Ян Чжан, Дипак Нараянан, Юхуай Ву, Ананья Кумар, Бенджамин Ньюман, Биньхан Юань, Бобби Ян, Се Чжан, Кристиан Косгроув, Кристофер Д. Мэннинг, Кристофер Ре, Диана Акоста-Навас, Дрю А. Хадсон, Эрик Зеликман, Эсин Дурмус, Фейсал Ладхак, Фрида Ронг, Хунъюй Рен, Хуасю Яо, Цзюэ Ван, Кешав Сантанам, Лорел Орр, Люсия Чжэн, Мерт Юксекгонул, Мирак Сузгун, Натан Ким, Нил Гуха, Ниладри Чаттерджи, Омар Хаттаб, Питер Хендерсон, Цянь Хуан, Райан Чи, Сан Майкл Се, Шибани Сантуркар, Сурья Гангули, Тацунори Хашимото, Томас Икард, Тяньи Чжан, Вишрав Чаудхари, Уильям Ван, Сюэчен Ли, Ифань Май, Юхуэй Чжан, Юта Кореэда
arXiv 2022. [Документ] [Веб-сайт] [Github] [Блог]
16 ноября 2022 г.
Подталкивание GPT-3 к надежности
Чэнлэй Си, Чжэ Ган, Чжэнъюань Ян, Шуохан Ван, Цзяньфэн Ван, Джордан Бойд-Грабер, Лицзюань Ван
ICLR 2023. [Документ] [Github]
17 октября 2022 г.
Plex: к надежности с использованием предварительно обученных расширений больших моделей
Дастин Тран, Джеремайя Лью, Майкл В. Дюсенберри, Дю Фан, Марк Коллиер, Цзе Рен, Кехан Хан, Зи Ван, Зельда Мариет, Хуийи Ху, Нил Бэнд, Тим Дж. Дж. Раднер, Каран Сингхал, Закари Надо, Йост ван Амерсфорт, Андреас Кирш, Родольф Дженаттон, Нитум Тейн, Хунлин Юань, Келли Бьюкенен, Кевин Мёрфи, Д. Скалли, Ярин Гал, Зубин Гахрамани, Джаспер Снук, Баладжи Лакшминараянан
arXiv 2022. [Документ]
15 июля 2022 г.
Языковые модели (в основном) знают то, что знают
Саурав Кадават, Том Конерли, Аманда Аскелл, Том Хениган, Дон Дрэйн, Итан Перес, Николас Шифер, Зак Хэтфилд-Доддс, Нова ДасСарма, Эли Тран-Джонсон, Скотт Джонстон, Шир Эль-Шоук, Энди Джонс, Нельсон Элхейдж, Тристан Хьюм , Анна Чен, Юнтао Бай, Сэм Боуман, Станислав Форт, Дип Гангули, Дэнни Эрнандес, Джош Джейкобсон, Джексон Кернион, Шона Кравец, Лиана Ловитт, Камаль Ндусс, Кэтрин Олссон, Сэм Рингер, Дарио Амодей, Том Браун, Джек Кларк, Николас Джозеф, Бен Манн, Сэм МакКэндлиш, Крис Ола, Джаред Каплан
arXiv 2022. [Документ]
11 июля 2022 г.
Расширенные языковые модели: опрос
Грегуар Миалон, Роберто Десси, Мария Ломели, Христофорос Налмпантис, Рам Пасунуру, Роберта Райляну, Батист Розьер, Тимо Шик, Джейн Двиведи-Ю, Асли Челикьилмаз, Эдуард Граве, Ян ЛеКун, Томас Шиалом
arXiv 2023. [Документ]
15 февраля 2023 г.
Обзор показателей оценки, используемых для систем NLG
Ананья Б. Сай, Акаш Кумар Моханкумар, Митеш М. Хапра
Исследование ACM Computing, 2022 г. [Документ]
18 января 2022 г.
NL-Augmenter: платформа для улучшения естественного языка с учетом задач
Каустуб Д. Дхол и др.
ACL 2021. [Документ][Github]
6 декабря 2021 г.
TextFlint: унифицированный набор инструментов многоязычной оценки устойчивости для обработки естественного языка
Тао Гуй и др.
arXiv 2021. [Документ][Github]
21 марта 2021 г.
Тренажерный зал «Надежность»: объединение оценочной среды НЛП
Каран Гоэл, Назнин Раджани, Джесси Виг, Самсон Тан, Джейсон Ву, Стефан Чжэн, Кайминг Сюн, Мохит Бансал, Кристофер Ре
ACL 2021. [Документ] [Github]
13 января 2021 г.
За пределами точности: поведенческое тестирование моделей НЛП с помощью контрольного списка
Марко Тулио Рибейро, Тонгшуан Ву, Карлос Гестрин, Самир Сингх
ACL 2020. [Документ][Github]
8 мая 2020 г.
BLoB: байесовская низкоранговая адаптация путем обратного распространения ошибки для больших языковых моделей
Ибинь Ван, Хайчжоу Ши, Лигун Хан, Димитрис Метаксас, Хао Ван
arXiv 2024. [Документ]
18 июня 2024 г.
Оценка неопределенности и количественная оценка для LLM: простой контролируемый подход
Линь Юй, Ю Пан, Сяочэн Ли, Гуантин Чен
arXiv 2024. [Документ]
24 апреля 2024 г.
Переключение внимания на релевантность: к оценке неопределенности больших языковых моделей
Цзиньхао Дуань, Хао Чэн, Шици Ван, Алекс Завальный, Ченань Ван, Жэньцзин Сюй, Бхавья Кайлхура, Кайди Сюй
arXiv 2023. [Документ]
9 октября 2023 г.
Посмотрите, прежде чем прыгнуть: исследовательское исследование измерения неопределенности для больших языковых моделей
Юхэн Хуан, Цзяян Сун, Чжицзе Ван, Шэнмин Чжао, Хуамин Чен, Феликс Цзюэфэй-Сюй, Лэй Ма
arXiv 2023. [Документ]
16 июля 2023 г.
Количественная оценка неопределенности в объяснениях больших языковых моделей на естественном языке
Шри Харша Таннеру, Чираг Агарвал, Химабинду Лаккараджу
arXiv 2023. [Документ]
6 ноября 2023 г.
Генерация конформной авторегрессии: лучевой поиск с гарантиями покрытия
Николас Дойчманн, Марвин Альбертс, Мария Родригес Мартинес
arXiv 2023. [Документ]
7 сен 2023 г.
Количественная оценка неопределенности в ответах любой языковой модели и повышение их надежности
Цзюхай Чен, Йонас Мюллер
arXiv 2023. [Документ]
30 августа 2023 г.
Неопределенность в генерации естественного языка: от теории к приложениям
Йорис Баан, Нико Дахайм, Евгения Илия, Деннис Ульмер, Хау-Синг Ли, Ракель Фернандес, Барбара Планк, Рико Сеннрих, Крисула Зерва, Уилкер Азиз
arXiv 2023. [Документ]
28 июля 2023 г.
Уверенная генерация: количественная оценка неопределенности для больших языковых моделей «черного ящика»
Чжэнь Линь, Шубхэнду Триведи, Джимэн Сунь
arXiv 2023. [Документ] [Github]
30 мая 2023 г.
Человеческая неопределенность в концептуальных системах искусственного интеллекта
Кэтрин М. Коллинз, Мэттью Баркер, Матео Эспиноза Зарленга, Навин Раман, Уманг Бхатт, Матея Ямник, Илия Сухолуцкий, Адриан Уэллер, Кришнамурти Двиджотам
arXiv 2023. [Документ]
22 марта 2023 г.
Навигация по серой зоне: проявления чрезмерной самоуверенности и неопределённости в языковых моделях
Кейтлин Чжоу, Дэн Джурафски, Тацунори Хасимото
arXiv 2023. [Документ]
25 февраля 2023 г.
DEUP: Прямое предсказание эпистемической неопределенности
Салем Лахлу, Мокш Джайн, Хади Некоеи, Виктор Ион Бутой, Пол Бертен, Джаррид Ректор-Брукс, Максим Кораблёв, Йошуа Бенджио
ТМЛР 2023. [Документ]
3 февраля 2023 г.
О количественной оценке композиционной неопределенности для анализа графов Seq2seq
Цзы Линь, Ду Фан, Панупонг Пасупат, Иеремия Чжэ Лю, Цзинбо Шан
ICLR 2023. [Документ]
1 февраля 2023 г.
Нейронно-символический вывод для надежного авторегрессионного анализа графов посредством количественной оценки композиционной неопределенности
Цзы Линь, Иеремия Лю, Цзинбо Шан
ЭМНЛП 2022. [Документ]
16 января 2023 г.
Обучение моделей выражать свою неуверенность словами
Стефани Лин, Джейкоб Хилтон, Оуэйн Эванс
TMLR 2022. [Бумага] [Github] [TMLR] [Слайд]
28 мая 2022 г.
Семантическая неопределенность: лингвистические инварианты для оценки неопределенности при генерации естественного языка
Лоренц Кун, Ярин Гал, Себастьян Фаркуар
ICLR 2023. [Документ]
19 февраля 2022 г.
Выбор данных «холодного старта» для точной настройки языковой модели с несколькими выстрелами: подход к распространению неопределенности на основе подсказок
Юэ Ю, Жунчжи Чжан, Ран Сюй, Цзею Чжан, Цзямин Шен, Чао Чжан
arXiv 2022. [Документ][Github]
15 сен 2022 г.
Точная настройка языковых моделей с помощью эпистемических нейронных сетей
Иэн Осбанд, Сейед Мохаммад Асгари, Бенджамин Ван Рой, Нат МакЭлис, Джон Асланидес, Джеффри Ирвинг
arXiv 2022. [Документ][Github]
3 ноября 2022 г.
Количественная оценка неопределенности с помощью предварительно обученных языковых моделей: крупномасштабный эмпирический анализ
Юйсинь Сяо, Пол Пу Лян, Уманг Бхатт, Вилли Нейсвангер, Руслан Салахутдинов, Луи-Филипп Моренси
EMNLP 2022 (результаты). [Бумага][Github]
10 октября 2022 г.
Оценка неопределенности для моделей языкового вознаграждения
Адам Глив, Джеффри Ирвинг
arXiv 2022. [Документ]
14 марта 2022 г.
Оценка неопределенности и уменьшение предварительно обученных моделей для текстовой регрессии
Юся Ван, Дэниэл Бек, Тимоти Болдуин, Карин Верспур
TACL 2022. [Документ]
июнь 2022 г.
Оценка неопределенности в авторегрессионном структурированном прогнозировании
Андрей Малинин, Марк Гейлс
ICLR 2021. [Документ]
18 февраля 2020 г.
Неконтролируемая оценка качества нейронного машинного перевода
Марина Фомичева, Шуо Сун, Лиза Янковская, Фредерик Блен, Франсиско Гусман, Марк Фишел, Николаос Алетрас, Вишрав Чаудхари, Люсия Специа
TACL 2020. [Документ][Набор данных]
21 мая 2020 г.
Анализ неопределенности в нейронном машинном переводе
Майл Отт, Майкл Оули, Дэвид Гранжье, Марк'Аурелио Ранзато
ICML 2018. [Документ]
2018 год
Пакетная калибровка: переосмысление калибровки для контекстного обучения и оперативного проектирования
Хань Чжоу, Синчен Ван, Лев Пролеев, Диана Минку, Цзилинь Чен, Кэтрин Хеллер, Субхраджит Рой
ICLR 2024. [Документ] 24 января 2024 г.
Знают ли большие языковые модели то, чего они не знают?
Чжанъюэ Инь, Цюши Сунь, Ципэн Го, Цзявэнь Ву, Сипэн Цю, Сюаньцзин Хуан
arXiv 2023. [Документ] 29 мая 2023 г.
Просто попросите калибровку: стратегии получения калиброванных показателей уверенности на основе языковых моделей, точно настроенных с учетом обратной связи с человеком
Кэтрин Тиан, Эрик Митчелл, Аллан Чжоу, Арчит Шарма, Рафаэль Рафаилов, Хуасю Яо, Челси Финн, Кристофер Д. Мэннинг
arXiv 2023. [Документ]
24 мая 2023 г.
На пути к надежному противодействию дезинформации: обобщение, неопределенность и GPT-4
Келлин Пелрин, Мейлина Рексопроджо, Калеб Гупта, Джоэл Кристоф, Рейхане Раббани
arXiv 2023. [Документ]
24 мая 2023 г.
Калиброванная интерпретация: оценка уверенности при семантическом анализе
Элиас Стенгель-Эскин, Бенджамин Ван Дурме
arXiv 2022. [Документ] [Github]
14 ноября 2022 г.
Калибровка вероятности последовательности улучшает генерацию условного языка
Яо Чжао, Миша Халман, Ришаб Джоши, Шаши Нараян, Мохаммад Салех, Питер Дж. Лю
ICLR 2023. [Документ]
30 сентября 2022 г.
Калиброванная выборочная классификация
Адам Фиш, Томми Яаккола, Регина Барзилай
ТМЛР 2022. [Документ]
25 августа 2022 г.
Снижение самоуверенности собеседников посредством лингвистической калибровки
Сабрина Дж. Мильке, Артур Шлам, Эмили Динан, И-Лан Буро
NAACL 2022. [Документ]
22 июня 2022 г.
Пересмотр калибровки: случай ответа на вопрос
Чэнлей Си, Чэнь Чжао, Севон Мин, Джордан Бойд-Грабер
Результаты EMNLP 2022. [Бумага]
25 мая 2022 г.
На пути к совместному семантическому анализу нейросимволических графов через неопределенность
Цзы Линь, Иеремия Лю, Цзинбо Шан
ACL Fingings 2022. [Бумага]
22 мая 2022 г.
Оценка машинного перевода с учетом неопределенности
Таисия Глушкова, Хрисула Зерва, Рикардо Рей, Андре Ф.Т. Мартинс
ЭМНЛП 2021. [Документ]
13 сен 2021 г.
Калибровка перед использованием: улучшение производительности языковых моделей за несколько шагов
Тони З. Чжао, Эрик Уоллес, Ши Фэн, Дэн Кляйн, Самир Сингх
ICML 2021. [Документ][Github
19 февраля 2021 г.
Как мы можем узнать, когда языковые модели знают? О калибровке языковых моделей для ответов на вопросы
Чжэнбао Цзян, Джун Араки, Хайбо Дин, Грэм Нойбиг
TACL 2021. [Документ][Github]
2 декабря 2020 г.
Калибровка предварительно обученных трансформаторов
Шри Десаи, Грег Дарретт
EMNLP 2020. [Документ][Github]
17 мая 2020 г.
Дерево разъяснений: ответы на неоднозначные вопросы с помощью больших языковых моделей с расширенным поиском
Кану Ким, Сондон Ким, Пёнгук Чон, Джунсук Пак, Джэу Кан
EMNLP 2023. [Документ][Github]
23 октября 2023 г.
Выборочно отвечая на неоднозначные вопросы
Джереми Р. Коул, Майкл Дж. К. Чжан, Дэниел Гиллик, Джулиан Мартин Эйзеншлос, Бхуван Дхингра, Джейкоб Эйзенштейн arXiv 2023. [Документ]
24 мая 2023 г.
Мы боимся, что языковые модели не моделируют двусмысленность Алиса Лю, Чжаофэн Ву, Джулиан Майкл, Алан Зур, Питер Уэст, Александр Коллер, Свабха Сваямдипта, Ной А. Смит, Еджин Чой
arXiv 2023. [Документ][Github]
24 апреля 2023 г.
Неоднозначность задач у людей и языковых моделей
Алекс Тамкин, Кунал Ханда, Аваш Шреста, Ноа Гудман
ICLR 2023. [Документ][Github]
20 декабря 2022 г.
CLAM: выборочное разъяснение неоднозначных вопросов с помощью генеративных языковых моделей
Лоренц Кун, Ярин Гал, Себастьян Фаркуар
arXiv 2022. [Документ]
15 декабря 2022 г.
Как подходить к неоднозначным запросам в диалоговом поиске: обзор методов, подходов, инструментов и проблем
Кимия Кейван, Джимми Сянджи Хуан
Исследование ACM Computing, 2022 г. [Документ]
7 декабря 2022 г.
Помощь с большими языковыми моделями
Дмитрий Крашенинников, Егор Крашенинников, Дэвид Крюгер
Семинар NeurIPS MLSW 2022. [Документ]
5 декабря 2022 г.
Почему курица перешла дорогу? Перефразирование и анализ неоднозначных вопросов в VQA
Элиас Стенгель-Эскин, Химена Гуаллар-Бласко, И Чжоу, Бенджамин Ван Дурме
arXiv 2022. [Документ][Github]
14 ноября 2022 г.
Abg-CoQA: Прояснение двусмысленности при ответе на разговорный вопрос
Мейци Го, Минда Чжан, Шива Редди, Малихе Алихани
АКБС 2021. [Документ]
22 июня 2021 г.
Разрыв между уверенностью и компетентностью в больших языковых моделях: когнитивное исследование
Аникет Кумар Сингх, Суман Девкота, Бишал Ламичхан, Уттам Дхакал, Чандра Дхакал
arXiv 2023. [Документ]
28 сен 2023 г.
Сила в цифрах: оценка уверенности в больших языковых моделях по быстрому соглашению
Гвенит Портильо Уайтман, Александра Делусия, Марк Дредзе
Семинар ACL TrustNLP 2023. [Документ]
1 июля 2023 г.
Каковы различные подходы к обнаружению контента, созданного такими LLM, как ChatGPT? И чем они работают и чем отличаются?
Себастьян Рашка
[Ссылка] [GPTZero]
1 февраля 2023 г.
DetectGPT: машинное обнаружение текста с нулевым выстрелом с использованием кривизны вероятности
Эрик Митчелл, Юнхо Ли, Александр Хазацкий, Кристофер Д. Мэннинг, Челси Финн
arXiv 2023. [Документ][Веб-сайт]
26 января 2023 г.
Уверенное адаптивное языковое моделирование
Таль Шустер, Адам Фиш, Джай Гупта, Мостафа Дегани, Дара Бахри, Винь К. Тран, Йи Тай, Дональд Мецлер
NeurIPS 2022. [Документ] 25 октября 2022 г.
Конформный контроль рисков
Анастасиос Ангелопулос, Стивен Бейтс, Адам Фиш, Лихуа Лей, Таль Шустер
arXiv 2022. [Документ][Github]
4 августа 2022 г.
Обзор активного обучения обработке естественного языка
Чжисон Чжан, Эмма Штрубелл, Эдуард Хови
EMNLP 2022. [Документ][Github]
18 октября 2022 г.
Активные подсказки с цепочкой мыслей для больших языковых моделей
Шичжэ Дяо, Пэнчэн Ван, Юн Линь, Тонг Чжан
arXiv 2023. [Документ][Github]
23 февраля 2023 г.
Интерактивная активная маркировка с низким уровнем ресурсов для точной настройки языковых моделей
Сейджи Маэкава, Дэн Чжан, Ханна Ким, Саджадур Рахман, Эстевам Хрушка
Выводы EMNLP за 2022 год. [Документ]
7 декабря 2022 г.
Можете ли вы разметить меньше, используя данные вне домена? Активное и трансферное обучение с краткими инструкциями
Рафал Кочельник, Сара Кангаслахти, Шримаи Прабхумойе, Мина Хари, Р. Майкл Альварес, Анима Анандкумар
Семинар NeurIPS 2022. [Документ]
21 ноября 2022 г.
AfroLM: многоязычная предварительно обученная языковая модель на основе самостоятельного обучения для 23 африканских языков
Бонавентура Ф.П. Доссу, Атнафу Ламбебо Тонха, Орин Юсуф, Саломей Осей, Эбигейл Оппонг, Иянуолува Шодэ, Олувабусайо Олуфункэ Авойоми, Крис Чиненье Эмезуэ
EMNLP 2022. [Документ][Github]
7 ноября 2022 г.
Активное обучение помогает предварительно обученным моделям изучить поставленную задачу
Алекс Тамкин, Дат Фам Нгуен, Салил Дешпанде, Джесси Му, Ноа Гудман
NeurIPS 2022. [Документ][Github]
31 октября 2022 г.
Выборочная аннотация делает языковые модели лучше
Хунцзин Су, Джунго Касай, Чен Генри Ву, Вейцзя Ши, Тяньлу Ван, Цзяи Синь, Руй Чжан, Мари Остендорф, Люк Зеттлмойер, Ной А. Смит, Тао Юй
ICLR 2023. [Документ][Github]
5 сен 2022 г.
Многозадачное активное обучение для предварительно обученных моделей на основе трансформаторов
Гай Ротман, Рой Райхарт
TACL 2022. [Документ] [Github]
10 августа 2022 г.
AcTune: активное самообучение на основе неопределенности для активной точной настройки предварительно обученных языковых моделей
Юэ Ю, Линкай Конг, Цзею Чжан, Жунчжи Чжан, Чао Чжан
НААКЛ-HLT2022. [Бумага] [Github]
10 июля 2022 г.
На пути к вычислительно осуществимому глубокому активному обучению
Аким Цвигун, Артем Шелманов, Глеб Кузьмин, Леонид Саночкин, Даниил Ларионов, Глеб Гусев, Манвел Аветисян, Леонид Жуков
NAACL 2022. [Документ] [Github]
7 мая 2022 г.
FAMIE: система быстрого активного обучения для извлечения многоязычной информации
Минь Ван Нгуен, Нгиа Чунг Нго, Бонан Мин, Тьен Хуу Нгуен
NAACL 2022. [Документ] [Github]
16 февраля 2022 г.
О важности эффективной адаптации предварительно обученных языковых моделей для активного обучения
Катерина Маргатина, Лоик Барро, Николаос Алетрас
ACL 2022. [Документ]
2 марта 2022 г.
Ограничения активного обучения с использованием языковых моделей глубокого преобразователя
Майк Д’Арси, Даг Дауни
Arxiv 2022. [Документ]
28 января 2022 г.
Активное обучение путем приобретения контрастных примеров
Катерина Маргатина, Йоргос Верникос, Лоик Барро, Николаос Алетрас
EMNLP 2021. [Документ][Github]
8 сен 2021 г.
Пересмотр стратегий запросов на основе неопределенности для активного обучения с помощью преобразователей
Кристофер Шредер, Андреас Никлер, Мартин Поттаст
Результаты ACL 2022. [Бумага][Github]
12 июля 2021 г.
Активное обучение маркировке последовательностей с помощью глубоко предварительно обученных моделей и байесовских оценок неопределенности
Артем Шельманов, Дмитрий Пузырев, Любовь Куприянова, Денис Беляков, Даниил Ларионов, Никита Хромов, Ольга Козлова, Екатерина Артемова, Дмитрий В. Дылов, Александр Панченко
EACL 2021. [Документ]
18 февраля 2021 г.
Точная настройка BERT для понимания естественного языка с низкими ресурсами посредством активного обучения
Даниэль Грисхабер, Йоханнес Мошер, Нгок Тханг Ву
КОЛИНГ 2020. [Документ]
4 декабря 2020 г.
потрясающее обнаружение галлюцинаций
HallusionBench: пакет расширенной диагностики запутанных языковых галлюцинаций и зрительных иллюзий в больших моделях визуального языка
Тяньруй Гуань*, Фусяо Лю*, Сиянг Ву, Жуйци Сянь, Цзунся Ли, Сяоюй Лю, Сицзюнь Ван, Личан Чен, Фуронг Хуан, Ясер Якуб, Динеш Маноча, Тяньи Чжоу
CVPR 2024. [Документ][Github]
18 марта 2024 г.
САК
Цзясинь Чжан, Чжуохан Ли, Камалика Дас, Брэдли А. Малин, Шричаран Кумар
EMNLP 2023. [Документ][Github]
3 ноября 2023 г.
Таблица лидеров галлюцинаций
Вектара
[Связь]
2 ноября 2023 г.
За пределами фактов: комплексная оценка больших языковых моделей как генераторов знаний
Лян Чен, Ян Дэн, Ятао Бянь, Зею Цинь, Бинчжэ Ву, Тат-Сенг Чуа, Кам-Фай Вонг
EMNLP 2023. [Документ][Github]
12 октября 2023 г.
Цепочка проверок уменьшает галлюцинации в больших языковых моделях
Шехзаад Дулиавала, Моджтаба Комейли, Цзин Сюй, Роберта Райляну, Сиань Ли, Асли Челикилмаз, Джейсон Уэстон
arXiv 2023. [Документ]
20 сен 2023 г.
Знают ли языковые модели, когда они галлюцинируют ссылки?
Аюш Агравал, Лестер Макки, Адам Тауман Калаи
arXiv 2023. [Документ]
29 мая 2023 г.
Противоречивые галлюцинации больших языковых моделей: оценка, обнаружение и смягчение последствий
Нильс Мюндлер, Цзинсюань Хэ, Слободан Йенко, Мартин Вечев
arXiv 2023. [Документ]
25 мая 2023 г.
Почему ChatGPT не дает правдивых ответов?
Шэнь Чжэн, Цзе Хуан, Кевин Чен-Чуан Чанг
arXiv 2023. [Документ]
24 мая 2023 г.
Как галлюцинации языковой модели могут превращаться в снежный ком
Муру Чжан, Офир Пресс, Уильям Меррилл, Алиса Лю, Ной А. Смит
arXiv 2023. [Документ]
22 мая 2023 г.
LM против LM: выявление фактических ошибок посредством перекрестного допроса
Рой Коэн, Мэй Хамри, Мор Гева, Амир Глоберсон
arXiv 2023. [Документ]
22 мая 2023 г.
HaluEval: крупномасштабный тест оценки галлюцинаций для больших языковых моделей
Цзюньи Ли, Сяосюэ Чэн, Уэйн Синь Чжао, Цзянь-Юнь Не, Цзи-Ронг Вэнь
arXiv 2023. [Документ] 19 мая 2023 г.
SelfCheckGPT: обнаружение галлюцинаций черного ящика с нулевым ресурсом для генеративных моделей большого языка
Потсави Манакул, Адиан Люзи, Марк Дж. Ф. Гейлс
arXiv 2023. [Документ] [Github]
8 марта 2023 г.
Проверьте свои факты и попробуйте еще раз: улучшение больших языковых моделей с помощью внешних знаний и автоматизированной обратной связи
Баолинь Пэн, Мишель Галлей, Пэнчэн Хэ, Хао Чэн, Юцзя Се, Ю Ху, Цююань Хуан, Ларс Лиден, Чжоу Ю, Вэйчжу Чен, Цзяньфэн Гао
arXiv 2023. [Документ]
23 февраля 2023 г.
RHO (ρ): Уменьшение галлюцинаций в открытых диалогах с обоснованием знаний
Цзивэй Цзи, Цзихань Лю, Наён Ли, Течжэн Ю, Брайан Вили, Мин Цзэн, Паскаль Фунг
arXiv 2022. [Документ]
3 декабря 2022 г.
FaithDial: надежный эталон диалога в поисках информации
Нуха Дзири, Эхсан Камаллу, Сиван Милтон, Осмар Заян, Мо Ю, Эдоардо М. Понти, Сива Редди
TACL 2022. [Документ]
22 апреля 2022 г.
Исследование галлюцинаций в формировании естественного языка
Цзивэй Цзи, Наён Ли, Рита Фриске, Течжэн Ю, Дэн Су, Ян Сюй, Эцуко Исии, Еджин Бан, Вэньлян Дай, Андреа Мадто, Паскаль Фунг
arXiv 2022. [Документ]
8 февраля 2022 г.
TruthX: облегчение галлюцинаций путем редактирования больших языковых моделей в правдивом пространстве Шаолей Чжан, Тянь Юй, Ян Фэн
arXiv 2024. [Документ] [Github]
27 февраля 2024 г.
Вмешательство во время вывода: получение правдивых ответов из языковой модели Кеннет Ли, Оам Патель, Фернанда Вьегас, Ханспетер Пфистер, Мартин Ваттенберг
arXiv 2023. [Документ] [Github]
6 июня 2023 г.
Внутреннее состояние магистра права знает, когда он лжет
Амос Азария, Том Митчелл
arXiv 2023. [Документ]
26 апреля 2023 г.
TruthfulQA: измерение того, как модели имитируют человеческую ложь
Стефани Лин, Джейкоб Хилтон, Оуэн Эванс
ACL 2022. [Документ] [Github] [Блог]
8 сен 2021 г.
Правдивый ИИ: разработка и управление ИИ, который не лжет.
Оуэн Эванс, Оуэн Коттон-Бэрратт, Лукас Финнведен, Адам Бэйлс, Авиталь Балвит, Питер Уиллс, Лука Ригетти, Уильям Сондерс
arXiv 2021. [Документ] [Блог]
13 октября 2021 г.
Измерение надежности больших языковых моделей посредством семантической согласованности
Харш Радж, Доменик Розати, Субхабрата Маджумдар
Семинар по безопасности NeurIPS 2022 ML. [Бумага]
10 ноября 2022 г.
REFINER: Обратная связь по рассуждениям о промежуточных представлениях
Дебжит Поль, Мете Исмаилзаде, Максим Пейрар, Беатрис Борхес, Антуан Босселю, Роберт Уэст, Бой Фалтингс
arXiv 2023. [Документ]
4 апреля 2023 г.
OpenICL: платформа с открытым исходным кодом для контекстного обучения
Чжэньюй Ву, Яосян Ван, Цзячэн Е, Цзянтао Фэн, Цзинцзин Сюй, Юй Цяо, Чжиюн Ву
arXiv 2023. [Документ] [Github]
6 марта 2023 г.
Надежное понимание естественного языка с помощью больших языковых моделей и программирования наборов ответов
Абхирамон Раджасекхаран, Янкай Цзэн, Партх Падалкар, Гопал Гупта
arXiv 2023. [Документ]
7 февраля 2023 г.
Самосогласованность улучшает цепочку мыслей в языковых моделях
Сюэчжи Ван, Джейсон Вэй, Дэйл Шуурманс, Куок Ле, Эд Чи, Шаран Наранг, Ааканша Чоудери, Денни Чжоу
ICLR 2023. [Документ]
21 марта 2022 г.
Цепочка мыслительных подсказок вызывает рассуждения в больших языковых моделях.
Джейсон Вэй, Сюэчжи Ван, Дэйл Шуурманс, Маартен Босма, Эд Чи, Куок Ле, Денни Чжоу
arXiv 2022. [Документ]
28 января 2022 г.
STaR: Самоучка-разум, развивающая рассуждения с помощью рассуждений.
Эрик Зеликман, Юхуай Ву, Ной Д. Гудман
NeurIPS 2022. [Документ][Github]
28 марта 2022 г.
Ненадежность объяснений при немногочисленных предложениях к текстовым рассуждениям
Си Йе, Грег Дарретт
NeurIPS 2022. [Документ] [Github]
6 мая 2022 г.
Ансамбли, дополненные обоснованием, в языковых моделях
Сюэчжи Ван, Джейсон Вэй, Дэйл Шуурманс, Куок Ле, Эд Чи, Денни Чжоу
arXiv 2022. [Документ]
2 июля 2022 г.
ReAct: синергия рассуждений и действий в языковых моделях
Шуньюй Яо, Джеффри Чжао, Дянь Ю, Нань Ду, Ицхак Шафран, Картик Нарасимхан, Юань Цао
ICLR 2023. [Документ][Github] [Проект]
6 октября 2022 г.
Поразмыслив, давайте не будем думать шаг за шагом! Предвзятость и токсичность в рассуждениях с нулевым выстрелом
Омар Шейх, Хунсинь Чжан, Уильям Хелд, Майкл Бернштейн, Дийи Ян
arXiv 2022. [Документ]
15 декабря 2022 г.
На пути к созданию языковых моделей, которые лучше рассуждают
Ифэй Ли, Цзэци Линь, Шичжуо Чжан, Цян Фу, Бэй Чен, Цзянь-Гуан Лу, Вэйчжу Чен
arXiv 2022. [Документ][Github]
6 июня 2022 г.
Спросите меня что угодно: простая стратегия подсказки языковых моделей
Симран Арора, Аваника Нараян, Мэйи Ф. Чен, Лорел Орр, Нил Гуха, Куш Бхатия, Инес Чами, Фредерик Сала, Кристофер Ре
arXiv 2022. [Документ][Github]
5 октября 2022 г.
MathPrompter: математические рассуждения с использованием больших языковых моделей
Шима Имани, Лян Ду, Харш Шривастава
arXiv 2023. [Документ]
4 марта 2023 г.
Подсказки на основе сложности для многоэтапных рассуждений
Яо Фу, Хао Пэн, Ашиш Сабхарвал, Питер Кларк, Тушар Хот
arXiv 2022. [Документ][Github]
3 октября 2022 г.
Измерение и сужение разрыва в композиционности в языковых моделях
Офир Пресс, Муру Чжан, Севон Мин, Людвиг Шмидт, Ной А. Смит, Майк Льюис
arXiv 2022. [Документ][Github] 7 октября 2022 г.
Чередование поиска с помощью цепочки мыслей для трудоемких многоэтапных вопросов
Харш Триведи, Ниранджан Баласубраманян, Тушар Хот, Ашиш Сабхарвал
arXiv 2023. [Документ][Github]
20 декабря 2022 г.
Большие языковые модели как оптимизаторы
Чэнжун Ян, Сюэчжи Ван, Ифэн Лу, Ханьсяо Лю, Куок В. Ле, Дэнни Чжоу, Синьюнь Чен
arXiv 2023. [Документ]
7 сентября 2023 г.
InstructZero: эффективная оптимизация инструкций для больших языковых моделей «черного ящика»
Личан Чен, Цзюхай Чен, Том Гольдштейн, Хэн Хуан, Тяньи Чжоу
arXiv 2023. [Документ] [Github]
5 июня 2023 г.
Promptboosting: классификация текста «черный ящик» с десятью проходами вперед
Байру Хоу, Джо О’Коннор, Джейкоб Андреас, Шию Чанг, Ян Чжан
ICML 2023. [Документ][Github]
23 января 2023 г.
GrIPS: безградиентный поиск инструкций на основе редактирования для подсказки больших языковых моделей
Арчики Прасад, Питер Хасэ, Сян Чжоу, Мохит Бансал
EACL 2023. [Документ][Github]
14 марта 2022 г.
RLPrompt: оптимизация дискретных текстовых подсказок с помощью обучения с подкреплением
Минкай Дэн, Цзяньюй Ван, Чэн-Пин Се, Ихань Ван, Хань Го, Тяньминь Шу, Мэн Сун, Эрик П. Син, Чжитинг Ху
EMNLP 2022. [Документ][Github]
25 мая 2022 г.
Быстрое обучение по принципу «черного ящика» для предварительно обученных языковых моделей
Шичэ Дяо, Чжичао Хуан, Жуйцзя Сюй, Сюэчунь Ли, Юн Линь, Сяо Чжоу, Тонг Чжан
TMLR 2023. [Документ][Github]
22 января 2022 г.
Настройка «черного ящика» для языковой модели как услуги
Тяньсян Сунь, Юньфань Шао, Хун Цянь, Сюаньцзин Хуан, Сипэн Цю
ICML 2022. [Документ][Github]
10 января 2022 г.
BBTv2: к безградиентному будущему с большими языковыми моделями
Тяньсян Сунь, Чжэнфу Хэ, Хун Цянь, Юнхуа Чжоу, Сюаньцзин Хуан, Сипэн Цю EMNLP 2022. [Документ] [Github]
7 декабря 2022 г.
Автоматическая цепочка мыслей в моделях большого языка
Чжуошэн Чжан, Астон Чжан, Му Ли, Алекс Смола
ICLR 2023. [Документ][Github]
7 октября 2022 г.
Автоматическое оперативное дополнение и выбор с помощью цепочки мыслей из помеченных данных
КаШун Шум, Шичжэ Дяо, Тонг Чжан
arXiv 2023. [Документ][Github]
24 февраля 2023 г.
Большие языковые модели — это быстрые инженеры на уровне человека
Юнчао Чжоу, Андрей Иоан Муресану, Зивэнь Хан, Кейран Пастер, Сильвиу Питис, Харрис Чан, Джимми Ба
ICLR 2023. [Документ] [Github]
3 ноября 2022 г.
Фантастически упорядоченные подсказки и где их найти: преодоление чувствительности к порядку подсказок, состоящих из нескольких кадров
Яо Лу, Макс Бартоло, Аластер Мур, Себастьян Ридель, Понтус Стенеторп
ACL 2022. [Документ]
Выбор активного примера для контекстного обучения
Имин Чжан, Ши Фэн, Чэньхао Тан
EMNLP 2022. [Документ][Github]
8 ноября 2022 г.
Выборочная аннотация делает языковые модели лучше
Хунцзин Су, Джунго Касай, Чен Генри Ву, Вейцзя Ши, Тяньлу Ван, Цзяи Синь, Руй Чжан, Мари Остендорф, Люк Зеттлмойер, Ной А. Смит, Тао Юй
ICLR 2023. [Документ][Github]
5 сен 2022 г.
Учимся получать подсказки для контекстного обучения
Охад Рубин, Джонатан Херциг, Джонатан Берант
NAACL-HLT 2022. [Документ][Github]
16 декабря 2021 г.
LaMini-LM: разнообразное стадо дистиллированных моделей из крупномасштабных инструкций
Минхао Ву, Абдул Вахид, Чию Чжан, Мухаммад Абдул-Магид, Алхам Фикри Аджи
arXiv 2023. [Документ][Github]
27 апреля 2023 г.
Самоуточнение: итеративное уточнение с самообратной связью
Аман Мадаан, Никет Тандон, Прахар Гупта, Скайлер Халлинан, Лую Гао, Сара Вигрефф, Ури Алон, Нуха Дзири, Шримай Прабхумойе, Йиминг Янг, Шон Веллек, Бодхисаттва Прасад Маджумдер, Шашанк Гупта, Амир Язданбахш, Питер Кларк
arXiv 2023. [Документ][Github] [Веб-сайт]
30 марта 2023 г.
Подсказка — это все, что вам нужно? Нет. Комплексный и более широкий взгляд на обучение
Рензе Лу, Кай Чжан, Вэньпэн Инь
arXiv 2023. [Документ][Github]
18 марта 2023 г.
Самообучение: согласование языковой модели с самостоятельно сгенерированными инструкциями
Ичжун Ван, Йегане Корди, Сваруп Мишра, Алиса Лю, Ноа А. Смит, Дэниел Хашаби, Ханнане Хаджиширзи
arXiv 2022. [Документ] [Github]
20 декабря 2022 г.
Конституционный ИИ: безвредность благодаря обратной связи ИИ
Юнтао Бай и др. (Антропный)
arXiv 2022. [Документ]
15 декабря 2022 г.
Обнаружение поведения языковой модели с помощью оценок, написанных на основе моделей
Итан Перес и др.
arXiv 2022. [Документ]
19 декабря 2022 г.
Обучение в контексте инструкций
Сонхён Йе, Хёнбин Хван, Сохи Ян, Хёнгу Юн, Ирын Ким, Минджун Со
arXiv 2023. [Документ][Github]
28 февраля 2023 г.
Языковые модели, дополненные Интернетом, посредством подсказок с несколькими предложениями для ответов на открытые вопросы
Анжелики Лазариду, Елена Грибовская, Войцех Стоковец, Николай Григорьев
arXiv 2023. [Документ]
10 марта 2023 г.
Программа подсказки мыслей: отделение вычислений от рассуждений для задач численного рассуждения
Вэньху Чен, Сюэгуан Ма, Синьи Ван, Уильям В. Коэн
arXiv 2022. [Документ][Github]
22 ноября 2022 г.
PAL: программные языковые модели
Лую Гао, Аман Мадаан, Шуян Чжоу, Ури Алон, Пэнфэй Лю, Имин Ян, Джейми Каллан, Грэм Нойбиг
arXiv 2022. [Документ] [Github] [Проект]
18 ноября 2022 г.
TALM: Языковые модели, дополненные инструментами
Аарон Паризи, Яо Чжао, Ной Фидель
arXiv 2022. [Документ]
24 мая 2022 г.
Toolformer: языковые модели могут научить себя использовать инструмент
Тимо Шик, Джейн Двиведи-Ю, Роберто Десси, Роберта Райляну, Мария Ломели, Люк Зеттлмойер, Никола Канкедда, Томас Шиалом
arXiv 2023. [Документ]
9 февраля 2023 г.
Дистилляция шаг за шагом! Превосходство более крупных языковых моделей с меньшим количеством обучающих данных и меньшими размерами моделей
Ченг-Ю Се, Чун-Лян Ли, Чи-Куан Йе, Хутан Накхост, Ясухиса Фуджи, Александр Ратнер, Ранджай Кришна, Чен-Ю Ли, Томас Пфистер
arXiv 2023. [Документ]
3 мая 2023 г.
FreeLM: языковая модель без тонкой настройки
Сян Ли1, Синь Цзян, Сюйин Мэн, Айсинь Сунь, Ецюань Ван
arXiv 2023. [Документ]
2 мая 2023 г.
Автоматизированное управление данными для точной настройки языковой модели
Цзюхай Чен, Йонас Мюллер
arXiv 2024. [Документ]
19 марта 2024 г.
Инвариантное языковое моделирование Maxime Peyrard, Sarvjeet Singh Ghotra, Мартин Джосифоски, Видхан Агарвал, Барун Патра, Дин Каринган, Эмре Кисиман, Роберт Уэст
EMNLP 2022. [Paper] [GitHub]
16 октября 2021 года
На пути к надежному персонализированному генерации диалога с помощью нечувствительной к заказу регуляризации представительства
Лян Чен, Хонгру Ван, Ян Дэн, Вай-Чунг Кван, Кам-Фай Вонг
Результаты ACL 2023. [Paper] [GitHub]
22 мая 2023 года
Изучение сдвигов распределения в больших языковых моделях для анализа кода
Shushan Arakelyan, Rocktim Jyoti Das, Yi Mao, Сян Рен
Arxiv 2023. [Paper]
16 марта 2023 г.
Обнаружение за пределами распределения и селективная генерация для моделей условного языка
Цзе Рен, Джиамин Луо, Яо Чжао, Кундан Кришна, Мохаммад Салех, Баладжи Лакшминараянан, Питер Дж. Лю
ICLR 2023. [Бумага]
30 сентября 2022 года
О доменной адаптации и обобщении моделей с предварительно проведенным языком: опрос
Сюй Го, Хан Ю
Arxiv 2022. [Paper]
6 ноября 2022 г.
Состязательные атаки на LLMS
Лилиан Венг [блог]
25 октября 2023 года
Quickbench: к оценке надежности больших языковых моделей на состязательных подсказках
Кайдзи Чжу, Джиндонг Ванг, Цзяхенг Чжоу, Зичен Ванг, Хао Чен, Идонг Ван, Лини Ян, Вэй Ю, Нил Чженцан Гонг, Юэ Чжан, Син Се, Се.
Arxiv 2023. [Paper] [GitHub]
7 июня 20223 года
О надежности CHATGPT: состязательная и выездная перспектива
Jindong Wang, Xixu Hu, Wenxin Hou, Hao Chen, Runkai Zheng, Yidong Wang, Linyi Yang, Haojun Huang, Wei Ye, Xiubo Geng, Binxin Jiao, Yue Zhang, Xing xie
Arxiv 2023. [Paper] [GitHub]
22 февраля 2023 года
Тестирование надежности для систем обработки естественного языка
Самсон Тан, Шафик Йоти, Кэти Бакстер, Арас Таихах, Грегори А. Беннетт, Мин-Йен Кан
ACL-IJCNLP 2021. [Paper]
06 мая 2021 года
Ответ на вопрос: Оценка и моделирование для приписанных больших языковых моделей
Бернд Бохнет, Винх К. Тран, Пэт Верга, Рои Ахарони, Даниэль Андор, Ливио Балдини Соарес, Массимилиано Чирамита, Джейкоб Эйзенштейн, Кузман Ганчев, Джонатан Херзиг, Кай Хуи, Тома Квиатковски, джо -Ма, Ионатан, Льерн С.Е. Шустер, Уильям У. Коэн, Майкл Коллинз, Дипанджан Дас, Дональд Метцлер, Слав Петров, Келли Вебстер
Arxiv 2022. [Paper]
15 декабря 2022 года
Могут ли крупные языковые модели вывести причинность из корреляции?
Чжиджин Джин, Джируй Лю, Чжихенг Лю, Спенсер Пофф, Мриндмайя Сачан, Рада Михалсеа, Мона Диаб, Бернхард Шёлкопф
Arxiv 2023. [Paper] [GitHub]
9 июня 2023 года
Отбор инференции: эксплуатация больших языковых моделей для интерпретируемых логических рассуждений
Антония Кресвелл, Мюррей Шанахан, Ирина Хиггинс
ICLR 2023. [Бумага]
19 мая 2022 года
Исследование причинного понимания в LLMS
Мариус Хоббхан, Том Либерум, Дэвид Сейлер
Neurips 2022 Workshop. [Paper] [Блог]
3 октября 2022 года
