MD Zobaer Hossain, Linfei Zhang, Robert Van Timmeren и Ramon Meffert, июнь 2022 г.
Этот репозиторий содержит исходный код для экспериментов, обработку данных и анализ данных, проведенных в рамках нашего курса для выпуска 2021–2022 гг.
Все файлы, связанные с наборами данных, расположены в папке наборов данных. Мы взяли исходные файлы наборов данных и преобразовали их в формат набора данных HuggingFace. Все папки набора данных содержат исходные файлы наборов данных, ноутбук для анализа и демо -файл, показывающий, как вы используете набор данных.
Весь код для экспериментов находится в папке экспериментов. Информация о том, как воспроизводить эксперименты, доступна в Readme в этой папке.
Результаты для всех методов можно найти в папке результатов. Информация о результатах доступна в Readme в этой папке.
Black, S., G. Leo, P. Wang, C. Leahy и S. Biderman (2021, март). GPT-neo: крупномасштабное моделирование авторегрессии языка с помощью сетки-Tensorflow. https://doi.org/105281/zenodo.5297715.
Devlin, J., M.W. Чанг, К. Ли и К. Тутанова (2019, июнь). БЕРТ: Предварительное обучение глубоких двунаправленных трансформаторов для понимания языка. В материалах Конференции Северной Америки в Северной Америке Ассоциации вычислительной лингвистики: технологии человеческого языка, том 1 (длинные и короткие документы) , Миннеаполис, Миннесота, с. 4171–4186. Ассоциация вычислительной лингвистики.
Гао Т., А. Фиш и Д. Чен (2021, август). Сделать предварительно обученные языковые модели лучше учащихся. В материалах 59 -го ежегодного собрания Ассоциации по вычислительной лингвистике и 11 -й Международной совместной конференции по обработке естественного языка (том 1: Долгок) , онлайн, стр. 3816–3830. Ассоциация вычислительной лингвистики.
Liu, Y., M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer и V. Stoyanov (2019). Роберта: надежно оптимизированный берт -предварительный подход. Corr Abs/1907.11692 .
Park, J. & Cardie, C. (2014). Определение подходящей поддержки для предложений в онлайн -комментариях пользователей. Материалы первого семинара по добыче аргументации , 29–38. https://doi.org/10/gg29gq
Шик Т. и Х. Шюцзе (2021). Использование закрытия для классификации текстовых и естественного языка. В материалах 16 -й конференции Европейской главы Ассоциации вычислительной лингвистики: основной том , онлайн, с. 255–269. Ассоциация вычислительной лингвистики.