deeplearning nlp models
1.0.0
Небольшая интерпретируемая база кода, содержащая повторную реализацию нескольких «глубоких» моделей НЛП в PyTorch.
Это представлено как (неполная) отправная точка для тех, кто хочет разобраться в тонкостях архитектуры DL в НЛП. Аннотированные модели представлены вместе с некоторыми примечаниями.
Есть ссылки для запуска этих моделей в Colab с графическими процессорами ?️ через ноутбуки.
Текущие модели : word2vec, CNN, преобразователь, gpt. ( Работа в процессе )
БЕРТ: Читаю. Понимание.
Примечание. Это игрушечные версии каждой модели.
Эти модели НЛП представлены в хронологическом порядке и, как и следовало ожидать, дополняют друг друга.
| Класс модели | Модель | Год |
|---|---|---|
| Вложения | ||
| 1. | Вложения Word2Vec (самостоятельное обучение) | 2013 год |
| CNN | ||
| 2. | Классификация текста на основе CNN (двоичная классификация) | 2014 год |
| Трансформеры | ||
| 3. | Трансформатор OG (машинный перевод) | 2017 год |
| 4. | Модель GPT OpenAI (языковая модель) | 2018, 2019, 2020 |
Этот репозиторий имеет следующие возможности:
Изучив эти модели, вы поймете, что вам предстоит изучить другие модели:
Char-RNN, BERT, ELMO, XLNET, все остальные BERT, BART, Performer, T5 и т. д.
Будущие модели для реализации:
Будущие возможности репо:
Вы можете установить репо с помощью pip :
pip install git + https : // github . com / will - thompson - k / deeplearning - nlp - models Вот разбивка репозитория:
nlpmodels/models : код модели для каждой статьи. nlpmodels/utils : содержит все вспомогательные классы, связанные с построением модели, включая наборы данных, словарь, токенизаторы, сэмплеры и обучающие классы. ( Примечание. Большинство немодельных файлов помещаются в утилиты. Я бы советовал не делать этого в более крупном репозитории.) tests : Легкое (и ни в коем случае не полное) покрытие. notebooks : Содержит блокноты и записи для каждой реализации модели.Несколько полезных команд:
make test : запустить полный набор тестов (вы также можете использовать setup.py test и run_tests.sh ). make test_light : Запустить все тесты, кроме регрессионных. make lint : если вам действительно нравится код линтинга (также можно запустить run_pylint.sh ). Питон 3.6+
Вот требования к пакету (найдены в файле require.txt)
@ misc { deeplearning - nlp - models ,
author = { Thompson , Will },
url = { https : // github . com / will - thompson - k / deeplearning - nlp - models },
year = { 2020 }
} Массачусетский технологический институт
