NLP Introduction

? Курс НЛП

В этом репозитории содержится конспект курса НЛП Hugging Face .

Курс научит вас применять Трансформеры для решения различных задач по обработке естественного языка и за его пределами. Попутно вы узнаете, как использовать экосистему Hugging Face — ? Трансформаторы, ? Наборы данных, ? Токенизаторы и ? Ускорение — а также Hugging Face Hub.

Пайторч

Блокноты и заметки в этом репозитории используют PyTorch.

Для установки выполните следующую команду:

pip3 install torch torchvision torchaudio

pip install transformers[torch]

Вы также можете просто установить файлы requirements.txt .

? Блокноты Jupyter

Блокноты Jupyter, содержащие весь код курса, размещены в репозитории huggingface/notebooks . Если вы хотите сгенерировать их локально, сначала установите необходимые зависимости:

python -m pip install -r requirements.txt

Затем запустите следующий скрипт:

python utils/generate_notebooks.py --output_dir nbs

Если вы используете venv, не забудьте установить новое ядро ​​в свою лабораторию/ноутбук Jupyter:

python -m ipykernel install --user --name=nlp-course-venv

Этот скрипт извлекает все фрагменты кода из глав и сохраняет их в виде блокнотов в папке nbs .

? Благодарности

Структура этого репозитория и README вдохновлены замечательным курсом Advanced NLP with spaCy и ? Курс НЛП.