Este repositorio contiene un resumen del curso de PNL Hugging Face .
El curso le enseña cómo aplicar Transformers a diversas tareas en el procesamiento del lenguaje natural y más. En el camino, aprenderá a utilizar el ecosistema Hugging Face. Transformadores, ? Conjuntos de datos, ? Tokenizadores y ? Acelera, así como Hugging Face Hub.
Los cuadernos y notas dentro de este repositorio utilizan PyTorch.
Para instalar, ejecute el siguiente comando:
pip3 install torch torchvision torchaudio
pip install transformers[torch]
También puede simplemente instalar los archivos requirements.txt
.
Los cuadernos de Jupyter que contienen todo el código del curso están alojados en el repositorio huggingface/notebooks
. Si desea generarlos localmente, primero instale las dependencias requeridas:
python -m pip install -r requirements.txt
Luego ejecute el siguiente script:
python utils/generate_notebooks.py --output_dir nbs
Si usa venv, recuerde instalar un nuevo kernel en su laboratorio/cuaderno jupyter:
python -m ipykernel install --user --name=nlp-course-venv
Este script extrae todos los fragmentos de código de los capítulos y los almacena como cuadernos en la carpeta nbs
.
La estructura de este repositorio y README están inspiradas en el maravilloso curso avanzado de PNL con spaCy y ? Curso de PNL.