NLP Introduction

? NLP 코스

이 저장소에는 Hugging Face NLP 과정 의 요약이 포함되어 있습니다.

이 과정에서는 자연어 처리 및 그 이상의 다양한 작업에 Transformer를 적용하는 방법을 배웁니다. 그 과정에서 Hugging Face 생태계를 사용하는 방법을 배우게 됩니다. 트랜스포머,? 데이터세트, ? 토크나이저, 그리고? 가속화 - Hugging Face Hub도 마찬가지입니다.

파이토치

이 저장소 내의 노트북과 노트는 PyTorch를 사용합니다.

설치하려면 다음 명령을 실행하십시오.

pip3 install torch torchvision torchaudio

pip install transformers[torch]

requirements.txt 파일만 설치할 수도 있습니다.

? 주피터 노트북

강좌의 모든 코드가 포함된 Jupyter Notebook은 huggingface/notebooks 저장소에서 호스팅됩니다. 로컬에서 생성하려면 먼저 필요한 종속성을 설치하십시오.

python -m pip install -r requirements.txt

그런 다음 다음 스크립트를 실행합니다.

python utils/generate_notebooks.py --output_dir nbs

venv를 사용하는 경우 jupyter 랩/노트북에 새 커널을 설치해야 합니다.

python -m ipykernel install --user --name=nlp-course-venv

이 스크립트는 장에서 모든 코드 조각을 추출하여 nbs 폴더에 노트북으로 저장합니다.

? 감사의 말

이 저장소와 README의 구조는 spaCy 과정과 ? NLP 과정.