deeplearning nlp models
1.0.0
PyTorch에서 몇 가지 "심층" NLP 모델의 재구현을 포함하는 작고 해석 가능한 코드베이스입니다.
이는 NLP에서 DL 아키텍처의 잡초를 알아보는 데 관심이 있는 사람들을 위한 (불완전한) 출발점으로 제시됩니다. 주석이 달린 모델이 몇 가지 참고 사항과 함께 표시됩니다.
노트북을 통해 GPU가 포함된 Colab에서 이러한 모델을 실행할 수 있는 링크가 있습니다.
현재 모델 : word2vec, CNN, 변환기, gpt. ( 작업 진행 중 )
버트: 독서요. 이해.
참고: 이는 각 모델의 장난감 버전 입니다.
이러한 NLP 모델은 연대순으로 표시되며 예상할 수 있듯이 서로를 구축합니다.
| 모델 클래스 | 모델 | 년도 |
|---|---|---|
| 임베딩 | ||
| 1. | Word2Vec 임베딩(자기 지도 학습) | 2013년 |
| CNN | ||
| 2. | CNN 기반 텍스트 분류(Binary Classification) | 2014년 |
| 트랜스포머 | ||
| 3. | OG Transformer(기계 번역) | 2017년 |
| 4. | OpenAI의 GPT 모델(언어 모델) | 2018, 2019, 2020 |
이 저장소에는 다음과 같은 기능이 있습니다.
이러한 모델을 검토한 후 탐색할 다른 모델 측면에서 세계 굴이 가장 좋습니다.
Char-RNN, BERT, ELMO, XLNET, 기타 모든 BERT, BART, Performer, T5 등...
구현할 향후 모델:
향후 저장소 기능:
pip 사용하여 저장소를 설치할 수 있습니다.
pip install git + https : // github . com / will - thompson - k / deeplearning - nlp - models 저장소에 대한 분석은 다음과 같습니다.
nlpmodels/models : 각 논문의 모델 코드입니다. nlpmodels/utils : 데이터 세트, 어휘, 토크나이저, 샘플러 및 트레이너 클래스를 포함하여 모델 구축과 관련된 모든 보조 클래스가 포함되어 있습니다. ( 참고: 모델이 아닌 파일의 대부분은 유틸리티에 포함됩니다. 더 큰 저장소에서는 그렇게 하지 않는 것이 좋습니다.) tests : 가벼운(그리고 결코 포괄적이지는 않은) 적용 범위입니다. notebooks : 각 모델 구현에 대한 노트북과 글이 포함되어 있습니다.몇 가지 유용한 명령:
make test : 전체 테스트 모음을 실행합니다( setup.py test 및 run_tests.sh 사용할 수도 있음). make test_light : 회귀 테스트를 제외한 모든 테스트를 실행합니다. make lint : 코드 린팅을 정말 좋아한다면 ( run_pylint.sh 실행할 수도 있습니다). 파이썬 3.6+
패키지 요구 사항은 다음과 같습니다(requirements.txt에 있음).
@ misc { deeplearning - nlp - models ,
author = { Thompson , Will },
url = { https : // github . com / will - thompson - k / deeplearning - nlp - models },
year = { 2020 }
} MIT
