Descarga deeplearning nlp models - Descarga de código fuente deeplearning nlp models

deeplearning nlp models

Código Fuente de IA

1.0.0

Descargar

modelos-nlp-de-aprendizaje profundo

Una base de código pequeña e interpretable que contiene la reimplementación de algunos modelos de PNL "profundos" en PyTorch.

Esto se presenta como un punto de partida (incompleto) para aquellos interesados en adentrarse en las arquitecturas DL en PNL. Los modelos comentados se presentan junto con algunas notas.

Hay enlaces para ejecutar estos modelos en colab con GPU ?️ a través de portátiles.

Modelos actuales : word2vec, CNN, transformador, gpt. ( Trabajo en progreso )

Contenido

Modelos
Características
final del juego
Hoja de ruta
Configuración
Estructura
Requisitos
Citación
Licencia

Modelos

Estos modelos de PNL se presentan cronológicamente y, como es de esperar, se complementan entre sí.

Clase de modelo	Modelo	Año
Incrustaciones
1.	Integraciones de Word2Vec (aprendizaje autosupervisado)	2013
CNN
2.	Clasificación de texto basada en CNN (clasificación binaria)	2014
Transformadores
3.	El transformador OG (traducción automática)	2017
4.	Modelo GPT de OpenAI (modelo de lenguaje)	2018, 2019, 2020

Características

Este repositorio tiene las siguientes características:

resúmenes de modelos : Se proporciona una breve descripción general de la motivación y el diseño de cada modelo en archivos README.md separados.
Cuadernos Jupyter (fáciles de ejecutar en colab con GPU) : Cuadernos de Jupyter que muestran cómo ejecutar los modelos y algunos análisis simples de los resultados del modelo.
autónomo : Tokenizadores, cargadores de conjuntos de datos, diccionarios y todas las utilidades personalizadas necesarias para cada problema.

final del juego

Después de revisar estos modelos, el mundo está en sus ostras en términos de otros modelos para explorar:

Char-RNN, BERT, ELMO, XLNET, todos los demás BERT, BART, Performer, T5, etc.

Hoja de ruta

Modelos futuros a implementar:

Char-RNN (Kaparthy)
BERT

Funciones de repositorio futuro:

Gráficos de tensorboard
Val set demostraciones
Guardar puntos de control/cargar modelos
BPE (de openai/gpt-2 o de la biblioteca fairseq de facebook)

Configuración

Puedes instalar el repositorio usando pip :

 pip install git + https : // github . com / will - thompson - k / deeplearning - nlp - models

Estructura

Aquí hay un desglose del repositorio:

nlpmodels/models : el código de modelo para cada artículo.
nlpmodels/utils : contiene todas las clases auxiliares relacionadas con la construcción de un modelo, incluidos conjuntos de datos, vocabulario, tokenizadores, muestreadores y clases de entrenador. ( Nota: la mayoría de los archivos que no son de modelo se incluyen en utilidades. Lo desaconsejaría en un repositorio más grande).
tests : Cobertura ligera (y de ninguna manera completa).
notebooks : Contiene los cuadernos y anotaciones para la implementación de cada modelo.

Algunos comandos útiles:

make test : ejecuta el conjunto completo de pruebas (también puedes usar setup.py test y run_tests.sh ).
make test_light : ejecuta todas las pruebas excepto las pruebas de regresión.
make lint : si realmente te gusta el código linting (también puedes ejecutar run_pylint.sh ).

Requisitos

Pitón 3.6+

Estos son los requisitos del paquete (que se encuentran en requisitos.txt)

Citación

 @ misc { deeplearning - nlp - models ,
  author = { Thompson , Will },
  url = { https : // github . com / will - thompson - k / deeplearning - nlp - models },
  year = { 2020 }
}