spacy transformers

Spacy-Transformers: Use transformadores previos al estado de la aparición como Bert, XLNet y GPT-2 en Spacy

Este paquete proporciona componentes y arquitecturas de Spacy para usar modelos de transformadores a través de Hugging Face's transformers en Spacy. El resultado es un acceso conveniente a las arquitecturas de transformadores de última generación, como Bert, GPT-2, XLNet, etc.

Este lanzamiento requiere Spacy V3. Para la versión anterior de esta biblioteca, consulte la rama v0.6.x

Características

• Use modelos de transformadores previos a la aparición como Bert , Roberta y XLNet para alimentar su oleoducto Spacy.
• Aprendizaje de múltiples tareas fácil: backprop a un modelo de transformador de varios componentes de tuberías.
• Entrena usando el sistema de configuración potente y extensible de Spacy V3.
• Alineación automática de la salida del transformador a la tokenización de Spacy.
• Personalice fácilmente qué datos del transformador se guarda en el objeto Doc .
• Personalice fácilmente cuánto tiempo se procesan los documentos.
• Serialización y empaquetado de modelos listos para usar.

Instalación

Instalar el paquete desde PIP instalará automáticamente todas las dependencias, incluidas Pytorch y Spacy. Asegúrese de instalar este paquete antes de instalar los modelos. También tenga en cuenta que este paquete requiere Python 3.6+ , Pytorch V1.5+ y Spacy V3.0+ .

pip install ' spacy[transformers] '

Para la instalación de GPU, encuentre su versión CUDA usando nvcc --version y agregue la versión en los soportes, por ejemplo, spacy[transformers,cuda92] para CUDA9.2 o spacy[transformers,cuda100] para CUDA10.0.

Si tiene problemas para instalar Pytorch, siga las instrucciones en el sitio web oficial para su sistema operativo y requisitos específicos.

Documentación

️ Nota importante: este paquete se ha refactorizado ampliamente para aprovechar Spacy v3.0. Las versiones anteriores que se construyeron para Spacy v2.x funcionaron de manera considerablemente diferente. Consulte las versiones etiquetadas anteriores de este ReadMe para la documentación sobre versiones anteriores.

• INCREGOS, Transformadores y aprendizaje de transferencia: cómo usar Transformers en Spacy
• Capacitación de tuberías y modelos: entrenar y actualizar componentes en sus propios datos e integrar modelos personalizados
• Capas y arquitecturas de modelos: componentes de Spacy Power con redes neuronales personalizadas
• ? Transformer : referencia de API de componente de tuberías
• ? Arquitecturas de transformadores: arquitecturas y funciones registradas

Aplicación de modelos de clasificación de texto y token antes del estado

Tenga en cuenta que el componente transformer de spacy-transformers no admite cabezas específicas de tareas como token o clasificación de texto. Un modelo de transformador específico de la tarea se puede utilizar como fuente de características para entrenar componentes espacios como ner o textcat , pero el componente transformer no proporciona acceso a cabezas específicas de tareas para capacitación o inferencia.

Alternativamente, si solo desea utilizar las predicciones de un modelo de texto facial o clasificación de token existente, puede usar los envoltorios de spacy-huggingface-pipelines para incorporar modelos de transformadores específicos de tareas en sus tuberías de Spacy.

Informes de errores y otros problemas

Utilice el rastreador de problemas de Spacy para informar un error o abra un nuevo hilo en el tablero de discusión para cualquier otro problema.