spacy transformers

Transformateurs spacés: utilisez des transformateurs pré-entraînés comme Bert, XLNET et GPT-2 dans Spacy

Ce package fournit des composants et des architectures spacy pour utiliser des modèles de transformateurs via transformers de Hugging Face dans Spacy. Le résultat est un accès pratique aux architectures de transformateurs de pointe, telles que Bert, GPT-2, XLNET, etc.

Cette version nécessite Spacy V3. Pour la version précédente de cette bibliothèque, consultez la branche v0.6.x

Caractéristiques

• Utilisez des modèles de transformateurs pré-entraînés comme Bert , Roberta et XLNET pour alimenter votre pipeline Spacy.
• Apprentissage facile multi-tâches : rétroproppe à un modèle de transformateur à partir de plusieurs composants de pipeline.
• Train à l'aide du système de configuration puissant et extensible de Spacy V3.
• Alignement automatique de la sortie du transformateur en tokenisation de Spacy.
• Personnalisez facilement les données du transformateur enregistrées dans l'objet Doc .
• Personnalisez facilement la durée des documents.
• Sérialisation prête à l'emploi et emballage du modèle.

Installation

L'installation du package à partir de PIP installera automatiquement toutes les dépendances, y compris Pytorch et Spacy. Assurez-vous d'installer ce package avant d'installer les modèles. Notez également que ce package nécessite Python 3.6+ , Pytorch V1.5 + et Spacy V3.0 + .

pip install ' spacy[transformers] '

Pour l'installation du GPU, trouvez votre version CUDA à l'aide nvcc --version et ajoutez la version entre parenthèses, par exemple spacy[transformers,cuda92] pour CUDA9.2 ou spacy[transformers,cuda100] pour CUDA10.0.

Si vous avez du mal à installer Pytorch, suivez les instructions sur le site officiel de votre système d'exploitation et des exigences spécifiques.

Documentation

️ Remarque importante: Ce package a été largement refactorisé pour profiter de Spacy v3.0. Les versions précédentes qui ont été conçues pour Spacy V2.x fonctionnaient considérablement différemment. Veuillez consulter les versions taguées précédentes de cette lecture pour la documentation sur les versions antérieures.

• Intégres, transformateurs et transfert d'apprentissage: comment utiliser les transformateurs dans Spacy
• Pipelines de formation et modèles: former et mettre à jour les composants sur vos propres données et intégrer des modèles personnalisés
• Couches et architectures de modèle: composants de l'alimentation avec des réseaux de neurones personnalisés
• ? Transformer : référence de l'API des composants de pipeline
• ? Architectures de transformateur: architectures et fonctions enregistrées

Appliquer des modèles de classification de texte et de jeton pré-entraînés

Notez que le composant transformer de spacy-transformers ne prend pas en charge les têtes spécifiques à la tâche comme le jeton ou la classification du texte. Un modèle de transformateur spécifique à la tâche peut être utilisé comme source de fonctionnalités pour former des composants spacés comme ner ou textcat , mais le composant transformer ne donne pas accès à des chefs spécifiques à la tâche pour la formation ou l'inférence.

Alternativement, si vous souhaitez utiliser uniquement les prédictions d'un modèle de texte de face étreint ou de classification de jeton existant, vous pouvez utiliser les emballages à partir de spacy-huggingface-pipelines pour incorporer des modèles de transformateurs spécifiques à la tâche dans vos pipelines spacy.

Rapports de bogues et autres problèmes

Veuillez utiliser Spacy's Issue Tracker pour signaler un bogue, ou ouvrir un nouveau fil sur le forum de discussion pour tout autre problème.