fairseq2
v0.2.0
Documentation : Stable, tous les soirs | Installer : Linux, macOS, Windows, à partir de la source | Contribuer : lignes directrices
fairseq2 est une boîte à outils de modélisation de séquences qui permet aux chercheurs et aux développeurs de former des modèles personnalisés pour la traduction, le résumé, la modélisation du langage et d'autres tâches de génération de contenu. C'est aussi le successeur de fairseq.
Visitez notre site Web de documentation.
Pour les modifications récentes, vous pouvez consulter notre journal des modifications.
À ce jour, les modèles suivants sont disponibles dans fairseq2 :
fairseq2 est également utilisé par divers projets externes tels que :
fairseq2 dépend de libsndfile, qui peut être installé via le gestionnaire de packages système sur la plupart des distributions Linux. Pour les systèmes basés sur Ubuntu, exécutez :
sudo apt install libsndfile1De même, sur Fedora, exécutez :
sudo dnf install libsndfilePour les autres distributions Linux, veuillez consulter sa documentation pour savoir comment installer les packages.
Pour installer fairseq2 sur Linux x86-64, exécutez :
pip install fairseq2Cette commande installera une version de fairseq2 compatible avec PyTorch hébergé sur PyPI.
Pour le moment, nous ne proposons pas de package prédéfini pour les systèmes basés sur ARM tels que Raspberry PI ou NVIDIA Jetson. Veuillez vous référer à Installer à partir de la source pour savoir comment créer et installer fairseq2 sur ces systèmes.
Outre PyPI, fairseq2 propose également des packages prédéfinis disponibles pour différentes versions de PyTorch et CUDA hébergées sur le référentiel de packages de FAIR. La matrice suivante montre les combinaisons prises en charge.
| justeseq2 | PyTorch | Python | Variante* | Cambre |
|---|---|---|---|---|
HEAD | 2.5.0 , 2.5.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 |
2.4.0 , 2.4.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 | |
2.3.0 , 2.3.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 | x86_64 | |
0.3.0 | 2.5.0 , 2.5.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 |
2.4.0 , 2.4.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 | |
2.3.0 , 2.3.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 | x86_64 | |
0.2.0 | 2.1.1 | >=3.8 , <=3.11 | cpu , cu118 , cu121 | x86_64 |
2.0.1 | >=3.8 , <=3.11 | cpu , cu117 , cu118 | x86_64 | |
1.13.1 | >=3.8 , <=3.10 | cpu , cu116 | x86_64 |
* cuXYZ fait référence à CUDA XY.Z (par exemple, cu118 signifie CUDA 11.8)
Pour installer une combinaison spécifique, suivez d'abord les instructions d'installation sur pytorch.org pour la version PyTorch souhaitée, puis utilisez la commande suivante (affichée pour PyTorch 2.5.1 et la variante cu124 ) :
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cu124Avertissement
fairseq2 s'appuie sur l'API C++ de PyTorch qui n'a pas de compatibilité API/ABI entre les versions. Cela signifie que vous devez installer la variante fairseq2 qui correspond exactement à votre version de PyTorch . Sinon, vous pourriez rencontrer des problèmes tels que des pannes immédiates de processus ou des erreurs de segmentation parasites. Pour la même raison, si vous mettez à niveau votre version de PyTorch, vous devez également mettre à niveau votre installation fairseq2.
Pour Linux, nous hébergeons également des builds nocturnes sur le référentiel de packages de FAIR. Les variantes prises en charge sont identiques à celles répertoriées dans Variantes ci-dessus. Une fois que vous avez installé la version souhaitée de PyTorch, vous pouvez utiliser la commande suivante pour installer le package nocturne correspondant (affiché pour PyTorch 2.5.1 et la variante cu124 ) :
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cu124fairseq2 dépend de libsndfile, qui peut être installé via Homebrew :
brew install libsndfilePour installer fairseq2 sur des ordinateurs Mac basés sur ARM64 (c'est-à-dire Apple Silicon), exécutez :
pip install fairseq2Cette commande installera une version de fairseq2 compatible avec PyTorch hébergé sur PyPI.
Pour le moment, nous ne proposons pas de package prédéfini pour les ordinateurs Mac équipés d'un processeur Intel. Veuillez vous référer à Installer à partir de la source pour savoir comment créer et installer fairseq2 sur des machines Intel.
Outre PyPI, fairseq2 propose également des packages prédéfinis disponibles pour différentes versions de PyTorch hébergées sur le référentiel de packages de FAIR. La matrice suivante montre les combinaisons prises en charge.
| justeseq2 | PyTorch | Python | Cambre |
|---|---|---|---|
0.3.0 | 2.5.1 | >=3.10 , <=3.12 | arm64 |
Pour installer une combinaison spécifique, suivez d'abord les instructions d'installation sur pytorch.org pour la version PyTorch souhaitée, puis utilisez la commande suivante (affichée pour PyTorch 2.5.1 ) :
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cpuAvertissement
fairseq2 s'appuie sur l'API C++ de PyTorch qui n'a pas de compatibilité API/ABI entre les versions. Cela signifie que vous devez installer la variante fairseq2 qui correspond exactement à votre version de PyTorch . Sinon, vous pourriez rencontrer des problèmes tels que des pannes immédiates de processus ou des erreurs de segmentation parasites. Pour la même raison, si vous mettez à niveau votre version de PyTorch, vous devez également mettre à niveau votre installation fairseq2.
Pour macOS, nous hébergeons également des builds nocturnes sur le référentiel de packages de FAIR. Les variantes prises en charge sont identiques à celles répertoriées dans Variantes ci-dessus. Une fois que vous avez installé la version souhaitée de PyTorch, vous pouvez utiliser la commande suivante pour installer le package nocturne correspondant (affiché pour PyTorch 2.5.1 ) :
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cpufairseq2 n'a pas de support natif pour Windows et il n'est pas prévu de le prendre en charge dans un avenir prévisible. Cependant, vous pouvez utiliser fairseq2 via le sous-système Windows pour Linux (alias WSL) ainsi que la prise en charge complète de CUDA introduite dans WSL 2. Veuillez suivre les instructions de la section Installation sous Linux pour une installation basée sur WSL.
Voir ici.
Nous apprécions toujours les contributions à fairseq2 ! Veuillez vous référer aux directives de contribution pour savoir comment formater, tester et soumettre votre travail.
Si vous utilisez fairseq2 dans votre recherche et souhaitez y faire référence, veuillez utiliser l'entrée BibTeX suivante.
@software{balioglu2023fairseq2,
author = {Can Balioglu},
title = {fairseq2},
url = {http://github.com/facebookresearch/fairseq2},
year = {2023},
}
Ce projet est sous licence MIT, comme indiqué dans le fichier LICENSE.
