fairseq2
v0.2.0
Documentación: estable, todas las noches | Instalar: Linux, macOS, Windows, desde la fuente | Contribuir: Directrices
fairseq2 es un conjunto de herramientas de modelado de secuencias que permite a investigadores y desarrolladores entrenar modelos personalizados para traducción, resumen, modelado de lenguaje y otras tareas de generación de contenido. También es el sucesor de fairseq.
Visite nuestro sitio web de documentación.
Para cambios recientes, puede consultar nuestro registro de cambios.
A día de hoy, los siguientes modelos están disponibles en fairseq2:
fairseq2 también es utilizado por varios proyectos externos como:
fairseq2 depende de libsndfile, que se puede instalar a través del administrador de paquetes del sistema en la mayoría de las distribuciones de Linux. Para sistemas basados en Ubuntu, ejecute:
sudo apt install libsndfile1De manera similar, en Fedora, ejecute:
sudo dnf install libsndfilePara otras distribuciones de Linux, consulte su documentación sobre cómo instalar paquetes.
Para instalar fairseq2 en Linux x86-64, ejecute:
pip install fairseq2Este comando instalará una versión de fairseq2 que es compatible con PyTorch alojado en PyPI.
En este momento, no ofrecemos un paquete prediseñado para sistemas basados en ARM como Raspberry PI o NVIDIA Jetson. Consulte Instalar desde el código fuente para aprender cómo compilar e instalar fairseq2 en esos sistemas.
Además de PyPI, fairseq2 también tiene paquetes prediseñados disponibles para diferentes versiones de PyTorch y CUDA alojados en el repositorio de paquetes de FAIR. La siguiente matriz muestra las combinaciones admitidas.
| feriaseq2 | PyTorch | Pitón | Variante* | Arco |
|---|---|---|---|---|
HEAD | 2.5.0 , 2.5.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 |
2.4.0 , 2.4.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 | |
2.3.0 , 2.3.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 | x86_64 | |
0.3.0 | 2.5.0 , 2.5.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 |
2.4.0 , 2.4.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 | |
2.3.0 , 2.3.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 | x86_64 | |
0.2.0 | 2.1.1 | >=3.8 , <=3.11 | cpu , cu118 , cu121 | x86_64 |
2.0.1 | >=3.8 , <=3.11 | cpu , cu117 , cu118 | x86_64 | |
1.13.1 | >=3.8 , <=3.10 | cpu , cu116 | x86_64 |
* cuXYZ se refiere a CUDA XY.Z (por ejemplo, cu118 significa CUDA 11.8)
Para instalar una combinación específica, primero siga las instrucciones de instalación en pytorch.org para la versión de PyTorch deseada y luego use el siguiente comando (que se muestra para PyTorch 2.5.1 y la variante cu124 ):
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cu124Advertencia
fairseq2 se basa en la API C++ de PyTorch, que no tiene compatibilidad API/ABI entre versiones. Esto significa que debe instalar la variante fairseq2 que coincida exactamente con su versión de PyTorch . De lo contrario, podría experimentar problemas como fallos inmediatos del proceso o fallos de segmentación falsos. Por la misma razón, si actualiza su versión de PyTorch, también debe actualizar su instalación de fairseq2.
Para Linux, también alojamos compilaciones nocturnas en el repositorio de paquetes de FAIR. Las variantes admitidas son idénticas a las enumeradas en Variantes arriba. Una vez que haya instalado la versión deseada de PyTorch, puede usar el siguiente comando para instalar el paquete nocturno correspondiente (que se muestra para PyTorch 2.5.1 y la variante cu124 ):
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cu124fairseq2 depende de libsndfile, que se puede instalar a través de Homebrew:
brew install libsndfilePara instalar fairseq2 en computadoras Mac basadas en ARM64 (es decir, Apple Silicon), ejecute:
pip install fairseq2Este comando instalará una versión de fairseq2 que es compatible con PyTorch alojado en PyPI.
En este momento, no ofrecemos un paquete prediseñado para computadoras Mac con procesador Intel. Consulte Instalar desde el código fuente para aprender cómo compilar e instalar fairseq2 en máquinas Intel.
Además de PyPI, fairseq2 también tiene paquetes prediseñados disponibles para diferentes versiones de PyTorch alojadas en el repositorio de paquetes de FAIR. La siguiente matriz muestra las combinaciones admitidas.
| feriaseq2 | PyTorch | Pitón | Arco |
|---|---|---|---|
0.3.0 | 2.5.1 | >=3.10 , <=3.12 | arm64 |
Para instalar una combinación específica, primero siga las instrucciones de instalación en pytorch.org para la versión de PyTorch deseada y luego use el siguiente comando (que se muestra para PyTorch 2.5.1 ):
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cpuAdvertencia
fairseq2 se basa en la API C++ de PyTorch, que no tiene compatibilidad API/ABI entre versiones. Esto significa que debe instalar la variante fairseq2 que coincida exactamente con su versión de PyTorch . De lo contrario, podría experimentar problemas como fallos inmediatos del proceso o fallos de segmentación falsos. Por la misma razón, si actualiza su versión de PyTorch, también debe actualizar su instalación de fairseq2.
Para macOS, también alojamos compilaciones nocturnas en el repositorio de paquetes de FAIR. Las variantes admitidas son idénticas a las enumeradas en Variantes arriba. Una vez que haya instalado la versión deseada de PyTorch, puede usar el siguiente comando para instalar el paquete nocturno correspondiente (que se muestra para PyTorch 2.5.1 ):
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cpufairseq2 no tiene soporte nativo para Windows y no hay planes para admitirlo en el futuro previsible. Sin embargo, puede usar fairseq2 a través del subsistema de Windows para Linux (también conocido como WSL) junto con la compatibilidad total con CUDA introducida en WSL 2. Siga las instrucciones en la sección Instalación en Linux para una instalación basada en WSL.
Ver aquí.
¡Siempre damos la bienvenida a las contribuciones a fairseq2! Consulte las Pautas de contribución para saber cómo formatear, probar y enviar su trabajo.
Si utiliza fairseq2 en su investigación y desea consultarlo, utilice la siguiente entrada de BibTeX.
@software{balioglu2023fairseq2,
author = {Can Balioglu},
title = {fairseq2},
url = {http://github.com/facebookresearch/fairseq2},
year = {2023},
}
Este proyecto tiene licencia MIT, como se encuentra en el archivo LICENCIA.
