fairseq2
v0.2.0
Documentação: Estável, Noturno | Instalar: Linux, macOS, Windows, da fonte | Contribuir: Diretrizes
fairseq2 é um kit de ferramentas de modelagem de sequência que permite que pesquisadores e desenvolvedores treinem modelos personalizados para tradução, resumo, modelagem de linguagem e outras tarefas de geração de conteúdo. É também o sucessor do fairseq.
Visite nosso site de documentação.
Para mudanças recentes, você pode conferir nosso changelog.
A partir de hoje, os seguintes modelos estão disponíveis no fairseq2:
fairseq2 também é usado por vários projetos externos, como:
fairseq2 depende do libsndfile, que pode ser instalado através do gerenciador de pacotes do sistema na maioria das distribuições Linux. Para sistemas baseados em Ubuntu, execute:
sudo apt install libsndfile1Da mesma forma, no Fedora, execute:
sudo dnf install libsndfilePara outras distribuições Linux, consulte a documentação sobre como instalar pacotes.
Para instalar o fairseq2 no Linux x86-64, execute:
pip install fairseq2Este comando instalará uma versão do fairseq2 compatível com PyTorch hospedado no PyPI.
No momento, não oferecemos um pacote pré-construído para sistemas baseados em ARM, como Raspberry PI ou NVIDIA Jetson. Consulte Instalar a partir do código-fonte para saber como construir e instalar o fairseq2 nesses sistemas.
Além do PyPI, o fairseq2 também possui pacotes pré-construídos disponíveis para diferentes versões do PyTorch e CUDA hospedadas no repositório de pacotes do FAIR. A matriz a seguir mostra as combinações suportadas.
| fairseq2 | PyTorch | Pitão | Variante* | Arco |
|---|---|---|---|---|
HEAD | 2.5.0 , 2.5.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 |
2.4.0 , 2.4.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 | |
2.3.0 , 2.3.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 | x86_64 | |
0.3.0 | 2.5.0 , 2.5.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 |
2.4.0 , 2.4.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 | |
2.3.0 , 2.3.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 | x86_64 | |
0.2.0 | 2.1.1 | >=3.8 , <=3.11 | cpu , cu118 , cu121 | x86_64 |
2.0.1 | >=3.8 , <=3.11 | cpu , cu117 , cu118 | x86_64 | |
1.13.1 | >=3.8 , <=3.10 | cpu , cu116 | x86_64 |
* cuXYZ refere-se a CUDA XY.Z (por exemplo, cu118 significa CUDA 11.8)
Para instalar uma combinação específica, primeiro siga as instruções de instalação em pytorch.org para a versão desejada do PyTorch e, em seguida, use o seguinte comando (mostrado para PyTorch 2.5.1 e variante cu124 ):
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cu124Aviso
fairseq2 depende da API C++ do PyTorch, que não tem compatibilidade API/ABI entre as versões. Isso significa que você deve instalar a variante fairseq2 que corresponde exatamente à sua versão do PyTorch . Caso contrário, você poderá enfrentar problemas como falhas imediatas no processo ou falhas de segurança falsas. Pelo mesmo motivo, se você atualizar sua versão do PyTorch, também deverá atualizar a instalação do fairseq2.
Para Linux, também hospedamos compilações noturnas no repositório de pacotes do FAIR. As variantes suportadas são idênticas às listadas em Variantes acima. Depois de instalar a versão desejada do PyTorch, você pode usar o seguinte comando para instalar o pacote noturno correspondente (mostrado para PyTorch 2.5.1 e variante cu124 ):
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cu124fairseq2 depende do libsndfile, que pode ser instalado via Homebrew:
brew install libsndfilePara instalar o fairseq2 em computadores Mac baseados em ARM64 (ou seja, Apple Silicon), execute:
pip install fairseq2Este comando instalará uma versão do fairseq2 compatível com PyTorch hospedado no PyPI.
No momento, não oferecemos um pacote pré-construído para computadores Mac baseados em Intel. Consulte Instalar a partir da fonte para saber como construir e instalar o fairseq2 em máquinas Intel.
Além do PyPI, o fairseq2 também possui pacotes pré-construídos disponíveis para diferentes versões do PyTorch hospedadas no repositório de pacotes do FAIR. A matriz a seguir mostra as combinações suportadas.
| fairseq2 | PyTorch | Pitão | Arco |
|---|---|---|---|
0.3.0 | 2.5.1 | >=3.10 , <=3.12 | arm64 |
Para instalar uma combinação específica, primeiro siga as instruções de instalação em pytorch.org para a versão desejada do PyTorch e, em seguida, use o seguinte comando (mostrado para PyTorch 2.5.1 ):
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cpuAviso
fairseq2 depende da API C++ do PyTorch, que não tem compatibilidade API/ABI entre as versões. Isso significa que você deve instalar a variante fairseq2 que corresponde exatamente à sua versão do PyTorch . Caso contrário, você poderá enfrentar problemas como falhas imediatas no processo ou falhas de segurança falsas. Pelo mesmo motivo, se você atualizar sua versão do PyTorch, também deverá atualizar a instalação do fairseq2.
Para macOS, também hospedamos compilações noturnas no repositório de pacotes do FAIR. As variantes suportadas são idênticas às listadas em Variantes acima. Depois de instalar a versão desejada do PyTorch, você pode usar o seguinte comando para instalar o pacote noturno correspondente (mostrado para PyTorch 2.5.1 ):
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cpufairseq2 não possui suporte nativo para Windows e não há planos de suportá-lo em um futuro próximo. No entanto, você pode usar o fairseq2 por meio do subsistema Windows para Linux (também conhecido como WSL) junto com o suporte completo a CUDA introduzido no WSL 2. Siga as instruções na seção Instalando no Linux para uma instalação baseada em WSL.
Veja aqui.
Sempre recebemos contribuições para fairseq2! Consulte as Diretrizes de Contribuição para saber como formatar, testar e enviar seu trabalho.
Se você usa fairseq2 em sua pesquisa e deseja consultá-lo, use a seguinte entrada do BibTeX.
@software{balioglu2023fairseq2,
author = {Can Balioglu},
title = {fairseq2},
url = {http://github.com/facebookresearch/fairseq2},
year = {2023},
}
Este projeto é licenciado pelo MIT, conforme encontrado no arquivo LICENSE.
