文档:稳定,每晚|安装:Linux、macOS、Windows、从源代码|贡献:指南
fairseq2 是一个序列建模工具包,允许研究人员和开发人员训练用于翻译、摘要、语言建模和其他内容生成任务的自定义模型。它也是 fairseq 的继承者。
访问我们的文档网站。
对于最近的更改,您可以查看我们的更改日志。
截至今天,fairseq2 中提供了以下模型:
fairseq2 还被各种外部项目使用,例如:
fairseq2 依赖于 libsndfile,它可以通过大多数 Linux 发行版上的系统包管理器安装。对于基于 Ubuntu 的系统,运行:
sudo apt install libsndfile1
同样,在 Fedora 上,运行:
sudo dnf install libsndfile
对于其他 Linux 发行版,请查阅其有关如何安装软件包的文档。
要在 Linux x86-64 上安装 fairseq2,请运行:
pip install fairseq2
此命令将安装与 PyPI 上托管的 PyTorch 兼容的 fairseq2 版本。
目前,我们不为基于 ARM 的系统(例如 Raspberry PI 或 NVIDIA Jetson)提供预构建包。请参阅从源代码安装以了解如何在这些系统上构建和安装 fairseq2。
除了 PyPI 之外,fairseq2 还具有可用于 FAIR 包存储库上托管的不同 PyTorch 和 CUDA 版本的预构建包。以下矩阵显示了支持的组合。
公平序列2 | 火炬 | Python | 变体* | 拱 |
---|---|---|---|---|
HEAD | 2.5.0 , 2.5.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 |
2.4.0 2.4.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 | |
2.3.0 2.3.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 | x86_64 | |
0.3.0 | 2.5.0 , 2.5.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 |
2.4.0 2.4.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 | |
2.3.0 2.3.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 | x86_64 | |
0.2.0 | 2.1.1 | >=3.8 , <=3.11 | cpu , cu118 , cu121 | x86_64 |
2.0.1 | >=3.8 , <=3.11 | cpu , cu117 , cu118 | x86_64 | |
1.13.1 | >=3.8 , <=3.10 | cpu , cu116 | x86_64 |
* cuXYZ 指 CUDA XY.Z(例如 cu118 表示 CUDA 11.8)
要安装特定组合,请首先按照 pytorch.org 上所需 PyTorch 版本的安装说明进行操作,然后使用以下命令(针对 PyTorch 2.5.1
和变体cu124
显示):
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cu124
警告
fairseq2 依赖于 PyTorch 的 C++ API,该 API 在版本之间没有 API/ABI 兼容性。这意味着您必须安装与您的 PyTorch 版本完全匹配的 fairseq2 变体。否则,您可能会遇到诸如进程立即崩溃或虚假段错误之类的问题。出于同样的原因,如果您升级 PyTorch 版本,则还必须升级 fairseq2 安装。
对于 Linux,我们还在 FAIR 的软件包存储库上托管夜间构建。支持的变体与上面的变体中列出的相同。安装所需的 PyTorch 版本后,您可以使用以下命令安装相应的 nightly 软件包(针对 PyTorch 2.5.1
和变体cu124
显示):
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cu124
fairseq2 依赖于 libsndfile,可以通过 Homebrew 安装:
brew install libsndfile
要在基于 ARM64(即 Apple 芯片)的 Mac 计算机上安装 fairseq2,请运行:
pip install fairseq2
此命令将安装与 PyPI 上托管的 PyTorch 兼容的 fairseq2 版本。
目前,我们不提供适用于基于 Intel 的 Mac 计算机的预构建软件包。请参阅从源代码安装以了解如何在 Intel 机器上构建和安装 fairseq2。
除了 PyPI 之外,fairseq2 还具有可用于 FAIR 包存储库上托管的不同 PyTorch 版本的预构建包。以下矩阵显示了支持的组合。
公平序列2 | 火炬 | Python | 拱 |
---|---|---|---|
0.3.0 | 2.5.1 | >=3.10 , <=3.12 | arm64 |
要安装特定组合,请首先按照 pytorch.org 上所需 PyTorch 版本的安装说明进行操作,然后使用以下命令(针对 PyTorch 2.5.1
显示):
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cpu
警告
fairseq2 依赖于 PyTorch 的 C++ API,该 API 在版本之间没有 API/ABI 兼容性。这意味着您必须安装与您的 PyTorch 版本完全匹配的 fairseq2 变体。否则,您可能会遇到诸如进程立即崩溃或虚假段错误之类的问题。出于同样的原因,如果您升级 PyTorch 版本,则还必须升级 fairseq2 安装。
对于 macOS,我们还在 FAIR 的包存储库上托管夜间构建。支持的变体与上面的变体中列出的相同。安装所需的 PyTorch 版本后,您可以使用以下命令安装相应的 nightly 软件包(以 PyTorch 2.5.1
为例):
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cpu
fairseq2 没有对 Windows 的本机支持,并且在可预见的将来也没有计划支持它。但是,您可以通过适用于 Linux 的 Windows 子系统(又名 WSL)以及 WSL 2 中引入的完整 CUDA 支持来使用 fairseq2。请按照“在 Linux 上安装”部分中的说明进行基于 WSL 的安装。
请参阅此处。
我们始终欢迎对 fairseq2 做出贡献!请参阅贡献指南,了解如何格式化、测试和提交您的作品。
如果您在研究中使用 fairseq2 并希望参考它,请使用以下 BibTeX 条目。
@software{balioglu2023fairseq2,
author = {Can Balioglu},
title = {fairseq2},
url = {http://github.com/facebookresearch/fairseq2},
year = {2023},
}
该项目已获得 MIT 许可,如 LICENSE 文件中所示。