fairseq2
v0.2.0
ドキュメント: 安定版、毎晩|インストール: Linux、macOS、Windows、ソースから|貢献: ガイドライン
Fairseq2 は、研究者や開発者が翻訳、要約、言語モデリング、その他のコンテンツ生成タスク用にカスタム モデルをトレーニングできるようにするシーケンス モデリング ツールキットです。これは、fairseq の後継でもあります。
弊社のドキュメント Web サイトにアクセスしてください。
最近の変更については、変更履歴をチェックしてください。
現在、fairseq2 では次のモデルが利用可能です。
Fairseq2 は、次のようなさまざまな外部プロジェクトでも使用されます。
Fairseq2 は libsndfile に依存しており、ほとんどの Linux ディストリビューションのシステム パッケージ マネージャーを介してインストールできます。 Ubuntu ベースのシステムの場合は、次を実行します。
sudo apt install libsndfile1同様に、Fedora で次を実行します。
sudo dnf install libsndfile他の Linux ディストリビューションの場合は、パッケージのインストール方法についてそのドキュメントを参照してください。
Linux x86-64 に Fairseq2 をインストールするには、次のコマンドを実行します。
pip install fairseq2このコマンドは、PyPI でホストされている PyTorch と互換性のあるバージョンの Fairseq2 をインストールします。
現時点では、Raspberry PI や NVIDIA Jetson などの ARM ベース システム用の事前構築済みパッケージは提供していません。これらのシステムに Faireq2 をビルドしてインストールする方法については、「ソースからのインストール」を参照してください。
PyPI に加えて、fairseq2 には、FAIR のパッケージ リポジトリでホストされているさまざまな PyTorch および CUDA バージョンで利用できるビルド済みパッケージもあります。次のマトリックスは、サポートされている組み合わせを示しています。
| フェアセク2 | パイトーチ | パイソン | 変異体* | アーチ |
|---|---|---|---|---|
HEAD | 2.5.0 2.5.1 | >=3.10 、 <=3.12 | cpu 、 cu118 、 cu121 、 cu124 | x86_64 |
2.4.0 2.4.1 | >=3.10 、 <=3.12 | cpu 、 cu118 、 cu121 、 cu124 | x86_64 | |
2.3.0 2.3.1 | >=3.10 、 <=3.12 | cpu 、 cu118 、 cu121 | x86_64 | |
0.3.0 | 2.5.0 2.5.1 | >=3.10 、 <=3.12 | cpu 、 cu118 、 cu121 、 cu124 | x86_64 |
2.4.0 2.4.1 | >=3.10 、 <=3.12 | cpu 、 cu118 、 cu121 、 cu124 | x86_64 | |
2.3.0 2.3.1 | >=3.10 、 <=3.12 | cpu 、 cu118 、 cu121 | x86_64 | |
0.2.0 | 2.1.1 | >=3.8 、 <=3.11 | cpu 、 cu118 、 cu121 | x86_64 |
2.0.1 | >=3.8 、 <=3.11 | cpu 、 cu117 、 cu118 | x86_64 | |
1.13.1 | >=3.8 、 <=3.10 | cpu 、 cu116 | x86_64 |
* cuXYZ は CUDA XY.Z を指します (例、cu118 は CUDA 11.8 を意味します)
特定の組み合わせをインストールするには、まず pytorch.org で目的の PyTorch バージョンのインストール手順に従い、次に次のコマンドを使用します (PyTorch 2.5.1およびバリアントcu124の場合に示されています)。
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cu124警告
Fairseq2 は、リリース間で API/ABI の互換性がない PyTorch の C++ API に依存しています。これは、PyTorch バージョンと正確に一致する Fairseq2 バリアントをインストールする必要があることを意味します。そうしないと、即時プロセスのクラッシュや誤ったセグメンテーション違反などの問題が発生する可能性があります。同じ理由で、PyTorch バージョンをアップグレードする場合は、fairseq2 インストールもアップグレードする必要があります。
Linux については、FAIR のパッケージ リポジトリで夜間ビルドもホストしています。サポートされているバリアントは、上記のバリアントにリストされているものと同じです。目的の PyTorch バージョンをインストールしたら、次のコマンドを使用して、対応する Nightly パッケージ (PyTorch 2.5.1およびバリアントcu124の場合に表示) をインストールできます。
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cu124Fairseq2 は libsndfile に依存しており、Homebrew 経由でインストールできます。
brew install libsndfileARM64 ベース (つまり Apple シリコン) の Mac コンピュータに Faireq2 をインストールするには、次のコマンドを実行します。
pip install fairseq2このコマンドは、PyPI でホストされている PyTorch と互換性のあるバージョンの Fairseq2 をインストールします。
現時点では、Intel ベースの Mac コンピュータ用の事前構築済みパッケージは提供されていません。 Intel マシン上で Fairseq2 をビルドしてインストールする方法については、「ソースからのインストール」を参照してください。
PyPI に加えて、fairseq2 には、FAIR のパッケージ リポジトリでホストされているさまざまな PyTorch バージョンで利用できるビルド済みパッケージもあります。次のマトリックスは、サポートされている組み合わせを示しています。
| フェアセク2 | パイトーチ | パイソン | アーチ |
|---|---|---|---|
0.3.0 | 2.5.1 | >=3.10 、 <=3.12 | arm64 |
特定の組み合わせをインストールするには、まず pytorch.org で目的の PyTorch バージョンのインストール手順に従い、次に次のコマンドを使用します ( PyTorch 2.5.1の場合を示します)。
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cpu警告
Fairseq2 は、リリース間で API/ABI の互換性がない PyTorch の C++ API に依存しています。これは、PyTorch バージョンと正確に一致する Fairseq2 バリアントをインストールする必要があることを意味します。そうしないと、即時プロセスのクラッシュや誤ったセグメンテーション違反などの問題が発生する可能性があります。同じ理由で、PyTorch バージョンをアップグレードする場合は、fairseq2 インストールもアップグレードする必要があります。
macOS の場合は、FAIR のパッケージ リポジトリで夜間ビルドもホストします。サポートされているバリアントは、上記のバリアントにリストされているものと同じです。目的の PyTorch バージョンをインストールしたら、次のコマンドを使用して、対応する Nightly パッケージ ( PyTorch 2.5.1の場合を示します) をインストールできます。
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cpuFairseq2 には Windows のネイティブ サポートがなく、近い将来サポートする予定もありません。ただし、Windows Subsystem for Linux (別名 WSL) 経由で、WSL 2 で導入された完全な CUDA サポートとともに、fairseq2 を使用できます。WSL ベースのインストールについては、「Linux へのインストール」セクションの手順に従ってください。
ここを参照してください。
私たちは、fairseq2 への貢献を常に歓迎しています。作品のフォーマット、テスト、提出方法については、投稿ガイドラインを参照してください。
研究でfairseq2を使用し、それを参照したい場合は、次のBibTeXエントリを使用してください。
@software{balioglu2023fairseq2,
author = {Can Balioglu},
title = {fairseq2},
url = {http://github.com/facebookresearch/fairseq2},
year = {2023},
}
LICENSE ファイルにあるように、このプロジェクトは MIT ライセンスを取得しています。
