fairseq2
v0.2.0
Документация: Стабильная, Ночная | Установка: Linux, macOS, Windows, из исходного кода | Внесите свой вклад: Рекомендации
fairseq2 — это набор инструментов для моделирования последовательностей, который позволяет исследователям и разработчикам обучать собственные модели для перевода, реферирования, языкового моделирования и других задач создания контента. Это также преемник fairseq.
Посетите наш сайт документации.
Чтобы узнать о последних изменениях, вы можете просмотреть наш журнал изменений.
На сегодняшний день в fairseq2 доступны следующие модели:
fairseq2 также используется различными внешними проектами, такими как:
fairseq2 зависит от libsndfile, который можно установить через системный менеджер пакетов в большинстве дистрибутивов Linux. Для систем на базе Ubuntu запустите:
sudo apt install libsndfile1Аналогично в Fedora запустите:
sudo dnf install libsndfileДля других дистрибутивов Linux обратитесь к документации по установке пакетов.
Чтобы установить fairseq2 в Linux x86-64, запустите:
pip install fairseq2Эта команда установит версию fairseq2, совместимую с PyTorch, размещенным на PyPI.
В настоящее время мы не предлагаем готовый пакет для систем на базе ARM, таких как Raspberry PI или NVIDIA Jetson. Пожалуйста, обратитесь к разделу «Установка из исходного кода», чтобы узнать, как собрать и установить fairseq2 в этих системах.
Помимо PyPI, fairseq2 также имеет готовые пакеты, доступные для различных версий PyTorch и CUDA, размещенные в репозитории пакетов FAIR. В следующей матрице показаны поддерживаемые комбинации.
| ярмарка2 | PyTorch | Питон | Вариант* | Арка |
|---|---|---|---|---|
HEAD | 2.5.0 , 2.5.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 |
2.4.0 , 2.4.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 | |
2.3.0 , 2.3.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 | x86_64 | |
0.3.0 | 2.5.0 , 2.5.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 |
2.4.0 , 2.4.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 | |
2.3.0 , 2.3.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 | x86_64 | |
0.2.0 | 2.1.1 | >=3.8 , <=3.11 | cpu , cu118 , cu121 | x86_64 |
2.0.1 | >=3.8 , <=3.11 | cpu , cu117 , cu118 | x86_64 | |
1.13.1 | >=3.8 , <=3.10 | cpu , cu116 | x86_64 |
* cuXYZ относится к CUDA XY.Z (например, cu118 означает CUDA 11.8)
Чтобы установить определенную комбинацию, сначала следуйте инструкциям по установке на сайте pytorch.org для нужной версии PyTorch, а затем используйте следующую команду (показана для PyTorch 2.5.1 и варианта cu124 ):
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cu124Предупреждение
fairseq2 опирается на C++ API PyTorch, который не имеет совместимости API/ABI между выпусками. Это означает, что вам необходимо установить вариант fairseq2, который точно соответствует вашей версии PyTorch . В противном случае вы можете столкнуться с такими проблемами, как немедленные сбои процессов или ложные сбои сегментов. По той же причине, если вы обновляете версию PyTorch, вам также необходимо обновить установку fairseq2.
Для Linux мы также размещаем ежевечерние сборки в репозитории пакетов FAIR. Поддерживаемые варианты идентичны тем, которые перечислены в разделе «Варианты» выше. После установки нужной версии PyTorch вы можете использовать следующую команду для установки соответствующего ночного пакета (показано для PyTorch 2.5.1 и варианта cu124 ):
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cu124fairseq2 зависит от libsndfile, который можно установить через Homebrew:
brew install libsndfileЧтобы установить fairseq2 на компьютерах Mac на базе ARM64 (т. е. Apple Silicon), запустите:
pip install fairseq2Эта команда установит версию fairseq2, совместимую с PyTorch, размещенным на PyPI.
В настоящее время мы не предлагаем готовый пакет для компьютеров Mac на базе процессоров Intel. Пожалуйста, обратитесь к разделу «Установка из исходного кода», чтобы узнать, как собрать и установить fairseq2 на компьютерах Intel.
Помимо PyPI, fairseq2 также имеет готовые пакеты, доступные для различных версий PyTorch, размещенные в репозитории пакетов FAIR. В следующей матрице показаны поддерживаемые комбинации.
| ярмарка2 | PyTorch | Питон | Арка |
|---|---|---|---|
0.3.0 | 2.5.1 | >=3.10 , <=3.12 | arm64 |
Чтобы установить определенную комбинацию, сначала следуйте инструкциям по установке на сайте pytorch.org для нужной версии PyTorch, а затем используйте следующую команду (показана для PyTorch 2.5.1 ):
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cpuПредупреждение
fairseq2 опирается на C++ API PyTorch, который не имеет совместимости API/ABI между выпусками. Это означает, что вам необходимо установить вариант fairseq2, который точно соответствует вашей версии PyTorch . В противном случае вы можете столкнуться с такими проблемами, как немедленные сбои процессов или ложные сбои сегментов. По той же причине, если вы обновляете версию PyTorch, вам также необходимо обновить установку fairseq2.
Для macOS мы также размещаем ночные сборки в репозитории пакетов FAIR. Поддерживаемые варианты идентичны тем, которые перечислены в разделе «Варианты» выше. После установки нужной версии PyTorch вы можете использовать следующую команду для установки соответствующего ночного пакета (показано для PyTorch 2.5.1 ):
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cpufairseq2 не имеет встроенной поддержки Windows, и в обозримом будущем ее поддержка не планируется. Однако вы можете использовать fairseq2 через подсистему Windows для Linux (также известную как WSL) вместе с полной поддержкой CUDA, представленной в WSL 2. Следуйте инструкциям в разделе «Установка в Linux» для установки на основе WSL.
Смотрите здесь.
Мы всегда приветствуем вклад в fairseq2! Пожалуйста, обратитесь к Руководству по участию, чтобы узнать, как форматировать, тестировать и отправлять свою работу.
Если вы используете fairseq2 в своих исследованиях и хотите сослаться на него, используйте следующую запись BibTeX.
@software{balioglu2023fairseq2,
author = {Can Balioglu},
title = {fairseq2},
url = {http://github.com/facebookresearch/fairseq2},
year = {2023},
}
Этот проект имеет лицензию MIT, как указано в файле LICENSE.
