fairseq2
v0.2.0
문서: 안정적, 야간 | 설치: Linux, macOS, Windows, 소스에서 | 기여: 지침
fairseq2는 연구원과 개발자가 번역, 요약, 언어 모델링 및 기타 콘텐츠 생성 작업을 위한 사용자 정의 모델을 교육할 수 있는 시퀀스 모델링 툴킷입니다. 또한 fairseq의 후속 제품이기도 합니다.
설명서 웹사이트를 방문하세요.
최근 변경 사항은 변경 로그를 확인하세요.
현재 fairseq2에서는 다음 모델을 사용할 수 있습니다.
fairseq2는 다음과 같은 다양한 외부 프로젝트에서도 사용됩니다.
fairseq2는 대부분의 Linux 배포판에서 시스템 패키지 관리자를 통해 설치할 수 있는 libsndfile에 의존합니다. Ubuntu 기반 시스템의 경우 다음을 실행합니다.
sudo apt install libsndfile1마찬가지로 Fedora에서는 다음을 실행합니다.
sudo dnf install libsndfile다른 Linux 배포판의 경우 패키지 설치 방법에 대한 설명서를 참조하세요.
Linux x86-64에 fairseq2를 설치하려면 다음을 실행하세요.
pip install fairseq2이 명령은 PyPI에서 호스팅되는 PyTorch와 호환되는 fairseq2 버전을 설치합니다.
현재로서는 Raspberry PI 또는 NVIDIA Jetson과 같은 ARM 기반 시스템용으로 사전 구축된 패키지를 제공하지 않습니다. 해당 시스템에서 fairseq2를 빌드하고 설치하는 방법을 알아보려면 소스에서 설치를 참조하세요.
PyPI 외에도 fairseq2에는 FAIR의 패키지 저장소에서 호스팅되는 다양한 PyTorch 및 CUDA 버전에 사용할 수 있는 사전 빌드된 패키지도 있습니다. 다음 매트릭스는 지원되는 조합을 보여줍니다.
| 공정한 순서2 | 파이토치 | 파이썬 | 변종* | 아치 |
|---|---|---|---|---|
HEAD | 2.5.0 , 2.5.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 |
2.4.0 , 2.4.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 | |
2.3.0 , 2.3.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 | x86_64 | |
0.3.0 | 2.5.0 , 2.5.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 |
2.4.0 , 2.4.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 , cu124 | x86_64 | |
2.3.0 , 2.3.1 | >=3.10 , <=3.12 | cpu , cu118 , cu121 | x86_64 | |
0.2.0 | 2.1.1 | >=3.8 , <=3.11 | cpu , cu118 , cu121 | x86_64 |
2.0.1 | >=3.8 , <=3.11 | cpu , cu117 , cu118 | x86_64 | |
1.13.1 | >=3.8 , <=3.10 | cpu , cu116 | x86_64 |
* cuXYZ는 CUDA XY.Z를 나타냅니다(예: cu118은 CUDA 11.8을 의미함).
특정 조합을 설치하려면 먼저 원하는 PyTorch 버전에 대한 pytorch.org의 설치 지침을 따른 후 다음 명령을 사용하십시오(PyTorch 2.5.1 및 변형 cu124 에 대해 표시됨).
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cu124경고
fairseq2는 릴리스 간 API/ABI 호환성이 없는 PyTorch의 C++ API를 사용합니다. 이는 PyTorch 버전과 정확히 일치하는 fairseq2 변형을 설치해야 함 을 의미합니다. 그렇지 않으면 즉각적인 프로세스 충돌이나 허위 세그폴트와 같은 문제가 발생할 수 있습니다. 같은 이유로 PyTorch 버전을 업그레이드하는 경우 fairseq2 설치도 업그레이드해야 합니다.
Linux의 경우 FAIR의 패키지 저장소에서 야간 빌드도 호스팅합니다. 지원되는 변형은 위의 변형 에 나열된 것과 동일합니다. 원하는 PyTorch 버전을 설치한 후에는 다음 명령을 사용하여 해당 nightly 패키지를 설치할 수 있습니다(PyTorch 2.5.1 및 변형 cu124 에 대해 표시됨).
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cu124fairseq2는 Homebrew를 통해 설치할 수 있는 libsndfile에 의존합니다.
brew install libsndfileARM64 기반(예: Apple 실리콘) Mac 컴퓨터에 fairseq2를 설치하려면 다음을 실행하세요.
pip install fairseq2이 명령은 PyPI에서 호스팅되는 PyTorch와 호환되는 fairseq2 버전을 설치합니다.
현재로서는 Intel 기반 Mac 컴퓨터용으로 사전 구축된 패키지를 제공하지 않습니다. Intel 시스템에서 fairseq2를 빌드하고 설치하는 방법을 알아보려면 소스에서 설치를 참조하세요.
PyPI 외에도 fairseq2에는 FAIR의 패키지 저장소에서 호스팅되는 다양한 PyTorch 버전에 사용할 수 있는 사전 빌드된 패키지도 있습니다. 다음 매트릭스는 지원되는 조합을 보여줍니다.
| 공정한 순서2 | 파이토치 | 파이썬 | 아치 |
|---|---|---|---|
0.3.0 | 2.5.1 | >=3.10 , <=3.12 | arm64 |
특정 조합을 설치하려면 먼저 원하는 PyTorch 버전에 대한 pytorch.org의 설치 지침을 따른 후 다음 명령을 사용하십시오(PyTorch 2.5.1 에 표시됨).
pip install fairseq2
--extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.5.1/cpu경고
fairseq2는 릴리스 간 API/ABI 호환성이 없는 PyTorch의 C++ API를 사용합니다. 이는 PyTorch 버전과 정확히 일치하는 fairseq2 변형을 설치해야 함 을 의미합니다. 그렇지 않으면 즉각적인 프로세스 충돌이나 허위 세그폴트와 같은 문제가 발생할 수 있습니다. 같은 이유로 PyTorch 버전을 업그레이드하는 경우 fairseq2 설치도 업그레이드해야 합니다.
macOS의 경우 FAIR의 패키지 저장소에서 야간 빌드도 호스팅합니다. 지원되는 변형은 위의 변형 에 나열된 것과 동일합니다. 원하는 PyTorch 버전을 설치한 후에는 다음 명령을 사용하여 해당 nightly 패키지를 설치할 수 있습니다(PyTorch 2.5.1 에 표시됨).
pip install fairseq2
--pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/nightly/pt2.5.1/cpufairseq2는 Windows를 기본적으로 지원하지 않으며 가까운 미래에 이를 지원할 계획도 없습니다. 그러나 WSL 2에 도입된 전체 CUDA 지원과 함께 Linux용 Windows 하위 시스템(WSL이라고도 함)을 통해 fairseq2를 사용할 수 있습니다. WSL 기반 설치를 위해서는 Linux에 설치 섹션의 지침을 따르세요.
여기를 참조하세요.
우리는 fairseq2에 대한 기여를 언제나 환영합니다! 작업 형식을 지정하고, 테스트하고, 제출하는 방법을 알아보려면 기여 지침을 참조하세요.
Fairseq2를 연구에 사용하고 참고하고 싶다면 다음 BibTeX 항목을 사용하세요.
@software{balioglu2023fairseq2,
author = {Can Balioglu},
title = {fairseq2},
url = {http://github.com/facebookresearch/fairseq2},
year = {2023},
}
이 프로젝트는 LICENSE 파일에 있는 것처럼 MIT 라이선스를 받았습니다.
