pytorch gpu genai project
1.0.0
PyTorch 생태계를 사용하는 GPU 가속 기능을 갖춘 Python 3 기반 생성 AI 프로젝트용 스캐폴딩이 포함된 저장소입니다.
이 템플릿에서 새 프로젝트 저장소를 생성하려면 지침을 따르기만 하면 됩니다.
프로젝트 구성은 과학 컴퓨팅을 위한 Good Enough Practices 의 아이디어를 기반으로 합니다.
bin 디렉터리에 넣습니다.data 디렉터리에 넣습니다.doc 디렉터리에 넣습니다.docker 디렉터리에 넣습니다.env 디렉터리에 설치합니다.notebooks 디렉토리에 넣습니다.results 디렉터리에 넣습니다.src 디렉터리에 프로젝트 소스 코드를 넣습니다. conda 를 통해 environment.yml 파일에 다운로드해야 하는 필수 종속성과 pip 통해 requirements.txt 파일에 다운로드해야 하는 모든 종속성을 추가한 후 프로젝트 디렉터리의 하위 디렉터리 ./env 에 Conda 환경을 생성합니다. 다음 명령을 실행합니다.
export ENV_PREFIX= $PWD /env
mamba env create --prefix $ENV_PREFIX --file environment.yml --force새 환경이 생성되면 다음 명령을 사용하여 환경을 활성화할 수 있습니다.
conda activate $ENV_PREFIX ENV_PREFIX 디렉토리는 필요에 따라 항상 다시 생성될 수 있으므로 버전 제어 대상이 아닙니다 .
귀하의 편의를 위해 이러한 명령은 쉘 스크립트 ./bin/create-conda-env.sh 에 결합되었습니다. 셸 스크립트를 실행하면 Conda 환경이 생성되고, Conda 환경이 활성화되며, 추가 확장 기능을 사용하여 JupyterLab이 빌드됩니다. 스크립트는 다음과 같이 프로젝트 루트 디렉터리에서 실행되어야 합니다.
./bin/create-conda-env.sh Ibex에서 Conda 환경을 구축하는 가장 효율적인 방법은 Slurm을 통해 디버그 파티션에서 환경 생성 스크립트를 작업으로 실행하는 것입니다. 귀하의 편의를 위해 Slurm 작업 스크립트 ./bin/create-conda-env.sbatch 가 포함되어 있습니다. 스크립트는 다음과 같이 프로젝트 루트 디렉터리에서 실행되어야 합니다.
sbatch ./bin/create-conda-env.sbatch 프로젝트에 대한 명시적 종속성 목록은 environment.yml 파일에 나열됩니다. 환경에 설치된 패키지의 전체 손실을 보려면 다음 명령을 실행하십시오.
conda list --prefix $ENV_PREFIX 환경이 이미 생성된 후 environment.yml 파일 또는 requirements.txt 파일에 종속성을 추가(제거)하는 경우 다음 명령을 사용하여 환경을 다시 생성할 수 있습니다.
$ mamba env create --prefix $ENV_PREFIX --file environment.yml --force프로젝트에 대한 Docker 이미지를 구축하고 GPU 가속을 사용하여 컨테이너를 실행하려면 Docker, Docker Compose 및 NVIDIA Docker 런타임을 설치해야 합니다.
Docker를 사용하여 컨테이너를 빌드하고 이미지화하고 실행하는 방법에 대한 자세한 지침은 docker/README.md 에서 확인할 수 있습니다.
