pytorch gpu genai project

pytorch-gpu-genai-項目

儲存庫包含基於 Python 3 的生成 AI 專案的鷹架，並使用 PyTorch 生態系統進行 GPU 加速。

從此範本建立一個新項目

只需按照說明從此範本建立新的專案儲存庫即可。

專案組織

項目組織基於科學計算的良好實踐的想法。

1. 將每個項目放在自己的目錄中，該目錄以項目命名。
2. 將外部腳本或編譯好的程式放在bin目錄下。
3. 將原始資料和元資料放在data目錄中。
4. 將與項目相關的文本文檔放在doc目錄中。
5. 將所有與Docker相關的檔案放在docker目錄下。
6. 將 Conda 環境安裝到env目錄中。
7. 將所有筆記本放入notebooks目錄中。
8. 將清理和分析過程中產生的檔案放入results目錄中。
9. 將專案原始碼放在src目錄下。
10. 命名所有文件以反映其內容或功能。

建構Conda環境

將應透過conda下載的任何必要依賴項新增至environment.yml檔案以及應透過pip下載的任何依賴項新增至requirements.txt檔案後，您可以在專案目錄的子目錄./env中建立 Conda 環境：執行以下命令。

 export ENV_PREFIX= $PWD /env
mamba env create --prefix $ENV_PREFIX --file environment.yml --force

建立新環境後，您可以使用以下命令啟動該環境。

conda activate $ENV_PREFIX

請注意， ENV_PREFIX目錄不受版本控制，因為它始終可以根據需要重新建立。

為了您的方便，這些命令已組合在 shell 腳本./bin/create-conda-env.sh中。執行 shell 腳本將創建 Conda 環境、啟動 Conda 環境並使用任何其他擴充功能建置 JupyterLab。該腳本應從專案根目錄運行，如下所示。

./bin/create-conda-env.sh

野山羊

在 Ibex 上建立 Conda 環境的最有效方法是透過 Slurm 將環境建立腳本作為偵錯分區上的作業啟動。為了您的方便，包含了 Slurm 作業腳本./bin/create-conda-env.sbatch 。該腳本應從專案根目錄運行，如下所示。

sbatch ./bin/create-conda-env.sbatch

列出Conda環境的完整內容

項目的明確依賴項清單在environment.yml檔案中列出。若要查看安裝到環境中的軟體包的完全遺失情況，請執行以下命令。

conda list --prefix $ENV_PREFIX

更新Conda環境

如果在建立環境後向environment.yml檔案或requirements.txt檔案新增（刪除）依賴項，則可以使用下列命令重新建立環境。

$ mamba env create --prefix $ENV_PREFIX --file environment.yml --force

使用 Docker

為了為您的專案建立 Docker 映像並使用 GPU 加速運行容器，您需要安裝 Docker、Docker Compose 和 NVIDIA Docker 執行時間。

有關使用 Docker 建置、映像和啟動容器的詳細說明，請參閱docker/README.md 。