pytorch gpu genai project

pytorch-gpu-genai-项目

存储库包含基于 Python 3 的生成 AI 项目的脚手架，并使用 PyTorch 生态系统进行 GPU 加速。

从此模板创建一个新项目

只需按照说明从此模板创建新的项目存储库即可。

项目组织

项目组织基于科学计算的良好实践的思想。

1. 将每个项目放在自己的目录中，该目录以项目命名。
2. 将外部脚本或编译好的程序放在bin目录下。
3. 将原始数据和元数据放在data目录中。
4. 将与项目相关的文本文档放在doc目录中。
5. 将所有与Docker相关的文件放在docker目录下。
6. 将 Conda 环境安装到env目录中。
7. 将所有笔记本放入notebooks目录中。
8. 将清理和分析过程中生成的文件放入results目录中。
9. 将项目源码放在src目录下。
10. 命名所有文件以反映其内容或功能。

构建Conda环境

将应通过conda下载的任何必要依赖项添加到environment.yml文件以及应通过pip下载的任何依赖项添加到requirements.txt文件后，您可以在项目目录的子目录./env中创建 Conda 环境：运行以下命令。

 export ENV_PREFIX= $PWD /env
mamba env create --prefix $ENV_PREFIX --file environment.yml --force

创建新环境后，您可以使用以下命令激活该环境。

conda activate $ENV_PREFIX

请注意， ENV_PREFIX目录不受版本控制，因为它始终可以根据需要重新创建。

为了您的方便，这些命令已组合在 shell 脚本./bin/create-conda-env.sh中。运行 shell 脚本将创建 Conda 环境、激活 Conda 环境并使用任何其他扩展构建 JupyterLab。该脚本应从项目根目录运行，如下所示。

./bin/create-conda-env.sh

野山羊

在 Ibex 上构建 Conda 环境的最有效方法是通过 Slurm 将环境创建脚本作为调试分区上的作业启动。为了您的方便，包含了 Slurm 作业脚本./bin/create-conda-env.sbatch 。该脚本应从项目根目录运行，如下所示。

sbatch ./bin/create-conda-env.sbatch

列出Conda环境的完整内容

项目的显式依赖项列表在environment.yml文件中列出。要查看安装到环境中的软件包的完全丢失情况，请运行以下命令。

conda list --prefix $ENV_PREFIX

更新Conda环境

如果在创建环境后向environment.yml文件或requirements.txt文件添加（删除）依赖项，则可以使用以下命令重新创建环境。

$ mamba env create --prefix $ENV_PREFIX --file environment.yml --force

使用 Docker

为了为您的项目构建 Docker 映像并使用 GPU 加速运行容器，您需要安装 Docker、Docker Compose 和 NVIDIA Docker 运行时。

有关使用 Docker 构建、镜像和启动容器的详细说明，请参阅docker/README.md 。