pytorch gpu genai project
1.0.0
PyTorch エコシステムを使用した GPU アクセラレーションを備えた Python 3 ベースの生成 AI プロジェクトのスキャフォールディングを含むリポジトリ。
指示に従って、このテンプレートから新しいプロジェクト リポジトリを作成するだけです。
プロジェクトの構成は、 「科学的コンピューティングのための十分な実践」のアイデアに基づいています。
binディレクトリに置きます。dataディレクトリに置きます。docディレクトリに置きます。dockerディレクトリに置きます。envディレクトリにインストールします。notebooksディレクトリに置きます。resultsディレクトリに置きます。srcディレクトリに置きます。conda経由でダウンロードする必要がある依存関係をenvironment.ymlファイルに追加し、 pip経由でダウンロードする必要がある依存関係をrequirements.txtファイルに追加した後、次のようにしてプロジェクト ディレクトリのサブディレクトリ./envに Conda 環境を作成します。次のコマンドを実行します。
export ENV_PREFIX= $PWD /env
mamba env create --prefix $ENV_PREFIX --file environment.yml --force新しい環境が作成されたら、次のコマンドを使用して環境をアクティブ化できます。
conda activate $ENV_PREFIX ENV_PREFIXディレクトリは必要に応じていつでも再作成できるため、バージョン管理されていないことに注意してください。
便宜上、これらのコマンドはシェル スクリプト./bin/create-conda-env.shに結合されています。シェル スクリプトを実行すると、Conda 環境が作成され、Conda 環境がアクティブ化され、追加の拡張機能を備えた JupyterLab がビルドされます。スクリプトは次のようにプロジェクトのルート ディレクトリから実行する必要があります。
./bin/create-conda-env.shIbex 上で Conda 環境を構築する最も効率的な方法は、Slurm を介してデバッグ パーティション上のジョブとして環境作成スクリプトを起動することです。便宜のために、Slurm ジョブ スクリプト./bin/create-conda-env.sbatchが含まれています。スクリプトは次のようにプロジェクトのルート ディレクトリから実行する必要があります。
sbatch ./bin/create-conda-env.sbatchプロジェクトの明示的な依存関係のリストは、 environment.ymlファイルにリストされています。環境にインストールされているパッケージが完全に失われたことを確認するには、次のコマンドを実行します。
conda list --prefix $ENV_PREFIX環境がすでに作成された後で、 environment.ymlファイルまたはrequirements.txtファイルに依存関係を追加 (削除) した場合は、次のコマンドを使用して環境を再作成できます。
$ mamba env create --prefix $ENV_PREFIX --file environment.yml --forceプロジェクトの Docker イメージを構築し、GPU アクセラレーションでコンテナーを実行するには、Docker、Docker Compose、および NVIDIA Docker ランタイムをインストールする必要があります。
Docker を使用してコンテナーを構築、イメージ化し、起動するための詳細な手順については、 docker/README.mdを参照してください。
