pytorch gpu genai project

proyek pytorch-gpu-genai

Repositori berisi scaffolding untuk proyek AI generatif berbasis Python 3 dengan akselerasi GPU menggunakan ekosistem PyTorch.

Membuat proyek baru dari template ini

Cukup ikuti petunjuk untuk membuat repositori proyek baru dari templat ini.

Organisasi proyek

Organisasi proyek didasarkan pada gagasan dari Good Enough Practices for Scientific Computing .

1. Letakkan setiap proyek di direktori masing-masing, yang diberi nama sesuai proyek.
2. Letakkan skrip eksternal atau program yang dikompilasi di direktori bin .
3. Masukkan data mentah dan metadata ke dalam direktori data .
4. Letakkan dokumen teks yang terkait dengan proyek di direktori doc .
5. Letakkan semua file terkait Docker di direktori docker .
6. Instal lingkungan Conda ke dalam direktori env .
7. Letakkan semua buku catatan di direktori notebooks .
8. Letakkan file yang dihasilkan selama pembersihan dan analisis di direktori results .
9. Letakkan kode sumber proyek di direktori src .
10. Beri nama semua file untuk mencerminkan konten atau fungsinya.

Membangun lingkungan Conda

Setelah menambahkan dependensi apa pun yang diperlukan yang harus diunduh melalui conda ke file environment.yml dan dependensi apa pun yang harus diunduh melalui pip ke file requirements.txt , Anda membuat lingkungan Conda di subdirektori ./env direktori proyek Anda dengan menjalankan perintah berikut.

 export ENV_PREFIX= $PWD /env
mamba env create --prefix $ENV_PREFIX --file environment.yml --force

Setelah lingkungan baru dibuat, Anda dapat mengaktifkan lingkungan dengan perintah berikut.

conda activate $ENV_PREFIX

Perhatikan bahwa direktori ENV_PREFIX tidak berada di bawah kendali versi karena selalu dapat dibuat ulang sesuai kebutuhan.

Demi kenyamanan Anda, perintah ini telah digabungkan dalam skrip shell ./bin/create-conda-env.sh . Menjalankan skrip shell akan membuat lingkungan Conda, mengaktifkan lingkungan Conda, dan membangun JupyterLab dengan ekstensi tambahan apa pun. Skrip harus dijalankan dari direktori root proyek sebagai berikut.

./bin/create-conda-env.sh

Ibex

Cara paling efisien untuk membangun lingkungan Conda di Ibex adalah dengan meluncurkan skrip pembuatan lingkungan sebagai pekerjaan pada partisi debug melalui Slurm. Untuk kenyamanan Anda, skrip pekerjaan Slurm ./bin/create-conda-env.sbatch disertakan. Skrip harus dijalankan dari direktori root proyek sebagai berikut.

sbatch ./bin/create-conda-env.sbatch

Mencantumkan konten lengkap lingkungan Conda

Daftar dependensi eksplisit untuk proyek tercantum dalam file environment.yml . Untuk melihat seluruh paket yang hilang yang diinstal ke lingkungan, jalankan perintah berikut.

conda list --prefix $ENV_PREFIX

Memperbarui lingkungan Conda

Jika Anda menambahkan (menghapus) dependensi ke (dari) file environment.yml atau file requirements.txt setelah lingkungan dibuat, maka Anda dapat membuat ulang lingkungan tersebut dengan perintah berikut.

$ mamba env create --prefix $ENV_PREFIX --file environment.yml --force

Menggunakan Docker

Untuk membuat image Docker untuk proyek Anda dan menjalankan container dengan akselerasi GPU, Anda perlu menginstal Docker, Docker Compose, dan runtime NVIDIA Docker.

Instruksi terperinci untuk menggunakan Docker untuk membangun dan membuat image serta meluncurkan container dapat ditemukan di docker/README.md .