pytorch gpu genai project

pytorch-gpu-genai-проект

Репозиторий, содержащий каркас для проекта генеративного искусственного интеллекта на основе Python 3 с графическим ускорением и экосистемой PyTorch.

Создание нового проекта из этого шаблона

Просто следуйте инструкциям, чтобы создать новый репозиторий проекта на основе этого шаблона.

Организация проекта

Организация проекта основана на идеях Good Enough Practices for Scientific Computing .

1. Поместите каждый проект в отдельный каталог, названный в честь проекта.
2. Поместите внешние скрипты или скомпилированные программы в каталог bin .
3. Поместите необработанные данные и метаданные в каталог data .
4. Поместите текстовые документы, связанные с проектом, в каталог doc .
5. Поместите все файлы, связанные с Docker, в каталог docker .
6. Установите среду Conda в каталог env .
7. Поместите все блокноты в каталог notebooks .
8. Поместите файлы, созданные во время очистки и анализа, в каталог results .
9. Поместите исходный код проекта в каталог src .
10. Назовите все файлы, чтобы отразить их содержание или функцию.

Создание среды Conda

После добавления всех необходимых зависимостей, которые должны быть загружены через conda в файл environment.yml , и любых зависимостей, которые должны быть загружены через pip в файл requirements.txt , вы создаете среду Conda в подкаталоге ./env каталога вашего проекта, выполнив следующие команды.

 export ENV_PREFIX= $PWD /env
mamba env create --prefix $ENV_PREFIX --file environment.yml --force

После создания новой среды вы можете активировать ее с помощью следующей команды.

conda activate $ENV_PREFIX

Обратите внимание, что каталог ENV_PREFIX не находится под контролем версий, поскольку при необходимости его всегда можно создать заново.

Для вашего удобства эти команды объединены в сценарий оболочки ./bin/create-conda-env.sh . Запуск сценария оболочки создаст среду Conda, активирует среду Conda и соберет JupyterLab с любыми дополнительными расширениями. Сценарий следует запускать из корневого каталога проекта следующим образом.

./bin/create-conda-env.sh

Козерог

Самый эффективный способ создания сред Conda на Ibex — запустить сценарий создания среды как задание в разделе отладки через Slurm. Для вашего удобства включен сценарий задания Slurm ./bin/create-conda-env.sbatch . Сценарий следует запускать из корневого каталога проекта следующим образом.

sbatch ./bin/create-conda-env.sbatch

Перечисление полного содержимого среды Conda

Список явных зависимостей проекта указан в файле environment.yml . Чтобы увидеть полную потерю пакетов, установленных в среде, выполните следующую команду.

conda list --prefix $ENV_PREFIX

Обновление среды Conda

Если вы добавите (удалите) зависимости в (из) файла environment.yml или файла requirements.txt после того, как среда уже создана, вы можете воссоздать среду с помощью следующей команды.

$ mamba env create --prefix $ENV_PREFIX --file environment.yml --force

Использование Докера

Чтобы создавать образы Docker для вашего проекта и запускать контейнеры с ускорением графического процессора, вам потребуется установить Docker, Docker Compose и среду выполнения NVIDIA Docker.

Подробные инструкции по использованию Docker для создания, создания образов и запуска контейнеров можно найти в файле docker/README.md .