pytorch gpu genai project

projeto pytorch-gpu-genai

Repositório contendo scaffolding para um projeto de IA generativa baseado em Python 3 com aceleração de GPU usando o ecossistema PyTorch.

Criando um novo projeto a partir deste modelo

Basta seguir as instruções para criar um novo repositório de projeto a partir deste modelo.

Organização do projeto

A organização do projeto é baseada em ideias de Boas Práticas Suficientes para Computação Científica .

1. Coloque cada projeto em seu próprio diretório, com o nome do projeto.
2. Coloque scripts externos ou programas compilados no diretório bin .
3. Coloque dados brutos e metadados em um diretório data .
4. Coloque os documentos de texto associados ao projeto no diretório doc .
5. Coloque todos os arquivos relacionados ao Docker no diretório docker .
6. Instale o ambiente Conda em um diretório env .
7. Coloque todos os notebooks no diretório notebooks .
8. Coloque os arquivos gerados durante a limpeza e análise em um diretório results .
9. Coloque o código-fonte do projeto no diretório src .
10. Nomeie todos os arquivos para refletir seu conteúdo ou função.

Construindo o ambiente Conda

Depois de adicionar quaisquer dependências necessárias que devem ser baixadas via conda para o arquivo environment.yml e quaisquer dependências que devem ser baixadas via pip para o arquivo requirements.txt , você cria o ambiente Conda em um subdiretório ./env do diretório do seu projeto por executando os seguintes comandos.

 export ENV_PREFIX= $PWD /env
mamba env create --prefix $ENV_PREFIX --file environment.yml --force

Depois que o novo ambiente for criado, você poderá ativá-lo com o seguinte comando.

conda activate $ENV_PREFIX

Observe que o diretório ENV_PREFIX não está sob controle de versão, pois sempre pode ser recriado conforme necessário.

Para sua conveniência, esses comandos foram combinados em um script de shell ./bin/create-conda-env.sh . A execução do script shell criará o ambiente Conda, ativará o ambiente Conda e construirá o JupyterLab com quaisquer extensões adicionais. O script deve ser executado no diretório raiz do projeto da seguinte maneira.

./bin/create-conda-env.sh

Íbex

A maneira mais eficiente de construir ambientes Conda no Ibex é iniciar o script de criação de ambiente como um trabalho na partição de depuração via Slurm. Para sua conveniência, um script de trabalho Slurm ./bin/create-conda-env.sbatch está incluído. O script deve ser executado no diretório raiz do projeto da seguinte maneira.

sbatch ./bin/create-conda-env.sbatch

Listando o conteúdo completo do ambiente Conda

A lista de dependências explícitas do projeto está listada no arquivo environment.yml . Para ver a perda total dos pacotes instalados no ambiente, execute o seguinte comando.

conda list --prefix $ENV_PREFIX

Atualizando o ambiente Conda

Se você adicionar (remover) dependências ao (do) arquivo environment.yml ou ao arquivo requirements.txt depois que o ambiente já tiver sido criado, será possível recriar o ambiente com o comando a seguir.

$ mamba env create --prefix $ENV_PREFIX --file environment.yml --force

Usando Docker

Para construir imagens Docker para o seu projeto e executar contêineres com aceleração de GPU, você precisará instalar o Docker, o Docker Compose e o tempo de execução NVIDIA Docker.

Instruções detalhadas para usar o Docker para criar imagens e iniciar contêineres podem ser encontradas em docker/README.md .