metagraph

Projeto Gráfico Metagenoma

MetaGraph é uma ferramenta para construção escalonável de gráficos de genoma anotados e alinhamento sequência a gráfico.

As representações de índice padrão no MetaGraph são extremamente escaláveis ​​e suportam a construção de gráficos com trilhões de nós e milhões de rótulos de anotação. Ao mesmo tempo, os fluxos de trabalho fornecidos e sua implementação cuidadosa, combinados com otimizações de baixo nível das estruturas de dados principais, permitem consultas excepcionais e desempenho de alinhamento.

Principais características:

• Indexação de sequências em larga escala
• API Python para consulta no modo servidor
• Codificação de contagens de k-mer (por exemplo, valores de expressão) e coordenadas de k-mer em sequências de origem (por exemplo, para codificação sem perdas de genomas)
• Alinhamento de sequência em relação a gráficos anotados muito grandes (a propagação sub-k permite o uso de sementes arbitrariamente curtas)
• Limpeza escalonável de gráficos de Bruijn muito grandes (para remover erros de sequenciamento)
• Suporte para alfabetos personalizados (por exemplo, {A,C,G,T,N} ou aminoácidos)
• Algoritmos para montagem diferencial

Opções de design no MetaGraph:

• Uso de estruturas de dados sucintas e esquemas de representação eficientes para escalabilidade extremamente alta
• Escolhas algorítmicas que funcionam eficientemente com estruturas de dados sucintas (por exemplo, sempre prefira operações em lote)
• Suporte modular de diferentes representações de gráficos e anotações
• Uso de interfaces genéricas e extensíveis para suportar a adição de representações/algoritmos de índice personalizados com pouca sobrecarga de código.

Documentação

A documentação online está disponível em https://metagraph.ethz.ch/static/docs/index.html. As fontes off-line estão aqui.

Instalar

Conda

Instale a versão mais recente no Linux ou Mac OS X com Anaconda:

 conda install -c bioconda -c conda-forge metagraph

Docker

Se o docker estiver disponível no sistema, comece imediatamente com

 docker pull ghcr.io/ratschlab/metagraph:master
docker run -v ${HOME}:/mnt ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/transcripts_1000 /mnt/transcripts_1000.fa

e substitua ${HOME} por um diretório no sistema host para mapeá-lo em /mnt no contêiner.

Para executar o binário compilado para o alfabeto Protein , basta adicionar --entrypoint metagraph_Protein :

 docker run -v ${HOME}:/mnt --entrypoint metagraph_Protein ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/graph /mnt/protein.fa

Como você pode ver, executar o MetaGraph a partir de contêineres docker é muito fácil. Além disso, o seguinte comando (ou similar) pode ser útil para ver qual diretório está montado no contêiner ou outro tipo de depuração do comando:

 docker run -v ${HOME}:/mnt --entrypoint ls ghcr.io/ratschlab/metagraph:master /mnt

Todas as diferentes versões da imagem do contêiner estão listadas aqui.

Instalar a partir de fontes

Para compilar a partir do código-fonte (por exemplo, para compilações com alfabeto personalizado ou outras configurações), consulte a documentação online.

Fluxo de trabalho típico

1. Construa o gráfico de Bruijn a partir de arquivos Fasta, arquivos FastQ ou contadores KMC k-mer:
   ./metagraph build
2. Anote o gráfico usando a anotação compactada de coluna:
   ./metagraph annotate
3. Transforme a anotação construída em um esquema de anotação diferente:
   ./metagraph transform_anno
4. Gráfico anotado de consulta
   ./metagraph query

Exemplo

 DATA="../tests/data/transcripts_1000.fa"

./metagraph build -k 12 -o transcripts_1000 $DATA

./metagraph annotate -i transcripts_1000.dbg --anno-filename -o transcripts_1000 $DATA

./metagraph query -i transcripts_1000.dbg -a transcripts_1000.column.annodbg $DATA

./metagraph stats -a transcripts_1000.column.annodbg transcripts_1000.dbg

Uso de impressão

./metagraph

Construir gráfico

• Construção simples

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

• Construa com troca de disco (use para limitar o uso de RAM)

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 --disk-swap < GRAPH_DIR > 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

Construir a partir de k-mers filtrados com KMC

K=20
./KMC/kmc -ci5 -t4 -k $K -m5 -fm < FILE > .fasta.gz < FILE > .cutoff_5 ./KMC
./metagraph build -v -p 4 -k $K --mem-cap-gb 10 -o graph < FILE > .cutoff_5.kmc_pre

Anotar gráfico

./metagraph annotate -v --anno-type row --fasta-anno 
                           -i primates.dbg 
                           -o primates 
                           ~ /fasta_zurich/refs_chimpanzee_primates.fa

Converter anotação em Multi-BRWT

1. Colunas de cluster

./metagraph transform_anno -v --linkage --greedy 
                           -o linkage.txt 
                           --subsample R 
                           -p NCORES 
                           primates.column.annodbg

Requer N*R/8 + 6*N^2 bytes de RAM, onde N é o número de colunas e R é o número de linhas subamostradas.

2. Construir Multi-BRWT

./metagraph transform_anno -v -p NCORES --anno-type brwt 
                           --linkage-file linkage.txt 
                           -o primates 
                           --parallel-nodes V 
                           -p NCORES 
                           primates.column.annodbg

Requer M*V/8 + Size(BRWT) bytes de RAM, onde M é o número de linhas na anotação e V é o número de nós mesclados simultaneamente.

Gráfico de consulta

./metagraph query -v -i < GRAPH_DIR > /graph.dbg 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --min-kmers-fraction-label 0.8 --labels-delimiter " , " 
                        query_seq.fa

Alinhar ao gráfico

./metagraph align -v -i < GRAPH_DIR > /graph.dbg query_seq.fa

Montar sequências

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        -o assembled.fa 
                        --unitigs

Monte sequências diferenciais

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        --unitigs 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --diff-assembly-rules diff_assembly_rules.json 
                        -o diff_assembled.fa

Consulte metagraph/tests/data/example.diff.json e metagraph/tests/data/example_simple.diff.json para arquivos de amostra.

Obtenha estatísticas

Estatísticas para gráfico

./metagraph stats graph.dbg

Estatísticas para anotação

./metagraph stats -a annotation.column.annodbg

Estatísticas para ambos

./metagraph stats -a annotation.column.annodbg graph.dbg

Notas do desenvolvedor

Makefile

O Makefile no diretório de origem de nível superior pode ser usado para construir e testar metagraph de forma mais conveniente. Os seguintes argumentos são suportados:

• env : ambiente no qual compilar/executar ( "" : no host, docker : em um contêiner docker)
• alphabet : compila o metagráfico para um determinado alfabeto (por exemplo, DNA ou Protein , DNA padrão)
• additional_cmake_args : argumentos adicionais para passar para cmake.

Exemplos:

 # compiles metagraph in a docker container for the `DNA` alphabet
make build-metagraph env=docker alphabet=DNA

Atualizar e criar uma nova versão

A criação de uma nova versão é feita em três etapas:

1. Atualize package.json e defina a versão
2. Adicione uma tag com essa nova versão
3. Faça um novo lançamento no github

Licença

Metagraph é distribuído sob a licença GPLv3 (consulte LICENÇA). Por favor, encontre mais informações nos arquivos AUTORES e COPYRIGHTS.