metagraph

Proyecto de gráfico de metagenoma

MetaGraph es una herramienta para la construcción escalable de gráficos de genoma anotados y alineación de secuencia a gráfico.

Las representaciones de índice predeterminadas en MetaGraph son extremadamente escalables y admiten la creación de gráficos con billones de nodos y millones de etiquetas de anotaciones. Al mismo tiempo, los flujos de trabajo proporcionados y su cuidadosa implementación, combinados con optimizaciones de bajo nivel de las estructuras de datos centrales, permiten un rendimiento excepcional de consultas y alineación.

Características principales:

• Indexación de secuencias a gran escala.
• API de Python para realizar consultas en modo servidor
• Codificación de recuentos de k-mer (p. ej., valores de expresión) y coordenadas de k-mer en secuencias fuente (p. ej., para codificación de genomas sin pérdidas)
• Alineación de secuencias con gráficos anotados muy grandes (la siembra sub-k permite usar semillas arbitrariamente cortas)
• Limpieza escalable de gráficos de Bruijn muy grandes (para eliminar errores de secuenciación)
• Soporte para alfabetos personalizados (por ejemplo, {A,C,G,T,N} o aminoácidos)
• Algoritmos para montaje diferencial.

Opciones de diseño en MetaGraph:

• Uso de estructuras de datos concisas y esquemas de representación eficientes para una escalabilidad extremadamente alta.
• Opciones algorítmicas que funcionan eficientemente con estructuras de datos concisas (por ejemplo, siempre prefieren operaciones por lotes)
• Soporte modular de diferentes representaciones de gráficos y anotaciones.
• Uso de interfaces genéricas y extensibles para admitir la adición de representaciones/algoritmos de índice personalizados con poca sobrecarga de código.

Documentación

La documentación en línea está disponible en https://metagraph.ethz.ch/static/docs/index.html. Las fuentes sin conexión están aquí.

Instalar

conda

Instale la última versión en Linux o Mac OS X con Anaconda:

 conda install -c bioconda -c conda-forge metagraph

Estibador

Si Docker está disponible en el sistema, comience inmediatamente con

 docker pull ghcr.io/ratschlab/metagraph:master
docker run -v ${HOME}:/mnt ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/transcripts_1000 /mnt/transcripts_1000.fa

y reemplace ${HOME} con un directorio en el sistema host para asignarlo en /mnt en el contenedor.

Para ejecutar el binario compilado para el alfabeto Protein , simplemente agregue --entrypoint metagraph_Protein :

 docker run -v ${HOME}:/mnt --entrypoint metagraph_Protein ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/graph /mnt/protein.fa

Como puede ver, ejecutar MetaGraph desde contenedores acoplables es muy fácil. Además, el siguiente comando (o similar) puede resultar útil para ver qué directorio está montado en el contenedor u otro tipo de depuración del comando:

 docker run -v ${HOME}:/mnt --entrypoint ls ghcr.io/ratschlab/metagraph:master /mnt

Todas las diferentes versiones de la imagen del contenedor se enumeran aquí.

Instalar desde fuentes

Para compilar desde el código fuente (por ejemplo, para compilaciones con alfabeto personalizado u otras configuraciones), consulte la documentación en línea.

Flujo de trabajo típico

1. Cree un gráfico de Bruijn a partir de archivos Fasta, archivos FastQ o contadores KMC k-mer:
   ./metagraph build
2. Anote el gráfico utilizando la anotación de columna comprimida:
   ./metagraph annotate
3. Transforme la anotación creada a un esquema de anotación diferente:
   ./metagraph transform_anno
4. Consultar gráfico anotado
   ./metagraph query

Ejemplo

 DATA="../tests/data/transcripts_1000.fa"

./metagraph build -k 12 -o transcripts_1000 $DATA

./metagraph annotate -i transcripts_1000.dbg --anno-filename -o transcripts_1000 $DATA

./metagraph query -i transcripts_1000.dbg -a transcripts_1000.column.annodbg $DATA

./metagraph stats -a transcripts_1000.column.annodbg transcripts_1000.dbg

Uso de impresión

./metagraph

Construir gráfico

• Construcción sencilla

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

• Compilación con intercambio de disco (úselo para limitar el uso de RAM)

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 --disk-swap < GRAPH_DIR > 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

Compilación a partir de k-mers filtrados con KMC

K=20
./KMC/kmc -ci5 -t4 -k $K -m5 -fm < FILE > .fasta.gz < FILE > .cutoff_5 ./KMC
./metagraph build -v -p 4 -k $K --mem-cap-gb 10 -o graph < FILE > .cutoff_5.kmc_pre

Anotar gráfico

./metagraph annotate -v --anno-type row --fasta-anno 
                           -i primates.dbg 
                           -o primates 
                           ~ /fasta_zurich/refs_chimpanzee_primates.fa

Convertir anotación a Multi-BRWT

1. Columnas de grupo

./metagraph transform_anno -v --linkage --greedy 
                           -o linkage.txt 
                           --subsample R 
                           -p NCORES 
                           primates.column.annodbg

Requiere N*R/8 + 6*N^2 bytes de RAM, donde N es el número de columnas y R es el número de filas submuestreadas.

2. Construir Multi-BRWT

./metagraph transform_anno -v -p NCORES --anno-type brwt 
                           --linkage-file linkage.txt 
                           -o primates 
                           --parallel-nodes V 
                           -p NCORES 
                           primates.column.annodbg

Requiere M*V/8 + Size(BRWT) bytes de RAM, donde M es el número de filas en la anotación y V es el número de nodos fusionados simultáneamente.

Gráfico de consulta

./metagraph query -v -i < GRAPH_DIR > /graph.dbg 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --min-kmers-fraction-label 0.8 --labels-delimiter " , " 
                        query_seq.fa

Alinear con el gráfico

./metagraph align -v -i < GRAPH_DIR > /graph.dbg query_seq.fa

Montar secuencias

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        -o assembled.fa 
                        --unitigs

Montar secuencias diferenciales.

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        --unitigs 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --diff-assembly-rules diff_assembly_rules.json 
                        -o diff_assembled.fa

Consulte metagraph/tests/data/example.diff.json y metagraph/tests/data/example_simple.diff.json para archivos de muestra.

Obtener estadísticas

Estadísticas para gráfico

./metagraph stats graph.dbg

Estadísticas para anotación

./metagraph stats -a annotation.column.annodbg

Estadísticas para ambos

./metagraph stats -a annotation.column.annodbg graph.dbg

Notas del desarrollador

Archivo Make

El Makefile en el directorio fuente de nivel superior se puede utilizar para crear y probar metagraph de manera más conveniente. Se sustentan los siguientes argumentos:

• env : entorno en el que compilar/ejecutar ( "" : en el host, docker : en un contenedor acoplable)
• alphabet : compila metágrafo para un determinado alfabeto (por ejemplo, DNA o Protein , DNA predeterminado)
• additional_cmake_args : argumentos adicionales para pasar a cmake.

Ejemplos:

 # compiles metagraph in a docker container for the `DNA` alphabet
make build-metagraph env=docker alphabet=DNA

Actualizar y crear una nueva versión

La creación de una nueva versión se realiza en tres pasos:

1. Actualice package.json y configure la versión
2. Añade una etiqueta con esa nueva versión.
3. Hacer una nueva versión en github

Licencia

Metagraph se distribuye bajo la Licencia GPLv3 (ver LICENCIA). Encuentre más información en los archivos AUTORES y COPYRIGHTS.