metagraph

Projet de graphique du métagénome

MetaGraph est un outil de construction évolutive de graphiques génomiques annotés et d'alignement séquence à graphique.

Les représentations d'index par défaut dans MetaGraph sont extrêmement évolutives et prennent en charge la création de graphiques avec des milliards de nœuds et des millions d'étiquettes d'annotation. Dans le même temps, les flux de travail fournis et leur mise en œuvre minutieuse, combinés à des optimisations de bas niveau des structures de données de base, permettent des performances de requête et d'alignement exceptionnelles.

Principales caractéristiques :

• Indexation à grande échelle des séquences
• API Python pour les requêtes en mode serveur
• Codage des comptes k-mer (par exemple, valeurs d'expression) et des coordonnées k-mer dans les séquences sources (par exemple, pour le codage sans perte des génomes)
• Alignement de séquence par rapport à de très grands graphiques annotés (l'ensemencement sub-k permet d'utiliser des graines arbitrairement courtes)
• Nettoyage évolutif de très grands graphiques de De Bruijn (pour supprimer les erreurs de séquençage)
• Prise en charge des alphabets personnalisés (par exemple, {A,C,G,T,N} ou acides aminés)
• Algorithmes pour l'assemblage différentiel

Choix de conception dans MetaGraph :

• Utilisation de structures de données succinctes et de schémas de représentation efficaces pour une évolutivité extrêmement élevée
• Des choix algorithmiques qui fonctionnent efficacement avec des structures de données succinctes (par exemple, préférez toujours les opérations par lots)
• Prise en charge modulaire de différentes représentations graphiques et d'annotations
• Utilisation d'interfaces génériques et extensibles pour prendre en charge l'ajout de représentations/algorithmes d'index personnalisés avec peu de surcharge de code.

Documentation

La documentation en ligne est disponible sur https://metagraph.ethz.ch/static/docs/index.html. Les sources hors ligne sont ici.

Installer

Conda

Installez la dernière version sur Linux ou Mac OS X avec Anaconda :

 conda install -c bioconda -c conda-forge metagraph

Docker

Si Docker est disponible sur le système, commencez immédiatement avec

 docker pull ghcr.io/ratschlab/metagraph:master
docker run -v ${HOME}:/mnt ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/transcripts_1000 /mnt/transcripts_1000.fa

et remplacez ${HOME} par un répertoire sur le système hôte pour le mapper sous /mnt dans le conteneur.

Pour exécuter le binaire compilé pour l'alphabet Protein , ajoutez simplement --entrypoint metagraph_Protein :

 docker run -v ${HOME}:/mnt --entrypoint metagraph_Protein ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/graph /mnt/protein.fa

Comme vous le voyez, exécuter MetaGraph à partir de conteneurs Docker est très simple. De plus, la commande suivante (ou similaire) peut être utile pour voir quel répertoire est monté dans le conteneur ou autre type de débogage de la commande :

 docker run -v ${HOME}:/mnt --entrypoint ls ghcr.io/ratschlab/metagraph:master /mnt

Toutes les différentes versions de l’image du conteneur sont répertoriées ici.

Installer à partir des sources

Pour compiler à partir des sources (par exemple, pour les builds avec un alphabet personnalisé ou d'autres configurations), consultez la documentation en ligne.

Flux de travail typique

1. Créez un graphique de Bruijn à partir de fichiers Fasta, de fichiers FastQ ou de compteurs KMC k-mer :
   ./metagraph build
2. Annotez le graphique à l'aide de l'annotation compressée en colonne :
   ./metagraph annotate
3. Transformez l'annotation construite en un schéma d'annotation différent :
   ./metagraph transform_anno
4. Requête graphique annoté
   ./metagraph query

Exemple

 DATA="../tests/data/transcripts_1000.fa"

./metagraph build -k 12 -o transcripts_1000 $DATA

./metagraph annotate -i transcripts_1000.dbg --anno-filename -o transcripts_1000 $DATA

./metagraph query -i transcripts_1000.dbg -a transcripts_1000.column.annodbg $DATA

./metagraph stats -a transcripts_1000.column.annodbg transcripts_1000.dbg

Utilisation de l'impression

./metagraph

Créer un graphique

• Construction simple

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

• Construire avec échange de disque (à utiliser pour limiter l'utilisation de la RAM)

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 --disk-swap < GRAPH_DIR > 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

Construire à partir de k-mers filtrés avec KMC

K=20
./KMC/kmc -ci5 -t4 -k $K -m5 -fm < FILE > .fasta.gz < FILE > .cutoff_5 ./KMC
./metagraph build -v -p 4 -k $K --mem-cap-gb 10 -o graph < FILE > .cutoff_5.kmc_pre

Annoter le graphique

./metagraph annotate -v --anno-type row --fasta-anno 
                           -i primates.dbg 
                           -o primates 
                           ~ /fasta_zurich/refs_chimpanzee_primates.fa

Convertir l'annotation en Multi-BRWT

1. Colonnes de cluster

./metagraph transform_anno -v --linkage --greedy 
                           -o linkage.txt 
                           --subsample R 
                           -p NCORES 
                           primates.column.annodbg

Nécessite N*R/8 + 6*N^2 octets de RAM, où N est le nombre de colonnes et R est le nombre de lignes sous-échantillonnées.

2. Construire Multi-BRWT

./metagraph transform_anno -v -p NCORES --anno-type brwt 
                           --linkage-file linkage.txt 
                           -o primates 
                           --parallel-nodes V 
                           -p NCORES 
                           primates.column.annodbg

Nécessite M*V/8 + Size(BRWT) octets de RAM, où M est le nombre de lignes dans l'annotation et V est le nombre de nœuds fusionnés simultanément.

Graphique de requête

./metagraph query -v -i < GRAPH_DIR > /graph.dbg 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --min-kmers-fraction-label 0.8 --labels-delimiter " , " 
                        query_seq.fa

Aligner sur le graphique

./metagraph align -v -i < GRAPH_DIR > /graph.dbg query_seq.fa

Assembler des séquences

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        -o assembled.fa 
                        --unitigs

Assembler des séquences différentielles

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        --unitigs 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --diff-assembly-rules diff_assembly_rules.json 
                        -o diff_assembled.fa

Voir metagraph/tests/data/example.diff.json et metagraph/tests/data/example_simple.diff.json pour des exemples de fichiers.

Obtenir des statistiques

Statistiques pour le graphique

./metagraph stats graph.dbg

Statistiques pour les annotations

./metagraph stats -a annotation.column.annodbg

Statistiques pour les deux

./metagraph stats -a annotation.column.annodbg graph.dbg

Notes du développeur

Makefile

Le Makefile dans le répertoire source de niveau supérieur peut être utilisé pour créer et tester metagraph plus facilement. Les arguments suivants sont pris en charge :

• env : environnement dans lequel compiler/exécuter ( "" : sur l'hôte, docker : dans un conteneur docker)
• alphabet : compile un métagraphe pour un certain alphabet (par exemple DNA ou Protein , DNA par défaut)
• additional_cmake_args : arguments supplémentaires à transmettre à cmake.

Exemples :

 # compiles metagraph in a docker container for the `DNA` alphabet
make build-metagraph env=docker alphabet=DNA

Mettre à jour et créer une nouvelle version

La création d'une nouvelle version se fait en trois étapes :

1. Mettez à jour package.json et définissez la version
2. Ajoutez une balise avec cette nouvelle version
3. Faire une nouvelle version sur github

Licence

Metagraph est distribué sous licence GPLv3 (voir LICENCE). Veuillez trouver de plus amples informations dans les fichiers AUTEURS et COPYRIGHTS.