metagraph

Metagenom-Graph-Projekt

MetaGraph ist ein Tool zur skalierbaren Erstellung annotierter Genomdiagramme und zum Sequenz-zu-Diagramm-Alignment.

Die Standardindexdarstellungen in MetaGraph sind äußerst skalierbar und unterstützen die Erstellung von Diagrammen mit Billionen von Knoten und Millionen von Anmerkungsbezeichnungen. Gleichzeitig ermöglichen die bereitgestellten Workflows und deren sorgfältige Implementierung in Kombination mit Optimierungen der Kerndatenstrukturen auf niedriger Ebene eine außergewöhnliche Abfrage- und Ausrichtungsleistung.

Hauptmerkmale:

• Umfangreiche Indizierung von Sequenzen
• Python-API zur Abfrage im Servermodus
• Kodierung von k-mer-Anzahlen (z. B. Expressionswerten) und k-mer-Koordinaten in Quellsequenzen (z. B. für die verlustfreie Kodierung von Genomen)
• Sequenzabgleich mit sehr großen annotierten Diagrammen (Sub-k-Seeding ermöglicht die Verwendung beliebig kurzer Seeds)
• Skalierbare Bereinigung sehr großer De-Bruijn-Graphen (um Sequenzierungsfehler zu entfernen)
• Unterstützung für benutzerdefinierte Alphabete (z. B. {A, C, G, T, N} oder Aminosäuren)
• Algorithmen für den Differentialaufbau

Designoptionen in MetaGraph:

• Verwendung prägnanter Datenstrukturen und effizienter Darstellungsschemata für extrem hohe Skalierbarkeit
• Algorithmische Entscheidungen, die effizient mit prägnanten Datenstrukturen arbeiten (z. B. immer Batch-Operationen bevorzugen)
• Modulare Unterstützung verschiedener Diagramm- und Anmerkungsdarstellungen
• Verwendung generischer und erweiterbarer Schnittstellen zur Unterstützung des Hinzufügens benutzerdefinierter Indexdarstellungen/Algorithmen mit geringem Code-Overhead.

Dokumentation

Die Online-Dokumentation ist unter https://metagraph.ethz.ch/static/docs/index.html verfügbar. Offline-Quellen finden Sie hier.

Installieren

Conda

Installieren Sie die neueste Version unter Linux oder Mac OS X mit Anaconda:

 conda install -c bioconda -c conda-forge metagraph

Docker

Wenn Docker auf dem System verfügbar ist, können Sie sofort damit beginnen

 docker pull ghcr.io/ratschlab/metagraph:master
docker run -v ${HOME}:/mnt ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/transcripts_1000 /mnt/transcripts_1000.fa

und ersetzen Sie ${HOME} durch ein Verzeichnis auf dem Hostsystem, um es unter /mnt im Container abzubilden.

Um die für das Protein Alphabet kompilierte Binärdatei auszuführen, fügen Sie einfach --entrypoint metagraph_Protein hinzu:

 docker run -v ${HOME}:/mnt --entrypoint metagraph_Protein ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/graph /mnt/protein.fa

Wie Sie sehen, ist die Ausführung von MetaGraph aus Docker-Containern sehr einfach. Außerdem kann der folgende Befehl (oder ein ähnlicher Befehl) nützlich sein, um zu sehen, welches Verzeichnis im Container gemountet ist, oder um den Befehl auf andere Weise zu debuggen:

 docker run -v ${HOME}:/mnt --entrypoint ls ghcr.io/ratschlab/metagraph:master /mnt

Hier werden alle verschiedenen Versionen des Container-Images aufgelistet.

Aus Quellen installieren

Informationen zum Kompilieren aus dem Quellcode (z. B. für Builds mit benutzerdefiniertem Alphabet oder anderen Konfigurationen) finden Sie in der Online-Dokumentation.

Typischer Arbeitsablauf

1. Erstellen Sie ein de Bruijn-Diagramm aus Fasta-Dateien, FastQ-Dateien oder KMC-K-Mer-Zählern:
   ./metagraph build
2. Kommentieren Sie das Diagramm mithilfe der spaltenkomprimierten Anmerkung:
   ./metagraph annotate
3. Transformieren Sie die erstellte Annotation in ein anderes Annotationsschema:
   ./metagraph transform_anno
4. Kommentiertes Diagramm abfragen
   ./metagraph query

Beispiel

 DATA="../tests/data/transcripts_1000.fa"

./metagraph build -k 12 -o transcripts_1000 $DATA

./metagraph annotate -i transcripts_1000.dbg --anno-filename -o transcripts_1000 $DATA

./metagraph query -i transcripts_1000.dbg -a transcripts_1000.column.annodbg $DATA

./metagraph stats -a transcripts_1000.column.annodbg transcripts_1000.dbg

Drucknutzung

./metagraph

Diagramm erstellen

• Einfacher Aufbau

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

• Build mit Festplattenaustausch (zur Begrenzung der RAM-Nutzung verwenden)

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 --disk-swap < GRAPH_DIR > 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

Erstellen Sie aus mit KMC gefilterten k-mers

K=20
./KMC/kmc -ci5 -t4 -k $K -m5 -fm < FILE > .fasta.gz < FILE > .cutoff_5 ./KMC
./metagraph build -v -p 4 -k $K --mem-cap-gb 10 -o graph < FILE > .cutoff_5.kmc_pre

Diagramm mit Anmerkungen versehen

./metagraph annotate -v --anno-type row --fasta-anno 
                           -i primates.dbg 
                           -o primates 
                           ~ /fasta_zurich/refs_chimpanzee_primates.fa

Konvertieren Sie die Anmerkung in Multi-BRWT

1. Clusterspalten

./metagraph transform_anno -v --linkage --greedy 
                           -o linkage.txt 
                           --subsample R 
                           -p NCORES 
                           primates.column.annodbg

Erfordert N*R/8 + 6*N^2 Bytes RAM, wobei N die Anzahl der Spalten und R die Anzahl der unterabgetasteten Zeilen ist.

2. Konstruieren Sie Multi-BRWT

./metagraph transform_anno -v -p NCORES --anno-type brwt 
                           --linkage-file linkage.txt 
                           -o primates 
                           --parallel-nodes V 
                           -p NCORES 
                           primates.column.annodbg

Erfordert M*V/8 + Size(BRWT) Bytes RAM, wobei M die Anzahl der Zeilen in der Annotation und V die Anzahl der gleichzeitig zusammengeführten Knoten ist.

Abfragediagramm

./metagraph query -v -i < GRAPH_DIR > /graph.dbg 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --min-kmers-fraction-label 0.8 --labels-delimiter " , " 
                        query_seq.fa

Am Diagramm ausrichten

./metagraph align -v -i < GRAPH_DIR > /graph.dbg query_seq.fa

Sequenzen zusammenstellen

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        -o assembled.fa 
                        --unitigs

Differentialsequenzen zusammensetzen

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        --unitigs 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --diff-assembly-rules diff_assembly_rules.json 
                        -o diff_assembled.fa

Beispieldateien finden Sie unter metagraph/tests/data/example.diff.json und metagraph/tests/data/example_simple.diff.json .

Statistiken abrufen

Statistiken für Grafik

./metagraph stats graph.dbg

Statistiken für Anmerkungen

./metagraph stats -a annotation.column.annodbg

Statistiken für beide

./metagraph stats -a annotation.column.annodbg graph.dbg

Hinweise für Entwickler

Makefile

Das Makefile im Quellverzeichnis der obersten Ebene kann zum bequemeren Erstellen und Testen metagraph verwendet werden. Die folgenden Argumente werden unterstützt:

• env : Umgebung, in der kompiliert/ausgeführt werden soll ( "" : auf dem Host, docker : in einem Docker-Container)
• alphabet : Metagraph für ein bestimmtes Alphabet kompilieren (z. B. DNA oder Protein , Standard- DNA )
• additional_cmake_args : zusätzliche Argumente, die an cmake übergeben werden.

Beispiele:

 # compiles metagraph in a docker container for the `DNA` alphabet
make build-metagraph env=docker alphabet=DNA

Aktualisieren Sie und erstellen Sie eine neue Version

Das Erstellen einer neuen Versionsfreigabe erfolgt in drei Schritten:

1. Aktualisieren Sie package.json und legen Sie die Version fest
2. Fügen Sie ein Tag mit dieser neuen Version hinzu
3. Erstellen Sie eine neue Version auf Github

Lizenz

Metagraph wird unter der GPLv3-Lizenz vertrieben (siehe LIZENZ). Weitere Informationen finden Sie in den Dateien AUTOREN und COPYRIGHTS.