metagraph

Proyek Grafik Metagenome

MetaGraph adalah alat untuk konstruksi grafik genom beranotasi yang dapat diskalakan dan penyelarasan urutan ke grafik.

Representasi indeks default di MetaGraph sangat skalabel dan mendukung pembuatan grafik dengan triliunan node dan jutaan label anotasi. Pada saat yang sama, alur kerja yang disediakan dan penerapannya yang cermat, dikombinasikan dengan optimalisasi tingkat rendah pada struktur data inti, memungkinkan kinerja kueri dan penyelarasan yang luar biasa.

Fitur utama:

• Pengindeksan urutan skala besar
• API Python untuk kueri dalam mode server
• Mengkodekan jumlah k-mer (misalnya, nilai ekspresi) dan koordinat k-mer dalam rangkaian sumber (misalnya, untuk pengkodean genom tanpa kehilangan)
• Penyelarasan urutan terhadap grafik beranotasi yang sangat besar (penyemaian sub-k memungkinkan penggunaan benih pendek yang sewenang-wenang)
• Pembersihan skala besar pada grafik de Bruijn yang sangat besar (untuk menghilangkan kesalahan pengurutan)
• Dukungan untuk huruf khusus (misalnya, {A,C,G,T,N} atau asam amino)
• Algoritma untuk perakitan diferensial

Pilihan desain di MetaGraph:

• Penggunaan struktur data yang ringkas dan skema representasi yang efisien untuk skalabilitas yang sangat tinggi
• Pilihan algoritma yang bekerja secara efisien dengan struktur data yang ringkas (misalnya, selalu lebih memilih operasi batch)
• Dukungan modular dari representasi grafik dan anotasi yang berbeda
• Penggunaan antarmuka generik dan dapat diperluas untuk mendukung penambahan representasi/algoritma indeks khusus dengan sedikit overhead kode.

Dokumentasi

Dokumentasi online tersedia di https://metagraph.ethz.ch/static/docs/index.html. Sumber offline ada di sini.

Memasang

Konda

Instal rilis terbaru di Linux atau Mac OS X dengan Anaconda:

 conda install -c bioconda -c conda-forge metagraph

Buruh pelabuhan

Jika buruh pelabuhan tersedia di sistem, segera mulai

 docker pull ghcr.io/ratschlab/metagraph:master
docker run -v ${HOME}:/mnt ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/transcripts_1000 /mnt/transcripts_1000.fa

dan ganti ${HOME} dengan direktori di sistem host untuk memetakannya di bawah /mnt di dalam container.

Untuk menjalankan biner yang dikompilasi untuk alfabet Protein , cukup tambahkan --entrypoint metagraph_Protein :

 docker run -v ${HOME}:/mnt --entrypoint metagraph_Protein ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/graph /mnt/protein.fa

Seperti yang Anda lihat, menjalankan MetaGraph dari kontainer buruh pelabuhan sangatlah mudah. Selain itu, perintah berikut (atau yang serupa) mungkin berguna untuk melihat direktori apa yang dipasang di container atau jenis debugging perintah lainnya:

 docker run -v ${HOME}:/mnt --entrypoint ls ghcr.io/ratschlab/metagraph:master /mnt

Semua versi gambar kontainer yang berbeda tercantum di sini.

Instal Dari Sumber

Untuk mengkompilasi dari sumber (misalnya, untuk build dengan alfabet khusus atau konfigurasi lainnya), lihat dokumentasi online.

Alur kerja yang khas

1. Buat grafik de Bruijn dari file Fasta, file FastQ, atau penghitung k-mer KMC:
   ./metagraph build
2. Anotasi grafik menggunakan anotasi terkompresi kolom:
   ./metagraph annotate
3. Ubah anotasi yang dibuat menjadi skema anotasi yang berbeda:
   ./metagraph transform_anno
4. Grafik beranotasi kueri
   ./metagraph query

Contoh

 DATA="../tests/data/transcripts_1000.fa"

./metagraph build -k 12 -o transcripts_1000 $DATA

./metagraph annotate -i transcripts_1000.dbg --anno-filename -o transcripts_1000 $DATA

./metagraph query -i transcripts_1000.dbg -a transcripts_1000.column.annodbg $DATA

./metagraph stats -a transcripts_1000.column.annodbg transcripts_1000.dbg

Penggunaan cetak

./metagraph

Bangun grafik

• Bangunan sederhana

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

• Bangun dengan disk swap (gunakan untuk membatasi penggunaan RAM)

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 --disk-swap < GRAPH_DIR > 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

Bangun dari k-mers yang difilter dengan KMC

K=20
./KMC/kmc -ci5 -t4 -k $K -m5 -fm < FILE > .fasta.gz < FILE > .cutoff_5 ./KMC
./metagraph build -v -p 4 -k $K --mem-cap-gb 10 -o graph < FILE > .cutoff_5.kmc_pre

Grafik anotasi

./metagraph annotate -v --anno-type row --fasta-anno 
                           -i primates.dbg 
                           -o primates 
                           ~ /fasta_zurich/refs_chimpanzee_primates.fa

Ubah anotasi menjadi Multi-BRWT

1. Kolom cluster

./metagraph transform_anno -v --linkage --greedy 
                           -o linkage.txt 
                           --subsample R 
                           -p NCORES 
                           primates.column.annodbg

Memerlukan RAM N*R/8 + 6*N^2 byte, dengan N adalah jumlah kolom dan R adalah jumlah baris yang dijadikan sampel.

2. Membangun Multi-BRWT

./metagraph transform_anno -v -p NCORES --anno-type brwt 
                           --linkage-file linkage.txt 
                           -o primates 
                           --parallel-nodes V 
                           -p NCORES 
                           primates.column.annodbg

Membutuhkan M*V/8 + Size(BRWT) byte RAM, dengan M adalah jumlah baris dalam anotasi dan V adalah jumlah node yang digabungkan secara bersamaan.

Grafik kueri

./metagraph query -v -i < GRAPH_DIR > /graph.dbg 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --min-kmers-fraction-label 0.8 --labels-delimiter " , " 
                        query_seq.fa

Sejajarkan dengan grafik

./metagraph align -v -i < GRAPH_DIR > /graph.dbg query_seq.fa

Merakit urutan

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        -o assembled.fa 
                        --unitigs

Merakit urutan diferensial

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        --unitigs 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --diff-assembly-rules diff_assembly_rules.json 
                        -o diff_assembled.fa

Lihat metagraph/tests/data/example.diff.json dan metagraph/tests/data/example_simple.diff.json untuk contoh file.

Dapatkan statistik

Statistik untuk grafik

./metagraph stats graph.dbg

Statistik untuk anotasi

./metagraph stats -a annotation.column.annodbg

Statistik untuk keduanya

./metagraph stats -a annotation.column.annodbg graph.dbg

Catatan Pengembang

file make

Makefile di direktori sumber tingkat atas dapat digunakan untuk membangun dan menguji metagraph dengan lebih nyaman. Argumen berikut ini didukung:

• env : lingkungan untuk mengkompilasi/menjalankan ( "" : pada host, docker : dalam wadah buruh pelabuhan)
• alphabet : menyusun metagraf untuk alfabet tertentu (misalnya DNA atau Protein , DNA default)
• additional_cmake_args : argumen tambahan untuk diteruskan ke cmake.

Contoh:

 # compiles metagraph in a docker container for the `DNA` alphabet
make build-metagraph env=docker alphabet=DNA

Perbarui dan buat rilis baru

Membuat rilis versi baru dilakukan dalam tiga langkah:

1. Perbarui package.json dan atur versinya
2. Tambahkan tag dengan versi baru itu
3. Buat rilis baru di github

Lisensi

Metagraph didistribusikan di bawah Lisensi GPLv3 (lihat LISENSI). Silakan temukan informasi lebih lanjut di file PENULIS dan HAK CIPTA.