metagraph

مشروع الرسم البياني ميتاجينوم

MetaGraph هي أداة لإنشاء رسوم بيانية مشروحة للجينوم قابلة للتطوير ومحاذاة التسلسل إلى الرسم البياني.

تعتبر تمثيلات الفهرس الافتراضية في MetaGraph قابلة للتطوير بشكل كبير وتدعم إنشاء الرسوم البيانية بتريليونات العقد وملايين تسميات التعليقات التوضيحية. وفي الوقت نفسه، تتيح مسارات العمل المقدمة وتنفيذها الدقيق، جنبًا إلى جنب مع التحسينات منخفضة المستوى لهياكل البيانات الأساسية، أداءً استثنائيًا للاستعلام والمحاذاة.

الميزات الرئيسية:

• فهرسة التسلسلات على نطاق واسع
• Python API للاستعلام في وضع الخادم
• تشفير أعداد k-mer (على سبيل المثال، قيم التعبير) وإحداثيات k-mer في تسلسل المصدر (على سبيل المثال، لتشفير الجينومات بدون فقدان)
• محاذاة التسلسل مقابل الرسوم البيانية المشروحة الكبيرة جدًا (يسمح البذر الفرعي باستخدام بذور قصيرة بشكل تعسفي)
• تنظيف قابل للتطوير للرسوم البيانية الكبيرة جدًا لـ de Bruijn (لإزالة أخطاء التسلسل)
• دعم الحروف الهجائية المخصصة (على سبيل المثال، {A,C,G,T,N} أو الأحماض الأمينية)
• خوارزميات التجميع التفاضلي

خيارات التصميم في MetaGraph:

• استخدام هياكل البيانات الموجزة وخطط التمثيل الفعالة لقابلية التوسع العالية للغاية
• اختيارات خوارزمية تعمل بكفاءة مع هياكل البيانات المختصرة (على سبيل المثال، تفضل دائمًا العمليات المجمعة)
• الدعم المعياري لتمثيلات الرسم البياني والتعليقات التوضيحية المختلفة
• استخدام واجهات عامة وقابلة للتوسيع لدعم إضافة تمثيلات / خوارزميات فهرس مخصصة مع القليل من حمل التعليمات البرمجية.

التوثيق

الوثائق عبر الإنترنت متاحة على https://metagraph.ethz.ch/static/docs/index.html. المصادر غير المتصلة بالإنترنت هنا.

ثَبَّتَ

كوندا

قم بتثبيت أحدث إصدار على Linux أو Mac OS X باستخدام Anaconda:

 conda install -c bioconda -c conda-forge metagraph

عامل ميناء

إذا كان عامل الإرساء متاحًا على النظام، فابدأ به على الفور

 docker pull ghcr.io/ratschlab/metagraph:master
docker run -v ${HOME}:/mnt ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/transcripts_1000 /mnt/transcripts_1000.fa

واستبدل ${HOME} بدليل على النظام المضيف لتعيينه ضمن /mnt في الحاوية.

لتشغيل الملف الثنائي المجمع لأبجدية Protein ، ما عليك سوى إضافة --entrypoint metagraph_Protein :

 docker run -v ${HOME}:/mnt --entrypoint metagraph_Protein ghcr.io/ratschlab/metagraph:master 
    build -v -k 10 -o /mnt/graph /mnt/protein.fa

كما ترى، يعد تشغيل MetaGraph من حاويات الإرساء أمرًا سهلاً للغاية. أيضًا، قد يكون الأمر التالي (أو ما شابه) مفيدًا لمعرفة الدليل المثبت في الحاوية أو أي نوع آخر من تصحيح أخطاء الأمر:

 docker run -v ${HOME}:/mnt --entrypoint ls ghcr.io/ratschlab/metagraph:master /mnt

جميع الإصدارات المختلفة لصورة الحاوية مدرجة هنا.

التثبيت من المصادر

للتجميع من المصدر (على سبيل المثال، للإنشاءات باستخدام أبجدية مخصصة أو تكوينات أخرى)، راجع الوثائق عبر الإنترنت.

سير العمل النموذجي

1. أنشئ رسمًا بيانيًا لـ de Bruijn من ملفات Fasta أو ملفات FastQ أو عدادات KMC k-mer:
   ./metagraph build
2. قم بتعليق الرسم البياني باستخدام التعليق التوضيحي المضغوط للعمود:
   ./metagraph annotate
3. تحويل التعليق التوضيحي المدمج إلى نظام تعليق توضيحي مختلف:
   ./metagraph transform_anno
4. الاستعلام الرسم البياني المشروح
   ./metagraph query

مثال

 DATA="../tests/data/transcripts_1000.fa"

./metagraph build -k 12 -o transcripts_1000 $DATA

./metagraph annotate -i transcripts_1000.dbg --anno-filename -o transcripts_1000 $DATA

./metagraph query -i transcripts_1000.dbg -a transcripts_1000.column.annodbg $DATA

./metagraph stats -a transcripts_1000.column.annodbg transcripts_1000.dbg

استخدام الطباعة

./metagraph

بناء الرسم البياني

• بناء بسيط

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

• البناء باستخدام مبادلة القرص (يُستخدم للحد من استخدام ذاكرة الوصول العشوائي)

./metagraph build -v --parallel 30 -k 20 --mem-cap-gb 10 --disk-swap < GRAPH_DIR > 
                        -o < GRAPH_DIR > /graph < DATA_DIR > / * .fasta.gz 
2>&1 | tee < LOG_DIR > /log.txt

البناء من k-mers الذي تمت تصفيته باستخدام KMC

K=20
./KMC/kmc -ci5 -t4 -k $K -m5 -fm < FILE > .fasta.gz < FILE > .cutoff_5 ./KMC
./metagraph build -v -p 4 -k $K --mem-cap-gb 10 -o graph < FILE > .cutoff_5.kmc_pre

علق الرسم البياني

./metagraph annotate -v --anno-type row --fasta-anno 
                           -i primates.dbg 
                           -o primates 
                           ~ /fasta_zurich/refs_chimpanzee_primates.fa

تحويل التعليق التوضيحي إلى Multi-BRWT

1. أعمدة الكتلة

./metagraph transform_anno -v --linkage --greedy 
                           -o linkage.txt 
                           --subsample R 
                           -p NCORES 
                           primates.column.annodbg

يتطلب N*R/8 + 6*N^2 بايت من ذاكرة الوصول العشوائي (RAM)، حيث N هو عدد الأعمدة و R هو عدد الصفوف التي تم أخذ عينات منها.

2. بناء متعدد BRWT

./metagraph transform_anno -v -p NCORES --anno-type brwt 
                           --linkage-file linkage.txt 
                           -o primates 
                           --parallel-nodes V 
                           -p NCORES 
                           primates.column.annodbg

يتطلب M*V/8 + Size(BRWT) بايت من ذاكرة الوصول العشوائي (RAM)، حيث M هو عدد الصفوف في التعليق التوضيحي و V هو عدد العقد المدمجة بشكل متزامن.

الرسم البياني الاستعلام

./metagraph query -v -i < GRAPH_DIR > /graph.dbg 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --min-kmers-fraction-label 0.8 --labels-delimiter " , " 
                        query_seq.fa

محاذاة إلى الرسم البياني

./metagraph align -v -i < GRAPH_DIR > /graph.dbg query_seq.fa

تجميع التسلسلات

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        -o assembled.fa 
                        --unitigs

تجميع التسلسلات التفاضلية

./metagraph assemble -v < GRAPH_DIR > /graph.dbg 
                        --unitigs 
                        -a < GRAPH_DIR > /annotation.column.annodbg 
                        --diff-assembly-rules diff_assembly_rules.json 
                        -o diff_assembled.fa

راجع metagraph/tests/data/example.diff.json و metagraph/tests/data/example_simple.diff.json للحصول على نماذج الملفات.

احصل على الإحصائيات

إحصائيات الرسم البياني

./metagraph stats graph.dbg

إحصائيات للتعليق التوضيحي

./metagraph stats -a annotation.column.annodbg

إحصائيات لكليهما

./metagraph stats -a annotation.column.annodbg graph.dbg

ملاحظات المطور

ملف تعريف

يمكن استخدام Makefile الموجود في الدليل المصدر ذي المستوى الأعلى لإنشاء metagraph واختباره بسهولة أكبر. يتم دعم الحجج التالية:

• env : البيئة التي سيتم الترجمة/التشغيل فيها ( "" : على المضيف، docker : في حاوية عامل الإرساء)
• alphabet : تجميع metagraph لأبجدية معينة (مثل DNA أو Protein ، DNA الافتراضي)
• additional_cmake_args : وسيطات إضافية لتمريرها إلى cmake.

أمثلة:

 # compiles metagraph in a docker container for the `DNA` alphabet
make build-metagraph env=docker alphabet=DNA

تحديث وإنشاء إصدار جديد

يتم إنشاء إصدار إصدار جديد في ثلاث خطوات:

1. قم بتحديث package.json وقم بتعيين الإصدار
2. أضف علامة بهذا الإصدار الجديد
3. قم بإنشاء إصدار جديد على جيثب

رخصة

يتم توزيع Metagraph بموجب ترخيص GPLv3 (راجع الترخيص). يرجى العثور على مزيد من المعلومات في ملفات المؤلفين وحقوق الطبع والنشر.