الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

تحديث مهم: BOLDigger3

يرجى الاطلاع على: https://github.com/DominikBuchner/BOLDigger3

برنامج Python أفضل للاستعلام عن ملفات .fasta مقابل قاعدة بيانات COI الخاصة بـ www.boldsystems.org

مقدمة

غالبًا ما تشتمل مجموعات بيانات تشفير الحمض النووي على مئات من وحدات التصنيف التشغيلية (OTUs)، مما يتطلب الاستعلام عن قواعد البيانات للتخصيص التصنيفي. يعد نظام الباركود لبيانات الحياة (BOLD) قاعدة بيانات مستخدمة على نطاق واسع لهذا الغرض بين علماء الأحياء. ومع ذلك، فإن منصة BOLD على الإنترنت تقيد المستخدمين بتحديد دفعات مكونة من 50 تسلسلًا فقط في المرة الواحدة. بالإضافة إلى ذلك، فإن استخدام واجهة برمجة التطبيقات الخاصة بـ BOLD لا يعالج هذه المشكلة بشكل كامل لأنه لا يوفر الوصول إلى البيانات الخاصة وبيانات الإصدار المبكر.

يهدف BOLDigger2، خليفة BOLDigger، إلى التغلب على هذه القيود. باعتباره برنامج Python خالصًا، يقدم BOLDigger2 ما يلي:

  • الوصول الآلي إلى محرك تحديد BOLD
  • تنزيل البيانات الوصفية الإضافية لكل نتيجة
  • اختيار النتيجة الأكثر ملائمة من النتائج التي تم إرجاعها

ومن خلال الاستفادة من هذه الميزات، يعمل BOLDigger2 على تبسيط عملية تحديد OTU، مما يجعلها أكثر كفاءة وشمولاً.

الاختلافات الرئيسية بين BOLDigger2 وBOLDigger

  • الوظيفة الموحدة : يستخدم BOLDigger2 وظيفة واحدة، وهي identify ، والتي تقوم تلقائيًا بتحديد الهوية وتنزيل البيانات الإضافية واختيار النتيجة الأفضل. وهذا يتيح التنفيذ المباشر في خطوط الأنابيب.
  • استعلام قاعدة البيانات المحسّن : يستخدم BOLDigger2 في البداية أفضل 100 نتيجة من قاعدة بيانات "سجلات الباركود على مستوى الأنواع". إذا لم يتم العثور على نتائج، فسيتم الرجوع إلى قاعدة بيانات "جميع سجلات الباركود".
  • تحسين السرعة : لم يعد BOLDigger2 يغير ملف FASTA المقدم. وبدلاً من ذلك، يقوم بإنشاء جميع روابط التنزيل أولاً ثم يقوم بعد ذلك بتنزيل البيانات بشكل غير متزامن، مما يؤدي إلى زيادة السرعة بمقدار الضعف تقريبًا.
  • التعامل الآمن مع كلمة المرور : لم يعد BOLDigger2 يطلب كلمة المرور بنص واضح.
  • الوسيطات المبسطة : تقبل وظيفة identify في BOLDigger2 وسيطة واحدة فقط: المسار إلى ملف FASTA المراد تعريفه. يقوم بحفظ كافة النتائج في نفس المجلد.
  • تخزين فعال للبيانات : يحفظ BOLDigger2 أفضل 100 نتيجة في ملف منفصل، مما يؤدي إلى أوقات معالجة أسرع بكثير. سيتم أيضًا حفظ جميع المخرجات بتنسيق .hdf و.parquet لتسهيل المعالجة اللاحقة للجداول الكبيرة.
  • حقول البيانات الإضافية : ستحتوي أعلى النتائج في BOLDigger2 على حقول بيانات إضافية، مثل عدد السجلات التي تدعم النتيجة العليا المحددة، والمستوى التصنيفي المستخدم لأعلى نتيجة، وجميع BINS التي تنتمي إليها النتيجة المحددة إذا كانت من الأنواع- ضرب المستوى.
  • علامة إضافية : علامة BOLDigger2 المتبادلة 5. إذا تم تمثيل النتيجة الأعلى بواسطة BINS المتعددة، يتم استخدام علامة 5. لم تعد هناك حاجة إلى وحدة التحقق من واجهة برمجة التطبيقات (API) من BOLDigger.
  • عتبة مستوى الأنواع المعدلة : يقبل BOLDigger2 النتائج ذات التشابه >= 97% كسجلات على مستوى الأنواع. يتوافق هذا القرار مع عتبة التجميع OTU البالغة 3% المستخدمة بشكل شائع في ترميز الحمض النووي.
  • زيادة سلامة العملية : يمكن إيقاف BOLDigger2 عند أي نقطة في المعالجة وسيستمر ببساطة حيث توقف. لن يقوم BOLDigger2 بتغيير ملف FASTA المقدم بعد الآن. يقبل BOLDigger2 تنسيقات FASTA الشائعة.
  • التنزيلات الديناميكية : سيقوم BOLDigger2 تلقائيًا بضبط عدد التسلسلات لكل استعلام في قاعدة بيانات BOLD. إذا انتهت مهلة الاتصال، فسيتم تقليل حجم الاستعلام، وإذا نجح الطلب، فسيتم زيادة حجم الاستعلام.
  • تحسين معالجة الأخطاء : تم الآن اكتشاف السجلات المعطلة في قاعدة بيانات BOLD والإبلاغ عنها مباشرة باعتبارها "BrokenRecord" بالإضافة إلى "NoMatches". إذا لم يكن من الممكن الوصول إلى موقع BOLD الإلكتروني، فسينتظر BOLDigger2 ببساطة حتى يتم تشغيله مرة أخرى. بالإضافة إلى ذلك، يقدم BOLDigger2 أيضًا أغنية "ImcompleteTaxonomy". يتم إرجاع هذا عندما تحتوي جميع النتائج على عروض خاصة أو عندما يكون المستوى التصنيفي الأعلى الكامل (مثل الفئة/الشعبة) مفقودًا.

التثبيت والاستخدام

يتطلب BOLDigger2 إصدار Python 3.10 أو أعلى ويمكن تثبيته بسهولة باستخدام النقطة في أي سطر أوامر:

pip install boldigger2

سيقوم هذا الأمر بتثبيت BOLDigger2 مع كافة تبعياته.

لتشغيل وظيفة التعريف، استخدم الأمر التالي:

boldigger2 identify PATH_TO_FASTA

لأتمتة وظيفة التعريف في مسارات المعلومات الحيوية، يمكن أيضًا تمرير بيانات اعتماد BOLD مباشرة كوسيطات اختيارية

boldigger2 identify PATH_TO_FASTA -username USERNAME -password PASSWORD

لتخصيص الحدود المطبقة للاحتياجات الخاصة بالمستخدم، يمكن تمرير العتبات كوسيطة إضافية (مرتبه). يمكن تجاوز ما يصل إلى 5 عتبات مختلفة للمستويات التصنيفية المختلفة (النوع، الجنس، العائلة، الرتبة، الطبقة). سيتم استبدال العتبات التي لم يتم تجاوزها افتراضيًا، ولكن BOLDigger2 سيخبرك أيضًا بهذا الأمر.

boldigger2 identify PATH_TO_FASTA -thresholds 99 97

الإخراج: 

 19:16:16: Default thresholds changed!
19:16:16: Species: 99, Genus: 97, Family: 90, Order: 85, Class: 50
19:16:16: Trying to log in.
BOLD username:

سيطالبك BOLDigger2 بإدخال اسم المستخدم وكلمة المرور الخاصين بك، ثم سيقوم بإجراء عملية التعريف.

عندما يتم إصدار إصدار جديد، يمكنك تحديث BOLDigger2 عن طريق كتابة:

pip install --upgrade boldigger2

كيفية الاستشهاد

Buchner D, Leese F (2020) BOLDigger – حزمة Python لتحديد وتنظيم التسلسلات باستخدام أنظمة الباركود لبيانات الحياة. Metabarcoding و Metagenomics 4: e53535. https://doi.org/10.3897/mbmg.4.53535

خوارزمية BOLDigger2

تعمل خوارزمية BOLDigger2 وفقًا للمخطط الانسيابي التالي:

  1. تسجيل الدخول إلى BOLD:

    • المصادقة مع أنظمة البيانات BOLD.

  2. إنشاء روابط تنزيل للرموز الشريطية على مستوى الأنواع:

    • قم بإنشاء روابط التنزيل لقاعدة بيانات الباركود على مستوى الأنواع لمجموعة من التسلسلات.

  3. تنزيل أفضل 100 زيارة:

    • استرجع روابط التنزيل من الخطوة السابقة.
    • قم بتنزيل أفضل 100 نتيجة لكل رابط.
    • احفظ النتائج في وحدة تخزين HDF باستخدام المفتاح "top_100_hits_unsorted" .
    • استمر حتى يتم تحديد كافة التسلسلات.

  4. تحديد التسلسلات دون الوصول إلى مستوى الأنواع:

    • اقرأ أفضل 100 نتيجة غير مصنفة.
    • تحديد التسلسلات التي لم تسفر عن نجاح على مستوى الأنواع.

  5. إنشاء روابط التنزيل لجميع السجلات:

    • قم بإنشاء روابط تنزيل لمجموعة من التسلسلات دون الوصول إلى مستوى الأنواع لقاعدة بيانات "جميع السجلات الموجودة على BOLD".

  6. تنزيل أفضل 100 نتيجة لجميع السجلات:

    • استرجع روابط التنزيل من الخطوة السابقة.
    • قم بتنزيل أفضل 100 نتيجة لكل رابط.
    • احفظ النتائج في وحدة تخزين HDF باستخدام المفتاح "top_100_hits_unsorted" .
    • استمر حتى يتم تحديد كافة التسلسلات.

  7. فرز وحفظ أفضل النتائج:

    • قراءة جميع أفضل 100 زيارة.
    • إزالة الإدخالات المكررة.
    • قم بفرز النتائج بنفس الترتيب كما في ملف FASTA.
    • تحديد جميع السجلات العامة وتشغيل تنزيل البيانات الإضافية.
    • احفظها في وحدة تخزين HDF باستخدام المفتاح "top_100_hits_sorted" .

  8. حفظ البيانات الإضافية:

    • احفظ النتائج بما في ذلك البيانات الإضافية في وحدة تخزين HDF باستخدام المفتاح "top_100_hits_additional_data" .

  9. تصدير بيانات إضافية إلى Excel:

    • احفظ البيانات الإضافية بتنسيق Excel.
    • تقسيم البيانات إلى جداول يتكون كل منها من 1,000,000 سطر.

  10. حساب وحفظ أفضل النتائج:

    • احسب أعلى نتيجة لكل تسلسل.
    • احفظ أفضل النتائج بتنسيق Excel ( identification_result.xlsx ) وتنسيق Parquet ( identification_result.parquet.snappy ) لمزيد من المعالجة السريعة.

اختيار أعلى ضرب

يتم استخدام عتبات مختلفة (97%: مستوى الأنواع، 95%: مستوى الجنس، 90%: مستوى العائلة، 85%: مستوى الرتبة، <85% و>= 50: مستوى الفئة) للمستويات التصنيفية للعثور على أفضل نتيجة مناسبة . بعد تحديد العتبة لجميع النتائج، سيتم تحديد النتيجة الأكثر شيوعًا فوق العتبة. لاحظ أنه بالنسبة لجميع النتائج التي تقل عن العتبة، سيتم تعديل القرار التصنيفي وفقًا لذلك (على سبيل المثال، بالنسبة لنسبة 96%، سيتم تجاهل المعلومات على مستوى الأنواع، وسيتم استخدام المعلومات على مستوى الجنس كأدنى مستوى تصنيفي).

تعمل خوارزمية BOLDigger2 على النحو التالي:

  1. تحديد الحد الأقصى للتشابه : ابحث عن الحد الأقصى لقيمة التشابه بين أفضل 100 نتيجة قيد النظر حاليًا.

  2. تعيين العتبة : قم بتعيين العتبة على مستوى التشابه الأقصى هذا. قم بإزالة كافة النتائج التي لها تشابه أقل من هذا الحد. على سبيل المثال، إذا كانت أعلى نتيجة لها تشابه بنسبة 100%، فسيتم تعيين الحد إلى 97%، وستتم إزالة جميع النتائج التي تقل عن هذا الحد مؤقتًا.

  3. التصنيف والفرز : عد جميع التصنيفات الفردية وفرزها حسب الوفرة.

  4. تصفية البيانات المفقودة : قم بإسقاط جميع التصنيفات التي تحتوي على بيانات مفقودة. على سبيل المثال، إذا كانت النتيجة الأكثر شيوعًا هي "Arthropoda --> Insecta" مع تشابه بنسبة 100% ولكن تفتقد قيم الترتيب والعائلة والجنس والأنواع.

  5. تحديد النتيجة الشائعة : ابحث عن النتيجة الأكثر شيوعًا التي لا تحتوي على قيم مفقودة.

  6. إرجاع النتيجة : إذا تم العثور على نتيجة لا تحتوي على قيم مفقودة، فقم بإرجاع تلك النتيجة.

  7. تعديل الحد : إذا لم يتم العثور على نتيجة بدون قيم مفقودة، فقم بزيادة الحد إلى المستوى الأعلى التالي وكرر العملية حتى يتم العثور على نتيجة.

نظام وضع العلامات BOLDigger2

يستخدم BOLDigger2 نظام تمييز لتسليط الضوء على شروط معينة، مما يشير إلى درجة من عدم اليقين في النتيجة المحددة. حاليًا، هناك خمس علامات تم تنفيذها، والتي يمكن تحديثها حسب الحاجة:

  1. تصنيف BIN العكسي : يتم رفع هذه العلامة إذا كانت أفضل 100 نتيجة تمثل المطابقة المحددة تستخدم تصنيف BIN العكسي. يقوم تصنيف BIN العكسي بتعيين أسماء الأنواع للتسلسلات المودعة على BOLD والتي تفتقر إلى معلومات الأنواع، مما قد يؤدي إلى عدم اليقين.

  2. معلومات تصنيفية مختلفة : إذا كان هناك مدخلان أو أكثر بمعلومات تصنيفية مختلفة فوق العتبة المحددة (على سبيل المثال، نوعان فوق 97%)، يتم تشغيل هذه العلامة، مما يشير إلى وجود تناقضات محتملة.

  3. البيانات الخاصة أو بيانات الإصدار المبكر : إذا كانت جميع أفضل 100 نتيجة تمثل النتيجة الأولى هي نتائج خاصة أو بيانات إصدار مبكر، فسيتم رفع هذه العلامة، مما يشير إلى محدودية إمكانية الوصول إلى البيانات.

  4. النتيجة الفريدة : تشير هذه العلامة إلى أن نتيجة النتيجة الأعلى تمثل نتيجة فريدة من بين أفضل 100 نتيجة، مما قد يتطلب مزيدًا من التدقيق.

  5. أرقام التعريف المصرفية المتعددة : إذا كانت النتيجة المحددة على مستوى الأنواع مكونة من أكثر من رقم تعريف شخصي واحد، فسيتم رفع هذه العلامة، مما يشير إلى التعقيدات المحتملة في التعيين التصنيفي.

نظرًا لوجود هذه العلامات، فمن المستحسن إجراء فحص دقيق لجميع النتائج التي تم وضع علامة عليها لفهم أي شكوك في النتيجة المحددة ومعالجتها بشكل أفضل.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل
تعليقات المستخدمين