BOLDigger2

Pembaruan penting: BOLDigger3

Silakan lihat: https://github.com/DominikBuchner/BOLDigger3

Program Python yang lebih baik lagi untuk menanyakan file .fasta terhadap database COI di www.boldsystems.org

Perkenalan

Kumpulan data metabarcoding DNA sering kali terdiri dari ratusan Unit Taksonomi Operasional (OTU), yang memerlukan kueri terhadap database untuk penugasan taksonomi. Sistem Barcode of Life Data (BOLD) adalah database yang banyak digunakan untuk tujuan ini di kalangan ahli biologi. Namun, platform online BOLD membatasi pengguna untuk mengidentifikasi kumpulan hanya 50 urutan dalam satu waktu. Selain itu, penggunaan API BOLD tidak sepenuhnya mengatasi masalah ini karena tidak menyediakan akses ke data pribadi dan rilis awal.

BOLDigger2, penerus BOLDigger, bertujuan untuk mengatasi keterbatasan ini. Sebagai program Python murni, BOLDigger2 menawarkan:

• Akses otomatis ke mesin identifikasi BOLD
• Mengunduh metadata tambahan untuk setiap hit
• Pemilihan pukulan yang paling sesuai dari hasil yang dikembalikan

Dengan memanfaatkan fitur-fitur ini, BOLDigger2 menyederhanakan proses identifikasi OTU, menjadikannya lebih efisien dan komprehensif.

Perbedaan Utama Antara BOLDigger2 dan BOLDigger

• Fungsi Terpadu : BOLDigger2 menggunakan fungsi tunggal, identify , yang secara otomatis melakukan identifikasi, pengunduhan data tambahan, dan pemilihan hit teratas. Hal ini memungkinkan implementasi langsung ke dalam saluran pipa.
• Kueri Basis Data yang Ditingkatkan : BOLDigger2 awalnya menggunakan 100 hit teratas dari basis data "catatan kode batang tingkat spesies". Jika tidak ada hasil yang ditemukan, hasilnya akan dikembalikan ke database "semua catatan kode batang".
• Peningkatan Kecepatan : BOLDigger2 tidak lagi mengubah file FASTA yang disediakan. Sebaliknya, ia menghasilkan semua tautan unduhan terlebih dahulu dan kemudian mengunduh data secara asinkron, sehingga meningkatkan kecepatan hampir dua kali lipat.
• Penanganan Kata Sandi yang Aman : BOLDigger2 tidak lagi meminta kata sandi dalam teks yang jelas.
• Argumen Sederhana : Fungsi identify di BOLDigger2 hanya menerima satu argumen: jalur ke file FASTA yang akan diidentifikasi. Ini menyimpan semua hasil dalam folder yang sama.
• Penyimpanan Data yang Efisien : BOLDigger2 menyimpan 100 hit teratas dalam file terpisah, sehingga waktu pemrosesan menjadi lebih cepat. Seluruh keluaran juga akan disimpan dalam format .hdf dan .parquet untuk memudahkan pemrosesan selanjutnya untuk tabel besar.
• Bidang Data Tambahan : Hit teratas di BOLDigger2 akan berisi kolom data tambahan, seperti jumlah catatan yang mendukung hit teratas yang dipilih, tingkat taksonomi yang digunakan untuk hit teratas, dan semua BINS milik hit yang dipilih jika itu adalah spesies- pukulan tingkat.
• Bendera tambahan : BOLDigger2 menukar bendera 5. Jika pukulan teratas diwakili oleh beberapa BINS, bendera 5 digunakan. Modul verifikasi API dari BOLDigger tidak diperlukan lagi.
• Ambang Batas Tingkat Spesies yang Disesuaikan : BOLDigger2 menerima hit dengan kemiripan >= 97% sebagai catatan tingkat spesies. Keputusan ini sejalan dengan ambang pengelompokan OTU 3% yang umum digunakan dalam metabarcoding DNA.
• Peningkatan keamanan proses : BOLDigger2 dapat dihentikan kapan saja dalam pemrosesan dan akan melanjutkan di tempat pemrosesan dihentikan. BOLDigger2 tidak akan lagi mengubah file FASTA yang disediakan. BOLDigger2 menerima kedua format FASTA yang umum.
• Unduhan dinamis : BOLDigger2 akan secara otomatis menyesuaikan jumlah urutan per kueri ke database BOLD. Jika waktu koneksi habis, ukuran kueri akan dikurangi, jika permintaan berhasil, ukuran kueri akan ditingkatkan.
• Peningkatan penanganan kesalahan : Catatan yang rusak dalam database BOLD kini terdeteksi dan langsung dilaporkan sebagai "BrokenRecord" selain "NoMatches". Jika website BOLD tidak dapat diakses, BOLDigger2 hanya akan menunggu hingga website tersebut aktif kembali. Selain itu, BOLDigger2 juga memperkenalkan hit "ImcompleteTaxonomy". Ini dikembalikan ketika semua hit berisi spesial atau tingkat taksonomi yang lebih tinggi (misalnya Kelas / Filum) hilang.

Instalasi dan Penggunaan

BOLDigger2 memerlukan Python versi 3.10 atau lebih tinggi dan dapat diinstal dengan mudah menggunakan pip di baris perintah apa pun:

pip install boldigger2

Perintah ini akan menginstal BOLDigger2 beserta semua dependensinya.

Untuk menjalankan fungsi identifikasi, gunakan perintah berikut:

boldigger2 identify PATH_TO_FASTA

Untuk mengotomatiskan fungsi identifikasi dalam saluran bioinformatik, kredensial BOLD juga dapat diteruskan secara langsung sebagai argumen opsional

boldigger2 identify PATH_TO_FASTA -username USERNAME -password PASSWORD

Untuk menyesuaikan ambang batas yang diterapkan untuk kebutuhan spesifik pengguna, ambang batas tersebut dapat diteruskan sebagai argumen tambahan (terurut). Hingga 5 ambang batas berbeda dapat dilewati untuk tingkat taksonomi berbeda (Spesies, Genus, Family, Order, Class). Ambang batas yang tidak dilewati akan diganti secara default, tetapi BOLDigger2 juga akan memberi tahu Anda tentang hal ini.

boldigger2 identify PATH_TO_FASTA -thresholds 99 97

Keluaran:

 19:16:16: Default thresholds changed!
19:16:16: Species: 99, Genus: 97, Family: 90, Order: 85, Class: 50
19:16:16: Trying to log in.
BOLD username:

BOLDigger2 akan meminta nama pengguna dan kata sandi Anda, dan kemudian akan melakukan identifikasi.

Saat versi baru dirilis, Anda dapat memperbarui BOLDigger2 dengan mengetik:

pip install --upgrade boldigger2

Cara mengutip

Buchner D, Leese F (2020) BOLDigger – paket Python untuk mengidentifikasi dan mengatur urutan dengan sistem Barcode of Life Data. Metabarcoding dan Metagenomics 4: e53535. https://doi.org/10.3897/mbmg.4.53535

Algoritma BOLDigger2

Algoritma BOLDigger2 beroperasi sesuai dengan diagram alur berikut:

1. Masuk ke BOLD:

   • Otentikasi dengan sistem data BOLD.

2. Buat Tautan Unduhan untuk Barcode Tingkat Spesies:

   • Hasilkan tautan unduhan untuk basis data kode batang tingkat spesies untuk kumpulan rangkaian.

3. Unduh 100 Hit Teratas:

   • Ambil tautan unduhan dari langkah sebelumnya.
   • Unduh 100 hit teratas untuk setiap tautan.
   • Simpan hasilnya ke penyimpanan HDF dengan kunci "top_100_hits_unsorted" .
   • Lanjutkan sampai semua urutan teridentifikasi.

4. Identifikasi Urutan Tanpa Hit Tingkat Spesies:

   • Baca 100 hit teratas yang tidak disortir.
   • Identifikasi rangkaian yang tidak menghasilkan hit pada tingkat spesies.

5. Hasilkan Tautan Unduhan untuk Semua Catatan:

   • Hasilkan tautan unduhan untuk kumpulan urutan tanpa hit tingkat spesies untuk basis data "semua catatan di BOLD".

6. Unduh 100 Hit Teratas untuk Semua Rekaman:

   • Ambil tautan unduhan dari langkah sebelumnya.
   • Unduh 100 hit teratas untuk setiap tautan.
   • Simpan hasilnya ke penyimpanan HDF dengan kunci "top_100_hits_unsorted" .
   • Lanjutkan sampai semua urutan teridentifikasi.

7. Sortir dan Simpan Top Hits:

   • Baca semua 100 hit teratas.
   • Hapus entri duplikat.
   • Urutkan hit dalam urutan yang sama seperti pada file FASTA.
   • Identifikasi semua catatan publik dan picu pengunduhan data tambahan.
   • Simpan di penyimpanan HDF dengan kunci "top_100_hits_sorted" .

8. Simpan Data Tambahan:

   • Simpan hit termasuk data tambahan ke penyimpanan HDF dengan kunci "top_100_hits_additional_data" .

9. Ekspor Data Tambahan ke Excel:

   • Simpan data tambahan dalam format Excel.
   • Bagi data menjadi tabel yang masing-masing terdiri dari 1.000.000 baris.

10. Hitung dan Simpan Top Hits:

    • Hitung pukulan teratas untuk setiap urutan.
    • Simpan hit teratas dalam format Excel ( identification_result.xlsx ) dan format Parket ( identification_result.parquet.snappy ) untuk pemrosesan lebih lanjut yang cepat.

Pilihan hit teratas

Ambang batas yang berbeda (97%: tingkat spesies, 95%: tingkat genus, 90%: tingkat famili, 85%: tingkat ordo, <85% dan >= 50: tingkat kelas) untuk tingkat taksonomi digunakan untuk menemukan hasil yang paling sesuai . Setelah menentukan ambang batas untuk semua pukulan, pukulan yang paling umum di atas ambang batas akan dipilih. Perhatikan bahwa untuk semua hit di bawah ambang batas, resolusi taksonomi akan disesuaikan (misalnya untuk 96% hit, informasi tingkat spesies akan dibuang, dan informasi tingkat genus akan digunakan sebagai tingkat taksonomi terendah).

Algoritma BOLDigger2 berfungsi sebagai berikut:

1. Identifikasi Kesamaan Maksimum : Temukan nilai kesamaan maksimum di antara 100 hit teratas yang sedang dipertimbangkan.

2. Set Threshold : Tetapkan ambang batas ke tingkat kesamaan maksimum ini. Hapus semua hit dengan kesamaan di bawah ambang batas ini. Misalnya, jika hit tertinggi memiliki kesamaan 100%, ambang batas akan ditetapkan ke 97%, dan semua hit di bawah ambang batas ini akan dihapus sementara.

3. Klasifikasi dan Penyortiran : Hitung semua klasifikasi individu dan urutkan berdasarkan kelimpahan.

4. Filter Data yang Hilang : Hapus semua klasifikasi yang berisi data yang hilang. Misalnya, jika hit yang paling umum adalah "Arthropoda --> Insecta" dengan kemiripan 100% tetapi nilai Ordo, Famili, Genus, dan Spesies tidak ada.

5. Identifikasi Hit Umum : Cari hit paling umum yang tidak memiliki nilai yang hilang.

6. Return Hit : Jika ditemukan hit tanpa nilai yang hilang, kembalikan hit tersebut.

7. Penyesuaian Ambang Batas : Jika tidak ditemukan hit tanpa nilai yang hilang, naikkan ambang batas ke level berikutnya yang lebih tinggi dan ulangi proses hingga ditemukan hit.

Sistem Penandaan BOLDigger2

BOLDigger2 menggunakan sistem penandaan untuk menyorot kondisi tertentu, yang menunjukkan tingkat ketidakpastian pada hit yang dipilih. Saat ini, ada lima tanda yang diterapkan, yang dapat diperbarui sesuai kebutuhan:

1. Taksonomi BIN Terbalik : Bendera ini dikibarkan jika seluruh 100 hit teratas yang mewakili pertandingan yang dipilih menggunakan taksonomi BIN terbalik. Taksonomi Reverse BIN memberikan nama spesies pada urutan yang tersimpan di BOLD yang tidak memiliki informasi spesies, sehingga berpotensi menimbulkan ketidakpastian.

2. Informasi Taksonomi yang Berbeda : Jika ada dua atau lebih entri dengan informasi taksonomi berbeda di atas ambang batas yang dipilih (misalnya, dua spesies di atas 97%), tanda ini terpicu, yang menunjukkan potensi perbedaan.

3. Data Pribadi atau Data Rilis Awal : Jika semua dari 100 hit teratas yang mewakili hit teratas adalah hit pribadi atau rilis awal, tanda ini dikibarkan, yang menunjukkan terbatasnya aksesibilitas ke data.

4. Unique Hit : Tanda ini menunjukkan bahwa hasil hit teratas mewakili hit unik di antara 100 hit teratas, yang berpotensi memerlukan pemeriksaan lebih lanjut.

5. Beberapa BIN : Jika hit pada tingkat spesies yang dipilih terdiri dari lebih dari satu BIN, tanda ini akan dikibarkan, yang menunjukkan potensi kompleksitas dalam penetapan taksonomi.

Mengingat adanya tanda-tanda ini, disarankan untuk melakukan pemeriksaan lebih dekat terhadap semua pukulan yang ditandai untuk lebih memahami dan mengatasi ketidakpastian dalam pukulan yang dipilih.