ボールディガー2

重要なアップデート: BOLDigger3

参照してください: https://github.com/DominikBuchner/BOLDigger3

www.boldsystems.org の COI データベースに対して .fasta ファイルをクエリするさらに優れた Python プログラム

導入

DNA メタバーコーディング データセットは多くの場合、数百の操作分類単位 (OTU) で構成されており、分類学的割り当てのためにデータベースに対してクエリを実行する必要があります。 Barcode of Life Data システム (BOLD) は、生物学者の間でこの目的で広く使用されているデータベースです。ただし、BOLD のオンライン プラットフォームでは、ユーザーが一度に識別できる配列のバッチは 50 配列に制限されています。さらに、BOLD の API を使用しても、プライベート データや初期リリース データへのアクセスが提供されないため、この問題は完全には解決されません。

BOLDigger の後継である BOLDigger2 は、これらの制限を克服することを目的としています。純粋な Python プログラムとして、BOLDigger2 は以下を提供します。

• BOLD の識別エンジンへの自動アクセス
• 各ヒットに対する追加のメタデータのダウンロード
• 返された結果から最適なヒットを選択

これらの機能を活用することで、BOLDigger2 は OTU 識別プロセスを合理化し、より効率的かつ包括的なものにします。

BOLDigger2 と BOLDigger の主な違い

• 統合された機能: BOLDigger2 は、識別、追加データのダウンロード、およびトップヒットの選択を自動的に実行する単一の関数identifyを使用します。これにより、パイプラインへの直接実装が可能になります。
• 強化されたデータベース クエリ: BOLDigger2 は最初、「種レベルのバーコード レコード」データベースからの上位 100 件のヒットを使用します。結果が見つからない場合は、「すべてのバーコード レコード」データベースにフォールバックします。
• 速度の向上: BOLDigger2 は、提供された FASTA ファイルを変更しなくなりました。代わりに、最初にすべてのダウンロード リンクを生成し、その後データを非同期でダウンロードするため、速度がほぼ 2 倍に向上します。
• 安全なパスワードの処理: BOLDigger2 はクリア テキストでパスワードを要求しなくなりました。
• 簡略化された引数: BOLDigger2 のidentify関数は、識別される FASTA ファイルへのパスという 1 つの引数のみを受け入れます。すべての結果が同じフォルダーに保存されます。
• 効率的なデータストレージ: BOLDigger2 は上位 100 件のヒットを別のファイルに保存するため、処理時間が大幅に短縮されます。すべての出力は、大きなテーブルの後続の処理を容易にするために、.hdf および .parquet 形式でも保存されます。
• 追加のデータ フィールド: BOLDigger2 の上位ヒットには、選択した上位ヒットをサポートするレコードの数、上位ヒットに使用される分類レベル、選択したヒットが属しているすべての BINS (種の場合) などの追加データ フィールドが含まれます。レベルヒット。
• 追加フラグ: BOLDigger2 はフラグ 5 を交換しました。トップヒットが複数の BINS で表される場合、フラグ 5 が使用されます。 BOLDigger の API 検証モジュールは必要なくなりました。
• 調整された種レベルのしきい値: BOLDigger2 は、97% 以上の類似性を持つヒットを種レベルのレコードとして受け入れます。この決定は、DNA メタバーコーディングで一般的に使用される 3% OTU クラスタリングしきい値と一致しています。
• プロセスの安全性の向上: BOLDigger2 は処理のどの時点でも停止でき、停止したところから継続します。 BOLDigger2 は、提供された FASTA ファイルを変更しなくなりました。 BOLDigger2 は、両方の一般的な FASTA 形式を受け入れます。
• 動的ダウンロード: BOLDigger2 は、BOLD データベースへのクエリごとのシーケンス数を自動的に調整します。接続がタイムアウトするとクエリのサイズは減少し、リクエストが成功するとクエリのサイズは増加します。
• エラー処理の改善: BOLD データベース内の壊れたレコードが検出され、「NoMatches」に加えて「BrokenRecord」として直接報告されるようになりました。 BOLD Web サイトにアクセスできない場合、BOLDigger2 は再び起動するまで待機します。それに加えて、BOLDigger2 では「ImcompleteTaxonomy」ヒットも導入されています。これは、すべてのヒットに特別なものが含まれているか、完全に上位の分類レベル (クラス/門など) が欠落している場合に返されます。

インストールと使用方法

BOLDigger2 には Python バージョン 3.10 以降が必要ですが、コマンド ラインで pip を使用して簡単にインストールできます。

pip install boldigger2

このコマンドは、BOLDigger2 とそのすべての依存関係をインストールします。

識別機能を実行するには、次のコマンドを使用します。

boldigger2 identify PATH_TO_FASTA

バイオインフォマティクス パイプラインの識別機能を自動化するために、BOLD 認証情報をオプションの引数として直接渡すこともできます。

boldigger2 identify PATH_TO_FASTA -username USERNAME -password PASSWORD

ユーザー固有のニーズに合わせて実装されたしきい値をカスタマイズするには、しきい値を追加の (順序付き) 引数として渡すことができます。異なる分類レベル (種、属、科、目、綱) に対して、最大 5 つの異なるしきい値を渡すことができます。通過しなかったしきい値はデフォルトで置き換えられますが、BOLDigger2 はこれについても通知します。

boldigger2 identify PATH_TO_FASTA -thresholds 99 97

出力：

 19:16:16: Default thresholds changed!
19:16:16: Species: 99, Genus: 97, Family: 90, Order: 85, Class: 50
19:16:16: Trying to log in.
BOLD username:

BOLDigger2 はユーザー名とパスワードの入力を要求し、識別を実行します。

新しいバージョンがリリースされたら、次のように入力して BOLDigger2 を更新できます。

pip install --upgrade boldigger2

引用の仕方

Buchner D、Leese F (2020) BOLDigger – Barcode of Life Data システムを使用してシーケンスを識別および整理するための Python パッケージ。メタバーコーディングとメタゲノミクス 4: e53535。 https://doi.org/10.3897/mbmg.4.53535

BOLDigger2 アルゴリズム

BOLDigger2 アルゴリズムは次のフローチャートに従って動作します。

1. 太字にログインします:

   • BOLD データ システムで認証します。

2. 種レベルのバーコードのダウンロード リンクを生成します。

   • 配列のバッチの種レベルのバーコード データベースのダウンロード リンクを生成します。

3. トップ 100 ヒットをダウンロード:

   • 前の手順でダウンロード リンクを取得します。
   • 各リンクの上位 100 件のヒットをダウンロードします。
   • 結果をキー"top_100_hits_unsorted"を使用して HDF ストレージに保存します。
   • すべての配列が特定されるまで続けます。

4. 種レベルのヒットがない配列を特定する:

   • 未ソートのトップ 100 ヒットを読んでください。
   • 種レベルのヒットをもたらさなかった配列を特定します。

5. すべてのレコードのダウンロード リンクを生成します。

   • 「太字のすべてのレコード」データベースの種レベルのヒットがない配列のバッチのダウンロード リンクを生成します。

6. すべてのレコードのトップ 100 ヒットをダウンロード:

   • 前の手順でダウンロード リンクを取得します。
   • 各リンクの上位 100 件のヒットをダウンロードします。
   • 結果をキー"top_100_hits_unsorted"を使用して HDF ストレージに保存します。
   • すべての配列が特定されるまで続けます。

7. トップヒットを並べ替えて保存:

   • トップ 100 ヒットをすべて読みます。
   • 重複したエントリを削除します。
   • ヒットを FASTA ファイルと同じ順序で並べ替えます。
   • すべての公的記録を特定し、追加データのダウンロードをトリガーします。
   • これらをキー"top_100_hits_sorted"を使用して HDF ストレージに保存します。

8. 追加データを保存:

   • 追加データを含むヒットを、キー"top_100_hits_additional_data"を使用して HDF ストレージに保存します。

9. 追加データを Excel にエクスポート:

   • 追加データを Excel 形式で保存します。
   • データをそれぞれ 1,000,000 行のテーブルに分割します。

10. トップヒットを計算して保存する:

    • 各シーケンスのトップヒットを計算します。
    • さらに高速に処理できるように、上位ヒットを Excel 形式 ( identification_result.xlsx ) と Parquet 形式 ( identification_result.parquet.snappy ) の両方で保存します。

トップヒットセレクション

分類レベルのさまざまなしきい値 (97%: 種レベル、95%: 属レベル、90%: 科レベル、85%: 目レベル、<85% および >= 50: 分類レベル) を使用して、最適なヒットを見つけます。 。すべてのヒットのしきい値を決定した後、しきい値を超える最も一般的なヒットが選択されます。しきい値を下回るすべてのヒットについては、分類学的解像度がそれに応じて調整されることに注意してください (たとえば、96% のヒットの場合、種レベルの情報は破棄され、属レベルの情報が最低分類レベルとして使用されます)。

BOLDigger2 アルゴリズムは次のように機能します。

1. 最大類似度の特定: 現在検討中の上位 100 ヒットの中から最大類似度値を見つけます。

2. しきい値の設定: しきい値をこの最大類似度レベルに設定します。このしきい値を下回る類似性を持つすべてのヒットを削除します。たとえば、最も高いヒットの類似性が 100% の場合、しきい値は 97% に設定され、このしきい値を下回るヒットはすべて一時的に削除されます。

3. 分類と並べ替え: 個々の分類をすべて数えて、量の多い順に並べ替えます。

4. 欠損データをフィルターする: 欠損データを含むすべての分類を削除します。たとえば、最も一般的なヒットが「節足動物 --> 昆虫綱」で、類似度は 100% ですが、目、科、属、種の値が欠落しているとします。

5. 共通ヒットの特定: 欠損値がない最も一般的なヒットを探します。

6. Return Hit : 欠損値のないヒットが見つかった場合は、そのヒットを返します。

7. しきい値の調整: 欠損値のないヒットが見つからない場合は、しきい値を次の高いレベルに上げ、ヒットが見つかるまでプロセスを繰り返します。

BOLDigger2 フラグ システム

BOLDigger2 は、特定の条件を強調表示するフラグ システムを採用し、選択されたヒットの不確実性の程度を示します。現在、5 つのフラグが実装されており、必要に応じて更新される可能性があります。

1. 逆 BIN 分類: このフラグは、選択した一致を表す上位 100 ヒットのすべてが逆 BIN 分類を使用する場合に発生します。逆 BIN 分類法では、種情報が不足している BOLD に登録された配列に種名が割り当てられるため、不確実性が生じる可能性があります。

2. 異なる分類情報: 選択したしきい値を超える異なる分類情報を持つエントリが 2 つ以上ある場合 (例: 97% を超える 2 種)、このフラグがトリガーされ、不一致の可能性が示唆されます。

3. プライベートまたは早期リリース データ: トップ ヒットを表す上位 100 ヒットがすべてプライベート ヒットまたは早期リリース ヒットである場合、このフラグが立てられ、データへのアクセスが制限されていることを示します。

4. Unique Hit : このフラグは、上位ヒットの結果が上位 100 ヒットの中で固有のヒットを表しており、さらなる精査が必要な可能性があることを示します。

5. 複数の BIN : 選択した種レベルのヒットが複数の BIN で構成されている場合、このフラグが立てられ、分類学的割り当ての潜在的な複雑性が示唆されます。

これらのフラグが存在する場合、フラグが立てられたすべてのヒットを詳しく調べて、選択したヒットの不確実性をよりよく理解し、対処することをお勧めします。