BOLDigger2

Mise à jour importante : BOLDigger3

Veuillez consulter : https://github.com/DominikBuchner/BOLDigger3

Un programme Python encore meilleur pour interroger les fichiers .fasta sur la base de données COI de www.boldsystems.org

Introduction

Les ensembles de données de métabarcodage ADN comprennent souvent des centaines d'unités taxonomiques opérationnelles (OTU), nécessitant des requêtes sur des bases de données pour l'attribution taxonomique. Le système Barcode of Life Data (BOLD) est une base de données largement utilisée à cette fin par les biologistes. Cependant, la plateforme en ligne de BOLD limite les utilisateurs à identifier des lots de seulement 50 séquences à la fois. De plus, l'utilisation de l'API de BOLD ne résout pas complètement ce problème car elle ne donne pas accès aux données privées et à version anticipée.

BOLDigger2, le successeur de BOLDigger, vise à surmonter ces limitations. En tant que programme Python pur, BOLDigger2 propose :

• Accès automatisé au moteur d'identification de BOLD
• Téléchargement de métadonnées supplémentaires pour chaque hit
• Sélection du hit le mieux adapté parmi les résultats renvoyés

En tirant parti de ces fonctionnalités, BOLDigger2 rationalise le processus d'identification OTU, le rendant plus efficace et plus complet.

Différences clés entre BOLDigger2 et BOLDigger

• Fonction unifiée : BOLDigger2 utilise une fonction unique, identify , qui effectue automatiquement l'identification, le téléchargement de données supplémentaires et la sélection du premier hit. Cela permet une mise en œuvre directe dans les pipelines.
• Requête de base de données améliorée : BOLDigger2 utilise initialement les 100 premiers résultats de la base de données « enregistrements de codes-barres au niveau de l'espèce ». Si aucun résultat n'est trouvé, il revient à la base de données « tous les enregistrements de codes-barres ».
• Vitesse améliorée : BOLDigger2 ne modifie plus le fichier FASTA fourni. Au lieu de cela, il génère d’abord tous les liens de téléchargement, puis télécharge les données de manière asynchrone, multipliant presque par deux la vitesse.
• Gestion sécurisée des mots de passe : BOLDigger2 ne demande plus le mot de passe en texte clair.
• Arguments simplifiés : La fonction identify de BOLDigger2 n'accepte qu'un seul argument : le chemin d'accès au fichier FASTA à identifier. Il enregistre tous les résultats dans le même dossier.
• Stockage efficace des données : BOLDigger2 enregistre les 100 premiers résultats dans un fichier séparé, ce qui entraîne des temps de traitement beaucoup plus rapides. Toutes les sorties seront également enregistrées au format .hdf et .parquet pour faciliter le traitement ultérieur des grands tableaux.
• Champs de données supplémentaires : les principaux résultats dans BOLDigger2 contiendront des champs de données supplémentaires, tels que le nombre d'enregistrements prenant en charge le premier résultat sélectionné, le niveau taxonomique utilisé pour le premier résultat et tous les BINS auxquels appartient le résultat sélectionné s'il s'agit d'une espèce. niveau atteint.
• Indicateur supplémentaire : BOLDigger2 a échangé l'indicateur 5. Si le premier résultat est représenté par plusieurs BINS, l'indicateur 5 est utilisé. Le module de vérification API de BOLDigger n'est plus nécessaire.
• Seuil ajusté au niveau de l'espèce : BOLDigger2 accepte les résultats avec une similarité de >= 97 % en tant qu'enregistrements au niveau de l'espèce. Cette décision s'aligne sur le seuil de regroupement OTU de 3 % couramment utilisé dans le métabarcodage de l'ADN.
• Sécurité accrue du processus : BOLDigger2 peut être arrêté à tout moment du traitement et continuera simplement là où il a été arrêté. BOLDigger2 ne modifiera plus le fichier FASTA fourni. BOLDigger2 accepte les deux formats FASTA courants.
• Téléchargements dynamiques : BOLDigger2 ajustera automatiquement le nombre de séquences par requête à la base de données BOLD. Si la connexion expire, la taille de la requête sera réduite, si la requête aboutit, la taille de la requête sera augmentée.
• Amélioration de la gestion des erreurs : les enregistrements brisés dans la base de données BOLD sont désormais détectés et directement signalés comme un "BrokenRecord" en plus de "NoMatches". Si le site Web BOLD n'est pas accessible, BOLDigger2 attendra simplement qu'il soit à nouveau opérationnel. En plus de cela, BOLDigger2 introduit également le hit "ImcompleteTaxonomy". Ceci est renvoyé lorsque tous les hits contiennent des éléments spéciaux ou qu'un niveau taxonomique supérieur complet (par exemple Classe / Phylum) est manquant.

Installation et utilisation

BOLDigger2 nécessite Python version 3.10 ou supérieure et peut être facilement installé à l'aide de pip dans n'importe quelle ligne de commande :

pip install boldigger2

Cette commande installera BOLDigger2 avec toutes ses dépendances.

Pour exécuter la fonction d'identification, utilisez la commande suivante :

boldigger2 identify PATH_TO_FASTA

Pour automatiser la fonction d'identification dans les pipelines bioinformatiques, les informations d'identification BOLD peuvent également être transmises directement en tant qu'arguments facultatifs.

boldigger2 identify PATH_TO_FASTA -username USERNAME -password PASSWORD

Pour personnaliser les seuils implémentés en fonction des besoins spécifiques de l'utilisateur, les seuils peuvent être transmis comme argument supplémentaire (ordonné). Jusqu'à 5 seuils différents peuvent être franchis pour les différents niveaux taxonomiques (Espèce, Genre, Famille, Ordre, Classe). Les seuils non dépassés seront remplacés par défaut, mais BOLDigger2 vous en informera également.

boldigger2 identify PATH_TO_FASTA -thresholds 99 97

Sortir:

 19:16:16: Default thresholds changed!
19:16:16: Species: 99, Genus: 97, Family: 90, Order: 85, Class: 50
19:16:16: Trying to log in.
BOLD username:

BOLDigger2 vous demandera votre nom d'utilisateur et votre mot de passe, puis effectuera l'identification.

Lorsqu'une nouvelle version est publiée, vous pouvez mettre à jour BOLDigger2 en tapant :

pip install --upgrade boldigger2

Comment citer

Buchner D, Leese F (2020) BOLDigger – un package Python pour identifier et organiser des séquences avec les systèmes Barcode of Life Data. Métabarcodage et métagénomique 4 : e53535. https://doi.org/10.3897/mbmg.4.53535

Algorithme BOLDigger2

L'algorithme BOLDigger2 fonctionne selon l'organigramme suivant :

1. Connectez-vous à BOLD :

   • Authentifiez-vous auprès des systèmes de données BOLD.

2. Générez des liens de téléchargement pour les codes-barres au niveau de l'espèce :

   • Générez les liens de téléchargement pour la base de données de codes-barres au niveau des espèces pour un lot de séquences.

3. Téléchargez les 100 meilleurs succès :

   • Récupérez les liens de téléchargement de l’étape précédente.
   • Téléchargez les 100 meilleurs hits pour chaque lien.
   • Enregistrez les résultats sur un stockage HDF avec la clé "top_100_hits_unsorted" .
   • Continuez jusqu'à ce que toutes les séquences soient identifiées.

4. Identifiez les séquences sans occurrences au niveau de l'espèce :

   • Lisez les 100 meilleurs hits non triés.
   • Identifiez les séquences qui n’ont pas donné de résultat au niveau de l’espèce.

5. Générez des liens de téléchargement pour tous les enregistrements :

   • Générez des liens de téléchargement pour un lot de séquences sans occurrences au niveau de l'espèce pour la base de données « tous les enregistrements en BOLD ».

6. Téléchargez les 100 meilleurs hits pour tous les disques :

   • Récupérez les liens de téléchargement de l’étape précédente.
   • Téléchargez les 100 meilleurs hits pour chaque lien.
   • Enregistrez les résultats sur un stockage HDF avec la clé "top_100_hits_unsorted" .
   • Continuez jusqu'à ce que toutes les séquences soient identifiées.

7. Trier et enregistrer les meilleurs hits :

   • Lisez tous les 100 meilleurs hits.
   • Supprimez les entrées en double.
   • Triez les résultats dans le même ordre que dans le fichier FASTA.
   • Identifiez tous les enregistrements publics et déclenchez le téléchargement de données supplémentaires.
   • Enregistrez-les dans le stockage HDF avec la clé "top_100_hits_sorted" .

8. Enregistrer des données supplémentaires :

   • Enregistrez les hits, y compris les données supplémentaires, dans le stockage HDF avec la clé "top_100_hits_additional_data" .

9. Exporter des données supplémentaires vers Excel :

   • Enregistrez les données supplémentaires au format Excel.
   • Divisez les données en tableaux de 1 000 000 de lignes chacun.

10. Calculez et enregistrez les meilleurs hits :

    • Calculez le top hit pour chaque séquence.
    • Enregistrez les meilleurs résultats au format Excel ( identification_result.xlsx ) et au format Parquet ( identification_result.parquet.snappy ) pour un traitement ultérieur rapide.

Sélection des meilleurs succès

Différents seuils (97 % : niveau d'espèce, 95 % : niveau de genre, 90 % : niveau de famille, 85 % : niveau d'ordre, <85 % et >= 50 : niveau de classe) pour les niveaux taxonomiques sont utilisés pour trouver le résultat le mieux adapté. . Après avoir déterminé le seuil pour tous les hits, le hit le plus courant au-dessus du seuil sera sélectionné. Notez que pour tous les résultats inférieurs au seuil, la résolution taxonomique sera ajustée en conséquence (par exemple, pour un résultat de 96 %, les informations au niveau de l'espèce seront ignorées et les informations au niveau du genre seront utilisées comme niveau taxonomique le plus bas).

L'algorithme BOLDigger2 fonctionne comme suit :

1. Identifier la similarité maximale : recherchez la valeur de similarité maximale parmi les 100 premiers résultats actuellement pris en compte.

2. Définir le seuil : définissez le seuil sur ce niveau de similarité maximum. Supprimez tous les hits présentant une similarité inférieure à ce seuil. Par exemple, si le hit le plus élevé a une similarité de 100 %, le seuil sera fixé à 97 % et tous les hits inférieurs à ce seuil seront temporairement supprimés.

3. Classification et tri : comptez toutes les classifications individuelles et triez-les par abondance.

4. Filtrer les données manquantes : supprimez toutes les classifications contenant des données manquantes. Par exemple, si le résultat le plus courant est « Arthropoda --> Insecta » avec une similarité de 100 % mais des valeurs manquantes pour l'ordre, la famille, le genre et l'espèce.

5. Identifier le hit commun : recherchez le hit le plus courant pour lequel il n'y a aucune valeur manquante.

6. Return Hit : Si un hit sans valeurs manquantes est trouvé, renvoyez ce hit.

7. Ajustement du seuil : si aucun résultat sans valeurs manquantes n'est trouvé, augmentez le seuil au niveau supérieur suivant et répétez le processus jusqu'à ce qu'un résultat soit trouvé.

Système de marquage BOLDigger2

BOLDigger2 utilise un système de marquage pour mettre en évidence certaines conditions, indiquant un degré d'incertitude dans le hit sélectionné. Actuellement, cinq indicateurs sont implémentés, qui peuvent être mis à jour si nécessaire :

1. Taxonomie BIN inversée : cet indicateur est levé si tous les 100 premiers résultats représentant la correspondance sélectionnée utilisent la taxonomie BIN inversée. La taxonomie inversée BIN attribue des noms d'espèces à des séquences déposées sur BOLD qui manquent d'informations sur les espèces, ce qui peut introduire une incertitude.

2. Informations taxonomiques différentes : S'il y a deux entrées ou plus avec des informations taxonomiques différentes au-dessus du seuil sélectionné (par exemple, deux espèces au-dessus de 97 %), cet indicateur est déclenché, suggérant des divergences potentielles.

3. Données privées ou à diffusion anticipée : si tous les 100 premiers hits représentant le hit le plus important sont des hits privés ou à diffusion anticipée, cet indicateur est levé, indiquant une accessibilité limitée aux données.

4. Unique Hit : cet indicateur indique que le résultat le plus élevé représente un résultat unique parmi les 100 premiers résultats, nécessitant potentiellement un examen plus approfondi.

5. BIN multiples : si l'appel au niveau de l'espèce sélectionné est composé de plus d'un BIN, cet indicateur est levé, suggérant des complexités potentielles dans l'affectation taxonomique.

Compte tenu de la présence de ces indicateurs, il est conseillé de procéder à un examen plus approfondi de toutes les alertes signalées afin de mieux comprendre et résoudre les incertitudes liées à l'alerte sélectionnée.