BOLDigger2

Actualización importante: BOLDigger3

Consulte: https://github.com/DominikBuchner/BOLDigger3

Un programa Python aún mejor para consultar archivos .fasta en la base de datos COI de www.boldsystems.org

Introducción

Los conjuntos de datos de metacódigos de barras de ADN a menudo comprenden cientos de Unidades Taxonómicas Operativas (OTU), lo que requiere consultas en bases de datos para la asignación taxonómica. El sistema Barcode of Life Data (BOLD) es una base de datos ampliamente utilizada para este propósito entre los biólogos. Sin embargo, la plataforma en línea de BOLD limita a los usuarios a identificar lotes de sólo 50 secuencias a la vez. Además, el uso de la API de BOLD no soluciona completamente este problema, ya que no proporciona acceso a datos privados y de publicación anticipada.

BOLDigger2, el sucesor de BOLDigger, pretende superar estas limitaciones. Como programa Python puro, BOLDigger2 ofrece:

• Acceso automatizado al motor de identificación de BOLD
• Descarga de metadatos adicionales para cada hit
• Selección del resultado que mejor se ajusta a los resultados devueltos

Al aprovechar estas funciones, BOLDigger2 agiliza el proceso de identificación de OTU, haciéndolo más eficiente y completo.

Diferencias clave entre BOLDigger2 y BOLDigger

• Función unificada : BOLDigger2 utiliza una única función, identify , que realiza automáticamente la identificación, la descarga de datos adicionales y la selección del resultado principal. Esto permite la implementación directa en tuberías.
• Consulta de base de datos mejorada : BOLDigger2 utiliza inicialmente los 100 resultados principales de la base de datos de "registros de códigos de barras a nivel de especie". Si no se encuentran resultados, vuelve a la base de datos "todos los registros de códigos de barras".
• Velocidad mejorada : BOLDigger2 ya no altera el archivo FASTA proporcionado. En cambio, genera todos los enlaces de descarga primero y luego descarga los datos de forma asincrónica, aumentando la velocidad casi al doble.
• Manejo seguro de contraseñas : BOLDigger2 ya no solicita la contraseña en texto claro.
• Argumentos simplificados : la función identify en BOLDigger2 solo acepta un único argumento: la ruta al archivo FASTA que se va a identificar. Guarda todos los resultados en la misma carpeta.
• Almacenamiento de datos eficiente : BOLDigger2 guarda los 100 resultados principales en un archivo separado, lo que permite tiempos de procesamiento mucho más rápidos. Todos los resultados también se guardarán en formato .hdf y .parquet para facilitar el procesamiento posterior de tablas de gran tamaño.
• Campos de datos adicionales : los resultados principales en BOLDigger2 contendrán campos de datos adicionales, como la cantidad de registros que respaldan el resultado principal seleccionado, el nivel taxonómico utilizado para el resultado principal y todos los BINS a los que pertenece el resultado seleccionado si es una especie. golpe de nivel.
• Bandera adicional : BOLDigger2 intercambió la bandera 5. Si el resultado superior está representado por múltiples BINS, se utiliza la bandera 5. El módulo de verificación API de BOLDigger ya no es necesario.
• Umbral ajustado a nivel de especie : BOLDigger2 acepta coincidencias con una similitud de >= 97% como registros a nivel de especie. Esta decisión se alinea con el umbral de agrupación de OTU del 3% comúnmente utilizado en metacódigos de barras de ADN.
• Mayor seguridad del proceso : BOLDigger2 se puede detener en cualquier punto del procesamiento y simplemente continuará donde se detuvo. BOLDigger2 ya no alterará el archivo FASTA proporcionado. BOLDigger2 acepta ambos formatos FASTA comunes.
• Descargas dinámicas : BOLDigger2 ajustará automáticamente el número de secuencias por consulta a la base de datos BOLD. Si la conexión se agota, el tamaño de la consulta se reducirá; si la solicitud tiene éxito, el tamaño de la consulta aumentará.
• Manejo de errores mejorado : los registros rotos en la base de datos BOLD ahora se detectan y reportan directamente como "BrokenRecord" además de "NoMatches". Si no se puede acceder al sitio web BOLD, BOLDigger2 simplemente esperará hasta que vuelva a estar activo. Además de eso, BOLDigger2 también presenta el hit "ImcompleteTaxonomy". Esto se devuelve cuando todos los resultados contienen especiales o falta un nivel taxonómico superior completo (por ejemplo, Clase/Filo).

Instalación y uso

BOLDigger2 requiere Python versión 3.10 o superior y se puede instalar fácilmente usando pip en cualquier línea de comando:

pip install boldigger2

Este comando instalará BOLDigger2 junto con todas sus dependencias.

Para ejecutar la función de identificación, utilice el siguiente comando:

boldigger2 identify PATH_TO_FASTA

Para automatizar la función de identificación en procesos bioinformáticos, las credenciales BOLD también se pueden pasar directamente como argumentos opcionales.

boldigger2 identify PATH_TO_FASTA -username USERNAME -password PASSWORD

Para personalizar los umbrales implementados para las necesidades específicas del usuario, los umbrales se pueden pasar como un argumento adicional (ordenado). Se pueden superar hasta 5 umbrales diferentes para los diferentes niveles taxonómicos (Especie, Género, Familia, Orden, Clase). Los umbrales que no se superen se reemplazarán de forma predeterminada, pero BOLDigger2 también le informará al respecto.

boldigger2 identify PATH_TO_FASTA -thresholds 99 97

Producción:

 19:16:16: Default thresholds changed!
19:16:16: Species: 99, Genus: 97, Family: 90, Order: 85, Class: 50
19:16:16: Trying to log in.
BOLD username:

BOLDigger2 le solicitará su nombre de usuario y contraseña y luego realizará la identificación.

Cuando se lanza una nueva versión, puede actualizar BOLDigger2 escribiendo:

pip install --upgrade boldigger2

como citar

Buchner D, Leese F (2020) BOLDigger: un paquete Python para identificar y organizar secuencias con los sistemas Barcode of Life Data. Metabarcodes y Metagenómica 4: e53535. https://doi.org/10.3897/mbmg.4.53535

Algoritmo BOLDigger2

El algoritmo BOLDigger2 opera según el siguiente diagrama de flujo:

1. Inicie sesión en NEGRITA:

   • Autenticarse con los sistemas de datos BOLD.

2. Genere enlaces de descarga para códigos de barras a nivel de especie:

   • Genere los enlaces de descarga para la base de datos de códigos de barras a nivel de especie para un lote de secuencias.

3. Descargar los 100 mejores éxitos:

   • Recupere los enlaces de descarga del paso anterior.
   • Descargue los 100 mejores resultados de cada enlace.
   • Guarde los resultados en un almacenamiento HDF con la clave "top_100_hits_unsorted" .
   • Continúe hasta que se identifiquen todas las secuencias.

4. Identificar secuencias sin coincidencias a nivel de especie:

   • Lea los 100 éxitos principales sin clasificar.
   • Identifique secuencias que no produjeron un impacto a nivel de especie.

5. Generar enlaces de descarga para todos los registros:

   • Genere enlaces de descarga para un lote de secuencias sin coincidencias a nivel de especie para la base de datos "todos los registros en BOLD".

6. Descargue los 100 mejores éxitos de todos los discos:

   • Recupere los enlaces de descarga del paso anterior.
   • Descargue los 100 mejores resultados de cada enlace.
   • Guarde los resultados en un almacenamiento HDF con la clave "top_100_hits_unsorted" .
   • Continúe hasta que se identifiquen todas las secuencias.

7. Ordenar y guardar visitas principales:

   • Lea los 100 mejores éxitos.
   • Eliminar entradas duplicadas.
   • Ordene los resultados en el mismo orden que en el archivo FASTA.
   • Identifique todos los registros públicos y active la descarga de datos adicionales.
   • Guárdelos en el almacenamiento HDF con la clave "top_100_hits_sorted" .

8. Guardar datos adicionales:

   • Guarde los resultados, incluidos los datos adicionales, en el almacenamiento HDF con la clave "top_100_hits_additional_data" .

9. Exportar datos adicionales a Excel:

   • Guarde los datos adicionales en formato Excel.
   • Divida los datos en tablas de 1.000.000 de líneas cada una.

10. Calcule y guarde los mejores resultados:

    • Calcule el máximo impacto para cada secuencia.
    • Guarde los resultados principales tanto en formato Excel ( identification_result.xlsx ) como en formato Parquet ( identification_result.parquet.snappy ) para un procesamiento posterior rápido.

Selección de mejores éxitos

Se utilizan diferentes umbrales (97%: nivel de especie, 95%: nivel de género, 90%: nivel de familia, 85%: nivel de orden, <85% y >= 50: nivel de clase) para los niveles taxonómicos para encontrar el mejor ajuste. . Después de determinar el umbral para todos los resultados, se seleccionará el resultado más común por encima del umbral. Tenga en cuenta que para todos los resultados por debajo del umbral, la resolución taxonómica se ajustará en consecuencia (por ejemplo, para un resultado del 96%, la información a nivel de especie se descartará y la información a nivel de género se utilizará como el nivel taxonómico más bajo).

El algoritmo BOLDigger2 funciona de la siguiente manera:

1. Identificar la similitud máxima : encuentre el valor de similitud máxima entre los 100 resultados principales actualmente bajo consideración.

2. Establecer umbral : establece el umbral en este nivel máximo de similitud. Elimine todos los resultados con una similitud por debajo de este umbral. Por ejemplo, si el resultado más alto tiene una similitud del 100%, el umbral se establecerá en 97% y todos los resultados por debajo de este umbral se eliminarán temporalmente.

3. Clasificación y ordenación : cuente todas las clasificaciones individuales y ordénelas por abundancia.

4. Filtrar datos faltantes : elimine todas las clasificaciones que contengan datos faltantes. Por ejemplo, si el resultado más común es "Arthropoda --> Insecta" con una similitud del 100% pero faltan valores para Orden, Familia, Género y Especie.

5. Identificar acierto común : busque el acierto más común al que no le falten valores.

6. Devolver resultado : si se encuentra un resultado sin valores faltantes, devuelva ese resultado.

7. Ajuste de umbral : si no se encuentra ningún resultado sin valores faltantes, aumente el umbral al siguiente nivel superior y repita el proceso hasta que se encuentre un resultado.

Sistema de señalización BOLDigger2

BOLDigger2 emplea un sistema de señalización para resaltar ciertas condiciones, indicando un grado de incertidumbre en el resultado seleccionado. Actualmente, hay cinco indicadores implementados, que pueden actualizarse según sea necesario:

1. Taxonomía BIN inversa : esta bandera se activa si los 100 resultados principales que representan la coincidencia seleccionada utilizan taxonomía BIN inversa. La taxonomía BIN inversa asigna nombres de especies a secuencias depositadas en BOLD que carecen de información sobre las especies, lo que potencialmente introduce incertidumbre.

2. Información taxonómica diferente : si hay dos o más entradas con información taxonómica diferente por encima del umbral seleccionado (por ejemplo, dos especies por encima del 97%), se activa esta bandera, lo que sugiere posibles discrepancias.

3. Datos privados o de publicación anticipada : si las 100 visitas principales que representan la visita principal son visitas privadas o de publicación anticipada, se activa esta bandera, lo que indica accesibilidad limitada a los datos.

4. Impacto único : esta bandera indica que el resultado de mayor impacto representa un resultado único entre los 100 principales resultados, lo que podría requerir un mayor escrutinio.

5. Múltiples BIN : si el resultado a nivel de especie seleccionado se compone de más de un BIN, se activa esta bandera, lo que sugiere posibles complejidades en la asignación taxonómica.

Dada la presencia de estas banderas, es aconsejable realizar un examen más detallado de todos los hits marcados para comprender mejor y abordar cualquier incertidumbre en el hit seleccionado.