BOLDigger2

Atualização importante: BOLDigger3

Consulte: https://github.com/DominikBuchner/BOLDigger3

Um programa Python ainda melhor para consultar arquivos .fasta no banco de dados COI de www.boldsystems.org

Introdução

Os conjuntos de dados metabarcoding de DNA geralmente compreendem centenas de Unidades Taxonômicas Operacionais (OTUs), exigindo consulta em bancos de dados para atribuição taxonômica. O sistema Barcode of Life Data (BOLD) é um banco de dados amplamente utilizado para esse fim entre os biólogos. No entanto, a plataforma online da BOLD limita os usuários a identificar lotes de apenas 50 sequências por vez. Além disso, o uso da API do BOLD não resolve completamente esse problema, pois não fornece acesso a dados privados e de lançamento antecipado.

O BOLDigger2, o sucessor do BOLDigger, visa superar essas limitações. Como um programa Python puro, o BOLDigger2 oferece:

• Acesso automatizado ao motor de identificação da BOLD
• Download de metadados adicionais para cada hit
• Seleção do resultado mais adequado a partir dos resultados retornados

Ao aproveitar esses recursos, o BOLDigger2 agiliza o processo de identificação da OTU, tornando-o mais eficiente e abrangente.

Principais diferenças entre BOLDigger2 e BOLDigger

• Função Unificada : BOLDigger2 usa uma única função, identify , que realiza automaticamente a identificação, download de dados adicionais e seleção do hit principal. Isso permite a implementação direta em pipelines.
• Consulta de banco de dados aprimorada : BOLDigger2 inicialmente usa os 100 principais resultados do banco de dados de "registros de código de barras em nível de espécie". Se nenhum resultado for encontrado, ele volta para o banco de dados "todos os registros de código de barras".
• Velocidade aprimorada : BOLDigger2 não altera mais o arquivo FASTA fornecido. Em vez disso, ele gera primeiro todos os links de download e depois baixa os dados de forma assíncrona, aumentando a velocidade quase duas vezes.
• Tratamento seguro de senha : BOLDigger2 não solicita mais a senha em texto não criptografado.
• Argumentos simplificados : A função identify no BOLDigger2 aceita apenas um único argumento: o caminho para o arquivo FASTA a ser identificado. Ele salva todos os resultados na mesma pasta.
• Armazenamento de dados eficiente : o BOLDigger2 salva os 100 principais resultados em um arquivo separado, levando a tempos de processamento muito mais rápidos. Todas as saídas também serão salvas nos formatos .hdf e .parquet para facilitar o processamento subsequente para tabelas grandes.
• Campos de dados adicionais : Os principais acertos no BOLDigger2 conterão campos de dados adicionais, como o número de registros que suportam o acerto principal selecionado, o nível taxonômico usado para o acerto principal e todos os BINS aos quais o acerto selecionado pertence se for uma espécie- nível atingido.
• Sinalizador adicional : BOLDigger2 trocou o sinalizador 5. Se o hit superior for representado por vários BINS, o sinalizador 5 é usado. O módulo de verificação API do BOLDigger não é mais necessário.
• Limite de nível de espécie ajustado : BOLDigger2 aceita resultados com uma similaridade de >= 97% como registros em nível de espécie. Esta decisão está alinhada com o limite de agrupamento de OTU de 3% comumente usado no metabarcoding de DNA.
• Maior segurança do processo : o BOLDigger2 pode ser interrompido em qualquer ponto do processamento e simplesmente continuará onde foi interrompido. BOLDigger2 não alterará mais o arquivo FASTA fornecido. BOLDigger2 aceita ambos os formatos FASTA comuns.
• Downloads dinâmicos : o BOLDigger2 ajustará automaticamente o número de sequências por consulta ao banco de dados BOLD. Se a conexão atingir o tempo limite, o tamanho da consulta será reduzido; se a solicitação for bem-sucedida, o tamanho da consulta aumentará.
• Tratamento de erros aprimorado : registros quebrados no banco de dados BOLD agora são detectados e relatados diretamente como "BrokenRecord" além de "NoMatches". Se o site do BOLD não estiver acessível, o BOLDigger2 irá simplesmente esperar até que ele esteja disponível novamente. Além disso, BOLDigger2 também apresenta o hit “ImcompleteTaxonomy”. Isso é retornado quando todos os hits contêm especiais ou um nível taxonômico superior completo (por exemplo, Classe/Filo) está faltando.

Instalação e uso

BOLDigger2 requer Python versão 3.10 ou superior e pode ser facilmente instalado usando pip em qualquer linha de comando:

pip install boldigger2

Este comando instalará o BOLDigger2 junto com todas as suas dependências.

Para executar a função de identificação, use o seguinte comando:

boldigger2 identify PATH_TO_FASTA

Para automatizar a função de identificação em pipelines de bioinformática, as credenciais BOLD também podem ser passadas diretamente como argumentos opcionais

boldigger2 identify PATH_TO_FASTA -username USERNAME -password PASSWORD

Para personalizar os limites implementados para necessidades específicas do usuário, os limites podem ser passados ​​como um argumento adicional (ordenado). Podem ser ultrapassados ​​até 5 limites diferentes para os diferentes níveis taxonômicos (Espécie, Gênero, Família, Ordem, Classe). Os limites não ultrapassados ​​serão substituídos por padrão, mas o BOLDigger2 também irá informá-lo sobre isso.

boldigger2 identify PATH_TO_FASTA -thresholds 99 97

Saída:

 19:16:16: Default thresholds changed!
19:16:16: Species: 99, Genus: 97, Family: 90, Order: 85, Class: 50
19:16:16: Trying to log in.
BOLD username:

O BOLDigger2 solicitará seu nome de usuário e senha e em seguida realizará a identificação.

Quando uma nova versão for lançada, você pode atualizar o BOLDigger2 digitando:

pip install --upgrade boldigger2

Como citar

Buchner D, Leese F (2020) BOLDigger – um pacote Python para identificar e organizar sequências com os sistemas Barcode of Life Data. Metabarcoding e Metagenômica 4: e53535. https://doi.org/10.3897/mbmg.4.53535

Algoritmo BOLDigger2

O algoritmo BOLDigger2 opera de acordo com o seguinte fluxograma:

1. Faça login em BOLD:

   • Autentique-se com os sistemas de dados BOLD.

2. Gere links de download para códigos de barras em nível de espécie:

   • Gere os links de download para o banco de dados de código de barras em nível de espécie para um lote de sequências.

3. Baixe os 100 maiores sucessos:

   • Recupere os links de download da etapa anterior.
   • Baixe os 100 maiores acessos para cada link.
   • Salve os resultados em um armazenamento HDF com a chave "top_100_hits_unsorted" .
   • Continue até que todas as sequências sejam identificadas.

4. Identifique sequências sem ocorrências em nível de espécie:

   • Leia os 100 maiores sucessos não classificados.
   • Identifique sequências que não produziram um impacto em nível de espécie.

5. Gere links de download para todos os registros:

   • Gere links de download para um lote de sequências sem ocorrências em nível de espécie para o banco de dados "todos os registros em BOLD".

6. Baixe os 100 maiores sucessos de todos os registros:

   • Recupere os links de download da etapa anterior.
   • Baixe os 100 maiores acessos para cada link.
   • Salve os resultados em um armazenamento HDF com a chave "top_100_hits_unsorted" .
   • Continue até que todas as sequências sejam identificadas.

7. Classifique e salve os principais sucessos:

   • Leia todos os 100 maiores sucessos.
   • Remova entradas duplicadas.
   • Classifique os hits na mesma ordem do arquivo FASTA.
   • Identifique todos os registros públicos e acione o download de dados adicionais.
   • Salve-os no armazenamento HDF com a chave "top_100_hits_sorted" .

8. Salvar dados adicionais:

   • Salve os hits incluindo dados adicionais no armazenamento HDF com a chave "top_100_hits_additional_data" .

9. Exportar dados adicionais para Excel:

   • Salve os dados adicionais em formato Excel.
   • Divida os dados em tabelas de 1.000.000 de linhas cada.

10. Calcule e salve os principais sucessos:

    • Calcule o maior acerto para cada sequência.
    • Salve os principais resultados no formato Excel ( identification_result.xlsx ) e no formato Parquet ( identification_result.parquet.snappy ) para processamento adicional rápido.

Seleção de maior sucesso

Diferentes limiares (97%: nível de espécie, 95%: nível de gênero, 90%: nível de família, 85%: nível de ordem, <85% e >= 50: nível de classe) para os níveis taxonômicos são usados ​​para encontrar o resultado mais adequado. . Depois de determinar o limite para todos os acertos, o acerto mais comum acima do limite será selecionado. Observe que, para todos os acertos abaixo do limite, a resolução taxonômica será ajustada adequadamente (por exemplo, para um acerto de 96%, as informações em nível de espécie serão descartadas e as informações em nível de gênero serão usadas como o nível taxonômico mais baixo).

O algoritmo BOLDigger2 funciona da seguinte forma:

1. Identifique a similaridade máxima : encontre o valor máximo de similaridade entre os 100 principais resultados atualmente em consideração.

2. Definir limite : defina o limite para este nível máximo de similaridade. Remova todos os resultados com semelhança abaixo deste limite. Por exemplo, se o acerto mais alto tiver uma similaridade de 100%, o limite será definido como 97% e todos os acertos abaixo desse limite serão removidos temporariamente.

3. Classificação e classificação : conte todas as classificações individuais e classifique-as por abundância.

4. Filtrar dados ausentes : elimine todas as classificações que contenham dados ausentes. Por exemplo, se o acerto mais comum for "Arthropoda --> Insecta" com uma similaridade de 100%, mas faltando valores para Ordem, Família, Gênero e Espécie.

5. Identificar ocorrência comum : procure a ocorrência mais comum que não tenha valores ausentes.

6. Return Hit : Se um hit sem valores ausentes for encontrado, retorne esse hit.

7. Ajuste de limite : se nenhuma ocorrência sem valores ausentes for encontrada, aumente o limite para o próximo nível mais alto e repita o processo até que uma ocorrência seja encontrada.

Sistema de sinalização BOLDigger2

BOLDigger2 emprega um sistema de sinalização para destacar certas condições, indicando um grau de incerteza no acerto selecionado. Atualmente, existem cinco flags implementadas, que podem ser atualizadas conforme necessário:

1. Taxonomia de BIN reverso : esse sinalizador será acionado se todos os 100 principais resultados que representam a correspondência selecionada utilizarem a taxonomia de BIN reverso. A taxonomia Reverse BIN atribui nomes de espécies a sequências depositadas em BOLD que carecem de informações sobre espécies, potencialmente introduzindo incerteza.

2. Informações Taxonômicas Diferentes : Se houver duas ou mais entradas com informações taxonômicas diferentes acima do limite selecionado (por exemplo, duas espécies acima de 97%), esse sinalizador é acionado, sugerindo possíveis discrepâncias.

3. Dados privados ou de lançamento antecipado : se todos os 100 principais hits que representam o hit principal forem hits privados ou de lançamento antecipado, esse sinalizador será acionado, indicando acessibilidade limitada aos dados.

4. Acerto Único : Este sinalizador indica que o resultado do maior acerto representa um acerto único entre os 100 maiores acertos, potencialmente exigindo um exame mais aprofundado.

5. Múltiplos BINs : Se o hit em nível de espécie selecionado for composto por mais de um BIN, esse sinalizador é levantado, sugerindo potenciais complexidades na atribuição taxonômica.

Dada a presença destes sinalizadores, é aconselhável realizar um exame mais detalhado de todas as ocorrências sinalizadas para melhor compreender e resolver quaisquer incertezas na ocorrência selecionada.