BOLDDigger2

Важное обновление: BOLDigger3

Пожалуйста, смотрите: https://github.com/DominikBuchner/BOLDigger3.

Еще лучшая программа Python для запроса файлов .fasta в базе данных COI www.boldsystems.org.

Введение

Наборы данных метабаркодирования ДНК часто включают сотни операционных таксономических единиц (OTU), требующих запроса к базам данных для таксономического присвоения. Система данных «Штрих-код жизни» (BOLD) широко используется биологами для этой цели. Однако онлайн-платформа BOLD ограничивает пользователей идентификацией партий только из 50 последовательностей одновременно. Кроме того, использование API BOLD не полностью решает эту проблему, поскольку не обеспечивает доступ к частным и ранним данным.

BOLDigger2, преемник BOLDigger, призван преодолеть эти ограничения. Будучи программой на чистом Python, BOLDigger2 предлагает:

• Автоматизированный доступ к системе идентификации BOLD
• Загрузка дополнительных метаданных для каждого обращения
• Выбор наиболее подходящего попадания из возвращенных результатов

Используя эти функции, BOLDigger2 оптимизирует процесс идентификации OTU, делая его более эффективным и комплексным.

Ключевые различия между BOLDigger2 и BOLDigger

• Единая функция : BOLDigger2 использует единственную функцию identify , которая автоматически выполняет идентификацию, загрузку дополнительных данных и выбор лучшего совпадения. Это обеспечивает прямую реализацию в конвейерах.
• Расширенный запрос к базе данных : BOLDigger2 изначально использует 100 лучших совпадений из базы данных «записей штрих-кодов на уровне вида». Если результаты не найдены, происходит возврат к базе данных «все записи штрих-кодов».
• Повышенная скорость : BOLDigger2 больше не изменяет предоставленный файл FASTA. Вместо этого он сначала генерирует все ссылки для скачивания, а затем асинхронно загружает данные, увеличивая скорость почти в два раза.
• Безопасная обработка паролей : BOLDigger2 больше не запрашивает пароль в виде открытого текста.
• Упрощенные аргументы : функция identify в BOLDigger2 принимает только один аргумент: путь к файлу FASTA, который необходимо идентифицировать. Он сохраняет все результаты в одной папке.
• Эффективное хранение данных : BOLDigger2 сохраняет 100 лучших результатов в отдельном файле, что значительно ускоряет обработку. Все выходные данные также будут сохранены в форматах .hdf и .parquet, чтобы облегчить последующую обработку больших таблиц.
• Дополнительные поля данных : самые популярные совпадения в BOLDigger2 будут содержать дополнительные поля данных, такие как количество записей, поддерживающих выбранное лучшее попадание, таксономический уровень, используемый для самого высокого совпадения, и все BINS, к которым принадлежит выбранное попадание, если это вид. попадание на уровень.
• Дополнительный флаг : BOLDigger2 обменял флаг 5. Если верхнее попадание представлено несколькими BINS, используется флаг 5. Модуль проверки API от BOLDigger больше не нужен.
• Скорректированный порог уровня вида : BOLDigger2 принимает совпадения со сходством >= 97% в качестве записей на уровне вида. Это решение соответствует порогу кластеризации OTU 3%, обычно используемому при метабаркодировании ДНК.
• Повышенная безопасность процесса : BOLDigger2 можно остановить в любой момент обработки, и он просто продолжит работу с того места, где он был остановлен. BOLDigger2 больше не будет изменять предоставленный файл FASTA. BOLDigger2 принимает оба распространенных формата FASTA.
• Динамические загрузки : BOLDigger2 автоматически корректирует количество последовательностей на запрос в базе данных BOLD. Если время соединения истекло, размер запроса будет уменьшен, если запрос успешен, размер запроса будет увеличен.
• Улучшенная обработка ошибок : поврежденные записи в базе данных BOLD теперь обнаруживаются и напрямую сообщаются как «BrokenRecord» в дополнение к «NoMatches». Если веб-сайт BOLD недоступен, BOLDigger2 просто подождет, пока он снова не заработает. В дополнение к этому, BOLDigger2 также представляет хит «ImcompleteTaxonomy». Он возвращается, когда все совпадения содержат специальные предложения или отсутствует полный более высокий таксономический уровень (например, класс/тип).

Установка и использование

BOLDigger2 требует Python версии 3.10 или выше и может быть легко установлен с помощью pip в любой командной строке:

pip install boldigger2

Эта команда установит BOLDigger2 вместе со всеми его зависимостями.

Чтобы запустить функцию идентификации, используйте следующую команду:

boldigger2 identify PATH_TO_FASTA

Чтобы автоматизировать функцию идентификации в биоинформатических конвейерах, учетные данные BOLD также можно передавать напрямую в качестве необязательных аргументов.

boldigger2 identify PATH_TO_FASTA -username USERNAME -password PASSWORD

Чтобы адаптировать реализованные пороговые значения под нужды конкретного пользователя, пороговые значения можно передать в качестве дополнительного (упорядоченного) аргумента. Для разных таксономических уровней (вид, род, семейство, отряд, класс) можно пройти до 5 различных порогов. Не пройденные пороги будут заменены по умолчанию, но BOLDigger2 также сообщит вам об этом.

boldigger2 identify PATH_TO_FASTA -thresholds 99 97

Выход:

 19:16:16: Default thresholds changed!
19:16:16: Species: 99, Genus: 97, Family: 90, Order: 85, Class: 50
19:16:16: Trying to log in.
BOLD username:

BOLDigger2 запросит у вас имя пользователя и пароль, а затем выполнит идентификацию.

Когда выйдет новая версия, вы можете обновить BOLDigger2, набрав:

pip install --upgrade boldigger2

Как цитировать

Бюхнер Д., Лиз Ф. (2020) BOLDigger — пакет Python для идентификации и организации последовательностей с помощью систем данных штрих-кода жизни. Метабаркодирование и метагеномика 4: e53535. https://doi.org/10.3897/mbmg.4.53535

Алгоритм BOLDigger2

Алгоритм BOLDigger2 работает согласно следующей блок-схеме:

1. Войдите в BOLD:

   • Аутентификация с помощью систем данных BOLD.

2. Создайте ссылки для скачивания для штрих-кодов видового уровня:

   • Создайте ссылки для загрузки базы данных штрих-кодов на уровне вида для пакета последовательностей.

3. Скачать Топ-100 хитов:

   • Получите ссылки для скачивания из предыдущего шага.
   • Загрузите 100 лучших хитов по каждой ссылке.
   • Сохраните результаты в хранилище HDF с ключом "top_100_hits_unsorted" .
   • Продолжайте до тех пор, пока не будут идентифицированы все последовательности.

4. Определите последовательности без совпадений на уровне вида:

   • Прочтите неотсортированные топ-100 хитов.
   • Определите последовательности, которые не привели к попаданию на видовом уровне.

5. Создайте ссылки для скачивания для всех записей:

   • Создайте ссылки для загрузки пакета последовательностей без совпадений на уровне вида для базы данных «все записи выделены жирным шрифтом».

6. Скачать Топ-100 хитов для всех пластинок:

   • Получите ссылки для скачивания из предыдущего шага.
   • Загрузите 100 лучших хитов по каждой ссылке.
   • Сохраните результаты в хранилище HDF с ключом "top_100_hits_unsorted" .
   • Продолжайте до тех пор, пока не будут идентифицированы все последовательности.

7. Сортируйте и сохраняйте лучшие хиты:

   • Прочтите все 100 лучших хитов.
   • Удалите повторяющиеся записи.
   • Отсортируйте попадания в том же порядке, что и в файле FASTA.
   • Определите все общедоступные записи и запустите загрузку дополнительных данных.
   • Сохраните их в HDF-хранилище с ключом "top_100_hits_sorted" .

8. Сохраните дополнительные данные:

   • Сохраните хиты, включая дополнительные данные, в HDF-хранилище с ключом "top_100_hits_additional_data" .

9. Экспорт дополнительных данных в Excel:

   • Сохраните дополнительные данные в формате Excel.
   • Разбейте данные на таблицы по 1 000 000 строк каждая.

10. Рассчитайте и сохраните лучшие хиты:

    • Рассчитайте наибольшее попадание для каждой последовательности.
    • Сохраняйте лучшие результаты как в формате Excel ( identification_result.xlsx ), так и в формате Parquet ( identification_result.parquet.snappy ) для быстрой дальнейшей обработки.

Выбор лучших хитов

Различные пороговые значения (97%: уровень вида, 95%: уровень рода, 90%: уровень семейства, 85%: уровень отряда, <85% и >= 50: уровень класса) для таксономических уровней используются для поиска наиболее подходящего совпадения. . После определения порога для всех попаданий будет выбрано наиболее частое попадание, превышающее пороговое значение. Обратите внимание, что для всех совпадений ниже порогового значения таксономическое разрешение будет соответствующим образом скорректировано (например, для совпадения 96% информация на уровне вида будет отброшена, а информация на уровне рода будет использоваться как самый низкий таксономический уровень).

Алгоритм BOLDigger2 работает следующим образом:

1. Определить максимальное сходство : Найдите максимальное значение сходства среди 100 лучших совпадений, рассматриваемых в настоящее время.

2. Установить порог : установите порог на этот максимальный уровень сходства. Удалите все совпадения со сходством ниже этого порога. Например, если наибольшее совпадение имеет сходство 100 %, пороговое значение будет установлено на 97 %, а все совпадения ниже этого порога будут временно удалены.

3. Классификация и сортировка : подсчитайте все отдельные классификации и отсортируйте их по количеству.

4. Фильтровать отсутствующие данные : удалить все классификации, содержащие недостающие данные. Например, если наиболее частым совпадением является «Членистоногие --> Насекомые» со сходством 100 %, но отсутствуют значения для порядка, семейства, рода и вида.

5. Определить общее попадание : найдите наиболее распространенное попадание, в котором нет пропущенных значений.

6. Возврат попадания : если обнаружено попадание без пропущенных значений, верните это попадание.

7. Регулировка порога : если совпадений без пропущенных значений не обнаружено, увеличьте порог до следующего более высокого уровня и повторяйте процесс до тех пор, пока не будет найдено совпадение.

Система маркировки BOLDigger2

BOLDigger2 использует систему маркировки для выделения определенных условий, указывающих на степень неопределенности выбранного попадания. На данный момент реализовано пять флагов, которые можно обновлять по мере необходимости:

1. Таксономия обратной BIN : этот флаг поднимается, если все 100 лучших совпадений, представляющих выбранное совпадение, используют таксономию обратной BIN. Таксономия обратной BIN присваивает названия видов последовательностям, выделенным жирным шрифтом, в которых отсутствует информация о видах, что потенциально вносит неопределенность.

2. Различная таксономическая информация : если есть две или более записи с различной таксономической информацией, превышающей выбранный порог (например, два вида выше 97%), срабатывает этот флаг, что указывает на потенциальные несоответствия.

3. Частные данные или данные раннего выпуска . Если все 100 лучших обращений, представляющих наибольшее попадание, являются частными или ранними обращениями, этот флаг поднимается, указывая на ограниченный доступ к данным.

4. Уникальное попадание : этот флаг указывает, что результат с наибольшим количеством попаданий представляет собой уникальное попадание среди 100 лучших совпадений, потенциально требующее дальнейшего изучения.

5. Множественные BIN : если выбранное попадание на уровне вида состоит из более чем одного BIN, этот флаг поднимается, что указывает на потенциальные сложности в таксономическом присвоении.

Учитывая наличие этих флагов, рекомендуется провести более тщательную проверку всех помеченных совпадений, чтобы лучше понять и устранить любые неопределенности в выбранном попадании.