wdl

Язык описания рабочего процесса (WDL)

Язык описания рабочего процесса (WDL) является открытым стандартом для описания рабочих процессов обработки данных с помощью читаемого на человеку синтаксиса. WDL позволяет простым определять задачи анализа, соединить их вместе с рабочими процессами и параллелизировать их выполнение. Язык стремится быть доступным и понятным для всех видов пользователей, включая программистов, аналитиков и операторов производственной системы. Язык позволяет выразить общие закономерности, такие как разбросанный отбор и условное исполнение, просто выражать. WDL предназначен для портативности, и есть несколько реализаций, которые выбирают из тех, которые работают в различных средах, включая системы HPC и облачные платформы.

Версии

WDL -версия следует за семантическими соглашениями об управлении версиями.

Язык WDL имеет двухсетнюю версию (например, 1.2 ). Увеличение номера незначительного (второго) версии (например, 1.1 до 1.2 ) указывает на добавление или неразрушающие изменения в языковых или стандартных библиотечных функциях. Увеличение основного (первого) номера версии (например, 1.0 до 2.0 ) указывает на то, что были внесены нарушающие изменения.

Спецификация WDL имеет трехсетнюю версию (например, 1.2.0 ). Версия спецификации отслеживает языковую версию, но могут также быть выбросы патчей (обозначенные изменением патча или третьим номером версии), которые включают исправления для опечаток, дополнительных примеров или неразрешимых разъяснений неоднозначного языка.

Языковые спецификации

Спецификация WDL содержит всю соответствующую информацию для пользователей и разработчиков, в том числе тех, кто хочет реализовать механизм выполнения. Этот проект GitHub использует филиал для текущей версии спецификации в качестве основной ветви, поэтому вы всегда увидите текущую версию спецификации, пока вы посещаете URL -адрес этого проекта. Пользователям настоятельно рекомендуется использовать текущую версию спецификации, если это не абсолютно необходимо.

Эта ветвь предназначена для версии 1.2 спецификации языка WDL. Вся разработка новых неразрывных функций должна быть выполнена против этой ветви.

Предыдущие версии спецификации можно найти здесь:

• 1.1
• 1.0

Существует ряд черновых версий, которые соответствуют первоначальным усилиям по созданию WDL. Хотя это функциональные спецификации, их не следует считать функцией полной, и они содержат много ошибок и нарушений.

• проект-3
• проект-2
• проект-1

Следующая основная версия спецификации составляет 2.0. Вся разработка новых сломанных функций должна быть сделана против этой ветви.

Сообщество и поддержка

Сообщество WDL зависит от вашего участия к процветанию. Вам рекомендуется задавать вопросы, помогать другим пользователям и внести вклад там, где вы можете. Взаимодействие происходит в основном на GitHub и Slack. Сообщество WDL также имеет официальный блог, в котором делаются объявления.

Задавая вопрос

• Поиск в дискуссиях, чтобы увидеть, был ли вопрос уже задан; Если нет, начните новое обсуждение.
• Присоединяйтесь к нашему Slack и спросите в канале #support .
• Поиск биоинформатической обмены стека для ранее отвечающих на вопросы или задайте новый вопрос.
• Поиск в группе Google для получения ранее отвечающих на вопросы. Эта группа в значительной степени неактивна, поэтому вы вместо этого задают новые вопросы в одном из вышеуказанных мест.

Ошибки и новые функции

• Поиск существующей проблемы. Если в вашей проблеме еще не сообщалось, создайте новую.
• Для функций Requusts вы обновляетесь, чтобы сначала начать обсуждение в одном из мест, перечисленных выше, чтобы получить обратную связь от сообщества.
• Если вы хотите предоставить исправление/реализацию для проблемы, пожалуйста, прочитайте о взносе, прежде чем отправить запрос на привлечение.

Документация

• WDL-DOCS
• Учите-WDL
• Ресурсы WDL, предоставленные Terra (продукт широкого института)

Опубликованные рабочие процессы

Ниже приведены коллекции рабочих процессов WDL с открытым исходным кодом. Задача WDL или рабочий процесс, который вам нужен, уже могут быть доступны в одном из этих репозиториев, или вы можете найти аналогичный рабочий процесс и настроить его в соответствии с вашими потребностями.

• Докстор
• Biowdl
• Широкий институт варп
• Гатк рабочие процессы
• Кодировать
• Терра (требует регистрации)

Программное обеспечение и инструменты

Проводные двигатели и платформы

WDL не имеет официальной реализации. Третьи лица полагаются на предоставление установленного программного обеспечения или размещенных платформ, которые интерпретируют и выполняют рабочие процессы и задачи WDL. Хотя WDL еще не имеет официальной программы соблюдения требований или процесса сертификации, ожидается, что исполнители будут разрабатывать свои инструменты в соответствии с спецификацией, чтобы максимизировать мобильность рабочих процессов в разных реализациях. Тем не менее, реализаторы могут предоставить дополнительные дополнительные функции. Пожалуйста, смотрите документацию, связанную с каждым инструментом/платформой для получения информации об доступных параметрах выполнения и поддержке.

Выполнение	Требует установки	Местное исполнение	HPC	Облако
AWS Healthomics	Нет	Нет	Нет	AWS
Кромвель *	Да	Да	Много	AWS Parath, Azure, GCP
dxcompiler	Да	Нет	Нет	Dnanexus
Miniwdl	Да	Да	Седло	AWS партия
Терра	Нет	Нет	Нет	Azure, GCP

* Также см. Wdl Runner, скрипт для запуска WDL Workflows на GCP с помощью Cromwell

Грамматики, анализаторы и языковая поддержка

• Репозиторий WDL Parsers предоставляет грамматические определения в различных форматах и ​​генерировали анализаторы для различных языков.
• MiniWdl предоставляет привязки Python для WDL, а также инструменты командной линии для проверки, снятия и генерации входных шаблонов рабочих процессов.
• Worktool - это автономный инструмент Java для анализа, проверки, линии и диаграмм WDL.
• WdlTools - предоставляет 1) библиотеку диава -диава/скала, основанную на грамматике грамматиков ANTLR4, для WDL Draft -2, 1.0, 1.1 и 2,0; и 2) инструменты командной строки для проверки SYTANX, проверки типов, личинга, форматирования кода (включая обновление с более старых до более новых версий WDL), создание документации и выполнение задач WDL локально.
• Нажмите на диспетчер пакетов и Linter для файлов WDL.

IDE поддержка

IDE	Инструмент
Эмац	поли-WDL
Эмац	WDL-режим
Спеля	Уинстанли
Возвышенное	Синтаксис WDL
Вим	vim-wdl
Visual Studio Code	Синтаксис WDL

Документация

• WDL-AID генерирует документацию для входов рабочих процессов WDL на основе информации parameter_meta, определенной в файле WDL.
• Wdldoc

Тестирование

• WDL-тестирование-это набор тестовых случаев для реализаций WDL. Спецификация предназначена для написания новых тестов, которые совместимы с каркасами автоматического тестирования.
• Pytest-Workflow-это реализация-агропроводный тестер рабочего процесса. Это может быть использовано как с Cromwell, так и с Miniwdl. Использует Pytest в качестве базовой тестовой структуры. Тесты могут быть указаны либо в формате YAML, либо в коде Python.
• Pytest-WDL-это плагин для платформы для тестирования Pytest, которая позволяет тестировать задачи WDL и рабочие процессы. Тесты могут быть указаны либо в формате YAML, либо в коде Python.

Упаковка

• miniwdl Zip генерирует zip -файл, включая заданный файл исходного кода WDL и любые другие файлы WDL, которые он импортирует. ZIP -файл может быть поставлен непосредственно для MiniWdl Run, который может извлечь его автоматически.
• WDL-Packager упаковывает рабочий процесс и все его импорт в zip-файл. ZIP можно использовать в качестве пакета ZIP Imports для Cromwell. Утилита может добавлять не-WDL-файлы (например, лицензию) в пакет ZIP и предоставляет параметры для упаковки ZIP в двоичном воспроизводимом способе.

Внося

WDL продвигается только посредством вклада сообщества. В то время как участие в обсуждениях и представление вопросов - отличные способы участия, также необходима помощь для реализации изменений в спецификации. Для получения дополнительной информации о том, как вы можете внести свой вклад, пожалуйста, прочитайте руководство по внесению.

Процесс RFC

Отправленные запросы на привлечение подлежат процессу RFC. Пожалуйста, просмотрите и ознакомьтесь с процессом, если вы хотите, чтобы изменения были представлены в спецификацию.

Управление

Спецификация WDL полностью обусловлена ​​сообществом; Тем не менее, это контролируется комитетом управления. Если вы заинтересованы в участии в управлении WDL, присоединяйтесь к Slack и опубликуйте сообщение в #general Channel.