wdl

Lenguaje de descripción de flujo de trabajo (WDL)

El lenguaje de descripción del flujo de trabajo (WDL) es un estándar abierto para describir los flujos de trabajo de procesamiento de datos con una sintaxis legible y escritable. WDL hace que sea sencillo definir tareas de análisis, conectarlas en flujos de trabajo y paralelizar su ejecución. El lenguaje se esfuerza por ser accesible y comprensible para todo tipo de usuarios, incluidos programadores, analistas y operadores de un sistema de producción. El lenguaje permite que los patrones comunes, como la recolección de dispersión y la ejecución condicional, se expresen simplemente. WDL está diseñado para la portabilidad, y hay varias implementaciones para elegir que se ejecutan en una variedad de entornos, incluidos los sistemas HPC y las plataformas en la nube.

Versiones

WDL Versioning sigue convenciones de versiones semánticas.

El idioma WDL tiene una versión de dos números (por ejemplo, 1.2 ). Un aumento en el número de versión menor (segundo) (p. Ej., 1.1 a 1.2 ) indica la adición de los cambios o no rompientes a las funciones de lenguaje o biblioteca estándar. Un aumento en el mayor (primer) número de versión (por ejemplo, 1.0 a 2.0 ) indica que se han realizado cambios de ruptura.

La especificación WDL tiene una versión de tres números (por ejemplo, 1.2.0 ). La versión de especificación rastrea la versión del idioma, pero también puede haber versiones de parche (indicadas por un cambio en el parche, o tercero, número de versión) que incluyen correcciones para errores tipográficos, ejemplos adicionales o aclaraciones no rompensas de lenguaje ambiguo.

Especificaciones de idioma

La especificación de WDL contiene toda la información relevante para usuarios y desarrolladores, incluidos aquellos que desean implementar un motor de ejecución. Este proyecto GitHub utiliza la rama para la versión actual de la especificación como su rama principal, por lo que siempre verá la versión actual de la especificación siempre que visite la URL raíz de este proyecto. Se recomienda encarecidamente a los usuarios que usen la versión actual de la especificación a menos que sea absolutamente necesario.

Esta rama es para la versión 1.2 de la especificación del idioma WDL. Todo el desarrollo de las nuevas características no roto debe hacerse contra esta rama.

Las versiones anteriores de la especificación se pueden encontrar aquí:

• 1.1
• 1.0

Hay una serie de versiones de borradores que corresponden a los esfuerzos iniciales para crear WDL. Si bien estas son especificaciones funcionales, no deben considerarse completas de características y contienen muchos errores e irregularidades.

• borrador 3
• Draft-2
• draft-1

La siguiente versión principal de la especificación es 2.0. Todo el desarrollo de nuevas características de ruptura debe hacerse contra esa rama.

Comunidad y apoyo

La comunidad WDL depende de su participación para prosperar. Se le recomienda hacer preguntas, ayudar a otros usuarios y hacer contribuciones donde pueda. Las interacciones ocurren principalmente en GitHub y Slack. La comunidad WDL también tiene un blog oficial donde se hacen anuncios.

Haciendo una pregunta

• Busque en las discusiones para ver si ya se ha hecho la pregunta; Si no, comienza una nueva discusión.
• Únase a nuestra holgura y pregunte en el canal #support .
• Busque en el intercambio de la pila bioinformática para obtener preguntas previamente respondidas, o haga una nueva pregunta.
• Busque en el Grupo Google para preguntas previamente respondidas. Este grupo está en gran medida inactivo, por lo que está encorvado para hacer nuevas preguntas en uno de los lugares anteriores.

Errores y nuevas características

• Buscar un problema existente. Si su problema aún no se ha informado, cree uno nuevo.
• Para las características reqeusts, está encorvado para comenzar primero una discusión en uno de los lugares mencionados anteriormente para obtener comentarios de la comunidad.
• Si desea proporcionar una solución/implementación para un problema, lea sobre la contribución antes de enviar una solicitud de extracción.

Documentación

• Docs WDL
• Learn-wdl
• Recursos de WDL proporcionados por Terra (un producto del amplio Instituto)

Flujos de trabajo publicados

Las siguientes son colecciones de flujos de trabajo WDL de código abierto. Es posible que la tarea o flujo de trabajo WDL que necesite ya esté disponible en uno de estos repositorios, o puede encontrar un flujo de trabajo similar y personalizarlo a sus necesidades.

• Muelle
• Biowdl
• Warpp Broad Institute
• Flujos de trabajo de Gatk
• CODIFICAR
• Terra (requiere registro)

Software y herramientas

Motores de ejecución y plataformas

WDL no tiene una implementación oficial. Se confía en los terceros para proporcionar software instalable o plataformas alojadas que interpreten y ejecuten flujos de trabajo y tareas de WDL. Aunque WDL aún no tiene un programa de cumplimiento oficial o un proceso de certificación, se espera que los implementadores diseñen sus herramientas de acuerdo con la especificación para maximizar la portabilidad de los flujos de trabajo en las implementaciones. No obstante, los implementadores pueden proporcionar características opcionales adicionales específicas. Consulte la documentación asociada con cada herramienta/plataforma para obtener información sobre las opciones y soporte de ejecución disponibles.

Implementación	Requiere instalación	Ejecución local	HPC	Nube
AWS Healthomics	No	No	No	AWS
Cromwell *	Sí	Sí	Muchos	AWS Batch, Azure, GCP
DXCOMPILER	Sí	No	No	Dnanexus
Miniwdl	Sí	Sí	Slurm	Lote de AWS
Terra	No	No	No	Azure, GCP

* También vea WDL Runner, un script para lanzar flujos de trabajo WDL en GCP usando Cromwell

Gramáticas, analizadores y soporte de idiomas

• El repositorio de analizadores de WDL proporciona definiciones gramaticales en varios formatos y analizadores generados para varios idiomas.
• MiniWDL proporciona enlaces de Python para WDL, así como herramientas de línea de comandos para las plantillas de entrada de flujo de trabajo de validación, pelusa y generación.
• WomTool es una herramienta Java independiente para análisis de WDL, validación, pelusa y diagramación.
• WDLTOOLS - Proporciona 1) una biblioteca Parser Java/Scala, basada en las gramáticas Antlr4 Gramáticas, para WDL Draft -2, 1.0, 1.1 y 2.0; y 2) herramientas de línea de comandos para verificación de Sytanx, verificación de tipo, pelusa, formato de código (incluida la actualización de versiones WDL más antiguas a más nuevas), generar documentación y ejecutar tareas WDL localmente.
• Dirige un administrador de paquetes y un enlace para archivos WDL.

Soporte IDE

IDE	Herramienta
Emacs	Poly-WDL
Emacs	modo WDL
Rejilla	Winstanly
Sublime	Marcador de sintaxis WDL
Empuje	vim-wdl
Código de Visual Studio	Marcador de sintaxis WDL

Documentación

• WDL-AID genera documentación para las entradas de flujos de trabajo WDL, según la información de Parameter_Meta definida en el archivo WDL.
• wddoc

Pruebas

• WDL-Tests es una colección de casos de prueba para implementaciones de WDL. Se proporciona una especificación para escribir nuevas pruebas que sean compatibles con marcos de prueba automatizados.
• Pytest-Workflow es un probador de flujo de trabajo de implementación-agnóstico. Se puede usar con Cromwell y MiniWDL. Utiliza Pytest como el marco de prueba subyacente. Las pruebas se pueden especificar en formato YAML o en código Python.
• Pytest-WDL es un complemento para el marco de pruebas unitarias de Pytest que permite la prueba de tareas y flujos de trabajo de WDL. Las pruebas se pueden especificar en formato YAML o en código Python.

Embalaje

• MiniWDL ZIP genera un archivo zip que incluye un archivo de código fuente WDL dado y cualquier otro archivo WDL que importe. El archivo zip se puede suministrar directamente a la ejecución miniWDL, que puede extraerlo automáticamente.
• WDL-Packager empaqueta un flujo de trabajo y todas sus importaciones en un archivo zip. El zip se puede usar como un paquete de Zip Imports para Cromwell. La utilidad puede agregar archivos no WDL (como la licencia) al paquete ZIP y proporciona opciones para empaquetar el ZIP de una manera reproducible binaria.

Que contribuye

WDL solo avanza a través de contribuciones de la comunidad. Si bien participar en discusiones y presentar problemas son excelentes maneras de involucrarse, también se necesita ayuda para implementar cambios en la especificación. Para obtener más información sobre cómo puede contribuir, lea la guía de contribución.

Proceso de RFC

Las solicitudes de extracción enviadas están sujetas al proceso RFC. Revise y familiarícese con el proceso si desea ver los cambios enviados a la especificación.

Gobernancia

La especificación de WDL está completamente impulsada por la comunidad; Sin embargo, es supervisado por un comité de gobierno. Si está interesado en participar en el gobierno de WDL, únase a la holgura y publique un mensaje en el canal #general .