wdl

Workflow Beschreibung Sprache (WDL)

Die Workflow Beschreibung Sprache (WDL) ist ein offener Standard für die Beschreibung von Datenverarbeitungsworkflows mit einer menschlichen lesbaren und schriftlichen Syntax. WDL macht es unkompliziert, Analyseaufgaben zu definieren, sie in Workflows miteinander zu verbinden und ihre Ausführung zu parallelisieren. Die Sprache ist bestrebt, für alle Arten von Benutzern, einschließlich Programmierern, Analysten und Betreibern eines Produktionssystems, zugänglich und verständlich zu sein. Die Sprache ermöglicht es, allgemeine Muster wie Streuezatik und bedingte Ausführung einfach zum Ausdruck zu bringen. WDL ist für die Portabilität ausgelegt, und es gibt mehrere Implementierungen, die aus dem Lauf in verschiedenen Umgebungen, einschließlich HPC -Systemen und Cloud -Plattformen, ausgewählt werden können.

Versioning

WDL Versioning folgt den semantischen Versionskonventionen.

Die WDL- Sprache hat eine Zwei-Zahlen-Version (z. B. 1.2 ). Eine Erhöhung der geringfügigen (zweiten) Versionsnummer (z. B. 1.1 bis 1.2 ) zeigt die Hinzufügung von oder nicht blockierenden Änderungen an den Funktionen der Sprache oder der Standardbibliothek an. Eine Erhöhung der Hauptversionsnummer (z. B. 1.0 bis 2.0 ) zeigt, dass Bruchänderungen vorgenommen wurden.

Die WDL- Spezifikation hat eine Drei-Zahlen-Version (z. B. 1.2.0 ). Die Spezifikationsversion verfolgt die Sprachversion, es kann jedoch auch Patch-Releases (angezeigt durch eine Änderung des Patchs oder dritten Versionsnummer) geben, die Korrekturen für Tippfehler, zusätzliche Beispiele oder nicht sprechende Klarstellungen der mehrdeutigen Sprache enthalten.

Sprachspezifikationen

Die WDL -Spezifikation enthält alle relevanten Informationen für Benutzer und Entwickler, einschließlich derjenigen, die eine Ausführungs -Engine implementieren möchten. Dieses GitHub -Projekt verwendet die Filiale für die aktuelle Version der Spezifikation als primäre Filiale, sodass Sie immer die aktuelle Version der Spezifikation sehen, solange Sie die Root -URL dieses Projekts besuchen. Benutzer werden nachdrücklich empfohlen, die aktuelle Version der Spezifikation zu verwenden, sofern dies nicht unbedingt erforderlich ist.

Dieser Zweig ist für Version 1.2 der WDL -Sprachspezifikation. Die gesamte Entwicklung neuer nicht bahnbrechender Funktionen sollte gegen diese Zweigstelle durchgeführt werden.

Frühere Versionen der Spezifikation finden Sie hier:

• 1.1
• 1.0

Es gibt eine Reihe von Entwurfsversionen, die den ersten Bemühungen zur Erstellung von WDL entsprechen. Während dies funktionale Spezifikationen sind, sollten sie nicht als vollständig angesehen werden und enthalten viele Fehler und Unregelmäßigkeiten.

• Entwurf-3
• Entwurf-2
• Entwurf-1

Die nächste Hauptversion der Spezifikation ist 2.0. Die gesamte Entwicklung neuer Breaking -Merkmale sollte gegen diesen Zweig durchgeführt werden.

Gemeinschaft und Unterstützung

Die WDL -Community ist auf Ihr Engagement angewiesen. Sie werden aufgefordert, Fragen zu stellen, anderen Benutzern zu helfen und Beiträge zu leisten, wo Sie können. Wechselwirkungen treten hauptsächlich auf Github und Slack auf. Die WDL -Community hat auch einen offiziellen Blog, in dem Ankündigungen gemacht werden.

Eine Frage stellen

• Suche in den Diskussionen, um festzustellen, ob die Frage bereits gestellt wurde. Wenn nicht, beginnen Sie eine neue Diskussion.
• Treten Sie unserem Slack bei und fragen Sie im #support -Kanal.
• Suchen Sie den Bioinformatics Stack Exchange nach zuvor beantworteten Fragen oder stellen Sie eine neue Frage.
• Suchen Sie die Google -Gruppe nach zuvor beantworteten Fragen. Diese Gruppe ist weitgehend inaktiv, sodass Sie stattdessen neue Fragen an einer der oben genannten Stellen stellen sollen.

Fehler und neue Funktionen

• Suche nach einem vorhandenen Problem. Wenn Ihr Problem noch nicht gemeldet wurde, erstellen Sie eine neue.
• Für Feature Reqeuchs werden Sie errungen, um zunächst eine Diskussion an einem der oben aufgeführten Orte zu beginnen, um Feedback von der Community zu erhalten.
• Wenn Sie eine Fix-/Implementierung für ein Problem bereitstellen möchten, lesen Sie bitte einen Beitrag, bevor Sie eine Pull -Anfrage einreichen.

Dokumentation

• WDL-Docs
• lern-wdl
• WDL -Ressourcen von Terra (einem Produkt des Broad Institute) bereitgestellt

Veröffentlichte Workflows

Im Folgenden finden Sie Sammlungen von Open-Source-WDL-Workflows. Die WDL -Aufgabe oder der von Ihnen benötigte Workflow sind möglicherweise bereits in einem dieser Repositories verfügbar, oder Sie finden möglicherweise einen ähnlichen Workflow und passen sie an Ihre Anforderungen an.

• Dockstore
• Biowdl
• Broad Institute Warp
• Gatk Workflows
• KODIEREN
• Terra (erfordert Registrierung)

Software und Tools

Ausführungsmotoren und Plattformen

WDL hat keine offizielle Umsetzung. Dritte werden darauf angewiesen, installierbare Software oder gehostete Plattformen bereitzustellen, die WDL -Workflows und -aufgaben interpretieren und ausführen. Obwohl WDL noch kein offizielles Compliance -Programm oder -Zertifizierungsprozess hat, wird von Implementierern von der Spezifikation von Implementierern erwartet, dass sie ihre Tools entwerfen, um die Portabilität von Workflows über Implementierungen hinweg zu maximieren. Implementierer können jedoch zusätzliche optionale Funktionen spezifisch bereitstellen. Weitere Informationen zu verfügbaren Ausführungsoptionen und Support finden Sie in der Dokumentation, die jedem Tool/jeder Plattform zugeordnet ist.

Durchführung	Erfordert Installation	Lokale Ausführung	HPC	Wolke
AWS Healthomics	NEIN	NEIN	NEIN	AWS
Cromwell *	Ja	Ja	Viele	AWS -Batch, Azure, GCP
dxcompiler	Ja	NEIN	NEIN	Dnanexus
Miniwdl	Ja	Ja	Schläge	AWS -Stapel
Terra	NEIN	NEIN	NEIN	Azure, GCP

* Siehe auch WDL Runner, ein Skript zum Starten von WDL -Workflows bei GCP mit Cromwell

Grammatiken, Parser und Sprachunterstützung

• Das WDL -Parsers -Repository bietet Grammatikdefinitionen in verschiedenen Formaten und erzeugte Parser für verschiedene Sprachen.
• Miniwdl bietet Python -Bindungen für WDL sowie Befehlslinien -Tools zur Validierung, Linie und Generierung von Workflow -Eingangsvorlagen.
• Womtool ist ein eigenständiges Java -Tool für WDL -Parsen, Validieren, Leinen und Diagramme.
• WDLTOOLS - Bietet 1) eine Parser -Java/Scala -Bibliothek, die auf den Grammatik -Grammatiken der Antlr4 für WDL -Entwurf -2, 1,0, 1,1 und 2.0 basiert. und 2) Befehlszeilen-Tools für Sytanx-Überprüfung, Typ-Überprüfungen, Linie, Codeformatierung (einschließlich Upgrade von älter auf neuere WDL-Versionen), die Generierung von Dokumentationen und die Ausführung von WDL-Aufgaben lokal.
• Ketten Sie einen Paketmanager und einen Paketmanager für WDL -Dateien.

IDE -Unterstützung

Ide	Werkzeug
EMACs	Poly-wdl
EMACs	WDL-Modus
Jetbrains	Winstanly
Sublimieren	WDL Syntax Highlighter
Vim	Vim-Wdl
Visual Studio -Code	WDL Syntax Highlighter

Dokumentation

• WDL-AID generiert eine Dokumentation für die Eingaben von WDL-Workflows, basierend auf den in der WDL-Datei definierten Parameter_Meta-Informationen.
• wdldoc

Testen

• WDL-Tests sind eine Sammlung von Testfällen für WDL-Implementierungen. Es wird eine Spezifikation zum Schreiben neuer Tests vorgesehen, die mit automatisierten Test -Frameworks kompatibel sind.
• PyTest-Workflow ist ein implementierungsunabhängiger Workflow-Tester. Es kann sowohl mit Cromwell als auch mit Miniwdl verwendet werden. Verwendet PyTest als zugrunde liegende Testframework. Tests können entweder im YAML -Format oder im Python -Code angegeben werden.
• PyTest-WDL ist ein Plugin für das PyTest Unit Testing Framework, das das Testen von WDL-Aufgaben und Workflows ermöglicht. Tests können entweder im YAML -Format oder im Python -Code angegeben werden.

Verpackung

• Miniwdl ZIP generiert eine ZIP -Datei mit einer bestimmten WDL -Quellcode -Datei und anderer importierter WDL -Dateien. Die ZIP -Datei kann direkt an Miniwdl -Lauf geliefert werden, was sie automatisch extrahieren kann.
• WDL-Packager verpackt einen Workflow und alle seine Importe in eine ZIP-Datei. Der Reißverschluss kann als Importpaket für Cromwell verwendet werden. Das Dienstprogramm kann dem ZIP-Paket nicht-WDL-Dateien (z. B. die Lizenz) hinzufügen und Optionen zum Verpacken des Reißverschlusses auf binäre reproduzierbare Weise bietet.

Beitragen

WDL fährt nur durch Community -Beiträge vor. Während die Teilnahme an Diskussionen und Einreichung von Problemen großartige Möglichkeiten sind, sich zu beteiligen, ist auch Hilfe erforderlich, um Änderungen an der Spezifikation umzusetzen. Weitere Informationen darüber, wie Sie dazu beitragen können, lesen Sie bitte den Beitragshandbuch.

RFC -Prozess

Eingereichte Pull -Anfragen unterliegen dem RFC -Prozess. Bitte überprüfen Sie und machen Sie sich mit dem Prozess vertraut, wenn Sie Änderungen an der Spezifikation anzeigen möchten.

Regierungsführung

Die WDL -Spezifikation ist vollständig in der Gemeinde angetrieben. Es wird jedoch von einem Governance -Ausschuss überwacht. Wenn Sie daran interessiert sind, an der WDL -Governance beteiligt zu sein, nehmen Sie bitte der Slack bei und veröffentlichen Sie eine Nachricht im #general -Kanal.