wdl

Alur Kerja Deskripsi Bahasa (WDL)

Bahasa deskripsi alur kerja (WDL) adalah standar terbuka untuk menggambarkan alur kerja pemrosesan data dengan sintaks yang dapat dibaca manusia dan ditulis. WDL membuatnya langsung untuk mendefinisikan tugas analisis, menghubungkannya bersama dalam alur kerja, dan memparalelkan eksekusi mereka. Bahasa ini berusaha dapat diakses dan dimengerti oleh segala macam pengguna, termasuk pemrogram, analis, dan operator sistem produksi. Bahasa ini memungkinkan pola umum, seperti pelaksanaan hamburan dan eksekusi bersyarat, untuk diekspresikan dengan sederhana. WDL dirancang untuk portabilitas, dan ada beberapa implementasi untuk dipilih dari yang dijalankan di berbagai lingkungan, termasuk sistem HPC dan platform cloud.

Versi

Versi WDL mengikuti konvensi versi semantik.

Bahasa WDL memiliki versi dua angka (misalnya, 1.2 ). Peningkatan nomor versi minor (kedua) (misalnya, 1.1 ke 1.2 ) menunjukkan penambahan, atau perubahan yang tidak melanggar, bahasa atau fungsi perpustakaan standar. Peningkatan nomor versi utama (pertama) (misalnya, 1.0 ke 2.0 ) menunjukkan bahwa perubahan perubahan telah dilakukan.

Spesifikasi WDL memiliki versi tiga angka (misalnya, 1.2.0 ). Versi spesifikasi melacak versi bahasa, tetapi mungkin juga ada rilis tambalan (ditunjukkan oleh perubahan pada patch, atau ketiga, nomor versi) yang mencakup perbaikan untuk kesalahan ketik, contoh tambahan, atau klarifikasi bahasa yang tidak terputus.

Spesifikasi bahasa

Spesifikasi WDL berisi semua informasi yang relevan untuk pengguna dan pengembang, termasuk yang ingin mengimplementasikan mesin eksekusi. Proyek GitHub ini menggunakan cabang untuk versi spesifikasi saat ini sebagai cabang utamanya, jadi Anda akan selalu melihat versi spesifikasi saat ini selama Anda mengunjungi URL root proyek ini. Pengguna sangat dianjurkan untuk menggunakan versi spesifikasi saat ini kecuali benar -benar diperlukan.

Cabang ini untuk versi 1.2 dari spesifikasi bahasa WDL. Semua pengembangan fitur non-breaking baru harus dilakukan terhadap cabang ini.

Versi spek sebelumnya dapat ditemukan di sini:

• 1.1
• 1.0

Ada sejumlah versi draf yang sesuai dengan upaya awal untuk membuat WDL. Meskipun ini adalah spesifikasi fungsional, mereka tidak boleh dianggap fitur lengkap, dan mengandung banyak bug dan penyimpangan.

• Draft-3
• Draft-2
• Draft-1

Versi utama spesifikasi berikutnya adalah 2.0. Semua pengembangan fitur pemecahan baru harus dilakukan terhadap cabang itu.

Komunitas dan dukungan

Komunitas WDL tergantung pada keterlibatan Anda untuk berkembang. Anda didorong untuk mengajukan pertanyaan, membantu pengguna lain, dan memberikan kontribusi di mana Anda bisa. Interaksi terjadi terutama pada GitHub dan Slack. Komunitas WDL juga memiliki blog resmi di mana pengumuman dibuat.

Mengajukan pertanyaan

• Cari dalam diskusi untuk melihat apakah pertanyaannya sudah diajukan; Jika tidak, mulailah diskusi baru.
• Bergabunglah dengan Slack kami dan tanyakan di saluran #support .
• Cari Exchange Stack Bioinformatics untuk pertanyaan yang dijawab sebelumnya, atau ajukan pertanyaan baru.
• Cari grup Google untuk pertanyaan yang dijawab sebelumnya. Grup ini sebagian besar tidak aktif, jadi Anda dikelompokkan untuk mengajukan pertanyaan baru di salah satu tempat di atas.

Bug dan fitur baru

• Cari masalah yang ada. Jika masalah Anda belum dilaporkan, buat yang baru.
• Untuk reqeust fitur, Anda dikeluarkan untuk memulai diskusi terlebih dahulu di salah satu tempat yang tercantum di atas untuk mendapatkan umpan balik dari komunitas.
• Jika Anda ingin memberikan perbaikan/implementasi untuk masalah, silakan baca tentang berkontribusi sebelum mengirimkan permintaan tarik.

Dokumentasi

• WDL-DOCS
• belajar-wdl
• Sumber Daya WDL yang disediakan oleh Terra (produk dari The Broad Institute)

Alur kerja yang diterbitkan

Berikut ini adalah koleksi alur kerja WDL open-source. Tugas atau alur kerja WDL yang Anda butuhkan mungkin sudah tersedia di salah satu repositori ini, atau Anda mungkin menemukan alur kerja yang serupa dan menyesuaikannya dengan kebutuhan Anda.

• Dockstore
• Biowdl
• Warp Institut Luas
• Alur kerja Gatk
• MENYANDI
• Terra (membutuhkan pendaftaran)

Perangkat lunak dan alat

Mesin dan platform eksekusi

WDL tidak memiliki implementasi resmi. Pihak ketiga diandalkan untuk menyediakan perangkat lunak yang dapat diinstal atau platform yang di -host yang menafsirkan dan menjalankan alur kerja dan tugas WDL. Meskipun WDL belum memiliki program kepatuhan resmi atau proses sertifikasi, pelaksana diharapkan untuk merancang alat mereka sesuai dengan spesifikasi untuk memaksimalkan portabilitas alur kerja di seluruh implementasi. Meskipun demikian, pelaksana dapat memberikan fitur opsional tambahan spesifik. Silakan lihat dokumentasi yang terkait dengan setiap alat/platform untuk informasi tentang opsi dan dukungan eksekusi yang tersedia.

Pelaksanaan	Membutuhkan instalasi	Eksekusi lokal	HPC	Awan
AWS Healthomics	TIDAK	TIDAK	TIDAK	AWS
Cromwell *	Ya	Ya	Banyak	Batch AWS, Azure, GCP
DXCompiler	Ya	TIDAK	TIDAK	Dnanexus
Miniwdl	Ya	Ya	Slurm	Batch AWS
Terra	TIDAK	TIDAK	TIDAK	Azure, GCP

* Juga lihat WDL Runner, skrip untuk meluncurkan alur kerja WDL di GCP menggunakan Cromwell

Tata bahasa, parser, dan dukungan bahasa

• Repositori Parsers WDL memberikan definisi tata bahasa dalam berbagai format dan parser yang dihasilkan untuk berbagai bahasa.
• MiniWDL menyediakan binding python untuk WDL serta alat Commandline untuk validasi, linting, dan menghasilkan templat input alur kerja.
• Womtool adalah alat java mandiri untuk parsing, validasi, berbaris, dan diagram WDL.
• WDLTOOLS - Menyediakan 1) Perpustakaan Parser Java/Scala, berdasarkan tata bahasa ANTLR4, untuk WDL Draft -2, 1.0, 1.1, dan 2.0; dan 2) alat baris perintah untuk pemeriksaan Sytanx, pemeriksaan jenis, serat, pemformatan kode (termasuk peningkatan dari versi WDL yang lebih lama ke yang lebih baru), menghasilkan dokumentasi, dan melaksanakan tugas WDL secara lokal.
• Sprocket Seorang manajer paket dan linter untuk file WDL.

Dukungan IDE

Ide	Alat
Emacs	Poly-wdl
Emacs	WDL-Mode
JetBrains	Winstanly
Sublim	WDL Sintaks Highlighter
Vim	vim-wdl
Kode Studio Visual	WDL Sintaks Highlighter

Dokumentasi

• WDL-AID menghasilkan dokumentasi untuk input alur kerja WDL, berdasarkan informasi parameter_meta yang ditentukan dalam file WDL.
• wdldoc

Pengujian

• WDL-tes adalah kumpulan kasus uji untuk implementasi WDL. Spesifikasi disediakan untuk menulis tes baru yang kompatibel dengan kerangka kerja pengujian otomatis.
• Pytest-Workflow adalah penguji alur kerja implementasi-agnostik. Ini dapat digunakan dengan Cromwell dan MiniWDL. Menggunakan Pytest sebagai kerangka tes yang mendasarinya. Tes dapat ditentukan dalam format YAML atau kode Python.
• Pytest-WDL adalah plugin untuk kerangka pengujian unit Pytest yang memungkinkan pengujian tugas dan alur kerja WDL. Tes dapat ditentukan dalam format YAML atau kode Python.

Kemasan

• MiniWDL ZIP menghasilkan file zip termasuk file kode sumber WDL yang diberikan dan file WDL lainnya yang diimpor. File zip dapat disuplai langsung ke MiniWDL Run, yang dapat mengekstraknya secara otomatis.
• WDL-Packager mengemas alur kerja dan semua impornya ke dalam file zip. Zip dapat digunakan sebagai paket zip impor untuk Cromwell. Utilitas dapat menambahkan file non-WDL (seperti lisensi) ke paket zip dan menyediakan opsi untuk mengemas zip dengan cara yang dapat direproduksi biner.

Berkontribusi

WDL hanya maju melalui kontribusi masyarakat. Sementara berpartisipasi dalam diskusi dan mengirimkan masalah adalah cara yang bagus untuk terlibat, bantuan juga diperlukan untuk menerapkan perubahan pada spesifikasi. Untuk informasi lebih lanjut tentang bagaimana Anda dapat berkontribusi, silakan baca panduan yang berkontribusi.

Proses RFC

Permintaan tarik yang dikirimkan tunduk pada proses RFC. Harap tinjau dan biasakan diri Anda dengan proses jika Anda ingin melihat perubahan yang dikirimkan ke spesifikasi.

Tata kelola

Spesifikasi WDL sepenuhnya didorong oleh komunitas; Namun, itu diawasi oleh komite tata kelola. Jika Anda tertarik untuk terlibat dalam tata kelola WDL, silakan bergabung dengan Slack dan posting pesan di saluran #general .