dagster ดาวน์โหลด - ดาวน์โหลด dagster ซอร์สโค้ด

dagster

หลาม

1.9.4 (core)

ดาวน์โหลด

Dagster คือผู้จัดเตรียมไปป์ไลน์ข้อมูลบนคลาวด์สำหรับวงจรการพัฒนาทั้งหมด โดยมีสายเลือดที่ผสานรวมและความสามารถในการสังเกต โมเดลการเขียนโปรแกรมที่เปิดเผย และความสามารถในการทดสอบที่ดีที่สุดในระดับเดียวกัน

ได้รับการออกแบบมาเพื่อ การพัฒนาและบำรุงรักษาสินทรัพย์ข้อมูล เช่น ตาราง ชุดข้อมูล โมเดลการเรียนรู้ของเครื่อง และรายงาน

ด้วย Dagster คุณจะประกาศสินทรัพย์ข้อมูลที่คุณต้องการสร้างในฐานะฟังก์ชัน Python Dagster จะช่วยให้คุณเรียกใช้ฟังก์ชันของคุณในเวลาที่เหมาะสมและอัปเดตเนื้อหาของคุณให้ทันสมัยอยู่เสมอ

นี่คือตัวอย่างกราฟของเนื้อหาสามรายการที่กำหนดใน Python:

 from dagster import asset
from pandas import DataFrame , read_html , get_dummies
from sklearn . linear_model import LinearRegression

@ asset
def country_populations () -> DataFrame :
    df = read_html ( "https://tinyurl.com/mry64ebh" )[ 0 ]
    df . columns = [ "country" , "pop2022" , "pop2023" , "change" , "continent" , "region" ]
    df [ "change" ] = df [ "change" ]. str . rstrip ( "%" ). str . replace ( "−" , "-" ). astype ( "float" )
    return df

@ asset
def continent_change_model ( country_populations : DataFrame ) -> LinearRegression :
    data = country_populations . dropna ( subset = [ "change" ])
    return LinearRegression (). fit ( get_dummies ( data [[ "continent" ]]), data [ "change" ])

@ asset
def continent_stats ( country_populations : DataFrame , continent_change_model : LinearRegression ) -> DataFrame :
    result = country_populations . groupby ( "continent" ). sum ()
    result [ "pop_change_factor" ] = continent_change_model . coef_
    return result

กราฟที่โหลดลงใน UI เว็บของ Dagster:

Dagster ถูกสร้างขึ้นเพื่อใช้ในทุกขั้นตอนของวงจรการพัฒนาข้อมูล - การพัฒนาเฉพาะที่, การทดสอบหน่วย, การทดสอบการรวม, สภาพแวดล้อมชั่วคราว ไปจนถึงการใช้งานจริง

เริ่มต้นอย่างรวดเร็ว:

หากคุณยังใหม่กับ Dagster เราขอแนะนำให้อ่านเกี่ยวกับแนวคิดหลักหรือการเรียนรู้ด้วยบทช่วยสอนแบบลงมือปฏิบัติจริง

Dagster พร้อมใช้งานบน PyPI และรองรับ Python 3.9 ถึง Python 3.12 อย่างเป็นทางการ

pip install dagster dagster-webserver

สิ่งนี้จะติดตั้งสองแพ็คเกจ:

dagster : โมเดลการเขียนโปรแกรมหลัก
dagster-webserver : เซิร์ฟเวอร์ที่โฮสต์ UI เว็บของ Dagster สำหรับการพัฒนาและดำเนินงานและสินทรัพย์ Dagster

ทำงานบน Mac ด้วยชิป Apple Silicon หรือไม่? ตรวจสอบรายละเอียดการติดตั้งได้ที่นี่

เอกสารประกอบ

คุณสามารถค้นหาเอกสาร Dagster ฉบับเต็มได้ที่นี่ รวมถึงคู่มือ 'เริ่มต้นใช้งาน'

คุณสมบัติที่สำคัญ:

Dagster เป็นแพลตฟอร์มการผลิต

ระบุสินทรัพย์หลักที่คุณต้องสร้างโดยใช้แนวทางการประกาศ หรือคุณสามารถมุ่งเน้นที่การทำงานพื้นฐานก็ได้ ยอมรับแนวทางปฏิบัติที่ดีที่สุดของ CI/CD ตั้งแต่เริ่มต้น: สร้างส่วนประกอบที่ใช้ซ้ำได้ ระบุปัญหาด้านคุณภาพของข้อมูล และแจ้งจุดบกพร่องตั้งแต่เนิ่นๆ

Dagster เป็นเครื่องมือประสานที่มีประสิทธิภาพ

นำไปป์ไลน์ของคุณไปสู่การใช้งานจริงด้วยกลไกหลายเครื่องมือที่มีผู้เช่าหลายรายที่แข็งแกร่ง ซึ่งปรับขนาดทางเทคนิคและในองค์กรได้

Dagster เป็นเครื่องบินควบคุมแบบครบวงจร

รักษาการควบคุมข้อมูลของคุณตามระดับความซับซ้อน รวมศูนย์ข้อมูลเมตาของคุณไว้ในเครื่องมือเดียวที่มีความสามารถในการสังเกต การวินิจฉัย การจัดทำแค็ตตาล็อก และสายเลือดในตัว ระบุปัญหาและระบุโอกาสในการปรับปรุงประสิทธิภาพ

เชี่ยวชาญสแต็กข้อมูลสมัยใหม่ด้วยการผสานรวม

Dagster นำเสนอไลบรารีการบูรณาการที่กำลังเติบโตสำหรับเครื่องมือข้อมูลที่ได้รับความนิยมสูงสุดในปัจจุบัน ผสานรวมกับเครื่องมือที่คุณใช้อยู่แล้ว และปรับใช้กับโครงสร้างพื้นฐานของคุณ

ชุมชน

เชื่อมต่อกับผู้ปฏิบัติงานด้านข้อมูลคนอื่นๆ นับพันที่สร้างด้วย Dagster แบ่งปันความรู้ รับความช่วยเหลือ และมีส่วนร่วมในโครงการโอเพ่นซอร์ส หากต้องการดูเนื้อหาเด่นและกิจกรรมที่กำลังจะเกิดขึ้น โปรดดูที่หน้าชุมชน Dagster ของเรา

เข้าร่วมชุมชนของเราที่นี่: