ai flow
release-0.3.1
AIFlow เป็นแพลตฟอร์มการจัดการเวิร์กโฟลว์ตามเหตุการณ์ที่ช่วยให้ผู้ใช้สามารถเขียนและกำหนดเวลาเวิร์กโฟลว์โดยทางโปรแกรมด้วยการผสมผสานของการสตรีมและงานแบบแบตช์
แพลตฟอร์มการจัดการเวิร์กโฟลว์ที่มีอยู่ส่วนใหญ่ (เช่น Apache AirFlow, KubeFlow) กำหนดเวลาการดำเนินการตามการเปลี่ยนแปลงสถานะของการดำเนินการงานอัปสตรีม แม้ว่าแนวทางนี้จะทำงานได้ดีสำหรับงานแบตช์ที่รับประกันว่าจะสิ้นสุด แต่ก็ใช้ไม่ได้ผลดีสำหรับงานสตรีมมิงซึ่งอาจทำงานเป็นระยะเวลาไม่จำกัดโดยไม่มีการเปลี่ยนแปลงสถานะ AIFlow ได้รับการเสนอเพื่ออำนวยความสะดวกในการจัดลำดับเวิร์กโฟลว์ที่เกี่ยวข้องกับงานการสตรีม
ตัวอย่างเช่น ผู้ใช้อาจต้องการรันงานการสตรีม Flink อย่างต่อเนื่องเพื่อรวบรวมข้อมูลการฝึก และเริ่มงานการฝึกการเรียนรู้ของเครื่องทุกครั้งที่งาน Flink ประมวลผลข้อมูลอัปสตรีมทั้งหมดในชั่วโมงที่ผ่านมา ในการกำหนดเวลาเวิร์กโฟลว์นี้โดยใช้แพลตฟอร์มการจัดการเวิร์กโฟลว์ที่ไม่ใช่เหตุการณ์ ผู้ใช้จำเป็นต้องกำหนดเวลางานการฝึกอบรมเป็นระยะ ๆ ตามเวลานาฬิกาแขวน หากมีการรับส่งข้อมูลขัดขวางหรืองานอัปสตรีมล้มเหลว งาน Flink อาจประมวลผลข้อมูลอัปสตรีมตามจำนวนที่คาดไว้เมื่อถึงเวลาที่งาน TensorFlow เริ่มทำงาน งานอัปสตรีมควรรอต่อไป หรือล้มเหลวอย่างรวดเร็ว หรือประมวลผลข้อมูลบางส่วน ซึ่งไม่มีสิ่งใดที่เหมาะสมที่สุด ในการเปรียบเทียบ AIFlow จัดเตรียม API สำหรับงาน Flink เพื่อปล่อยเหตุการณ์ทุกครั้งที่ลายน้ำตามเหตุการณ์เพิ่มขึ้นทีละชั่วโมง ซึ่งจะทริกเกอร์การดำเนินการของงานการฝึกอบรมที่ผู้ใช้ระบุ โดยไม่ประสบปัญหาที่อธิบายไว้ข้างต้น
เรียนรู้เพิ่มเติมเกี่ยวกับ AIFlow ได้ที่ https://ai-flow.readthedocs.io
ขับเคลื่อนด้วยเหตุการณ์: AIFlow กำหนดเวลาเวิร์กโฟลว์และงานตามเหตุการณ์ ซึ่งมีประสิทธิภาพมากกว่าการจัดกำหนดการตามสถานะ และสามารถจัดกำหนดการเวิร์กโฟลว์ที่มีงานสตรีมได้
ขยายได้: ผู้ใช้สามารถกำหนดผู้ปฏิบัติงานและผู้ดำเนินการของตนเองได้อย่างง่ายดายเพื่อส่งงานประเภทต่างๆ ไปยังแพลตฟอร์มที่แตกต่างกัน
ครั้งเดียวเท่านั้น: AIFlow มีกลไกการประมวลผลเหตุการณ์ที่มีความหมายเพียงครั้งเดียว ซึ่งหมายความว่างานของคุณจะไม่มีวันพลาดหรือเกิดซ้ำ แม้ว่าจะเกิดการเฟลโอเวอร์ก็ตาม
B站基于AIFlow+Flink在批流融合调度上的实践
เรายินดีต้อนรับการมีส่วนร่วมกับ AIFlow ในทุกรูปแบบ ไม่ว่าจะเป็นการรายงานปัญหา การร่างคุณสมบัติ หรือการมีส่วนร่วมในการเปลี่ยนแปลงโค้ด คุณสามารถรายงานปัญหาเพื่อขอคุณสมบัติในปัญหา GitHub หากคุณต้องการสนับสนุนการเปลี่ยนแปลงรหัส โปรดดูเอกสารประกอบ
สำหรับข้อมูลเพิ่มเติม เราขอแนะนำให้คุณเข้าร่วม กลุ่มชุมชน AIFlow บน Google Groups เพื่อติดต่อเรา: [email protected]
คุณสามารถเข้าร่วมกลุ่มบน DingTalk ได้ด้วย หมายเลขของกลุ่ม DingTalk คือ 35876083 โดยสามารถเข้าร่วมกลุ่มได้โดยการสแกนรหัส QR ด้านล่าง:
