flyte

ฟลายท์

-

Flyte เป็นผู้เรียบเรียงโอเพ่นซอร์สที่อำนวยความสะดวกในการสร้างข้อมูลระดับการผลิตและไปป์ไลน์ ML สร้างขึ้นเพื่อความสามารถในการปรับขนาดและความสามารถในการทำซ้ำ โดยใช้ประโยชน์จาก Kubernetes เป็นแพลตฟอร์มพื้นฐาน ด้วย Flyte ทีมผู้ใช้สามารถสร้างไปป์ไลน์โดยใช้ Python SDK และปรับใช้ได้อย่างราบรื่นทั้งบนสภาพแวดล้อมคลาวด์และในองค์กร ทำให้สามารถประมวลผลแบบกระจายและใช้ทรัพยากรได้อย่างมีประสิทธิภาพ

สร้าง

เขียนโค้ดด้วยภาษา Python หรือภาษาอื่นๆ และใช้ประโยชน์จากกลไกประเภทที่มีประสิทธิภาพ

ปรับใช้และปรับขนาด

ไม่ว่าจะภายในเครื่องหรือบนคลัสเตอร์ระยะไกล ก็สามารถรันโมเดลของคุณได้อย่างง่ายดาย

เริ่มต้นใช้งาน · เอกสารประกอบ · ทรัพยากร

สารบัญ

• เริ่มต้นอย่างรวดเร็ว
• บทช่วยสอน
• คุณสมบัติ
• ใครใช้ Flyte
• ทำอย่างไรจึงจะมีส่วนร่วม
• วิธีการมีส่วนร่วม

---

เริ่มต้นอย่างรวดเร็ว

1. ติดตั้ง Python SDK ของ Flyte

pip install flytekit

2. สร้างเวิร์กโฟลว์ (ดูตัวอย่าง)
3. รันในเครื่องด้วย:

pyflyte run hello_world.py hello_world_wf

พร้อมที่จะลองใช้คลัสเตอร์ Flyte แล้วหรือยัง?

1. สร้างคลัสเตอร์แซนด์บ็อกซ์ใหม่ ซึ่งทำงานเป็นคอนเทนเนอร์ Docker:

flytectl demo start

2. ตอนนี้ดำเนินการเวิร์กโฟลว์ของคุณบนคลัสเตอร์:

pyflyte run --remote hello_world.py hello_world_wf

คุณต้องการดูเพิ่มเติมแต่ไม่ต้องการติดตั้งอะไรเลยใช่ไหม

ไปที่ https://sandbox.union.ai/ ช่วยให้คุณสามารถทดลองใช้ความสามารถของ Flyte จากสมุดบันทึก Jupyter ที่โฮสต์อยู่

พร้อมผลิตแล้วหรือยัง?

ไปที่คู่มือการปรับใช้เพื่อดูคำแนะนำในการติดตั้ง Flyte ในสภาพแวดล้อมที่แตกต่างกัน

บทช่วยสอน

• ปรับแต่ง Code Llama บนโค้ดเบส Flyte
• คาดการณ์ยอดขายด้วย Horovod และ Spark
• การค้นหาลำดับนิวคลีโอไทด์ด้วย BLASTX

คุณสมบัติ

อินเทอร์เฟซที่พิมพ์อย่างแน่นหนา : ตรวจสอบข้อมูลของคุณในทุกขั้นตอนของเวิร์กโฟลว์โดยกำหนดราวกั้นข้อมูลโดยใช้ประเภท Flyte
ภาษาใดก็ได้ : เขียนโค้ดในภาษาใดก็ได้โดยใช้คอนเทนเนอร์ดิบ หรือเลือก Python, Java, Scala หรือ JavaScript SDK เพื่อพัฒนาเวิร์กโฟลว์ Flyte ของคุณ
ความไม่เปลี่ยนรูป : การดำเนินการที่ไม่เปลี่ยนรูปช่วยให้มั่นใจถึงความสามารถในการทำซ้ำโดยป้องกันการเปลี่ยนแปลงสถานะของการดำเนินการ
- สายข้อมูล : ติดตามความเคลื่อนไหวและการเปลี่ยนแปลงของข้อมูลตลอดวงจรชีวิตของข้อมูลและเวิร์กโฟลว์ ML ของคุณ
งานแผนที่ : บรรลุการประมวลผลโค้ดแบบขนานด้วยการกำหนดค่าขั้นต่ำโดยใช้งานแผนที่
- การเช่าหลายราย : ผู้ใช้หลายคนสามารถแชร์แพลตฟอร์มเดียวกันในขณะที่ยังคงรักษาข้อมูลและการกำหนดค่าที่แตกต่างกันออกไป
- เวิร์กโฟลว์แบบไดนามิก : สร้างเวิร์กโฟลว์ที่ยืดหยุ่นและปรับเปลี่ยนได้ซึ่งสามารถเปลี่ยนแปลงและพัฒนาได้ตามต้องการ ทำให้ง่ายต่อการตอบสนองต่อความต้องการที่เปลี่ยนแปลงไป
⏯️ รอ อินพุตจากภายนอก ก่อนที่จะดำเนินการดำเนินการ
- การแตกสาขา : เลือกดำเนินการสาขาของเวิร์กโฟลว์ของคุณโดยอิงตามข้อมูลคงที่หรือไดนามิกที่สร้างโดยงานอื่นหรือข้อมูลอินพุต
- การแสดงข้อมูลเป็นภาพ : แสดงข้อมูลเป็นภาพ ตรวจสอบแบบจำลอง และดูประวัติการฝึกอบรมผ่านโครงเรื่อง
FlyteFile & FlyteDirectory : ถ่ายโอนไฟล์และไดเร็กทอรีระหว่างที่เก็บข้อมูลในตัวเครื่องและบนคลาวด์
️ ชุดข้อมูลที่มีโครงสร้าง : แปลงดาต้าเฟรมระหว่างประเภทและบังคับใช้การตรวจสอบประเภทระดับคอลัมน์โดยใช้การแสดง 2D นามธรรมที่จัดทำโดยชุดข้อมูลที่มีโครงสร้าง
️ กู้คืนจากความล้มเหลว : กู้คืนเฉพาะงานที่ล้มเหลว
- รันงานเดียวอีกครั้ง : รันเวิร์กโฟลว์ซ้ำในระดับที่ละเอียดที่สุดโดยไม่ต้องแก้ไขสถานะก่อนหน้าของเวิร์กโฟลว์ข้อมูล/ML
- เอาต์พุตแคช : เอาต์พุตงานแคชโดยส่ง cache=True ไปยังตัวตกแต่งงาน
จุดตรวจภายในงาน : ความคืบหน้าของจุดตรวจภายในการปฏิบัติงาน
⏰ หมดเวลา : กำหนดระยะเวลาหมดเวลา หลังจากนั้นงานจะถูกทำเครื่องหมายว่าล้มเหลว
- Dev to prod : ง่ายเพียงเปลี่ยนโดเมนของคุณจากการพัฒนาหรือการจัดเตรียมเป็นการใช้งานจริง
- อินสแตนซ์สปอตหรืออินสแตนซ์ที่ยอมให้มีการขัดจังหวะชั่วคราว : กำหนดเวลาเวิร์กโฟลว์ของคุณบนอินสแตนซ์สปอตโดยการตั้งค่า interruptible เป็น True ในตัวตกแต่งงาน
☁️ การปรับใช้แบบคลาวด์เนทิฟ : ปรับใช้ Flyte บน AWS, GCP, Azure และบริการคลาวด์อื่น ๆ
- การกำหนดเวลา : กำหนดเวลาข้อมูลและเวิร์กโฟลว์ ML ของคุณให้ทำงานในเวลาที่กำหนด
- การแจ้งเตือน : รับข่าวสารเกี่ยวกับการเปลี่ยนแปลงสถานะของเวิร์กโฟลว์ของคุณโดยกำหนดค่าการแจ้งเตือนผ่าน Slack, PagerDuty หรืออีเมล
⌛️ มุมมองไทม์ไลน์ : ประเมินระยะเวลาของงาน Flyte แต่ละงานของคุณและระบุปัญหาคอขวดที่อาจเกิดขึ้น
- การเร่งความเร็ว GPU : เปิดใช้งานและควบคุมความต้องการ GPU ของงานของคุณโดยการขอทรัพยากรในตัวตกแต่งงาน
- การแยกการพึ่งพาผ่านคอนเทนเนอร์ : รักษาชุดการขึ้นต่อกันสำหรับงานของคุณแยกกัน เพื่อไม่ให้เกิดข้อขัดแย้งในการขึ้นต่อกัน
- ความเท่าเทียม : งาน Flyte นั้นขนานกันโดยธรรมชาติเพื่อเพิ่มประสิทธิภาพการใช้ทรัพยากรและปรับปรุงประสิทธิภาพ
- จัดสรรทรัพยากรแบบไดนามิก ในระดับงาน

ใครใช้ Flyte

เข้าร่วมกับ LinkedIn, Spotify, Freenome, Pachama, Warner Bros. และอื่นๆ อีกมากมายในการนำ Flyte ไปใช้ในกรณีการใช้งานที่มีความสำคัญต่อภารกิจ หากต้องการดูรายชื่อผู้รับบุตรบุญธรรมทั้งหมดและข้อมูลเกี่ยวกับวิธีการเพิ่มองค์กรหรือโครงการของคุณ โปรดไปที่หน้า ADOPTERS ของเรา

ทำอย่างไรจึงจะมีส่วนร่วม

การซิงค์ชุมชนรายเดือน: เกิดขึ้นในวันอังคารแรกของทุกเดือน นี่คือจุดที่ทีม Flyte ให้ข้อมูลอัปเดตเกี่ยวกับโครงการ และสมาชิกในชุมชนสามารถแบ่งปันความคืบหน้าและถามคำถามได้
Slack: เข้าร่วมชุมชน Flyte บน Slack เพื่อแชทกับผู้ใช้รายอื่น ถามคำถาม และรับความช่วยเหลือ
จดหมายข่าว: เข้าร่วมกลุ่มนี้เพื่อรับจดหมายข่าวรายเดือนของ Flyte
- YouTube: ติดตามการอภิปรายแบบกลุ่ม เรื่องราวความสำเร็จของลูกค้า การอัปเดตชุมชน และฟีเจอร์เจาะลึก
- บล็อก: ที่นี่ คุณจะพบบทช่วยสอนและการเจาะลึกข้อมูลเพื่อช่วยให้คุณเรียนรู้เพิ่มเติมเกี่ยวกับ Flyte
RFC: RFC ใช้เพื่อเสนอแนวคิดและคุณสมบัติใหม่ๆ เพื่อปรับปรุง Flyte คุณสามารถอ้างอิงถึงพวกเขาเพื่อรับทราบข้อมูลอัปเดตเกี่ยวกับการพัฒนาล่าสุดและสนับสนุนการเติบโตของแพลตฟอร์ม

วิธีการมีส่วนร่วม

มีหลายวิธีในการมีส่วนร่วมกับ Flyte ได้แก่:

• การส่งข้อบกพร่องและคำขอคุณลักษณะสำหรับส่วนประกอบต่างๆ
• การตรวจสอบเอกสารและส่งคำขอดึงข้อมูลใดๆ ตั้งแต่การแก้ไขคำผิดไปจนถึงการเพิ่มเนื้อหาใหม่
• พูดหรือเขียนเกี่ยวกับ Flyte หรือการบูรณาการระบบนิเวศอื่น ๆ และแจ้งให้เราทราบ!
• รับ help wanted หรือ good-first-issue และปฏิบัติตามคำแนะนำในการมีส่วนร่วมเพื่อส่งการเปลี่ยนแปลงไปยังโค้ดเบส
• โหวตคำขอคุณสมบัติยอดนิยมเพื่อแสดงการสนับสนุนของคุณ

เรา ❤️ ผู้ร่วมให้ข้อมูลของเรา

ใบอนุญาต

Flyte มีให้บริการภายใต้ Apache License 2.0 ใช้มันอย่างชาญฉลาด