ai flow
release-0.3.1
AIFlow는 사용자가 스트리밍 작업과 배치 작업을 혼합하여 워크플로를 프로그래밍 방식으로 작성하고 예약할 수 있는 이벤트 기반 워크플로 조정 플랫폼입니다.
대부분의 기존 워크플로 조정 플랫폼(예: Apache AirFlow, KubeFlow)은 업스트림 작업 실행의 상태 변경에 따라 작업 실행을 예약합니다. 이 접근 방식은 종료가 보장되는 일괄 작업에는 적합하지만 상태 변경 없이 무한한 시간 동안 실행될 수 있는 스트리밍 작업에는 적합하지 않습니다. AIFlow는 스트리밍 작업과 관련된 워크플로의 조정을 용이하게 하기 위해 제안되었습니다.
예를 들어 사용자는 Flink 스트리밍 작업을 지속적으로 실행하여 훈련 데이터를 수집하고 Flink 작업이 지난 한 시간 동안 모든 업스트림 데이터를 처리할 때마다 기계 학습 훈련 작업을 시작하려고 할 수 있습니다. 비이벤트 기반 워크플로 조정 플랫폼을 사용하여 이 워크플로를 예약하려면 사용자는 벽시계 시간을 기준으로 주기적으로 교육 작업을 예약해야 합니다. 트래픽 급증 또는 업스트림 작업 실패가 있는 경우 Flink 작업은 TensorFlow 작업이 시작될 때 예상되는 양의 업스트림 데이터를 처리하지 않았을 수 있습니다. 업스트림 작업은 계속 기다리거나 빠르게 실패하거나 부분 데이터를 처리해야 하지만 어느 것도 이상적이지 않습니다. 이에 비해 AIFlow는 이벤트 기반 워터마크가 1시간씩 증가할 때마다 이벤트를 발생시키는 Flink 작업용 API를 제공합니다. 이를 통해 위에서 설명한 문제를 겪지 않고 사용자 지정 훈련 작업의 실행을 트리거합니다.
https://ai-flow.readthedocs.io에서 AIFlow에 대해 자세히 알아보세요.
이벤트 중심: AIflow는 이벤트를 기반으로 워크플로 및 작업을 예약합니다. 이는 상태 기반 예약보다 더 효율적이며 스트림 작업이 포함된 워크플로를 예약할 수 있습니다.
확장 가능: 사용자는 다양한 유형의 작업을 다양한 플랫폼에 제출하기 위해 자신의 연산자와 실행자를 쉽게 정의할 수 있습니다.
정확히 한 번: AIFlow는 정확히 한 번 의미 체계를 갖춘 이벤트 처리 메커니즘을 제공합니다. 즉, 장애 조치가 발생하더라도 작업이 누락되거나 반복되지 않습니다.
B站基于AIFlow+Flink는 현재의 흐름과 결합하여 최고의 성능을 발휘합니다.
우리는 문제 보고, 기능 초안 작성, 코드 변경 기여 등 어떤 방식으로든 AIFlow에 대한 기여를 환영합니다. GitHub 문제에서 기능을 요청하기 위한 문제를 보고할 수 있습니다. 코드 변경 사항에 기여하려면 기여 문서를 확인하세요.
자세한 내용을 알아보려면 Google 그룹스의 AIFlow 커뮤니티 그룹 에 가입하여 [email protected] 으로 문의하시기 바랍니다.
DingTalk에서도 그룹에 가입할 수 있습니다. DingTalk 그룹 번호는 35876083 입니다. 아래 QR 코드를 스캔하여 이 그룹에 가입할 수도 있습니다.
