flyte 다운로드 - flyte 소스 코드 다운로드

flyte

파이썬

v1.14.0 milestone release

다운로드

플라이트

?

Flyte는 프로덕션급 데이터 및 ML 파이프라인 구축을 용이하게 하는 오픈 소스 조정자입니다. Kubernetes를 기본 플랫폼으로 활용하여 확장성과 재현성을 위해 구축되었습니다. Flyte를 사용하면 사용자 팀은 Python SDK를 사용하여 파이프라인을 구성하고 클라우드 및 온프레미스 환경 모두에 원활하게 배포하여 분산 처리 및 효율적인 리소스 활용을 가능하게 할 수 있습니다.

짓다

Python이나 다른 언어로 코드를 작성하고 강력한 유형 엔진을 활용하세요.

배포 및 확장

로컬 또는 원격 클러스터에서 모델을 쉽게 실행할 수 있습니다.

시작하기 · 문서 · 리소스

빠른 시작

Flyte의 Python SDK 설치

pip install flytekit

워크플로 만들기(예제 참조)
다음을 사용하여 로컬로 실행하십시오.

pyflyte run hello_world.py hello_world_wf

Flyte 클러스터를 사용해 볼 준비가 되셨나요?

Docker 컨테이너로 실행되는 새 샌드박스 클러스터를 만듭니다.

flytectl demo start

이제 클러스터에서 워크플로를 실행합니다.

pyflyte run --remote hello_world.py hello_world_wf

더 보고 싶지만 아무것도 설치하고 싶지 않으신가요?

https://sandbox.union.ai/로 이동하세요. 호스팅된 Jupyter 노트북에서 Flyte의 기능을 실험해 볼 수 있습니다.

생산할 준비가 되셨나요?

다양한 환경에 Flyte를 설치하는 방법에 대한 지침은 배포 가이드로 이동하세요.

튜토리얼

Flyte 코드베이스에서 Code Llama를 미세 조정하세요.
Horovod 및 Spark를 통한 매출 예측
BLASTX를 사용한 뉴클레오티드 서열 쿼리

특징

강력한 유형의 인터페이스 : Flyte 유형을 사용하여 데이터 가드레일을 정의하여 워크플로의 모든 단계에서 데이터의 유효성을 검사합니다.
모든 언어 : 원시 컨테이너를 사용하여 모든 언어로 코드를 작성하거나 Python, Java, Scala 또는 JavaScript SDK를 선택하여 Flyte 워크플로를 개발하세요.
불변성 : 불변 실행은 실행 상태의 변경을 방지하여 재현성을 보장하는 데 도움이 됩니다.
? 데이터 계보 : 데이터 및 ML 워크플로의 수명 주기 전반에 걸쳐 데이터의 이동과 변환을 추적합니다.
맵 작업 : 맵 작업을 사용하여 최소한의 구성으로 병렬 코드 실행을 달성합니다.
? 멀티 테넌시(Multi-tenancy) : 여러 사용자가 고유한 데이터와 구성을 유지하면서 동일한 플랫폼을 공유할 수 있습니다.
? 동적 워크플로 : 필요에 따라 변경하고 발전할 수 있는 유연하고 적응 가능한 워크플로를 구축하여 변화하는 요구 사항에 더 쉽게 대응할 수 있습니다.
⏯️ 실행을 진행하기 전에 외부 입력을 기다리세요.
? 분기 : 다른 작업에서 생성된 정적 또는 동적 데이터나 입력 데이터를 기반으로 워크플로의 분기를 선택적으로 실행합니다.
? 데이터 시각화 : 플롯을 통해 데이터를 시각화하고, 모델을 모니터링하고, 훈련 기록을 봅니다.
FlyteFile & FlyteDirectory : 로컬과 클라우드 스토리지 간에 파일과 디렉터리를 전송합니다.
?️ 구조화된 데이터세트 : 유형 간에 데이터프레임을 변환하고 구조화된 데이터세트에서 제공하는 추상 2D 표현을 사용하여 열 수준 유형 검사를 시행합니다.
?️ 실패 복구 : 실패한 작업만 복구합니다.
? 단일 작업 다시 실행 : 데이터/ML 워크플로의 이전 상태를 수정하지 않고 가장 세부적인 수준에서 워크플로를 다시 실행합니다.
? 캐시 출력 : 작업 데코레이터에 cache=True 전달하여 작업 출력을 캐시합니다.
작업 내 체크포인트 : 작업 실행 내 체크포인트 진행 상황입니다.
⏰ 타임아웃 : 타임아웃 기간을 정의하고 그 이후에는 작업을 실패로 표시합니다.
? 개발에서 프로덕션으로 : 개발 또는 스테이징에서 프로덕션으로 도메인을 변경하는 것만큼 간단합니다.
? 스팟 또는 선점형 인스턴스 : 작업 데코레이터에서 interruptible True 로 설정하여 스팟 인스턴스에서 워크플로를 예약합니다.
☁️ 클라우드 네이티브 배포 : AWS, GCP, Azure 및 기타 클라우드 서비스에 Flyte를 배포하세요.
? 예약 : 특정 시간에 실행되도록 데이터 및 ML 워크플로를 예약합니다.
? 알림 : Slack, PagerDuty 또는 이메일을 통해 알림을 구성하여 워크플로 상태 변경에 대한 최신 정보를 받아보세요.
⌛️ 타임라인 보기 : 각 Flyte 작업의 기간을 평가하고 잠재적인 병목 현상을 식별합니다.
? GPU 가속 : 작업 데코레이터에서 리소스를 요청하여 작업의 GPU 요구 사항을 활성화하고 제어합니다.
? 컨테이너를 통한 종속성 격리 : 종속성 충돌이 발생하지 않도록 작업에 대해 별도의 종속성 세트를 유지합니다.
? 병렬성 : Flyte 작업은 리소스 소비를 최적화하고 성능을 향상시키기 위해 본질적으로 병렬입니다.
? 작업 수준에서 리소스를 동적으로 할당합니다 .

Flyte를 사용하는 사람

LinkedIn, Spotify, Freenome, Pachama, Warner Bros. 등 많은 기업과 함께 중요한 업무용 사용 사례에 Flyte를 채택하세요. 채택자 전체 목록과 조직이나 프로젝트를 추가하는 방법에 대한 정보를 보려면 채택자 페이지를 방문하세요.

계속 참여하는 방법

월별 커뮤니티 동기화: 매달 첫 번째 화요일에 진행되는 이곳에서 Flyte 팀은 프로젝트에 대한 업데이트를 제공하고 커뮤니티 구성원은 진행 상황을 공유하고 질문할 수 있습니다.
Slack: Slack의 Flyte 커뮤니티에 가입하여 다른 사용자와 채팅하고, 질문하고, 도움을 받으세요.
️ 뉴스레터: 이 그룹에 가입하여 Flyte Monthly 뉴스레터를 받아보세요.
? YouTube: 패널 토론, 고객 성공 사례, 커뮤니티 업데이트 및 심층 분석 기능을 시청하세요.
? 블로그: 여기에서 Flyte에 대해 자세히 알아보는 데 도움이 되는 튜토리얼과 심층 분석 기능을 찾을 수 있습니다.
RFC: RFC는 Flyte를 개선하기 위한 새로운 아이디어와 기능을 제안하는 데 사용됩니다. 이를 참조하여 최신 개발 상황에 대한 최신 정보를 얻고 플랫폼의 성장에 기여할 수 있습니다.