TensorFlowOnSpark
v2.2.5
TensorFlowOnSpark는 Apache Hadoop 및 Apache Spark 클러스터에 확장 가능한 딥 러닝을 제공합니다.
TensorFlow 딥 러닝 프레임워크의 주요 기능을 Apache Spark 및 Apache Hadoop과 결합함으로써 TensorFlowOnSpark는 GPU 및 CPU 서버 클러스터에서 분산 딥 러닝을 지원합니다.
이는 공유 그리드에서 기존 TensorFlow 프로그램을 실행하는 데 필요한 코드 변경량을 최소화하는 것을 목표로 Spark 클러스터에서 분산된 TensorFlow 훈련과 추론을 모두 가능하게 합니다. Spark 호환 API는 다음 단계를 통해 TensorFlow 클러스터를 관리하는 데 도움이 됩니다.
TFNode.DataFeed 클래스를 통해 Spark RDD 데이터를 TensorFlow 노드로 보냅니다. Hadoop 입력/출력 형식을 활용하여 HDFS의 TFRecord에 액세스합니다.TensorFlowOnSpark는 Yahoo 프라이빗 클라우드의 Hadoop 클러스터에서 대규모 분산 딥 러닝을 위해 Yahoo에서 개발되었습니다.
TensorFlowOnSpark는 대체 딥 러닝 솔루션에 비해 몇 가지 중요한 이점을 제공합니다(블로그 참조).
TensorFlowOnSpark는 다음을 통해 단일 시스템에 설치할 수 있는 pip 패키지로 제공됩니다.
# for tensorflow>=2.0.0
pip install tensorflowonspark
# for tensorflow<2.0.0
pip install tensorflowonspark==1.4.4
분산 클러스터의 경우 단일 노드 Spark 독립 실행형, YARN 클러스터 및 AWS EC2에 대한 시작 가이드와 같은 특정 환경에 대한 자세한 설명서를 보려면 위키 사이트를 참조하세요. 참고: Windows 운영 체제는 이 문제로 인해 현재 지원되지 않습니다.
기존 TensorFlow 애플리케이션과 함께 TensorFlowOnSpark를 사용하려면 전환 가이드에 따라 필요한 변경 사항을 설명할 수 있습니다. 또한, 우리 위키 사이트에는 플랫폼 개요를 제공하는 일부 프레젠테이션에 대한 포인터가 있습니다.
참고: TensorFlow 2.x는 TensorFlow 1.x와의 API 호환성을 중단하므로 이에 따라 예제도 업데이트되었습니다. TensorFlow 1.x를 사용하는 경우 v1.4.4 태그에서 호환 가능한 예제와 지침을 확인해야 합니다.
API 문서는 코드에서 자동으로 생성됩니다.
토론과 질문이 있으면 TensorFlowOnSpark 사용자 그룹에 가입하세요. 질문이 있는 경우 게시하기 전에 FAQ를 검토하시기 바랍니다.
기여는 언제나 환영합니다. 자세한 내용은 참여 가이드를 참조하세요.
이 소프트웨어의 사용 및 배포 조건은 Apache 2.0 라이센스에 포함됩니다. 용어는 라이센스 파일을 참조하십시오.
