다운로드 serving - 소스 코드 다운로드 serving

serving

파이썬

2.18.0

다운로드

TensorFlow 제공

TensorFlow Serving은 프로덕션 환경을 위해 설계된 머신러닝 모델을 위한 유연한 고성능 제공 시스템입니다. 기계 학습의 추론 측면을 다루고, 훈련 후 모델을 선택하고 수명을 관리하며, 참조 횟수가 많은 고성능 조회 테이블을 통해 클라이언트에게 버전별 액세스를 제공합니다. TensorFlow Serving은 TensorFlow 모델과의 기본 통합을 제공하지만 다른 유형의 모델 및 데이터를 제공하도록 쉽게 확장할 수 있습니다.

몇 가지 기능을 참고하려면:

여러 모델 또는 동일한 모델의 여러 버전을 동시에 제공할 수 있습니다.
gRPC와 HTTP 추론 엔드포인트를 모두 노출합니다.
클라이언트 코드를 변경하지 않고도 새 모델 버전을 배포할 수 있습니다.
카나리아 새 버전 및 A/B 테스트 실험 모델 지원
효율적이고 오버헤드가 낮은 구현으로 인해 추론 시간에 지연 시간이 최소화됩니다.
구성 가능한 대기 시간 제어를 통해 GPU에서 공동 실행을 위해 개별 추론 요청을 일괄 처리로 그룹화하는 스케줄러 기능
다양한 servable 지원: Tensorflow 모델, 임베딩, 어휘, 기능 변환 및 Tensorflow 기반이 아닌 기계 학습 모델까지

60초 안에 Tensorflow 모델 제공

 # Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA= " $( pwd ) /serving/tensorflow_serving/servables/tensorflow/testdata "

# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 
    -v " $TESTDATA /saved_model_half_plus_two_cpu:/models/half_plus_two " 
    -e MODEL_NAME=half_plus_two 
    tensorflow/serving &

# Query the model using the predict API
curl -d ' {"instances": [1.0, 2.0, 5.0]} ' 
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# Returns => { "predictions": [2.5, 3.0, 4.5] }

엔드 투 엔드 교육 및 제공 튜토리얼

Tensorflow 모델을 훈련하고 제공하기 위한 전체 튜토리얼은 공식 Tensorflow 문서 사이트를 참조하세요.

선적 서류 비치

설정

TensorFlow Serving을 사용하는 가장 쉽고 간단한 방법은 Docker 이미지를 사용하는 것입니다. 컨테이너에서 실행하여 해결되지 않는 특정 요구 사항이 없다면 이 경로를 적극 권장합니다.

Docker를 사용하여 Tensorflow Serving 설치 (권장)
Docker 없이 Tensorflow Serving 설치 (권장하지 않음)
Docker를 사용하여 소스에서 Tensorflow Serving 구축
Kubernetes에 Tensorflow Serving 배포

사용

Tensorflow 모델 내보내기

Tensorflow 모델을 제공하려면 Tensorflow 프로그램에서 SavedModel을 내보내면 됩니다. SavedModel은 상위 수준 시스템과 도구가 TensorFlow 모델을 생성, 사용 및 변환할 수 있도록 하는 언어 중립적이고 복구 가능한 밀폐형 직렬화 형식입니다.

저장된 모델을 내보내는 방법에 대한 자세한 지침은 Tensorflow 설명서를 참조하세요.