serving Download – serving -Quellcode-Download

serving

Python

2.18.0

Herunterladen

TensorFlow-Bereitstellung

TensorFlow Serving ist ein flexibles, leistungsstarkes Bereitstellungssystem für Modelle des maschinellen Lernens, das für Produktionsumgebungen entwickelt wurde. Es befasst sich mit dem Inferenzaspekt des maschinellen Lernens, indem Modelle nach dem Training genommen und ihre Lebensdauer verwaltet werden, wobei Kunden über eine leistungsstarke Nachschlagetabelle mit Referenzzählung versionierter Zugriff bereitgestellt wird. TensorFlow Serving bietet eine sofort einsatzbereite Integration mit TensorFlow-Modellen, kann jedoch problemlos erweitert werden, um andere Arten von Modellen und Daten bereitzustellen.

Um einige Funktionen zu beachten:

Kann mehrere Modelle oder mehrere Versionen desselben Modells gleichzeitig bedienen
Macht sowohl gRPC- als auch HTTP-Inferenzendpunkte verfügbar
Ermöglicht die Bereitstellung neuer Modellversionen ohne Änderung des Clientcodes
Unterstützt Canarying neuer Versionen und A/B-Tests experimenteller Modelle
Fügt aufgrund der effizienten Implementierung mit geringem Overhead eine minimale Latenz zur Inferenzzeit hinzu
Verfügt über einen Planer, der einzelne Inferenzanfragen in Stapeln zur gemeinsamen Ausführung auf der GPU gruppiert, mit konfigurierbaren Latenzkontrollen
Unterstützt viele Servables : Tensorflow-Modelle, Einbettungen, Vokabulare, Feature-Transformationen und sogar nicht-Tensorflow-basierte Modelle für maschinelles Lernen

Stellen Sie ein Tensorflow-Modell in 60 Sekunden bereit

 # Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA= " $( pwd ) /serving/tensorflow_serving/servables/tensorflow/testdata "

# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 
    -v " $TESTDATA /saved_model_half_plus_two_cpu:/models/half_plus_two " 
    -e MODEL_NAME=half_plus_two 
    tensorflow/serving &

# Query the model using the predict API
curl -d ' {"instances": [1.0, 2.0, 5.0]} ' 
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# Returns => { "predictions": [2.5, 3.0, 4.5] }

Komplettes Schulungs- und Servier-Tutorial

Auf der offiziellen Tensorflow-Dokumentationsseite finden Sie ein vollständiges Tutorial zum Trainieren und Bereitstellen eines Tensorflow-Modells.

Dokumentation

Aufstellen

Die einfachste und unkomplizierteste Möglichkeit, TensorFlow Serving zu verwenden, sind Docker-Images. Wir empfehlen diese Route dringend, es sei denn, Sie haben spezielle Anforderungen, die durch die Ausführung in einem Container nicht abgedeckt werden.

Tensorflow Serving mit Docker installieren (empfohlen)
Installieren Sie Tensorflow Serving ohne Docker (nicht empfohlen)
Erstellen Sie Tensorflow Serving aus der Quelle mit Docker
Stellen Sie Tensorflow Serving auf Kubernetes bereit

Verwenden

Exportieren Sie Ihr Tensorflow-Modell

Um ein Tensorflow-Modell bereitzustellen, exportieren Sie einfach ein SavedModel aus Ihrem Tensorflow-Programm. SavedModel ist ein sprachneutrales, wiederherstellbares, hermetisches Serialisierungsformat, das es übergeordneten Systemen und Tools ermöglicht, TensorFlow-Modelle zu erstellen, zu nutzen und zu transformieren.

Ausführliche Anweisungen zum Exportieren von SavedModels finden Sie in der Tensorflow-Dokumentation.

Konfigurieren und verwenden Sie Tensorflow Serving

Folgen Sie einem Tutorial zum Bereitstellen von Tensorflow-Modellen
Konfigurieren Sie Tensorflow Serving so, dass es zu Ihrem Serving-Anwendungsfall passt
Lesen Sie den Leistungsleitfaden und erfahren Sie, wie Sie TensorBoard zum Profilieren und Optimieren von Inferenzanfragen verwenden
Lesen Sie den REST-API-Leitfaden oder die gRPC-API-Definition
Verwenden Sie SavedModel Warmup, wenn anfängliche Inferenzanforderungen aufgrund einer verzögerten Initialisierung des Diagramms langsam sind
Wenn Probleme mit Modellsignaturen auftreten, lesen Sie bitte die SignatureDef-Dokumentation
Wenn Sie ein Modell mit benutzerdefinierten Operationen verwenden, erfahren Sie, wie Sie Modelle mit benutzerdefinierten Operationen bereitstellen

Verlängern

Die Architektur von Tensorflow Serving ist hochmodular. Sie können einige Teile einzeln verwenden (z. B. Batch-Scheduling) und/oder erweitern, um neue Anwendungsfälle abzudecken.

Stellen Sie sicher, dass Sie mit dem Aufbau von Tensorflow Serving vertraut sind
Erfahren Sie mehr über die Architektur von Tensorflow Serving
Entdecken Sie die Tensorflow Serving C++ API-Referenz
Erstellen Sie einen neuen Typ von Servable
Erstellen Sie eine benutzerdefinierte Quelle servierbarer Versionen