serving le téléchargement - serving le téléchargement du code source

serving

Python

2.18.0

Télécharger

Service TensorFlow

TensorFlow Serving est un système de service flexible et hautes performances pour les modèles d'apprentissage automatique, conçu pour les environnements de production. Il traite de l'aspect inférence de l'apprentissage automatique, en prenant des modèles après la formation et en gérant leur durée de vie, en fournissant aux clients un accès versionné via une table de recherche hautes performances avec comptage de références. TensorFlow Serving offre une intégration prête à l'emploi avec les modèles TensorFlow, mais peut être facilement étendu pour servir d'autres types de modèles et de données.

A noter quelques fonctionnalités :

Peut servir plusieurs modèles ou plusieurs versions du même modèle simultanément
Expose à la fois gRPC et les points de terminaison d'inférence HTTP
Permet le déploiement de nouvelles versions de modèle sans modifier le code client
Prend en charge la création de nouvelles versions et les modèles expérimentaux de tests A/B
Ajoute une latence minimale au temps d'inférence grâce à une mise en œuvre efficace et à faible surcharge
Comprend un planificateur qui regroupe les requêtes d'inférence individuelles en lots pour une exécution conjointe sur GPU, avec des contrôles de latence configurables
Prend en charge de nombreux servables : modèles Tensorflow, intégrations, vocabulaires, transformations de fonctionnalités et même des modèles d'apprentissage automatique non basés sur Tensorflow.

Servir un modèle Tensorflow en 60 secondes

 # Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA= " $( pwd ) /serving/tensorflow_serving/servables/tensorflow/testdata "

# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 
    -v " $TESTDATA /saved_model_half_plus_two_cpu:/models/half_plus_two " 
    -e MODEL_NAME=half_plus_two 
    tensorflow/serving &

# Query the model using the predict API
curl -d ' {"instances": [1.0, 2.0, 5.0]} ' 
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# Returns => { "predictions": [2.5, 3.0, 4.5] }

Tutoriel de formation et de service de bout en bout

Reportez-vous au site officiel de documentation Tensorflow pour un didacticiel complet permettant de former et de servir un modèle Tensorflow.

Documentation

Installation

La manière la plus simple et la plus directe d'utiliser TensorFlow Serving consiste à utiliser des images Docker. Nous recommandons fortement cette voie, sauf si vous avez des besoins spécifiques qui ne sont pas satisfaits par une exécution dans un conteneur.

Installer Tensorflow Serving à l'aide de Docker (recommandé)
Installer Tensorflow Serving sans Docker (non recommandé)
Créer un service Tensorflow à partir de la source avec Docker
Déployer Tensorflow Serving sur Kubernetes

Utiliser

Exportez votre modèle Tensorflow

Afin de servir un modèle Tensorflow, exportez simplement un SavedModel depuis votre programme Tensorflow. SavedModel est un format de sérialisation hermétique, récupérable et indépendant du langage, qui permet aux systèmes et outils de niveau supérieur de produire, d'utiliser et de transformer des modèles TensorFlow.

Veuillez vous référer à la documentation Tensorflow pour des instructions détaillées sur la façon d'exporter des SavedModels.

Configurer et utiliser le service Tensorflow

Suivez un tutoriel sur la diffusion de modèles Tensorflow
Configurez Tensorflow Serving pour l'adapter à votre cas d'utilisation de service
Lisez le Guide des performances et découvrez comment utiliser TensorBoard pour profiler et optimiser les requêtes d'inférence.
Lisez le guide de l'API REST ou la définition de l'API gRPC
Utilisez SavedModel Warmup si les demandes d'inférence initiales sont lentes en raison d'une initialisation paresseuse du graphique
Si vous rencontrez des problèmes concernant les signatures de modèles, veuillez lire la documentation SignatureDef
Si vous utilisez un modèle avec des opérations personnalisées, découvrez comment diffuser des modèles avec des opérations personnalisées

Étendre

L'architecture de Tensorflow Serving est hautement modulaire. Vous pouvez utiliser certaines parties individuellement (par exemple, planification par lots) et/ou l'étendre pour servir de nouveaux cas d'utilisation.