descarga serving - descarga de código fuente serving

serving

Pitón

2.18.0

Descargar

Servicio de TensorFlow

TensorFlow Serving es un sistema de servicio flexible y de alto rendimiento para modelos de aprendizaje automático, diseñado para entornos de producción. Se ocupa del aspecto de inferencia del aprendizaje automático, tomando modelos después del entrenamiento y administrando su vida útil, brindando a los clientes acceso versionado a través de una tabla de búsqueda de alto rendimiento con recuento de referencias. TensorFlow Serving proporciona integración inmediata con los modelos de TensorFlow, pero se puede ampliar fácilmente para ofrecer otros tipos de modelos y datos.

Para observar algunas características:

Puede servir varios modelos o varias versiones del mismo modelo simultáneamente
Expone tanto gRPC como puntos finales de inferencia HTTP
Permite la implementación de nuevas versiones de modelos sin cambiar ningún código de cliente.
Admite canarying de nuevas versiones y modelos experimentales de pruebas A/B.
Añade una latencia mínima al tiempo de inferencia gracias a una implementación eficiente y con pocos gastos generales.
Incluye un programador que agrupa solicitudes de inferencia individuales en lotes para su ejecución conjunta en GPU, con controles de latencia configurables.
Admite muchos servables : modelos de Tensorflow, incrustaciones, vocabularios, transformaciones de características e incluso modelos de aprendizaje automático no basados en Tensorflow.

Sirve un modelo de Tensorflow en 60 segundos

 # Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA= " $( pwd ) /serving/tensorflow_serving/servables/tensorflow/testdata "

# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 
    -v " $TESTDATA /saved_model_half_plus_two_cpu:/models/half_plus_two " 
    -e MODEL_NAME=half_plus_two 
    tensorflow/serving &

# Query the model using the predict API
curl -d ' {"instances": [1.0, 2.0, 5.0]} ' 
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# Returns => { "predictions": [2.5, 3.0, 4.5] }

Tutorial de capacitación y servicio de principio a fin

Consulte el sitio de documentación oficial de Tensorflow para obtener un tutorial completo para entrenar y servir un modelo de Tensorflow.

Documentación

Configuración

La forma más sencilla y directa de utilizar TensorFlow Serving es con imágenes de Docker. Recomendamos encarecidamente esta ruta a menos que tenga necesidades específicas que no se aborden mediante la ejecución en un contenedor.

Instale Tensorflow Serving usando Docker (recomendado)
Instale Tensorflow Serving sin Docker (no recomendado)
Cree el servicio Tensorflow desde el código fuente con Docker
Implementar el servicio Tensorflow en Kubernetes

Usar

Exporta tu modelo de Tensorflow

Para servir un modelo de Tensorflow, simplemente exporte un modelo guardado desde su programa Tensorflow. SavedModel es un formato de serialización hermético, recuperable y de lenguaje neutro que permite que sistemas y herramientas de nivel superior produzcan, consuman y transformen modelos de TensorFlow.

Consulte la documentación de Tensorflow para obtener instrucciones detalladas sobre cómo exportar SavedModels.

Configurar y utilizar el servicio Tensorflow

Siga un tutorial sobre cómo servir modelos de Tensorflow
Configure Tensorflow Serving para que se ajuste a su caso de uso de servicio
Lea la Guía de rendimiento y aprenda cómo usar TensorBoard para perfilar y optimizar solicitudes de inferencia.
Lea la Guía de API REST o la definición de API gRPC
Utilice SavedModel Warmup si las solicitudes de inferencia iniciales son lentas debido a una inicialización diferida del gráfico
Si tiene problemas con las firmas de modelos, lea la documentación de SignatureDef.
Si utiliza un modelo con operaciones personalizadas, aprenda cómo servir modelos con operaciones personalizadas.

Extender

La arquitectura de Tensorflow Serving es altamente modular. Puede utilizar algunas partes individualmente (por ejemplo, programación por lotes) y/o ampliarlas para atender nuevos casos de uso.