Загрузка serving - Загрузка исходного кода serving

serving

Питон

2.18.0

Скачать

Обслуживание TensorFlow

TensorFlow Serving — это гибкая, высокопроизводительная система обслуживания моделей машинного обучения, предназначенная для производственных сред. Он занимается аспектом машинного обучения, получением моделей после обучения и управлением их сроком службы, предоставлением клиентам версионного доступа через высокопроизводительную справочную таблицу с подсчетом ссылок. TensorFlow Serving обеспечивает готовую интеграцию с моделями TensorFlow, но может быть легко расширен для обслуживания других типов моделей и данных.

Отметим несколько особенностей:

Может одновременно обслуживать несколько моделей или несколько версий одной и той же модели.
Предоставляет как gRPC, так и конечные точки вывода HTTP.
Позволяет развертывать новые версии модели без изменения клиентского кода.
Поддержка новых версий и экспериментальных моделей A/B-тестирования.
Добавляет минимальную задержку ко времени вывода благодаря эффективной реализации с низкими накладными расходами.
Имеет планировщик, который группирует отдельные запросы вывода в пакеты для совместного выполнения на графическом процессоре с настраиваемым контролем задержки.
Поддерживает множество обслуживаемых объектов : модели Tensorflow, внедрения, словари, преобразования функций и даже модели машинного обучения, не основанные на Tensorflow.

Обслужите модель Tensorflow за 60 секунд

 # Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA= " $( pwd ) /serving/tensorflow_serving/servables/tensorflow/testdata "

# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 
    -v " $TESTDATA /saved_model_half_plus_two_cpu:/models/half_plus_two " 
    -e MODEL_NAME=half_plus_two 
    tensorflow/serving &

# Query the model using the predict API
curl -d ' {"instances": [1.0, 2.0, 5.0]} ' 
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# Returns => { "predictions": [2.5, 3.0, 4.5] }

Комплексное обучение и руководство по обслуживанию

Обратитесь к официальному сайту документации Tensorflow для получения полного руководства по обучению и обслуживанию модели Tensorflow.

Документация

Настраивать

Самый простой и понятный способ использования TensorFlow Serving — с изображениями Docker. Мы настоятельно рекомендуем этот путь, если у вас нет особых потребностей, которые не решаются запуском в контейнере.

Установите Tensorflow Serving с помощью Docker (рекомендуется)
Установите Tensorflow Serving без Docker (не рекомендуется)
Создайте сервис Tensorflow из исходного кода с помощью Docker
Развертывание обслуживания Tensorflow в Kubernetes

Использовать

Экспортируйте свою модель Tensorflow

Чтобы использовать модель Tensorflow, просто экспортируйте SavedModel из вашей программы Tensorflow. SavedModel — это независимый от языка, восстанавливаемый, герметичный формат сериализации, который позволяет системам и инструментам более высокого уровня создавать, использовать и преобразовывать модели TensorFlow.

Подробные инструкции по экспорту сохраненных моделей см. в документации Tensorflow.

Настройка и использование обслуживания Tensorflow

Следуйте руководству по обслуживанию моделей Tensorflow.
Настройте обслуживание Tensorflow так, чтобы оно соответствовало вашему варианту использования обслуживания.
Прочтите Руководство по производительности и узнайте, как использовать TensorBoard для профилирования и оптимизации запросов вывода.
Прочтите руководство по REST API или определение API gRPC.
Используйте SavedModel Warmup, если первоначальные запросы на вывод выполняются медленно из-за ленивой инициализации графа.
Если вы столкнулись с проблемами, связанными с подписями моделей, прочтите документацию SignatureDef.
Если вы используете модель с настраиваемыми операциями, узнайте, как обслуживать модели с настраиваемыми операциями.

Продлевать

Архитектура Tensorflow Serving является модульной. Вы можете использовать некоторые части по отдельности (например, пакетное планирование) и/или расширять их для обслуживания новых вариантов использования.