serving

TensorFlow 服务

---

TensorFlow Serving 是一种灵活、高性能的机器学习模型服务系统，专为生产环境而设计。它涉及机器学习的推理方面，在训练后获取模型并管理其生命周期，通过高性能、引用计数的查找表为客户提供版本化访问。 TensorFlow Serving 提供与 TensorFlow 模型的开箱即用集成，但可以轻松扩展以服务其他类型的模型和数据。

要注意几个特点：

• 可以同时服务多个模型或同一模型的多个版本
• 公开 gRPC 和 HTTP 推理端点
• 允许部署新模型版本而无需更改任何客户端代码
• 支持金丝雀新版本和A/B测试实验模型
• 由于高效、低开销的实施，将推理时间的延迟降至最低
• 具有调度程序，可将单个推理请求分组以便在 GPU 上联合执行，并具有可配置的延迟控制
• 支持许多服务：Tensorflow 模型、嵌入、词汇、特征转换，甚至非基于 Tensorflow 的机器学习模型

在 60 秒内提供 Tensorflow 模型

 # Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA= " $( pwd ) /serving/tensorflow_serving/servables/tensorflow/testdata "

# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 
    -v " $TESTDATA /saved_model_half_plus_two_cpu:/models/half_plus_two " 
    -e MODEL_NAME=half_plus_two 
    tensorflow/serving &

# Query the model using the predict API
curl -d ' {"instances": [1.0, 2.0, 5.0]} ' 
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# Returns => { "predictions": [2.5, 3.0, 4.5] } 

端到端培训和服务教程

请参阅官方 Tensorflow 文档网站，获取训练和服务 Tensorflow 模型的完整教程。

文档

设置

使用 TensorFlow Serving 最简单、最直接的方法是使用 Docker 镜像。我们强烈推荐此路线，除非您有无法通过在容器中运行来解决的特定需求。

• 使用 Docker 安装 Tensorflow Serving （推荐）
• 不使用 Docker 安装 Tensorflow Serving （不推荐）
• 使用 Docker 从源代码构建 Tensorflow 服务
• 在 Kubernetes 上部署 Tensorflow 服务

使用

导出您的 Tensorflow 模型

为了提供 Tensorflow 模型，只需从 Tensorflow 程序中导出 SavedModel 即可。 SavedModel 是一种语言中立、可恢复、密封的序列化格式，使更高级别的系统和工具能够生成、使用和转换 TensorFlow 模型。

有关如何导出 SavedModel 的详细说明，请参阅 Tensorflow 文档。

配置和使用 Tensorflow 服务

• 遵循有关服务 Tensorflow 模型的教程
• 配置 Tensorflow Serving 以使其适合您的服务用例
• 阅读性能指南并了解如何使用 TensorBoard 分析和优化推理请求
• 阅读 REST API 指南或 gRPC API 定义
• 如果初始推理请求由于图的延迟初始化而缓慢，请使用 SavedModel Warmup
• 如果遇到有关模型签名的问题，请阅读 SignatureDef 文档
• 如果使用具有自定义操作的模型，请了解如何为具有自定义操作的模型提供服务

延长

Tensorflow Serving 的架构是高度模块化的。您可以单独使用某些部分（例如批量调度）和/或扩展它以服务于新的用例。

• 确保您熟悉构建 Tensorflow Serving
• 了解 Tensorflow Serving 的架构
• 探索 Tensorflow Serving C++ API 参考
• 创建新类型的 Servable
• 创建可服务版本的自定义源

贡献

如果您想为 TensorFlow Serving 做出贡献，请务必查看贡献指南。

欲了解更多信息

请参阅 TensorFlow 官方网站了解更多信息。