serving

TensorFlow 服務

---

TensorFlow Serving 是一種靈活、高效能的機器學習模式服務系統，專為生產環境而設計。它涉及機器學習的推理方面，在訓練後獲取模型並管理其生命週期，透過高效能、引用計數的查找表為客戶提供版本化存取。 TensorFlow Serving 提供與 TensorFlow 模型的開箱即用集成，但可以輕鬆擴展以服務其他類型的模型和資料。

注意幾個特點：

• 可以同時服務多個模型或同一模型的多個版本
• 公開 gRPC 和 HTTP 推理端點
• 允許部署新模型版本而無需更改任何客戶端程式碼
• 支援金絲雀新版本和A/B測試實驗模型
• 由於高效率、低開銷的實施，將推理時間的延遲降至最低
• 具有調度程序，可將單一推理請求分組以便在 GPU 上聯合執行，並具有可配置的延遲控制
• 支援許多服務：Tensorflow 模型、嵌入、詞彙、特徵轉換，甚至非基於 Tensorflow 的機器學習模型

在 60 秒內提供 Tensorflow 模型

 # Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA= " $( pwd ) /serving/tensorflow_serving/servables/tensorflow/testdata "

# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 
    -v " $TESTDATA /saved_model_half_plus_two_cpu:/models/half_plus_two " 
    -e MODEL_NAME=half_plus_two 
    tensorflow/serving &

# Query the model using the predict API
curl -d ' {"instances": [1.0, 2.0, 5.0]} ' 
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# Returns => { "predictions": [2.5, 3.0, 4.5] } 

端到端培訓和服務教程

請參閱官方 Tensorflow 文件網站，以取得訓練和服務 Tensorflow 模型的完整教學。

文件

設定

使用 TensorFlow Serving 最簡單、最直接的方法是使用 Docker 映像。我們強烈推薦此路線，除非您有無法透過在容器中運行來解決的特定需求。

• 使用 Docker 安裝 Tensorflow Serving （建議）
• 不使用 Docker 安裝 Tensorflow Serving （不建議）
• 使用 Docker 從原始程式碼建置 Tensorflow 服務
• 在 Kubernetes 上部署 Tensorflow 服務

使用

匯出您的 Tensorflow 模型

為了提供 Tensorflow 模型，只需從 Tensorflow 程式中匯出 SavedModel 即可。 SavedModel 是一種語言中立、可恢復、密封的序列化格式，使更高層級的系統和工具能夠產生、使用和轉換 TensorFlow 模型。

有關如何匯出 SavedModel 的詳細說明，請參閱 Tensorflow 文件。

設定和使用 Tensorflow 服務

• 遵循服務 Tensorflow 模型的教程
• 配置 Tensorflow Serving 以使其適合您的服務用例
• 閱讀效能指南並了解如何使用 TensorBoard 分析和優化推理請求
• 閱讀 REST API 指南或 gRPC API 定義
• 如果初始推理請求由於圖的延遲初始化而緩慢，請使用 SavedModel Warmup
• 如果遇到有關模型簽名的問題，請閱讀 SignatureDef 文檔
• 如果使用具有自訂操作的模型，請了解如何為具有自訂操作的模型提供服務

延長

Tensorflow Serving 的架構是高度模組化的。您可以單獨使用某些部分（例如批量調度）和/或擴展它以服務新的用例。

• 確保您熟悉建造 Tensorflow Serving
• 了解 Tensorflow Serving 的架構
• 探索 Tensorflow Serving C++ API 參考
• 建立新類型的 Servable
• 建立可服務版本的自訂來源

貢獻

如果您想為 TensorFlow Serving 做出貢獻，請務必查看貢獻指南。

欲了解更多信息

請參閱 TensorFlow 官方網站以了解更多資訊。