kserve

服務

KServe 提供了 Kubernetes 自訂資源定義，用於服務預測和產生機器學習 (ML) 模型。它旨在透過使用標準化資料平面協定為 Tensorflow、XGBoost、ScikitLearn、PyTorch、Huggingface Transformer/LLM 模型提供高抽象介面來解決生產模型服務用例。

它封裝了自動縮放、網路、運行狀況檢查和伺服器配置的複雜性，為您的 ML 部署帶來 GPU 自動縮放、縮放到零和金絲雀部署等尖端服務功能。它為生產 ML 服務提供了一個簡單、可插入且完整的故事，包括預測、預處理、後處理和可解釋性。 KServe 正在多個組織中使用。

如欲了解更多詳情，請瀏覽 KServe 網站。

自 v0.7 起，KFServing 已更名為 KServe。

為什麼選擇KServe？

• KServe 是一個標準的、與雲端無關的模型推理平台，用於在 Kubernetes 上提供預測和生成 AI 模型，專為高度可擴展的用例而構建。
• 跨 ML 框架提供高效能、標準化的推理協議，包括產生模型的 OpenAI 規格。
• 透過基於請求的自動縮放（包括CPU 和 GPU上的縮放至零）支援現代無伺服器推理工作負載。
• 使用ModelMesh提供高可擴展性、密度封裝和智慧路由。
• 簡單且可插入的生產服務於推理、前/後處理、監控和可解釋性。
• 金絲雀部署、管道、 InferenceGraph整合的高階部署。

了解更多

要了解有關 KServe、如何使用各種支援的功能以及如何參與 KServe 社區的更多信息，請關注 KServe 網站文件。此外，我們還編制了一系列演示和演示，以深入了解各種細節。

安裝

獨立安裝

• 無伺服器安裝：KServe 預設安裝 Knative，用於 InferenceService 的無伺服器部署。
• 原始部署安裝：與無伺服器安裝相比，這是更輕量級的安裝。但是，此選項不支援金絲雀部署和基於請求的自動縮放（縮放為零）。
• ModelMesh 安裝：您可以選擇安裝 ModelMesh 以實現高規模、高密度和頻繁更改的模型服務用例。
• 快速安裝：在本機上安裝 KServe。

Kubeflow安裝

KServe 是 Kubeflow 的重要插件元件，請從 Kubeflow KServe 文件了解更多。請參閱以下有關在 AWS 或 OpenShift Container Platform 上執行的指南。

？建立您的第一個 InferenceService

路線圖

InferenceService API 參考

？開發者指南

✍️ 貢獻者指南

？採用者