kserve

服务

KServe 提供了 Kubernetes 自定义资源定义，用于服务预测和生成机器学习 (ML) 模型。它旨在通过使用标准化数据平面协议为 Tensorflow、XGBoost、ScikitLearn、PyTorch、Huggingface Transformer/LLM 模型提供高抽象接口来解决生产模型服务用例。

它封装了自动缩放、网络、运行状况检查和服务器配置的复杂性，为您的 ML 部署带来 GPU 自动缩放、缩放到零和金丝雀部署等尖端服务功能。它为生产 ML 服务提供了一个简单、可插入且完整的故事，包括预测、预处理、后处理和可解释性。 KServe 正在多个组织中使用。

欲了解更多详情，请访问 KServe 网站。

自 v0.7 起，KFServing 已更名为 KServe。

为什么选择KServe？

• KServe 是一个标准的、与云无关的模型推理平台，用于在 Kubernetes 上提供预测和生成 AI 模型，专为高度可扩展的用例而构建。
• 跨 ML 框架提供高性能、标准化的推理协议，包括生成模型的 OpenAI 规范。
• 通过基于请求的自动缩放（包括CPU 和 GPU上的缩放至零）支持现代无服务器推理工作负载。
• 使用ModelMesh提供高可扩展性、密度封装和智能路由。
• 简单且可插入的生产服务于推理、前/后处理、监控和可解释性。
• 金丝雀部署、管道、 InferenceGraph集成的高级部署。

了解更多

要了解有关 KServe、如何使用各种支持的功能以及如何参与 KServe 社区的更多信息，请关注 KServe 网站文档。此外，我们还编制了一系列演示和演示，以深入了解各种细节。

安装

独立安装

• 无服务器安装：KServe 默认安装 Knative，用于 InferenceService 的无服务器部署。
• 原始部署安装：与无服务器安装相比，这是一种更轻量级的安装。但是，此选项不支持金丝雀部署和基于请求的自动缩放（缩放为零）。
• ModelMesh 安装：您可以选择安装 ModelMesh 以实现高规模、高密度和频繁更改的模型服务用例。
• 快速安装：在本地计算机上安装 KServe。

Kubeflow安装

KServe 是 Kubeflow 的重要插件组件，请从 Kubeflow KServe 文档了解更多信息。查看以下有关在 AWS 或 OpenShift Container Platform 上运行的指南。

？创建您的第一个 InferenceService

路线图

InferenceService API 参考

？开发者指南

✍️ 贡献者指南

？采用者