GenAIExamples下载 - GenAIExamples源代码下载

GenAIExamples

Ai源码

ve AI Examples v1.1 Release Notes

下载

生成式人工智能示例

介绍

GenAIExamples 旨在让开发人员轻松进入生成式 AI，其中包含基于微服务的示例，可简化部署、测试和扩展 GenAI 应用程序的流程。所有示例均与 Docker 和 Kubernetes 完全兼容，支持 Gaudi、Xeon、NVIDIA GPU 等多种硬件平台以及其他硬件，确保您的 GenAI 采用的灵活性和效率。

建筑学

GenAIComps 是一个基于服务的工具，包含 llm、embedding、reranking 等微服务组件。使用这些组件，可以构建 GenAIExample 中的各种示例，包括 ChatQnA、DocSum 等。

GenAIInfra 是 OPEA 容器化和云原生套件的一部分，支持在云中快速高效地部署 GenAIExamples。

GenAIEval 测量 GenAIExamples 的服务性能指标，例如吞吐量、延迟和准确性。此功能可帮助用户轻松比较各种硬件配置的性能。

入门

GenAIExamples提供灵活的部署选项，满足不同用户的需求，实现在各种环境下的高效使用和部署。下面简要概述了三种主要方法：Python 启动、Docker Compose 和 Kubernetes。

用户可以根据设置的难易程度、可扩展性需求以及操作环境来选择最合适的方法。

部署指南

默认基于已发布的 docker 镜像进行部署，查看 docker 镜像列表了解详细信息。您还可以按照说明构建自己的图像。

先决条件

对于基于 Docker Compose 的部署，您应该安装 docker compose。参考docker compose安装。
对于基于 Kubernetes 的部署，我们提供了 3 种方法，从最简单的清单到基于强大的 GMC 的部署。
- 您应该有一个可供使用的 kubernetes 集群。如果没有，可以参考k8s install来部署一个。
- （可选）如果您想尝试使用 GMC，您应该将 GMC 安装到您的 kubernetes 集群中。有关详细信息，请参阅 GMC 安装。
- （可选）如果您想使用 Helm Charts 进行部署，则应该安装 Helm（版本 >= 3.15）。有关更多信息，请参阅 Helm 安装指南。

部署示例

使用案例	Docker 组合在至强上部署	Docker 组合高迪上的部署	带有清单的 Kubernetes	带有 Helm Charts 的 Kubernetes	Kubernetes 与 GMC
聊天QnA	至强指令	高迪指示	带有清单的 ChatQnA	ChatQnA 与 Helm 图表	与 GMC 聊天QnA
代码生成器	至强指令	高迪指示	带有清单的 CodeGen	CodeGen 与 Helm 图表	CodeGen 与 GMC
码传输	至强指令	高迪指示	带有清单的 CodeTrans	CodeTrans 与 Helm 图表	CodeTrans 与 GMC
文件总和	至强指令	高迪指示	带有清单的 DocSum	带有 Helm 图表的 DocSum	使用 GMC 进行 DocSum
搜索QnA	至强指令	高迪指示	不支持	不支持	与 GMC 一起搜索 QnA
常见问题生成器	至强指令	高迪指示	带有清单的 FaqGen	不支持	FaqGen 与 GMC
翻译	至强指令	高迪指示	清单翻译	不支持	GMC 翻译
音频问答	至强指令	高迪指示	带清单的 AudioQnA	不支持	AudioQnA 与 GMC
视觉问答	至强指令	高迪指示	带有清单的 VisualQnA	不支持	VisualQnA 与 GMC
多模态问答	至强指令	高迪指示	不支持	不支持	不支持
生产力套件	至强指令	不支持	带清单的 ProductivitySuite	不支持	不支持