GenAIExamples

生成式人工智慧範例

介紹

GenAIExamples 旨在讓開發人員輕鬆進入生成式 AI，其中包含基於微服務的範例，可簡化部署、測試和擴展 GenAI 應用程式的流程。所有範例均與 Docker 和 Kubernetes 完全相容，支援 Gaudi、Xeon、NVIDIA GPU 等多種硬體平台以及其他硬件，確保您的 GenAI 採用的靈活性和效率。

建築學

GenAIComps 是一個基於服務的工具，包含 llm、embedding、reranking 等微服務元件。使用這些元件，可以建立 GenAIExample 中的各種範例，包括 ChatQnA、DocSum 等。

GenAIInfra 是 OPEA 容器化和雲端原生套件的一部分，支援在雲端中快速且有效率地部署 GenAIExamples。

GenAIEval 測量 GenAIExamples 的服務效能指標，例如吞吐量、延遲和準確性。此功能可協助使用者輕鬆比較各種硬體配置的效能。

入門

GenAIExamples提供靈活的部署選項，滿足不同使用者的需求，實現在各種環境下的高效使用和部署。以下簡要概述了三種主要方法：Python 啟動、Docker Compose 和 Kubernetes。

使用者可以根據設定的難易度、可擴展性需求以及操作環境來選擇最合適的方法。

部署指南

預設基於已發布的 docker 映像進行部署，請查看 docker 映像清單以了解詳細資訊。您也可以按照說明建立自己的圖像。

先決條件

• 對於基於 Docker Compose 的部署，您應該安裝 docker compose。參考docker compose安裝。
• 對於基於 Kubernetes 的部署，我們提供了 3 種方法，從最簡單的清單到基於強大的 GMC 的部署。
  • 您應該有一個可供使用的 kubernetes 叢集。如果沒有，可以參考k8s install來部署一個。
  • （可選）如果您想嘗試使用 GMC，您應該將 GMC 安裝到您的 kubernetes 叢集中。有關詳細信息，請參閱 GMC 安裝。
  • （可選）如果您想使用 Helm Charts 進行部署，則應該安裝 Helm（版本 >= 3.15）。有關更多信息，請參閱 Helm 安裝指南。

部署範例

使用案例	Docker 組合 在至強部署	Docker 組合 高第上的部署	帶有清單的 Kubernetes	帶有 Helm Charts 的 Kubernetes	Kubernetes 與 GMC
聊天QnA	至強指令	高第指示	帶有清單的 ChatQnA	ChatQnA 與 Helm 圖表	與 GMC 聊天QnA
程式碼產生器	至強指令	高第指示	帶有清單的 CodeGen	CodeGen 與 Helm 圖表	CodeGen 與 GMC
碼傳輸	至強指令	高第指示	帶有清單的 CodeTrans	CodeTrans 與 Helm 圖表	CodeTrans 與 GMC
文件總和	至強指令	高第指示	帶有清單的 DocSum	帶有 Helm 圖表的 DocSum	使用 GMC 進行 DocSum
搜尋QnA	至強指令	高第指示	不支援	不支援	與 GMC 一起搜尋 QnA
常見問題產生器	至強指令	高第指示	帶有清單的 FaqGen	不支援	FaqGen 與 GMC
翻譯	至強指令	高第指示	清單翻譯	不支援	GMC 翻譯
音頻問答	至強指令	高第指示	附有清單的 AudioQnA	不支援	AudioQnA 與 GMC
視覺問答	至強指令	高第指示	帶有清單的 VisualQnA	不支援	VisualQnA 與 GMC
多模態問答	至強指令	高第指示	不支援	不支援	不支援
生產力套件	至強指令	不支援	帶清單的 ProductivitySuite	不支援	不支援

支援的範例

請在此處查看支援的範例、型號、硬體等的詳細資訊。

為 OPEA 做出貢獻

歡迎來到 OPEA 開源社群！我們很高興您來到這裡，並對您能為 OPEA 平台帶來的潛在貢獻感到興奮。無論您是修復錯誤、添加新的 GenAI 組件、改進文件還是分享您獨特的用例，您的貢獻都是無價的。

我們共同努力，可以使 OPEA 成為企業人工智慧解決方案的首選平台。讓我們共同努力，突破可能的界限，創造一個人人都可以使用人工智慧、高效且具影響力的未來。

請查看貢獻指南，以了解有關如何貢獻 GenAI 組件以及所有貢獻方式的詳細指南！

感謝您參與這趟旅程。我們迫不及待地想看看我們能夠共同取得什麼成就！

附加內容

• 行為守則
• 安全政策
• 法律資訊