GenAIExamples
ve AI Examples v1.1 Release Notes
GenAIExamples は、開発者が生成 AI に簡単に参入できるように設計されており、GenAI アプリケーションのデプロイ、テスト、スケーリングのプロセスを簡素化するマイクロサービス ベースのサンプルを備えています。すべてのサンプルは Docker および Kubernetes と完全に互換性があり、Gaudi、Xeon、NVIDIA GPU などの幅広いハードウェア プラットフォームやその他のハードウェアをサポートし、GenAI 導入の柔軟性と効率を確保します。
GenAIComps は、llm、埋め込み、再ランキングなどのマイクロサービス コンポーネントを含むサービスベースのツールです。これらのコンポーネントを使用すると、ChatQnA、DocSum などを含む GenAIExample のさまざまな例を構築できます。
OPEA コンテナ化およびクラウドネイティブ スイートの一部である GenAIInfra により、クラウドでの GenAIExamples の迅速かつ効率的なデプロイが可能になります。
GenAIEval は、GenAIExamples のスループット、レイテンシー、精度などのサービス パフォーマンス メトリックを測定します。この機能は、ユーザーがさまざまなハードウェア構成間のパフォーマンスを簡単に比較するのに役立ちます。
GenAIExamples は、さまざまなユーザーのニーズに応える柔軟な導入オプションを提供し、さまざまな環境での効率的な使用と導入を可能にします。ここでは、Python の起動、Docker Compose、Kubernetes という 3 つの主要な方法の概要を説明します。
ユーザーは、セットアップの容易さ、拡張性のニーズ、および操作環境に基づいて、最適なアプローチを選択できます。
デプロイメントはデフォルトでリリースされた Docker イメージに基づいて行われます。詳細については、Docker イメージのリストを確認してください。指示に従って独自のイメージを構築することもできます。
| 使用事例 | Docker Compose Xeon への展開 | Docker Compose Gaudi への展開 | マニフェストを使用した Kubernetes | Kubernetes と Helm チャート | GMC を使用した Kubernetes |
|---|---|---|---|---|---|
| チャットQ&A | Xeon の命令 | ガウディの説明書 | マニフェストを使用した ChatQnA | Helm チャートを使用した ChatQnA | GMC との ChatQnA |
| コードジェネ | Xeon の命令 | ガウディの説明書 | マニフェスト付きの CodeGen | ヘルム チャートを使用した CodeGen | GMC を使用した CodeGen |
| コードトランス | Xeon の命令 | ガウディの説明書 | マニフェストを使用した CodeTrans | Helm チャートを使用した CodeTrans | GMC を使用した CodeTrans |
| ドキュメントサム | Xeon の命令 | ガウディの説明書 | マニフェスト付きの DocSum | Helm チャートを使用した DocSum | GMC を使用した DocSum |
| 検索QnA | Xeon の命令 | ガウディの説明書 | サポートされていません | サポートされていません | GMC を使用した SearchQnA |
| よくある質問 | Xeon の命令 | ガウディの説明書 | マニフェスト付きの FaqGen | サポートされていません | GMC を使用した FaqGen |
| 翻訳 | Xeon の命令 | ガウディの説明書 | マニフェストによる翻訳 | サポートされていません | GMCによる翻訳 |
| オーディオQnA | Xeon の命令 | ガウディの説明書 | AudioQnA とマニフェスト | サポートされていません | GMC を使用した AudioQnA |
| VisualQnA | Xeon の命令 | ガウディの説明書 | VisualQnA とマニフェスト | サポートされていません | GMC を使用した VisualQnA |
| マルチモーダルQnA | Xeon の命令 | ガウディの説明書 | サポートされていません | サポートされていません | サポートされていません |
| プロダクティビティスイート | Xeon の命令 | サポートされていません | マニフェストを備えた ProductivitySuite | サポートされていません | サポートされていません |
対応例、機種、ハードウェア等の詳細情報はこちらをご確認ください。
OPEA オープンソース コミュニティへようこそ!私たちは皆さんをお迎えできることを大変うれしく思っており、皆さんが OPEA プラットフォームにもたらすことができる潜在的な貢献に興奮しています。バグの修正、新しい GenAI コンポーネントの追加、ドキュメントの改善、独自の使用例の共有など、あなたの貢献は非常に貴重です。
私たちは力を合わせて、OPEA をエンタープライズ AI ソリューションの頼りになるプラットフォームにすることができます。協力して可能性の限界を押し広げ、誰もが AI にアクセスでき、効率的で影響力のある未来を創造しましょう。
GenAI コンポーネントの貢献方法と貢献できるすべての方法に関する詳細なガイドについては、貢献ガイドラインを確認してください。
この旅にご参加いただきありがとうございます。一緒に何が達成できるか楽しみです!
