スライドデッキ上のマルチモーダルラグ

このリポジトリについて

これは、Amazon Bedrock と Amazon SageMaker でホストされているマルチモーダル基盤モデルを使用した「スライドデッキに話しかける」というトピックに関する 3 部構成のシリーズです。

• シリーズのパート 1 では、最初にスライドをエンベディングに変換し、これらのエンベディングをベクター ストア (Amazon OpenSearch Serverless) に保存するソリューション設計を実装します。ユーザーがこのデータをクエリすると、LLaVA 1.5 が呼び出され、推論がユーザーに返されます。
• シリーズのパート 2 では、別のソリューション設計に従います。このアプローチでは、LLaVA 1.5 推論を生成してベクター ストア (Amazon OpenSearch Serverless) に保存し、それらの保存された推論を使用してユーザーのクエリに応答します。
• シリーズのパート 3 では、2 つのアプローチを比較します。