あなたの生成 AI コンパニオン: オープン マルチモーダル パーソナル アシスタント
デバイス上で生成 AI の力を解き放つ
不格好な AI ピンのことは忘れてください。あなたのスマートフォンやスマートウォッチは、個人的な AI の強力な動力源となる可能性をすでに持っています。このオープンソース プロジェクトは、生成 AI、マルチモーダル機能、RAG (検索拡張生成) を最大限に活用して、既存のデバイスをインテリジェントなコンパニオンに変えます。
主な特徴:
- マルチプラットフォーム: Flutter の多用途性により、iOS と Android でシームレスな AI 支援を体験してください。
- Voice Mastery : ネイティブ Android STT/TTS と簡単に通信したり、Google Chirp の高度な音声認識でさらに多くの言語を利用したりできます。
- あなたに合わせてカスタマイズ: AI はあなたの好みや過去の会話を記憶し、オンデバイスの RAG テクノロジーを通じてカスタマイズされた推奨事項や支援を提供します。
- 多彩なモード:
- ナチュラル ボイス チャット: 友達と話すのと同じようにダイナミックな会話を楽しめます。
- 翻訳モード: Chirp によるリアルタイム翻訳で言語の壁を打ち破ります。
- マルチモーダル探索: カメラを通して見るものすべてについて質問し、新しい次元のインタラクションを解き放ちます。
高度な機能:
- Gemini 1.5 Flash および Pro モデルの活用: 最先端の AI 言語の理解と生成を体験してください。
- 強力なツールを活用してください:
- 位置を認識した応答
- リアルタイムの天気予報
- 日の出・日の入り情報
- Tavily による Web 調査 (API キーが必要)
- 最新の法定通貨と暗号通貨の為替レート
地平線上で:
- DuckDuckGo Assist による Web 検索
- Alpha Vantage によるビジネスの洞察 (API キーが必要)
- 曲の歌詞検索
将来の可能性:
- SerpAPI 統合により AI のツールキットを拡張
- カレンダーの統合
- 電子メールの統合
- SMS / テキストメッセージ、通話、連絡先の統合
AI 革命に参加しましょう:
モバイル デバイスをパーソナライズされた AI アシスタントに変身させます。このオープンソース プロジェクトに貢献し、思いどおりに AI の未来を形作ってください。
覚えておいてください: Tavily と Alpha Vantage の API キーは、それぞれの機能にアクセスするために必要です。
よりスマートで、よりつながった未来を一緒に築きましょう!
注:
- アプリのデモビデオ: https://www.youtube.com/watch?v=kCtHH6XG5as
- このプロジェクトは、Gemini API 開発者コンペティションに提出されました。
- バックエンドを構成する関連するクラウド機能は、Open Multi-Modal Personal Assistant 組織で見つけてください。審査が終了すると、このリポジトリも最終的に名前が変更され、そこに転送されます。
- 送信時のリポジトリの状態は、デモを記録する前の 8 月 12 日の最後のコミットです: https://github.com/CsabaConsulting/InspectorGadgetApp/tree/b7de11fa3d9122fd96b85e7c708802b371bb15c9
- Made By Google '24 の後、Open MMPA を Gemini Live と比較する人がいるかもしれませんが、次の点に注意する必要があります。
- オープン MMPA は組み込みフォーム ファクターをターゲットとしています
- Open MMPA には、履歴と個人用 RAG 用のローカル ベクトル データベースも備えています
- オープン MMPA にはいくつかのマルチモーダル機能と統合が欠けている可能性がありますが、それらはすべて計画されています
- Open MMPA はオープンソースです
初期アプリケーションのソース コード スキャフォールドは Very Good CLI によって生成されました。
