Votre compagnon d'IA générative : assistant personnel multimodal ouvert
Libérez la puissance de l’IA générative sur vos appareils
Oubliez les épingles IA encombrantes ! Votre smartphone ou votre montre intelligente a déjà le potentiel de devenir votre centrale d’IA personnelle. Ce projet open source exploite toute la puissance de l'IA générative, des capacités multimodales et du RAG (Retrieval Augmented Generation) pour transformer vos appareils existants en compagnons intelligents.
Principales caractéristiques :
- Multi-plateforme : bénéficiez d'une assistance transparente à l'IA sur iOS et Android, grâce à la polyvalence de Flutter.
- Maîtrise vocale : communiquez sans effort avec Android STT/TTS natif ou débloquez encore plus de langues grâce à la reconnaissance vocale avancée de Google Chirp.
- Personnalisé pour vous : votre IA se souvient de vos préférences et de vos conversations passées, fournissant des recommandations et une assistance personnalisées grâce à la technologie RAG intégrée à l'appareil.
- Modes polyvalents :
- Chat vocal naturel : engagez-vous dans des conversations dynamiques comme vous le feriez avec un ami.
- Mode de traduction : éliminez les barrières linguistiques grâce à la traduction en temps réel optimisée par Chirp.
- Exploration multimodale : posez des questions sur tout ce que vous voyez à travers votre caméra, ouvrant ainsi une nouvelle dimension d'interaction.
Capacités avancées :
- Tirez parti des modèles Gemini 1.5 Flash et Pro : découvrez une compréhension et une génération de langage d'IA de pointe.
- Profitez d'outils puissants :
- Réponses géolocalisées
- Prévisions météo en temps réel
- Informations sur le lever et le coucher du soleil
- Recherche Web via Tavily (clé API requise)
- Taux de change à jour des devises fiduciaires et cryptographiques
À l'horizon :
- Recherche sur le Web via DuckDuckGo Assist
- Informations commerciales avec Alpha Vantage (clé API requise)
- Recherche de paroles de chansons
Possibilités futures :
- Développez la boîte à outils de votre IA avec l'intégration SerpAPI
- Intégration du calendrier
- Intégration de la messagerie
- Intégration de SMS/SMS, d'appels et de contacts
Rejoignez la révolution de l'IA :
Transformez votre appareil mobile en un assistant IA personnalisé. Contribuez à ce projet open source et façonnez l’avenir de l’IA selon vos conditions !
N'oubliez pas : les clés API de Tavily et Alpha Vantage sont nécessaires pour accéder à leurs fonctionnalités respectives.
Construisons ensemble un avenir plus intelligent et plus connecté !
Remarques :
- Une vidéo de démonstration de l'application : https://www.youtube.com/watch?v=kCtHH6XG5as
- Ce projet a été soumis au concours Gemini API Developer.
- Veuillez trouver les fonctions cloud associées - qui composent le backend - dans l'organisation Open Multi-Modal Personal Assistant. Une fois le jugement terminé, ce référentiel sera éventuellement renommé et transféré là-bas également.
- L'état du référentiel au moment de la soumission était le dernier commit le 12 août avant l'enregistrement de la démo : https://github.com/CsabaConsulting/InspectorGadgetApp/tree/b7de11fa3d9122fd96b85e7c708802b371bb15c9
- Après le Made By Google '24, quelqu'un pourra comparer Open MMPA à Gemini Live, mais nous devons remarquer que :
- Open MMPA cible les facteurs de forme intégrés
- Open MMPA propose également une base de données vectorielle locale pour l'historique et le RAG personnel.
- Open MMPA manque peut-être de certaines capacités et intégrations multimodales, mais celles-ci sont toutes planifiées
- Open MMPA est open source
L'échafaudage initial du code source de l'application a été généré par la Very Good CLI ?
