Su compañero de IA generativa: asistente personal multimodal abierto
Libere el poder de la IA generativa en sus dispositivos
¡Olvídate de los torpes pines de IA! Su teléfono inteligente o reloj inteligente ya tiene el potencial de convertirse en su centro de inteligencia artificial personal. Este proyecto de código abierto aprovecha todo el poder de la IA generativa, las capacidades multimodales y RAG (generación aumentada de recuperación) para convertir sus dispositivos existentes en compañeros inteligentes.
Características clave:
- Multiplataforma : experimente una asistencia fluida de IA en iOS y Android, gracias a la versatilidad de Flutter.
- Dominio de la voz : comuníquese sin esfuerzo con STT/TTS nativo de Android o desbloquee aún más idiomas con el reconocimiento de voz avanzado de Google Chirp.
- Personalizado para usted : su IA recuerda sus preferencias y conversaciones pasadas, brindando recomendaciones y asistencia personalizadas a través de la tecnología RAG en el dispositivo.
- Modos versátiles :
- Chat de voz natural : participe en conversaciones dinámicas como lo haría con un amigo.
- Modo de traducción : rompa las barreras del idioma con la traducción en tiempo real impulsada por Chirp.
- Exploración multimodal : haga preguntas sobre cualquier cosa que vea a través de su cámara, desbloqueando una nueva dimensión de interacción.
Capacidades avanzadas:
- Aproveche los modelos Gemini 1.5 Flash y Pro : experimente la comprensión y generación de lenguajes de IA de vanguardia.
- Aproveche herramientas poderosas :
- Respuestas con reconocimiento de ubicación
- Previsiones meteorológicas en tiempo real
- Información del amanecer y el atardecer
- Investigación web a través de Tavily (se requiere clave API)
- Tipos de cambio actualizados de monedas fiduciarias y criptográficas
En el horizonte:
- Búsqueda web a través de DuckDuckGo Assist
- Información empresarial con Alpha Vantage (se requiere clave API)
- Búsqueda de letras de canciones
Posibilidades futuras:
- Amplíe su conjunto de herramientas de IA con la integración de SerpAPI
- Integración de calendario
- Integración de correo electrónico
- Integración de SMS/mensajes de texto, llamadas y contactos
Únase a la revolución de la IA:
Transforme su dispositivo móvil en un asistente de IA personalizado. ¡Contribuya a este proyecto de código abierto y dé forma al futuro de la IA según sus propios términos!
Recuerde : se requieren claves API para Tavily y Alpha Vantage para acceder a sus respectivas funciones.
¡Construyamos juntos un futuro más inteligente y conectado!
Notas:
- Un vídeo de demostración de la aplicación: https://www.youtube.com/watch?v=kCtHH6XG5as
- Este proyecto fue presentado al Concurso de Desarrolladores de API Gemini.
- Encuentre las funciones de nube relacionadas, que componen el backend, en la organización Open Multi-Modal Personal Assistant. Una vez finalizada la evaluación, este repositorio eventualmente cambiará de nombre y se transferirá allí también.
- El estado del repositorio en el momento del envío fue la última confirmación el 12 de agosto antes de que grabara la demostración: https://github.com/CsabaConsulting/InspectorGadgetApp/tree/b7de11fa3d9122fd96b85e7c708802b371bb15c9
- Después del Made By Google '24, alguien puede comparar Open MMPA con Gemini Live, sin embargo, debemos tener en cuenta que:
- Open MMPA apunta a factores de forma integrados
- Open MMPA también incluye una base de datos de vectores local para historial y RAG personal.
- Es posible que Open MMPA carezca de algunas capacidades e integraciones multimodales, pero todas están planificadas.
- Open MMPA es de código abierto
¿El andamio inicial del código fuente de la aplicación fue generado por Very Good CLI?
