Seu companheiro de IA generativa: assistente pessoal multimodal aberto
Libere o poder da IA generativa em seus dispositivos
Esqueça os pinos de IA desajeitados! Seu smartphone ou smartwatch já tem potencial para ser sua potência pessoal de IA. Este projeto de código aberto aproveita todo o poder da IA generativa, recursos multimodais e RAG (Retrieval Augmented Generation) para transformar seus dispositivos existentes em companheiros inteligentes.
Principais recursos:
- Multiplataforma : experimente assistência de IA contínua em iOS e Android, graças à versatilidade do Flutter.
- Domínio da voz : comunique-se sem esforço com o Android STT/TTS nativo ou desbloqueie ainda mais idiomas com o reconhecimento de fala avançado do Google Chirp.
- Personalizado para você : sua IA lembra suas preferências e conversas anteriores, fornecendo recomendações personalizadas e assistência por meio da tecnologia RAG no dispositivo.
- Modos versáteis :
- Bate-papo por voz natural : participe de conversas dinâmicas como faria com um amigo.
- Modo de tradução : Quebre as barreiras linguísticas com a tradução em tempo real fornecida pelo Chirp.
- Exploração multimodal : faça perguntas sobre tudo o que você vê pela câmera, desbloqueando uma nova dimensão de interação.
Capacidades Avançadas:
- Aproveite os modelos Gemini 1.5 Flash e Pro : experimente compreensão e geração de linguagem de IA de ponta.
- Aproveite ferramentas poderosas :
- Respostas com reconhecimento de localização
- Previsões meteorológicas em tempo real
- Informações sobre nascer e pôr do sol
- Pesquisa na web através do Tavily (chave API necessária)
- Taxas de câmbio fiduciárias e criptográficas atualizadas
No horizonte:
- Pesquisa na web por meio do DuckDuckGo Assist
- Insights de negócios com Alpha Vantage (chave de API necessária)
- Pesquisa de letras de músicas
Possibilidades futuras:
- Expanda o kit de ferramentas de IA com integração SerpAPI
- Integração de calendário
- Integração de e-mail
- Integração de SMS/mensagens de texto, chamadas e contatos
Junte-se à revolução da IA:
Transforme seu dispositivo móvel em um assistente de IA personalizado. Contribua para este projeto de código aberto e molde o futuro da IA nos seus termos!
Lembre-se : as chaves API para Tavily e Alpha Vantage são necessárias para acessar seus respectivos recursos.
Vamos construir juntos um futuro mais inteligente e conectado!
Notas:
- Um vídeo de demonstração do aplicativo: https://www.youtube.com/watch?v=kCtHH6XG5as
- Este projeto foi submetido ao Gemini API Developer Competition.
- Encontre as funções de nuvem relacionadas - que compõem o back-end - na organização Open Multi-Modal Personal Assistant. Assim que o julgamento terminar, este repositório será eventualmente renomeado e transferido para lá também.
- O estado do repositório no momento do envio era o último commit em 12 de agosto antes de gravar a demonstração: https://github.com/CsabaConsulting/InspectorGadgetApp/tree/b7de11fa3d9122fd96b85e7c708802b371bb15c9
- Depois do Made By Google '24 alguém pode comparar o Open MMPA ao Gemini Live, porém devemos observar que:
- Open MMPA tem como alvo fatores de forma incorporados
- Open MMPA também apresenta um banco de dados de vetores local para histórico e RAG pessoal
- O MMPA aberto pode não ter alguns recursos e integrações multimodais, mas todos estão planejados
- Open MMPA é código aberto
A estrutura inicial do código-fonte do aplicativo foi gerada pelo Very Good CLI?
