Ваш помощник в области генеративного искусственного интеллекта: открытый мультимодальный персональный помощник
Раскройте возможности генеративного искусственного интеллекта на своих устройствах
Забудьте о неуклюжих значках искусственного интеллекта! Ваш смартфон или умные часы уже потенциально могут стать вашим личным источником искусственного интеллекта. Этот проект с открытым исходным кодом использует всю мощь генеративного искусственного интеллекта, мультимодальных возможностей и RAG (восстановительная дополненная генерация), чтобы превратить ваши существующие устройства в интеллектуальных компаньонов.
Ключевые особенности:
- Мультиплатформенность : испытайте бесперебойную поддержку искусственного интеллекта на iOS и Android благодаря универсальности Flutter.
- Владение голосом : легко общайтесь с помощью встроенного Android STT/TTS или разблокируйте еще больше языков с помощью расширенного распознавания речи Google Chirp.
- Персонализировано для вас : ваш ИИ запоминает ваши предпочтения и прошлые разговоры, предоставляя индивидуальные рекомендации и помощь с помощью технологии RAG на устройстве.
- Универсальные режимы :
- Естественный голосовой чат : участвуйте в динамичных разговорах, как с другом.
- Режим перевода . Преодолейте языковые барьеры с помощью перевода в реальном времени с помощью Chirp.
- Мультимодальное исследование : задавайте вопросы обо всем, что видите через камеру, открывая новое измерение взаимодействия.
Расширенные возможности:
- Используйте модели Gemini 1.5 Flash и Pro : испытайте передовые возможности понимания и создания языков искусственного интеллекта.
- Используйте мощные инструменты :
- Ответы с учетом местоположения
- Прогнозы погоды в реальном времени
- Информация о восходе и заходе солнца
- Веб-исследования через Tavily (требуется ключ API)
- Актуальные курсы обмена фиатных и криптовалютных валют.
На горизонте:
- Поиск в Интернете с помощью DuckDuckGo Assist
- Бизнес-аналитика с Alpha Vantage (требуется ключ API)
- Поиск текста песни
Будущие возможности:
- Расширьте набор инструментов вашего ИИ за счет интеграции SerpAPI
- Интеграция календаря
- Интеграция электронной почты
- Интеграция SMS/текстовых сообщений, звонков и контактов
Присоединяйтесь к революции искусственного интеллекта:
Превратите свое мобильное устройство в персонализированного помощника с искусственным интеллектом. Внесите свой вклад в этот проект с открытым исходным кодом и сформируйте будущее искусственного интеллекта на своих условиях!
Помните : ключи API для Tavily и Alpha Vantage необходимы для доступа к их соответствующим функциям.
Давайте вместе построим более разумное и взаимосвязанное будущее!
Примечания:
- Демонстрационное видео приложения: https://www.youtube.com/watch?v=kCtHH6XG5as.
- Этот проект был представлен на конкурс разработчиков Gemini API.
- Соответствующие облачные функции, составляющие серверную часть, можно найти в организации Open Multi-Modal Personal Assistant. После завершения судейства этот репозиторий также будет переименован и перенесен туда.
- Состояние репозитория на момент отправки было последним коммитом 12 августа перед тем, как я записал демо: https://github.com/CsabaConsulting/InspectorGadgetApp/tree/b7de11fa3d9122fd96b85e7c708802b371bb15c9
- После Made By Google '24 кто-то может сравнить Open MMPA с Gemini Live, однако мы должны отметить, что:
- Открытый MMPA нацелен на встраиваемые форм-факторы
- Open MMPA также включает локальную базу данных векторов для истории и личных RAG.
- В Open MMPA могут отсутствовать некоторые мультимодальные возможности и интеграции, но все это запланировано.
- Открытый MMPA имеет открытый исходный код
Первоначальный исходный код приложения был создан с помощью Very Good CLI?
