Ihr generativer KI-Begleiter: Offener multimodaler persönlicher Assistent
Entfesseln Sie die Kraft der generativen KI auf Ihren Geräten
Vergessen Sie klobige KI-Pins! Ihr Smartphone oder Ihre Smartwatch hat bereits das Potenzial, Ihr persönliches KI-Kraftpaket zu sein. Dieses Open-Source-Projekt nutzt die volle Leistungsfähigkeit generativer KI, multimodaler Funktionen und RAG (Retrieval Augmented Generation), um Ihre vorhandenen Geräte in intelligente Begleiter zu verwandeln.
Hauptmerkmale:
- Multiplattform : Erleben Sie dank der Vielseitigkeit von Flutter nahtlose KI-Unterstützung auf iOS und Android.
- Sprachbeherrschung : Kommunizieren Sie mühelos mit nativem Android STT/TTS oder schalten Sie mit der fortschrittlichen Spracherkennung von Google Chirp noch mehr Sprachen frei.
- Auf Sie zugeschnitten : Ihre KI merkt sich Ihre Vorlieben und vergangenen Gespräche und bietet maßgeschneiderte Empfehlungen und Unterstützung durch die RAG-Technologie auf dem Gerät.
- Vielseitige Modi :
- Natürlicher Sprachchat : Nehmen Sie an dynamischen Gesprächen teil, wie Sie es mit einem Freund tun würden.
- Übersetzungsmodus : Überwinden Sie Sprachbarrieren mit der Echtzeitübersetzung von Chirp.
- Multimodale Erkundung : Stellen Sie Fragen zu allem, was Sie durch Ihre Kamera sehen, und eröffnen Sie so eine neue Dimension der Interaktion.
Erweiterte Funktionen:
- Nutzen Sie die Gemini 1.5 Flash- und Pro-Modelle : Erleben Sie modernstes KI-Sprachverständnis und -generierung.
- Nutzen Sie leistungsstarke Tools :
- Standortbezogene Antworten
- Wettervorhersagen in Echtzeit
- Informationen zu Sonnenaufgang und Sonnenuntergang
- Webrecherche über Tavily (API-Schlüssel erforderlich)
- Aktuelle Wechselkurse für Fiat- und Kryptowährungen
Am Horizont:
- Websuche über DuckDuckGo Assist
- Geschäftseinblicke mit Alpha Vantage (API-Schlüssel erforderlich)
- Suche nach Liedtexten
Zukünftige Möglichkeiten:
- Erweitern Sie das Toolkit Ihrer KI mit der SerpAPI-Integration
- Kalenderintegration
- E-Mail-Integration
- Integration von SMS/Textnachrichten, Anrufen und Kontakten
Treten Sie der KI-Revolution bei:
Verwandeln Sie Ihr Mobilgerät in einen personalisierten KI-Assistenten. Tragen Sie zu diesem Open-Source-Projekt bei und gestalten Sie die Zukunft der KI nach Ihren Vorstellungen!
Denken Sie daran : Für den Zugriff auf die jeweiligen Funktionen sind API-Schlüssel für Tavily und Alpha Vantage erforderlich.
Lassen Sie uns gemeinsam eine intelligentere, vernetztere Zukunft aufbauen!
Hinweise:
- Ein Demovideo der App: https://www.youtube.com/watch?v=kCtHH6XG5as
- Dieses Projekt wurde beim Gemini API Developer Competition eingereicht.
- Die zugehörigen Cloud-Funktionen, aus denen das Backend besteht, finden Sie in der Open Multi-Modal Personal Assistant-Organisation. Sobald die Beurteilung abgeschlossen ist, wird dieser Speicher schließlich umbenannt und ebenfalls dorthin übertragen.
- Der Repository-Status zum Zeitpunkt der Einreichung war der letzte Commit am 12. August, bevor ich die Demo aufzeichnete: https://github.com/CsabaConsulting/InspectorGadgetApp/tree/b7de11fa3d9122fd96b85e7c708802b371bb15c9
- Nach Made By Google '24 könnte jemand Open MMPA mit Gemini Live vergleichen, wir müssen jedoch Folgendes beachten:
- Open MMPA zielt auf eingebettete Formfaktoren ab
- Open MMPA verfügt außerdem über eine lokale Vektordatenbank für Verlauf und persönliche RAG
- Offenem MMPA fehlen möglicherweise einige multimodale Funktionen und Integrationen, diese sind jedoch alle geplant
- Open MMPA ist Open Source
Das ursprüngliche Quellcode-Gerüst der Anwendung wurde von der Very Good CLI generiert?
