생성적 AI 동반자: 개방형 다중 모드 개인 비서
귀하의 장치에서 생성 AI의 힘을 발휘하십시오
투박한 AI 핀은 잊어버리세요! 귀하의 스마트폰이나 스마트워치는 이미 귀하의 개인용 AI 강국이 될 수 있는 잠재력을 가지고 있습니다. 이 오픈 소스 프로젝트는 생성 AI, 다중 모드 기능 및 RAG(Retrieval Augmented Generation)의 모든 기능을 활용하여 기존 장치를 지능형 동반자로 전환합니다.
주요 특징:
- 다중 플랫폼 : Flutter의 다재다능함 덕분에 iOS 및 Android에서 원활한 AI 지원을 경험해 보세요.
- 음성 숙달 : 기본 Android STT/TTS로 쉽게 통신하거나 Google Chirp의 고급 음성 인식으로 더 많은 언어를 잠금 해제하세요.
- 귀하에게 맞춤화됨 : 귀하의 AI는 귀하의 선호도와 과거 대화를 기억하여 온디바이스 RAG 기술을 통해 맞춤형 추천 및 지원을 제공합니다.
- 다양한 모드 :
- 자연스러운 음성채팅 : 친구와 같이 역동적인 대화를 나눠보세요.
- 번역 모드 : Chirp가 제공하는 실시간 번역으로 언어 장벽을 무너뜨립니다.
- 다중 모드 탐색 : 카메라를 통해 보는 모든 것에 대해 질문하여 새로운 차원의 상호 작용을 열어보세요.
고급 기능:
- Gemini 1.5 Flash & Pro 모델 활용 : 최첨단 AI 언어 이해 및 생성을 경험해 보세요.
- 강력한 도구 활용 :
- 위치 인식 응답
- 실시간 일기예보
- 일출과 일몰 정보
- Tavily를 통한 웹 조사 (API 키 필요)
- 최신 법정화폐 및 암호화폐 환율
지평선에서:
- DuckDuckGo Assist를 통한 웹 검색
- Alpha Vantage를 통한 비즈니스 통찰력(API 키 필요)
- 노래 가사 조회
미래의 가능성:
- SerpAPI 통합으로 AI 툴킷 확장
- 캘린더 통합
- 이메일 통합
- SMS/문자 메시지, 통화, 연락처 통합
AI 혁명에 동참하세요:
모바일 장치를 맞춤형 AI 비서로 바꿔보세요. 이 오픈 소스 프로젝트에 기여하고 원하는 방식으로 AI의 미래를 만들어보세요!
기억하세요 : 각각의 기능에 액세스하려면 Tavily 및 Alpha Vantage용 API 키가 필요합니다.
더욱 스마트하고 연결된 미래를 함께 만들어 갑시다!
참고:
- 앱의 데모 비디오: https://www.youtube.com/watch?v=kCtHH6XG5as
- 이 프로젝트는 Gemini API 개발자 대회에 제출되었습니다.
- Open Multi-Modal Personal Assistant 조직에서 백엔드를 구성하는 관련 클라우드 기능을 찾아보세요. 심사가 끝나면 이 저장소는 결국 이름이 변경되어 해당 저장소로 전송됩니다.
- 제출 당시 저장소 상태는 데모를 녹음하기 전인 8월 12일의 마지막 커밋이었습니다: https://github.com/CsabaConsulting/InspectorGadgetApp/tree/b7de11fa3d9122fd96b85e7c708802b371bb15c9
- Made By Google '24 이후 누군가 Open MMPA를 Gemini Live와 비교할 수 있지만 다음 사항에 유의해야 합니다.
- 개방형 MMPA는 내장형 폼 팩터를 목표로 합니다.
- Open MMPA는 기록 및 개인 RAG를 위한 로컬 벡터 데이터베이스도 제공합니다.
- 개방형 MMPA에는 일부 다중 모드 기능 및 통합이 부족할 수 있지만 모두 계획되어 있습니다.
- 오픈 MMPA는 오픈 소스입니다.
초기 애플리케이션 소스 코드 스캐폴드는 매우 좋음 CLI에 의해 생성되었습니다.
