AyaMCooking
1.0.0
바브닉 민하스* 1 , 스리 하르샤 넬라투루* 1
1 ML 효율성 그룹, Cohere For AI 커뮤니티(*동일하게 기여)
? AyaMCooking은 10개 언어로 주방에 완벽한 수셰프를 만들어주는 음성 대 음성 다국어 RAG 에이전트입니다!
이 노트북에서는 Cohere For AI 및 Cohere의 Aya Expanse를 통해 지원되는 진정한 다국어 워크플로를 통해 지원되는 수많은 기능 중 하나를 시연합니다.
AyaMCooking은 다양한 요리 작업에 도움을 줄 수 있는 다용도 도구입니다. 수행할 수 있는 작업은 다음과 같습니다.
? 레시피 생성 : AyaMCooking은 보유하고 있는 재료를 기반으로 레시피를 생성할 수 있으므로 보유하고 있는 재료로 항상 맛있는 것을 요리할 수 있습니다.
다국어 지원 : 최대 10개 언어를 지원하므로 전 세계 다양한 요리의 레시피에 액세스하고 이해할 수 있습니다.
?️ 음성 대 음성 상호 작용 : 음성 명령을 사용하여 AyaMcooking과 상호 작용할 수 있으므로 기기를 만지지 않고도 요리하는 동안 쉽게 사용할 수 있습니다.
재료 대체 : AyaMCooking은 귀하가 가지고 있지 않은 재료에 대한 대체품을 제안하여 사용 가능한 재료에 맞게 레시피를 조정할 수 있도록 도와줍니다.
? 영양정보 : 레시피에 대한 영양정보를 제공하여 더욱 건강한 선택을 할 수 있도록 도와줍니다.
?? 요리 팁 : AyaMCooking은 요리 기술을 향상시키고 요리 과정을 보다 효율적으로 만들기 위한 요리 팁과 요령을 제공합니다.
? 식사 계획 : 일주일 동안의 식사 계획을 세워 균형 잡힌 식단을 유지하고 음식물 쓰레기를 줄이는 데 도움이 됩니다.
? 쇼핑 목록 생성 : AyaMCooking은 식사 계획이나 선택한 레시피를 기반으로 쇼핑 목록을 생성할 수 있습니다.
? 식이 선호도 : 채식주의자, 비건, 글루텐 프리 등 식이 선호도나 제한 사항에 따라 레시피를 필터링할 수 있습니다.
단계별 지침 : AyaMCooking은 단계별 요리 지침을 제공하므로 복잡한 요리를 쉽게 따라하고 요리할 수 있습니다.
이러한 기능을 통해 AyaMCooking은 주방에서 없어서는 안 될 보조자가 되어 새로운 요리를 탐색하고, 요리 기술을 향상시키며, 식사 준비를 더욱 편리하게 만들 수 있도록 도와줍니다.
AyaMCooking은 다음 언어와 해당 언어 코드를 지원합니다.
en )fr )es )de )it )tr )hi )ko )ja )fa )참고: Aya Expanse는 23개의 언어를 지원하는 반면, ASR 모델, Embedding, Rerank 및 TTS 모델과 같은 파이프라인의 다른 구성 요소는 다양한 언어 컬렉션을 지원하므로 AyaMCooking은 10개만 지원합니다. 우리는 이 10개 언어 세트를 만들기 위해 이러한 모든 모델과 우리 자신의 요리 선호도에 대한 좋은 교차점을 찾으려고 노력했습니다.
사람들은 종종 현지 요리를 맛보고 싶어하지만 정통 요리법은 원산지 언어로 되어 있는 경우가 많습니다. 재료, 대체품 및 기타 정보를 찾는 것이 어렵고 창의성이 제한됩니다.
먼저 Aya Expanse를 사용하여 레시피 후보를 생성한 다음 이를 사용하여 레시피를 생성합니다. 이는 데이터 세트를 형성하며 이후 단계에서 색인을 형성하기 위해 포함됩니다.
쿼리를 입력하고 레시피를 읽는 것보다 오디오 기반의 내용을 선호하는 경우가 많습니다. 주변의 모든 재료를 따라가는 것이 더 쉽습니다. 따라서 우리는 Aya와 대화하고 오디오 형식으로 응답을 받을 수 있는 워크플로를 구축했습니다.
파이프라인은 Whisper를 사용하여 녹음된 오디오를 다양한 방식으로 전사합니다. 그런 다음 원래 언어로 전사된 텍스트 질문은 Cohere-multilingual-v3-Embed를 사용하여 인덱스와 임베딩이 구성되는 다국어 RAG 시스템을 통과하고 개선을 위해 Cohere ReRank3를 사용합니다.
RAG에서 추출된 컨텍스트와 프롬프트는 언어 코드와 결합되어 Aya Expanse를 통해 전달되어 텍스트 응답을 생성합니다. 그런 다음 Coqui TTS를 사용하여 사용자 쿼리 언어로 음성 응답을 생성하는 데 사용됩니다.
다국어 기능을 통해 다양한 다른 언어에서 레시피와 정보를 추출하고 맥락을 제공할 수 있으며, 이는 여전히 현지 문화와 취향에 기반을 둔 매우 창의적인 레시피 제안으로 이어질 수 있습니다.
노트북은 문서화되어 있으며, 최종적으로 필요한 것은 약간의 창의성, 행운(오디오 녹음, Colab의 GPU VM 등을 쉽게 사용할 수 있기를 바랍니다) 및 Cohere API 키뿐입니다.
오픈소스의 힘을 활용해 즐거운 시간을 보내세요!
하샤 | 바브닉
우리는 Aya Expanse를 사용하여 생성된 10개 언어 및 문화의 100개 레시피가 포함된 기본 데이터세트를 제공합니다. 이 레시피는 Hugging Face에서 확인할 수 있습니다.
다음은 데이터 세트에서 잘린 샘플입니다.
{
"language" : " en " ,
"recipe" : " # Fish and Chips ## Description: A classic British dish consisting of battered and fried fish, typically cod or haddock, served with thick-cut chips (French fries). This comforting meal is often accompanied by malt vinegar, lemon wedges, and a side of mushy peas. ## Instructions: 1. **Prepare the Fish:** - Cut the fish fillets into serving-size pieces. You'll need about 4-6 pieces per person, depending on appetite. - Pat the fish dry with paper towels. This step is crucial for achieving a crispy batter. ... "
}이 노트북을 가능하게 하고 개발 프로세스 전반에 걸쳐 지원을 제공 한 Cohere AI 및 Cohere 의 Aya Expanse 팀 전체에 진심으로 감사드립니다. 또한 이 프로젝트를 실현할 수 있도록 API 크레딧을 제공한 Cohere에 감사드립니다.
@software { AyaMCooking ,
title = { AyaMCooking: A Voice-to-Voice Multilingual RAG Bot for Cooking } ,
author = { Minhas, Bhavnick and Nelaturu, Sree Harsha } ,
year = 2024 ,
month = 10 ,
version = { 0.0.1 }
}
