AyaMCooking
1.0.0
Bhavnick Minhas* 1 , Sree Harsha Nelaturu* 1
1 Grupo de Eficiência de ML, Cohere For AI Community (*contribuiu igualmente)
? AyaMCooking é um agente RAG multilíngue de voz para voz que é um sous chef perfeito para sua cozinha, em 10 idiomas!
Neste notebook, demonstramos apenas um dos numerosos recursos habilitados por um fluxo de trabalho verdadeiramente multilíngue, como aquele habilitado pelo Aya Expanse da Cohere For AI e Cohere.
AyaMCooking é uma ferramenta versátil que pode auxiliá-lo em diversas tarefas culinárias. Aqui estão algumas das coisas que ele pode fazer:
? Geração de receitas : AyaMCooking pode gerar receitas com base nos ingredientes que você tem em mãos, garantindo que você sempre possa cozinhar algo delicioso com o que tem.
Suporte Multilíngue : Suporta até 10 idiomas, permitindo acessar e entender receitas de diferentes cozinhas do mundo.
?️ Interação voz a voz : você pode interagir com o AyaMCooking usando comandos de voz, facilitando o uso enquanto cozinha, sem a necessidade de tocar no dispositivo.
Substituição de ingredientes : AyaMCooking pode sugerir substitutos para ingredientes que você talvez não tenha, ajudando você a adaptar as receitas ao que está disponível.
? Informações Nutricionais : Pode fornecer informações nutricionais para receitas, ajudando você a fazer escolhas mais saudáveis.
?? Dicas de culinária : AyaMCooking oferece dicas e truques de culinária para melhorar suas habilidades culinárias e tornar seu processo de cozimento mais eficiente.
? Planejamento de refeições : pode te ajudar a planejar as refeições da semana, garantindo uma alimentação balanceada e reduzindo o desperdício de alimentos.
? Geração de lista de compras : com base no seu plano de refeições ou receitas selecionadas, AyaMCooking pode gerar uma lista de compras para você.
? Preferências Dietéticas : Pode filtrar receitas com base em preferências ou restrições alimentares, como vegetariano, vegano, sem glúten, etc.
Instruções passo a passo : AyaMCooking fornece instruções de cozimento passo a passo, facilitando o acompanhamento e o preparo de pratos complexos.
Com esses recursos, AyaMCooking se torna um assistente indispensável em sua cozinha, ajudando você a explorar novas cozinhas, melhorar suas habilidades culinárias e tornar o preparo de refeições mais conveniente.
AyaMCooking suporta os seguintes idiomas e seus respectivos códigos de idioma:
en )fr )es )de )it )tr )hi )ko )ja )fa )Nota: Embora Aya Expanse suporte 23 idiomas, AyaMCooking suporta apenas 10, uma vez que outros componentes no pipeline, como o modelo ASR, incorporação, reclassificação e modelo TTS, suportam diferentes coleções de idiomas. Tentamos encontrar uma boa interseção para todos esses modelos e nossas próprias preferências culinárias para criar este conjunto de 10 idiomas.
Muitas vezes as pessoas gostariam de experimentar a culinária local, mas as receitas autênticas estão muitas vezes na língua de origem – encontrar os ingredientes, substitutos e outras informações é um desafio e limita a criatividade.
Primeiro usamos o Aya Expanse para gerar candidatos a receitas, que também são usados para gerar receitas. Isso forma nosso conjunto de dados, que posteriormente incorporamos em um estágio posterior para formar nosso índice.
Muitas vezes, em vez de digitar uma consulta e ler uma receita, você prefere que ela seja baseada em áudio – é apenas mais fácil de seguir com todos os ingredientes disponíveis. Portanto, construímos um fluxo de trabalho onde você pode falar com Aya e obter uma resposta em formato de áudio.
O pipeline usa o Whisper para transcrever áudio gravado em uma ampla variedade. A questão textual transcrita no idioma original é então passada por um sistema RAG multilíngue onde o índice e os embeddings são construídos usando Cohere-multilingual-v3-Embed, e para refinamento, usamos Cohere ReRank3.
O contexto extraído do RAG e nosso prompt são combinados com o código do idioma e passados pelo Aya Expanse para gerar uma resposta textual. Isso é então usado para gerar uma resposta de voz usando Coqui TTS no idioma da consulta do usuário.
As capacidades multilingues permitem-nos extrair receitas e informações de vários outros idiomas e fornecer contexto, o que pode levar a algumas sugestões de receitas muito criativas, ainda baseadas na cultura e no gosto local.
O notebook está documentado e a única coisa que você precisa é de um pouco de criatividade, sorte (a esperança é que a gravação de áudio, GPU VM no Colab, etc., estejam prontamente disponíveis) e uma chave de API Cohere.
Divirta-se aproveitando o poder do código aberto!
Harsha | Bhavnick
Fornecemos um conjunto de dados padrão contendo 100 receitas de 10 idiomas e culturas que foram geradas usando Aya Expanse. Essas receitas estão disponíveis no Hugging Face.
Aqui está uma amostra truncada do conjunto de dados:
{
"language" : " en " ,
"recipe" : " # Fish and Chips ## Description: A classic British dish consisting of battered and fried fish, typically cod or haddock, served with thick-cut chips (French fries). This comforting meal is often accompanied by malt vinegar, lemon wedges, and a side of mushy peas. ## Instructions: 1. **Prepare the Fish:** - Cut the fish fillets into serving-size pieces. You'll need about 4-6 pieces per person, depending on appetite. - Pat the fish dry with paper towels. This step is crucial for achieving a crispy batter. ... "
}Gostaríamos de agradecer sinceramente a toda a equipe Aya Expanse da Cohere for AI e Cohere por tornar este notebook possível e por seu apoio durante todo o processo de desenvolvimento. Além disso, somos gratos à Cohere por fornecer os créditos da API que tornaram este projeto viável.
@software { AyaMCooking ,
title = { AyaMCooking: A Voice-to-Voice Multilingual RAG Bot for Cooking } ,
author = { Minhas, Bhavnick and Nelaturu, Sree Harsha } ,
year = 2024 ,
month = 10 ,
version = { 0.0.1 }
}
