AyaMCooking
1.0.0
Bhavnick Minhas* 1 , Sree Harsha Nelaturu* 1
1 grupo de eficiencia de aprendizaje automático, comunidad Cohere For AI (*contribuyó por igual)
? AyaMCooking es un agente RAG multilingüe de voz a voz que es el sous chef perfecto para tu cocina, ¡en 10 idiomas!
En este cuaderno, demostramos solo una de las numerosas capacidades habilitadas por un flujo de trabajo verdaderamente multilingüe como el que permite Aya Expanse de Cohere For AI y Cohere.
AyaMCooking es una herramienta versátil que puede ayudarte en diversas tareas culinarias. Estas son algunas de las cosas que puede hacer:
? Generación de recetas : AyaMCooking puede generar recetas basadas en los ingredientes que tienes a mano, asegurando que siempre puedas cocinar algo delicioso con lo que tienes.
Soporte multilingüe : Admite hasta 10 idiomas, lo que le permite acceder y comprender recetas de diferentes cocinas de todo el mundo.
?️ Interacción de voz a voz : puede interactuar con AyaMCooking mediante comandos de voz, lo que facilita su uso mientras cocina sin necesidad de tocar su dispositivo.
Sustitución de ingredientes : AyaMCooking puede sugerir sustitutos para ingredientes que quizás no tengas, ayudándote a adaptar las recetas a lo que está disponible.
? Información nutricional : puede proporcionar información nutricional para recetas, ayudándole a tomar decisiones más saludables.
?? Consejos de cocina : AyaMCooking ofrece consejos y trucos de cocina para mejorar sus habilidades culinarias y hacer que su proceso de cocción sea más eficiente.
? Planificación de comidas : puede ayudarle a planificar sus comidas para la semana, asegurando una dieta equilibrada y reduciendo el desperdicio de alimentos.
? Generación de lista de compras : según su plan de comidas o recetas seleccionadas, AyaMCooking puede generar una lista de compras para usted.
? Preferencias dietéticas : puede filtrar recetas según preferencias o restricciones dietéticas, como vegetarianas, veganas, sin gluten, etc.
Instrucciones paso a paso : AyaMCooking proporciona instrucciones de cocción paso a paso, lo que facilita seguirlas y cocinar platos complejos.
Con estas capacidades, AyaMCooking se convierte en un asistente indispensable en su cocina, ayudándolo a explorar nuevas cocinas, mejorar sus habilidades culinarias y hacer que la preparación de comidas sea más conveniente.
AyaMCooking admite los siguientes idiomas y sus respectivos códigos de idioma:
en )fr )es )de )it )tr )hi )ko )ja )fa )Nota: Si bien Aya Expanse admite 23 idiomas, AyaMCooking solo admite 10, ya que otros componentes en proceso, como el modelo ASR, Embedding, Rerank y TTS, admiten diferentes colecciones de idiomas. Intentamos encontrar una buena intersección para todos estos modelos y nuestras propias preferencias culinarias para crear este conjunto de 10 idiomas.
A la gente a menudo le gustaría probar la cocina local, pero las recetas auténticas suelen estar en el idioma de origen: encontrar los ingredientes, sustitutos y otra información es un desafío y limita la creatividad.
Primero usamos Aya Expanse para generar recetas candidatas, que luego se usan para generar recetas también. Esto forma nuestro conjunto de datos, que posteriormente incorporamos en una etapa posterior para formar nuestro índice.
A menudo, en lugar de escribir una consulta y leer una receta, preferirías que estuviera basada en audio: es más fácil de seguir con todos los ingredientes disponibles. Por lo tanto, creamos un flujo de trabajo en el que puedes hablar con Aya y obtener una respuesta en forma de audio.
El canal utiliza Whisper para transcribir audio grabado en una amplia variedad. La pregunta textual transcrita en el idioma original luego pasa a través de un sistema RAG multilingüe donde el índice y las incrustaciones se construyen usando Cohere-multilingual-v3-Embed y, para refinarlo, usamos Cohere ReRank3.
El contexto extraído del RAG y nuestro mensaje se combinan con el código del idioma y se pasan a través de Aya Expanse para generar una respuesta textual. Luego se utiliza para generar una respuesta de voz utilizando Coqui TTS en el idioma de la consulta del usuario.
Las capacidades multilingües nos permiten extraer recetas e información de varios otros idiomas y proporcionar contexto, lo que puede conducir a algunas sugerencias de recetas muy creativas que aún se basan en la cultura y el gusto locales.
El cuaderno está documentado y lo único que necesitará de su parte es un poco de creatividad, suerte (la esperanza es que la grabación de audio, la GPU VM en Colab, etc., estén disponibles) y una clave API de Cohere.
¡Diviértete aprovechando el poder del código abierto!
harsha | bhavnick
Proporcionamos un conjunto de datos predeterminado que contiene 100 recetas de los 10 idiomas y culturas que se generaron con Aya Expanse. Estas recetas están disponibles en Hugging Face.
Aquí hay una muestra truncada del conjunto de datos:
{
"language" : " en " ,
"recipe" : " # Fish and Chips ## Description: A classic British dish consisting of battered and fried fish, typically cod or haddock, served with thick-cut chips (French fries). This comforting meal is often accompanied by malt vinegar, lemon wedges, and a side of mushy peas. ## Instructions: 1. **Prepare the Fish:** - Cut the fish fillets into serving-size pieces. You'll need about 4-6 pieces per person, depending on appetite. - Pat the fish dry with paper towels. This step is crucial for achieving a crispy batter. ... "
}Nos gustaría extender nuestro más sincero agradecimiento a todo el equipo de Aya Expanse de Cohere for AI y Cohere por hacer posible este portátil y por su apoyo durante todo el proceso de desarrollo. Además, agradecemos a Cohere por proporcionar los créditos API que hicieron viable este proyecto.
@software { AyaMCooking ,
title = { AyaMCooking: A Voice-to-Voice Multilingual RAG Bot for Cooking } ,
author = { Minhas, Bhavnick and Nelaturu, Sree Harsha } ,
year = 2024 ,
month = 10 ,
version = { 0.0.1 }
}
