AyaMCooking ?

Bhavnick Minhas* ¹ , Sree Harsha Nelaturu* ¹
¹ ML-Effizienzgruppe, Cohere For AI Community (*gleicher Beitrag)

? AyaMCooking ist ein mehrsprachiger Voice-to-Voice-RAG-Agent, der in 10 Sprachen einen perfekten Sous-Chef für Ihre Küche macht!

In diesem Notizbuch demonstrieren wir nur eine der zahlreichen Funktionen, die ein wirklich mehrsprachiger Workflow ermöglicht, wie er von Aya Expanse von Cohere For AI und Cohere ermöglicht wird.

?️ Was kann AyaMcooking?

AyaMCooking ist ein vielseitiges Tool, das Sie bei verschiedenen kulinarischen Aufgaben unterstützen kann. Hier sind einige der Dinge, die es tun kann:

? Rezepterstellung : AyaMcooking kann Rezepte basierend auf den Zutaten erstellen, die Sie zur Hand haben, und stellt so sicher, dass Sie mit dem, was Sie haben, immer etwas Leckeres kochen können.
Mehrsprachige Unterstützung : Es werden bis zu 10 Sprachen unterstützt, sodass Sie auf Rezepte aus verschiedenen Küchen auf der ganzen Welt zugreifen und diese verstehen können.
?️ Voice-to-Voice-Interaktion : Sie können mit AyaMCooking über Sprachbefehle interagieren, sodass Sie es beim Kochen ganz einfach verwenden können, ohne Ihr Gerät berühren zu müssen.
Zutatenersatz : AyaMcooking kann Ersatzstoffe für Zutaten vorschlagen, die Sie möglicherweise nicht haben, und hilft Ihnen so, Rezepte an die verfügbaren Zutaten anzupassen.
? Nährwertinformationen : Es kann Nährwertinformationen für Rezepte bereitstellen und Ihnen dabei helfen, gesündere Entscheidungen zu treffen.
?‍? Kochtipps : AyaMCooking bietet Kochtipps und -tricks, um Ihre Kochkünste zu verbessern und Ihren Kochprozess effizienter zu gestalten.
? Essensplanung : Es kann Ihnen bei der Planung Ihrer Mahlzeiten für die Woche helfen, um eine ausgewogene Ernährung sicherzustellen und Lebensmittelverschwendung zu reduzieren.
? Einkaufslistenerstellung : Basierend auf Ihrem Speiseplan oder ausgewählten Rezepten kann AyaMcooking eine Einkaufsliste für Sie erstellen.
? Ernährungspräferenzen : Es kann Rezepte nach Ernährungspräferenzen oder -beschränkungen filtern, z. B. vegetarisch, vegan, glutenfrei usw.
Schritt-für-Schritt-Anleitungen : AyaMcooking bietet Schritt-für-Schritt-Anleitungen zum Kochen, die es einfach machen, komplexe Gerichte zu befolgen und zuzubereiten.

Mit diesen Funktionen wird AyaMcooking zu einem unverzichtbaren Assistenten in Ihrer Küche, der Ihnen hilft, neue Küchen zu entdecken, Ihre Kochkünste zu verbessern und die Zubereitung von Mahlzeiten bequemer zu gestalten.

? Unterstützte Sprachen

AyaMcooking unterstützt die folgenden Sprachen und ihre jeweiligen Sprachcodes:

Englisch ( en )
Französisch ( fr )
Spanisch ( es )
Deutsch ( de )
Italienisch ( it )
Türkisch ( tr )
Hindi ( hi )
Koreanisch ( ko )
Japanisch ( ja )
Persisch ( fa )

Hinweis: Während Aya Expanse 23 Sprachen unterstützt, unterstützt AyaMCooking nur 10, da andere Komponenten in der Pipeline wie das ASR-Modell, Embedding, Rerank und TTS-Modell unterschiedliche Sprachsammlungen unterstützen. Wir haben versucht, einen guten Überblick über alle diese Modelle und unsere eigenen kulinarischen Vorlieben zu finden, um dieses Set aus 10 Sprachen zu erstellen.

? Methodik

Menschen möchten oft eine lokale Küche probieren, aber die authentischen Rezepte sind oft in der Ursprungssprache verfasst – die Suche nach Zutaten, Ersatzstoffen und anderen Informationen ist eine Herausforderung und schränkt die Kreativität ein.

Wir verwenden zunächst Aya Expanse, um Rezeptkandidaten zu generieren, die dann auch zur Generierung von Rezepten verwendet werden. Daraus entsteht unser Datensatz, den wir zu einem späteren Zeitpunkt in unseren Index einbetten.
Anstatt eine Suchanfrage einzugeben und ein Rezept zu lesen, würde man es oft vorziehen, wenn es auf Audio basiert – es ist einfach einfacher, mit allen Zutaten zu folgen. Deshalb bauen wir einen Workflow auf, in dem Sie mit Aya sprechen und eine Antwort in Audioform zurückerhalten können.
Die Pipeline verwendet Whisper, um aufgezeichnete Audiodaten aus einem breiten Spektrum zu transkribieren. Die in der Originalsprache transkribierte Textfrage wird dann durch ein mehrsprachiges RAG-System geleitet, in dem der Index und die Einbettungen mit Cohere-multilingual-v3-Embed erstellt werden. Zur Verfeinerung verwenden wir Cohere ReRank3.
Der aus dem RAG extrahierte Kontext und unsere Eingabeaufforderung werden mit dem Sprachcode kombiniert und durch Aya Expanse geleitet, um eine Textantwort zu generieren. Dies wird dann verwendet, um mithilfe von Coqui TTS eine Sprachantwort in der Sprache der Benutzeranfrage zu generieren.
Die mehrsprachigen Funktionen ermöglichen es uns, Rezepte und Informationen aus verschiedenen anderen Sprachen zu extrahieren und Kontext bereitzustellen, was zu sehr kreativen Rezeptvorschlägen führen kann, die immer noch auf der lokalen Kultur und dem lokalen Geschmack basieren.

Das Notizbuch ist dokumentiert und das Einzige, was Sie von Ihrer Seite brauchen, ist ein wenig Kreativität, Glück (die Hoffnung ist, dass die Audioaufzeichnung, die GPU-VM auf Colab usw. leicht verfügbar sind) und ein Cohere-API-Schlüssel.

Viel Spaß beim Nutzen der Möglichkeiten von Open Source!

Harsha | Bhavnick

? Rezeptdatensatz

Wir stellen einen Standarddatensatz mit 100 Rezepten aus den 10 Sprachen und Kulturen bereit, die mit Aya Expanse generiert wurden. Diese Rezepte sind auf Hugging Face verfügbar.

Hier ist ein verkürztes Beispiel aus dem Datensatz:

{
    "language" : " en " , 
    "recipe" : " # Fish and Chips ## Description: A classic British dish consisting of battered and fried fish, typically cod or haddock, served with thick-cut chips (French fries). This comforting meal is often accompanied by malt vinegar, lemon wedges, and a side of mushy peas. ## Instructions: 1. **Prepare the Fish:** - Cut the fish fillets into serving-size pieces. You'll need about 4-6 pieces per person, depending on appetite. - Pat the fish dry with paper towels. This step is crucial for achieving a crispy batter. ... " 
}

Anerkennung

Wir möchten uns ganz herzlich beim gesamten Aya Expanse -Team von Cohere for AI und Cohere für die Ermöglichung dieses Notebooks und für die Unterstützung während des gesamten Entwicklungsprozesses bedanken. Darüber hinaus danken wir Cohere für die Bereitstellung der API-Credits, die dieses Projekt möglich gemacht haben.

Zitat

 @software { AyaMCooking ,
    title        = { AyaMCooking: A Voice-to-Voice Multilingual RAG Bot for Cooking } ,
    author       = { Minhas, Bhavnick and Nelaturu, Sree Harsha } ,
    year         = 2024 ,
    month        = 10 ,
    version      = { 0.0.1 }
}