AyaMCooking
1.0.0
Bhavnick Minhas* 1 , Sree Harsha Nelaturu* 1
1 ML Efficiency Group, Cohere For AI Community (*berkontribusi sama besar)
? AyaMCooking adalah Agen RAG Multibahasa Voice-to-Voice yang menjadi sous chef sempurna untuk dapur Anda, dalam 10 bahasa!
Di notebook ini, kami mendemonstrasikan salah satu dari banyak kemampuan yang dimungkinkan oleh alur kerja multibahasa seperti yang diaktifkan oleh Aya Expanse oleh Cohere For AI dan Cohere.
AyaMCooking adalah alat serbaguna yang dapat membantu Anda dalam berbagai tugas kuliner. Berikut beberapa hal yang dapat dilakukannya:
? Pembuatan Resep : AyaMCooking dapat menghasilkan resep berdasarkan bahan-bahan yang Anda miliki, memastikan Anda selalu dapat memasak sesuatu yang lezat dengan apa yang Anda miliki.
Dukungan Multibahasa : Mendukung hingga 10 bahasa, memungkinkan Anda mengakses dan memahami resep dari berbagai masakan di seluruh dunia.
?️ Interaksi Suara-ke-Suara : Anda dapat berinteraksi dengan AyaMCooking menggunakan perintah suara, sehingga mudah digunakan saat memasak tanpa perlu menyentuh perangkat Anda.
Pergantian Bahan : AyaMCooking dapat menyarankan bahan pengganti yang mungkin tidak Anda miliki, membantu Anda menyesuaikan resep dengan apa yang tersedia.
? Informasi Gizi : Dapat memberikan informasi nutrisi untuk resep, membantu Anda membuat pilihan yang lebih sehat.
?? Tips Memasak : AyamMooking menawarkan tips dan trik memasak untuk meningkatkan keterampilan kuliner Anda dan membuat proses memasak Anda lebih efisien.
? Perencanaan Makan : Ini dapat membantu Anda merencanakan makanan selama seminggu, memastikan Anda memiliki pola makan seimbang dan mengurangi sisa makanan.
? Pembuatan Daftar Belanja : Berdasarkan rencana makan atau resep pilihan Anda, AyaMCooking dapat membuatkan daftar belanjaan untuk Anda.
? Preferensi Diet : Dapat memfilter resep berdasarkan preferensi atau batasan diet, seperti vegetarian, vegan, bebas gluten, dll.
Petunjuk Langkah demi Langkah : AyaMCooking memberikan petunjuk memasak langkah demi langkah, membuatnya mudah untuk diikuti dan memasak hidangan yang rumit.
Dengan kemampuan ini, AyaMCooking menjadi asisten yang sangat diperlukan di dapur Anda, membantu Anda menjelajahi masakan baru, meningkatkan keterampilan memasak, dan membuat persiapan makanan menjadi lebih nyaman.
AyaMCooking mendukung bahasa berikut dan kode bahasanya masing-masing:
en )fr )es )de )it )tr )hi )ko )ja )fa )Catatan: Meskipun Aya Expanse mendukung 23 Bahasa, AyaMCooking hanya mendukung 10 bahasa karena komponen lain dalam pipeline seperti model ASR, Embedding, Rerank, dan model TTS mendukung kumpulan bahasa yang berbeda. Kami mencoba menemukan titik temu yang bagus untuk semua model ini dan preferensi kuliner kami sendiri untuk membuat kumpulan 10 bahasa ini.
Orang sering kali ingin mencoba masakan lokal, namun resep autentiknya sering kali menggunakan bahasa aslinya -- menemukan bahan, bahan pengganti, dan informasi lainnya merupakan tantangan dan membatasi kreativitas.
Pertama-tama kami menggunakan Aya Expanse untuk menghasilkan kandidat resep, yang kemudian digunakan untuk menghasilkan resep juga. Ini membentuk kumpulan data kami, yang kemudian kami sematkan pada tahap selanjutnya untuk membentuk indeks kami.
Seringkali, daripada mengetik pertanyaan dan membaca resep, Anda lebih memilih resep berbasis audio - lebih mudah diikuti dengan semua bahan yang ada. Oleh karena itu, kami membangun alur kerja di mana Anda dapat berbicara dengan Aya dan mendapatkan respons balik dalam bentuk audio.
Pipeline ini menggunakan Whisper untuk mentranskripsikan rekaman audio dalam berbagai variasi. Pertanyaan tekstual yang ditranskripsikan dalam bahasa aslinya kemudian diteruskan melalui sistem RAG Multibahasa di mana indeks dan penyematan dibuat menggunakan Cohere-multilingual-v3-Embed, dan untuk penyempurnaan, kami menggunakan Cohere ReRank3.
Konteks yang diambil dari RAG, dan perintah kami, digabungkan dengan kode bahasa dan diteruskan melalui Aya Expanse untuk menghasilkan respons tekstual. Ini kemudian digunakan untuk menghasilkan respons suara menggunakan Coqui TTS dalam bahasa permintaan pengguna.
Kemampuan multibahasa memungkinkan kami mengekstrak resep dan informasi dari berbagai bahasa lain dan memberikan konteks, yang dapat menghasilkan beberapa saran resep yang sangat kreatif yang masih didasarkan pada budaya dan selera lokal.
Notebook ini didokumentasikan, dan satu-satunya hal yang Anda perlukan hanyalah sedikit kreativitas, keberuntungan (harapannya adalah rekaman audio, VM GPU di Colab, dll., sudah tersedia), dan kunci API Cohere.
Bersenang-senang memanfaatkan kekuatan open source!
Harsa | Bhavnick
Kami menyediakan kumpulan data default yang berisi 100 resep dari 10 bahasa dan budaya yang dihasilkan menggunakan Aya Expanse. Resep-resep ini tersedia di Hugging Face.
Berikut contoh terpotong dari kumpulan data:
{
"language" : " en " ,
"recipe" : " # Fish and Chips ## Description: A classic British dish consisting of battered and fried fish, typically cod or haddock, served with thick-cut chips (French fries). This comforting meal is often accompanied by malt vinegar, lemon wedges, and a side of mushy peas. ## Instructions: 1. **Prepare the Fish:** - Cut the fish fillets into serving-size pieces. You'll need about 4-6 pieces per person, depending on appetite. - Pat the fish dry with paper towels. This step is crucial for achieving a crispy batter. ... "
}Kami ingin mengucapkan terima kasih yang sebesar-besarnya kepada seluruh tim Aya Expanse dari Cohere for AI dan Cohere yang telah mewujudkan notebook ini dan atas dukungan mereka selama proses pengembangan. Selain itu, kami berterima kasih kepada Cohere yang telah memberikan kredit API sehingga proyek ini dapat dilaksanakan.
@software { AyaMCooking ,
title = { AyaMCooking: A Voice-to-Voice Multilingual RAG Bot for Cooking } ,
author = { Minhas, Bhavnick and Nelaturu, Sree Harsha } ,
year = 2024 ,
month = 10 ,
version = { 0.0.1 }
}
