綾煮飯？

巴夫尼克·米哈斯* ¹ 、斯里·哈沙·內拉圖魯* ¹
¹ ML 效率小組，Cohere For AI Community（*同等貢獻）

？ AyaMCooking 是一款語音到語音多語言 RAG 代理，可為您的廚房打造完美的副主廚，支援 10 種語言！

在本筆記本中，我們僅示範了真正的多語言工作流程支援的眾多功能之一，例如 Cohere For AI 和 Cohere 的 Aya Expanse 所支援的功能。

?️ AyaMCooking 可以做什麼？

AyaMCooking 是一款多功能工具，可協助您完成各種烹飪任務。以下是它可以做的一些事情：

？食譜產生：AyaMCooking 可以根據您手邊的食材產生食譜，確保您始終可以用您擁有的食材烹調出美味的食物。
多語言支援：它支援多達10種語言，讓您可以存取和了解世界各地不同美食的食譜。
️ 語音互動：您可以使用語音指令與 AyaMCooking 交互，讓烹飪時無需觸碰裝置即可輕鬆使用。
原料替代：AyaMCooking 可以建議您可能沒有的原料的替代品，幫助您根據可用的原料調整食譜。
？營養資訊：它可以提供食譜的營養信息，幫助您做出更健康的選擇。
?‍?烹飪技巧：AyaMCooking 提供烹飪技巧和竅門，以提高您的烹飪技能並使您的烹飪過程更加高效。
？飲食計畫：它可以幫助您規劃一週的膳食，確保您飲食均衡並減少食物浪費。
？購物清單產生：根據您的膳食計劃或選定的食譜，AyaMCooking 可以為您產生購物清單。
？飲食偏好：它可以根據飲食偏好或限制過濾食譜，例如素食、純素食、無麩質等。
逐步說明：AyaMCooking 提供逐步烹飪說明，讓您輕鬆遵循並烹飪複雜的菜餚。

憑藉這些功能，AyaMCooking 成為您廚房中不可或缺的助手，幫助您探索新菜系，提升烹飪技巧，讓備餐變得更方便。

？支援的語言

AyaMCooking 支援以下語言及其各自的語言代碼：

英語( en )
法文( fr )
西班牙語( es )
德文( de )
義大利語（ it ）
土耳其語( tr )
印地語（ hi ）
韓語（ ko ）
日文（ ja ）
波斯語( fa )

注意：雖然 Aya Expanse 支援 23 種語言，但 AyaMCooking 僅支援 10 種，因為管道中的其他元件（如 ASR 模型、嵌入、Rerank 和 TTS 模型）支援不同的語言集合。我們試圖為所有這些模型和我們自己的烹飪偏好找到一個好的迭代，以創建這組 10 種語言。

？方法論

人們常常想嘗試當地美食，但正宗的食譜通常都是用原產地語言——尋找食材、替代品和其他資訊具有挑戰性，並且限制了創造力。

我們首先使用 Aya Expanse 產生候選食譜，然後也使用它們來產生食譜。這形成了我們的數據集，我們隨後將其嵌入到稍後階段以形成我們的索引。
通常，您會喜歡基於音訊的內容，而不是輸入查詢和閱讀食譜，這樣更容易理解周圍的所有成分。因此，我們建立了一個工作流程，您可以在其中與 Aya 交談並以音訊形式獲得回應。
該管道使用 Whisper 來轉錄各種錄製的音訊。然後，用原始語言轉錄的文本問題會通過多語言 RAG 系統，其中使用 Cohere-multilingual-v3-Embed 建立索引和嵌入，並使用 Cohere ReRank3 進行細化。
從 RAG 中提取的上下文以及我們的提示與語言代碼相結合，並透過 Aya Expanse 傳遞以產生文字回應。然後使用 Coqui TTS 以使用者查詢的語言產生語音回應。
多語言功能使我們能夠從各種其他語言中提取食譜和資訊並提供上下文，這可以產生一些非常有創意的食譜建議，這些建議仍然植根於當地文化和口味。

這本筆記本有文件記錄，您唯一需要的就是一點創意、運氣（希望音訊錄製、Colab 上的 GPU VM 等隨時可用）和 Cohere API 金鑰。

享受利用開源力量的樂趣！

戒日 |巴夫尼克

？食譜資料集

我們提供了一個預設資料集，其中包含使用 Aya Expanse 產生的 10 種語言和文化的 100 個食譜。這些食譜可以在 Hugging Face 上找到。

這是資料集中的截斷樣本：

{
    "language" : " en " , 
    "recipe" : " # Fish and Chips ## Description: A classic British dish consisting of battered and fried fish, typically cod or haddock, served with thick-cut chips (French fries). This comforting meal is often accompanied by malt vinegar, lemon wedges, and a side of mushy peas. ## Instructions: 1. **Prepare the Fish:** - Cut the fish fillets into serving-size pieces. You'll need about 4-6 pieces per person, depending on appetite. - Pat the fish dry with paper towels. This step is crucial for achieving a crispy batter. ... " 
}

致謝

我們衷心感謝來自Cohere for AI和Cohere的整個Aya Expanse團隊，感謝他們讓這本筆電成為可能，並感謝他們在整個開發過程中提供的支援。此外，我們感謝 Cohere 提供 API 積分，使專案變得可行。

引文

 @software { AyaMCooking ,
    title        = { AyaMCooking: A Voice-to-Voice Multilingual RAG Bot for Cooking } ,
    author       = { Minhas, Bhavnick and Nelaturu, Sree Harsha } ,
    year         = 2024 ,
    month        = 10 ,
    version      = { 0.0.1 }
}