绫做饭？

巴夫尼克·米哈斯* ¹ 、斯里·哈沙·内拉图鲁* ¹
¹ ML 效率小组，Cohere For AI Community（*同等贡献）

？ AyaMCooking 是一款语音到语音多语言 RAG 代理，可以为您的厨房打造完美的副主厨，支持 10 种语言！

在本笔记本中，我们仅演示了真正的多语言工作流程支持的众多功能之一，如 Cohere For AI 和 Cohere 的 Aya Expanse 所支持的功能。

?️ AyaMCooking 可以做什么？

AyaMCooking 是一款多功能工具，可以帮助您完成各种烹饪任务。以下是它可以做的一些事情：

？食谱生成：AyaMCooking 可以根据您手头的食材生成食谱，确保您始终可以用您拥有的食材烹饪出美味的食物。
多语言支持：它支持多达10种语言，让您访问和了解世界各地不同美食的食谱。
️ 语音交互：您可以使用语音命令与 AyaMCooking 交互，让烹饪时无需触摸设备即可轻松使用。
食材替代：AyaMCooking 可以建议您可能没有的食材的替代品，帮助您根据现有食材调整食谱。
？营养信息：它可以提供食谱的营养信息，帮助您做出更健康的选择。
?‍?烹饪技巧：AyaMCooking 提供烹饪技巧和窍门，以提高您的烹饪技能并使您的烹饪过程更加高效。
？膳食计划：它可以帮助您计划一周的膳食，确保您饮食均衡并减少食物浪费。
？购物清单生成：根据您的膳食计划或选定的食谱，AyaMCooking 可以为您生成购物清单。
？饮食偏好：它可以根据饮食偏好或限制过滤食谱，例如素食、纯素食、无麸质等。
分步说明：AyaMCooking 提供分步烹饪说明，让您轻松遵循并烹饪复杂的菜肴。

凭借这些功能，AyaMCooking 成为您厨房中不可或缺的助手，帮助您探索新菜系，提高烹饪技巧，让备餐变得更方便。

？支持的语言

AyaMCooking 支持以下语言及其各自的语言代码：

英语( en )
法语( fr )
西班牙语( es )
德语( de )
意大利语（ it ）
土耳其语( tr )
印地语（ hi ）
韩语（ ko ）
日语（ ja ）
波斯语( fa )

注意：虽然 Aya Expanse 支持 23 种语言，但 AyaMCooking 仅支持 10 种，因为管道中的其他组件（如 ASR 模型、嵌入、Rerank 和 TTS 模型）支持不同的语言集合。我们试图为所有这些模型和我们自己的烹饪偏好找到一个好的迭代，以创建这组 10 种语言。

？方法论

人们常常想尝试当地美食，但正宗的食谱通常都是用原产地语言——寻找食材、替代品和其他信息具有挑战性，并且限制了创造力。

我们首先使用 Aya Expanse 生成候选食谱，然后也使用它们来生成食谱。这形成了我们的数据集，我们随后将其嵌入到稍后阶段以形成我们的索引。
通常，您会更喜欢基于音频的内容，而不是输入查询和阅读菜谱，这样更容易理解周围的所有成分。因此，我们构建了一个工作流程，您可以在其中与 Aya 交谈并以音频形式获得回复。
该管道使用 Whisper 来转录各种录制的音频。然后，用原始语言转录的文本问题会通过多语言 RAG 系统，其中使用 Cohere-multilingual-v3-Embed 构建索引和嵌入，并使用 Cohere ReRank3 进行细化。
从 RAG 中提取的上下文以及我们的提示与语言代码相结合，并通过 Aya Expanse 传递以生成文本响应。然后使用 Coqui TTS 以用户查询的语言生成语音响应。
多语言功能使我们能够从各种其他语言中提取食谱和信息并提供上下文，这可以带来一些非常有创意的食谱建议，这些建议仍然植根于当地文化和口味。

该笔记本有文档记录，您唯一需要的就是一点创造力、运气（希望音频录制、Colab 上的 GPU VM 等随时可用）和 Cohere API 密钥。

享受利用开源力量的乐趣！

戒日 |巴夫尼克

？食谱数据集

我们提供了一个默认数据集，其中包含使用 Aya Expanse 生成的来自 10 种语言和文化的 100 个食谱。这些食谱可以在 Hugging Face 上找到。

这是数据集中的截断样本：

{
    "language" : " en " , 
    "recipe" : " # Fish and Chips ## Description: A classic British dish consisting of battered and fried fish, typically cod or haddock, served with thick-cut chips (French fries). This comforting meal is often accompanied by malt vinegar, lemon wedges, and a side of mushy peas. ## Instructions: 1. **Prepare the Fish:** - Cut the fish fillets into serving-size pieces. You'll need about 4-6 pieces per person, depending on appetite. - Pat the fish dry with paper towels. This step is crucial for achieving a crispy batter. ... " 
}

致谢

我们衷心感谢来自Cohere for AI和Cohere的整个Aya Expanse团队，感谢他们使这款笔记本成为可能，并感谢他们在整个开发过程中提供的支持。此外，我们感谢 Cohere 提供 API 积分，使该项目变得可行。

引文

 @software { AyaMCooking ,
    title        = { AyaMCooking: A Voice-to-Voice Multilingual RAG Bot for Cooking } ,
    author       = { Minhas, Bhavnick and Nelaturu, Sree Harsha } ,
    year         = 2024 ,
    month        = 10 ,
    version      = { 0.0.1 }
}