アヤム料理？

バヴニック・ミーニャス* ¹ 、スリー・ハルシャ・ネラトゥル* ¹
¹ ML Efficiency Group、Cohere For AI Community (*均等に貢献)

? AyaMCooking は、10 か国語であなたのキッチンに完璧な副料理長を作る、Voice-to-Voice 多言語 RAG エージェントです。

このノートブックでは、Aya Expanse by Cohere For AI および Cohere によって実現される真の多言語ワークフローによって実現される多数の機能のうちの 1 つだけをデモします。

⁉️AyaMCookって何ができるの？

ayaMCooking は、さまざまな料理作業を支援できる多用途ツールです。実行できることの一部を次に示します。

?レシピ生成:AyaMCooking は手元にある材料に基づいてレシピを生成できるため、いつでも手元にある材料でおいしい料理を作ることができます。
多言語サポート: 最大 10 言語をサポートしているため、世界中のさまざまな料理のレシピにアクセスして理解することができます。
?️ 音声間のインタラクション: 音声コマンドを使用してAyaMCookingと対話できるため、デバイスに触れる必要がなく、調理中に簡単に使用できます。
材料の代替品:AyaMCooking は、手元にない材料の代替品を提案し、入手可能なものにレシピを適応させるのに役立ちます。
?栄養情報: レシピの栄養情報を提供し、より健康的な選択を支援します。
?‍?料理のヒント:AyaMCooking は、料理のスキルを向上させ、調理プロセスをより効率的にするための料理のヒントやコツを提供します。
?食事の計画: 1 週間の食事の計画を立てるのに役立ち、バランスの取れた食事を確保し、食品の無駄を減らします。
?買い物リストの生成: 食事計画や選択したレシピに基づいて、AyaMCooking は買い物リストを生成できます。
?食事の好み: ベジタリアン、ビーガン、グルテンフリーなどの食事の好みや制限に基づいてレシピをフィルタリングできます。
ステップバイステップの説明:AyaMCooking はステップバイステップの調理手順を提供するため、簡単に手順に従って複雑な料理を調理できます。

これらの機能により、AyaMCooking はキッチンに欠かせないアシスタントとなり、新しい料理を探索し、料理スキルを向上させ、食事の準備をより便利にするのに役立ちます。

?サポートされている言語

ayaMCooking は、次の言語とそれぞれの言語コードをサポートしています。

英語( en )
フランス語( fr )
スペイン語( es )
ドイツ語( de )
イタリア語( it )
トルコ語( tr )
ヒンディー語( hi )
韓国語（ ko ）
日本語( ja )
ペルシア語( fa )

注: Aya Expanse は 23 言語をサポートしますが、ASR モデル、Embedding、Rerank、TTS モデルなどのパイプライン内の他のコンポーネントがさまざまな言語コレクションをサポートしているため、AyaMCooking は 10 言語のみをサポートします。私たちは、これらすべてのモデルと私たち自身の料理の好みに適した交差部分を見つけて、この 10 言語のセットを作成しようとしました。

?方法論

地元の料理を試してみたいと思う人はよくいますが、本格的なレシピは原産国の言語で書かれていることが多く、材料や代替品、その他の情報を見つけるのは難しく、創造性が制限されます。

まず、Aya Expanseを使用してレシピ候補を生成し、それを使用してレシピを生成します。これによりデータセットが形成され、後の段階でこれを埋め込んでインデックスを形成します。
多くの場合、クエリを入力してレシピを読むよりも、音声ベースの方が良いと思います。すべての材料が揃っているため、従うのが簡単です。そのため、Aya に話しかけると音声で応答が返されるワークフローを構築します。
パイプラインは Whisper を使用して、さまざまな種類の録音されたオーディオを文字に起こします。元の言語で転写された質問テキストは、Cohere-multilingual-v3-Embed を使用してインデックスと埋め込みが構築される多言語 RAG システムに渡され、改良のために Cohere ReRank3 を使用します。
RAG から抽出されたコンテキストとプロンプトは言語コードと結合され、Aya Expanse を介してテキスト応答を生成します。これは、Coqui TTS を使用してユーザーのクエリの言語で音声応答を生成するために使用されます。
多言語機能により、他のさまざまな言語からレシピや情報を抽出し、コンテキストを提供できるため、地元の文化や好みに基づいた非常に創造的なレシピの提案につながる可能性があります。

ノートブックには文書化されており、ユーザー側で必要なのは、少しの創造性、運 (音声録音、Colab 上の GPU VM などがすぐに利用できることが期待されます)、および Cohere API キーだけです。

オープンソースの力を楽しんで活用してください。

ハルシャ |バブニック

?レシピデータセット

Aya Expanse を使用して生成された 10 の言語と文化からの 100 のレシピを含むデフォルトのデータセットを提供します。これらのレシピは、Hugging Face で入手できます。

データセットから切り取られたサンプルを次に示します。

{
    "language" : " en " , 
    "recipe" : " # Fish and Chips ## Description: A classic British dish consisting of battered and fried fish, typically cod or haddock, served with thick-cut chips (French fries). This comforting meal is often accompanied by malt vinegar, lemon wedges, and a side of mushy peas. ## Instructions: 1. **Prepare the Fish:** - Cut the fish fillets into serving-size pieces. You'll need about 4-6 pieces per person, depending on appetite. - Pat the fish dry with paper towels. This step is crucial for achieving a crispy batter. ... " 
}

了承

このノートブックを実現し、開発プロセス全体を通じてサポートしてくださったCohere for AIおよびCohereのAya Expanseチーム全員に心から感謝いたします。さらに、このプロジェクトを実現可能にする API クレジットを提供してくれた Cohere に感謝します。

引用

 @software { AyaMCooking ,
    title        = { AyaMCooking: A Voice-to-Voice Multilingual RAG Bot for Cooking } ,
    author       = { Minhas, Bhavnick and Nelaturu, Sree Harsha } ,
    year         = 2024 ,
    month        = 10 ,
    version      = { 0.0.1 }
}