AyaMCooking
1.0.0
Бхавник Минхас* 1 , Шри Харша Нелатуру* 1
1 группа по эффективности машинного обучения, «Сплоченность для сообщества искусственного интеллекта» (*вносятся поровну)
? AyaMCooking — это многоязычный агент RAG с голосовой связью, который подготовит идеального су-шефа для вашей кухни на 10 языках!
В этом блокноте мы демонстрируем лишь одну из многочисленных возможностей, предоставляемых по-настоящему многоязычным рабочим процессом, таких как Aya Expanse от Cohere For AI и Cohere.
AyaMCooking — универсальный инструмент, который поможет вам в решении различных кулинарных задач. Вот некоторые из вещей, которые он может сделать:
? Генерация рецептов : AyaMCooking может генерировать рецепты на основе ингредиентов, которые у вас есть под рукой, гарантируя, что вы всегда сможете приготовить что-нибудь вкусное из того, что у вас есть.
Многоязычная поддержка : он поддерживает до 10 языков, что позволяет вам получать доступ к рецептам разных кухонь мира и понимать их.
?️ Голосовое взаимодействие : вы можете взаимодействовать с AyaMCooking с помощью голосовых команд, что упрощает использование во время приготовления пищи без необходимости прикасаться к устройству.
Замена ингредиентов : AyaMCooking может предложить заменители ингредиентов, которых у вас может не быть, помогая адаптировать рецепты к имеющимся.
? Информация о пищевой ценности : он может предоставить информацию о пищевой ценности рецептов, помогая вам сделать более здоровый выбор.
?? Кулинарные советы : AyaMCooking предлагает кулинарные советы и рекомендации, которые помогут улучшить ваши кулинарные навыки и сделать процесс приготовления более эффективным.
? Планирование питания : оно может помочь вам спланировать питание на неделю, обеспечивая сбалансированное питание и сокращая пищевые отходы.
? Создание списка покупок : на основе вашего плана питания или выбранных рецептов AyaMCooking может создать для вас список покупок.
? Диетические предпочтения : он может фильтровать рецепты на основе диетических предпочтений или ограничений, например, вегетарианские, веганские, безглютеновые и т. д.
Пошаговые инструкции : AyaMCooking предоставляет пошаговые инструкции по приготовлению, благодаря которым легко следовать им и готовить сложные блюда.
Благодаря этим возможностям AyaMCooking станет незаменимым помощником на вашей кухне, помогая осваивать новые кухни, совершенствовать кулинарные навыки и делать приготовление еды более удобным.
AyaMCooking поддерживает следующие языки и соответствующие им коды языков:
en )fr .)es )de )it )tr )hi )ko )ja )fa )Примечание. В то время как Aya Expanse поддерживает 23 языка, AyaMCooking поддерживает только 10, поскольку другие компоненты в стадии разработки, такие как модель ASR, модель внедрения, изменения ранга и TTS, поддерживают разные коллекции языков. Мы постарались найти хорошее сочетание всех этих моделей и наших собственных кулинарных предпочтений, чтобы создать этот набор из 10 языков.
Люди часто хотели бы попробовать местную кухню, но аутентичные рецепты часто написаны на языке происхождения — поиск ингредиентов, заменителей и другой информации затруднен и ограничивает творческий потенциал.
Сначала мы используем Aya Expanse для создания кандидатов на рецепты, которые затем также используются для создания рецептов. Это формирует наш набор данных, который мы впоследствии встраиваем на более позднем этапе для формирования нашего индекса.
Часто вместо того, чтобы вводить запрос и читать рецепт, вы предпочитаете, чтобы он был основан на аудиозаписи — так проще следить за всеми ингредиентами. Поэтому мы выстраиваем рабочий процесс, в котором вы можете поговорить с Аей и получить ответ в аудиоформе.
Конвейер использует Whisper для расшифровки записанного звука в самых разных вариантах. Текстовый вопрос, расшифрованный на языке оригинала, затем передается через многоязычную систему RAG, где индекс и вложения создаются с использованием Cohere-multilingual-v3-Embed, а для уточнения мы используем Cohere ReRank3.
Контекст, извлеченный из RAG, и наше приглашение объединяются с кодом языка и передаются через Aya Expanse для генерации текстового ответа. Затем он используется для генерации голосового ответа с использованием Coqui TTS на языке запроса пользователя.
Многоязычные возможности позволяют нам извлекать рецепты и информацию с других языков и предоставлять контекст, что может привести к очень творческим предложениям рецептов, которые по-прежнему основаны на местной культуре и вкусах.
Ноутбук документирован, и единственное, что вам понадобится, — это немного творчества, удачи (надеюсь, аудиозапись, виртуальная машина графического процессора на Colab и т. д. легко доступны) и ключ Cohere API.
Получайте удовольствие, используя возможности открытого исходного кода!
Харша | Бхавник
Мы предоставляем набор данных по умолчанию, содержащий 100 рецептов из 10 языков и культур, созданных с помощью Aya Expanse. Эти рецепты доступны на Hugging Face.
Вот усеченный образец из набора данных:
{
"language" : " en " ,
"recipe" : " # Fish and Chips ## Description: A classic British dish consisting of battered and fried fish, typically cod or haddock, served with thick-cut chips (French fries). This comforting meal is often accompanied by malt vinegar, lemon wedges, and a side of mushy peas. ## Instructions: 1. **Prepare the Fish:** - Cut the fish fillets into serving-size pieces. You'll need about 4-6 pieces per person, depending on appetite. - Pat the fish dry with paper towels. This step is crucial for achieving a crispy batter. ... "
}Мы хотели бы выразить нашу сердечную благодарность всей команде Aya Expanse из Cohere for AI и Cohere за то, что сделали этот ноутбук возможным, а также за их поддержку на протяжении всего процесса разработки. Кроме того, мы благодарны Cohere за предоставление кредитов API, которые сделали этот проект осуществимым.
@software { AyaMCooking ,
title = { AyaMCooking: A Voice-to-Voice Multilingual RAG Bot for Cooking } ,
author = { Minhas, Bhavnick and Nelaturu, Sree Harsha } ,
year = 2024 ,
month = 10 ,
version = { 0.0.1 }
}
