อายะ เอ็ม คุ้กกิ้ง ?

ภาวนานิค มินฮาส* ¹ , ศรี ฮาร์ชา เนลาตูรู* ¹
¹ ML Efficiency Group เชื่อมโยงกันสำหรับชุมชน AI (*สนับสนุนอย่างเท่าเทียมกัน)

- AyaMCooking เป็นตัวแทน RAG หลายภาษาด้วยเสียงพูดที่สร้างผู้ช่วยพ่อครัวที่สมบูรณ์แบบสำหรับห้องครัวของคุณใน 10 ภาษา!

ในสมุดบันทึกนี้ เราสาธิตเพียงหนึ่งในความสามารถมากมายที่เปิดใช้งานโดยเวิร์กโฟลว์หลายภาษาอย่างแท้จริง เหมือนกับที่เปิดใช้งานโดย Aya Expanse โดย Cohere สำหรับ AI และ Cohere

️ AyaMCooking ทำอะไรได้บ้าง?

AyaMCooking เป็นเครื่องมืออเนกประสงค์ที่สามารถช่วยคุณในงานทำอาหารต่างๆ นี่คือบางสิ่งที่สามารถทำได้:

- การสร้างสูตรอาหาร : AyaMCooking สามารถสร้างสูตรอาหารตามส่วนผสมที่คุณมีอยู่ ทำให้มั่นใจได้ว่าคุณจะสามารถปรุงอาหารที่อร่อยด้วยสิ่งที่คุณมีได้ตลอดเวลา
การสนับสนุนหลายภาษา : รองรับได้ถึง 10 ภาษา ช่วยให้คุณเข้าถึงและเข้าใจสูตรอาหารจากอาหารต่างๆ ทั่วโลก
️ การโต้ตอบด้วยเสียงเป็นเสียง : คุณสามารถโต้ตอบกับ AyaMCooking โดยใช้คำสั่งเสียง ทำให้ใช้งานง่ายขณะทำอาหารโดยไม่จำเป็นต้องสัมผัสอุปกรณ์ของคุณ
การทดแทนส่วนผสม : AyaMCooking สามารถแนะนำสิ่งทดแทนสำหรับส่วนผสมที่คุณอาจมี ซึ่งช่วยให้คุณปรับสูตรอาหารให้เข้ากับสิ่งที่มีอยู่ได้
- ข้อมูลทางโภชนาการ : สามารถให้ข้อมูลทางโภชนาการสำหรับสูตรอาหาร ช่วยให้คุณตัดสินใจเลือกอาหารที่ดีต่อสุขภาพได้
?? เคล็ดลับการทำอาหาร : AyaMCooking นำเสนอเคล็ดลับและเทคนิคการทำอาหารเพื่อพัฒนาทักษะการทำอาหารของคุณและทำให้กระบวนการทำอาหารของคุณมีประสิทธิภาพมากขึ้น
- การวางแผนมื้ออาหาร : ช่วยให้คุณวางแผนมื้ออาหารประจำสัปดาห์ได้ ทำให้มั่นใจได้ว่าคุณมีอาหารที่สมดุลและลดขยะอาหาร
- การสร้างรายการช้อปปิ้ง : ตามแผนมื้ออาหารของคุณหรือสูตรอาหารที่เลือก AyaMCooking สามารถสร้างรายการช้อปปิ้งสำหรับคุณ
- ความชอบด้านอาหาร : สามารถกรองสูตรอาหารตามความชอบหรือข้อจำกัดด้านอาหาร เช่น มังสวิรัติ วีแกน ปลอดกลูเตน ฯลฯ
คำแนะนำทีละขั้นตอน : AyaMCooking ให้คำแนะนำการทำอาหารทีละขั้นตอน ทำให้ง่ายต่อการปฏิบัติตามและปรุงอาหารที่ซับซ้อน

ด้วยความสามารถเหล่านี้ AyaMCooking จะกลายเป็นผู้ช่วยที่ขาดไม่ได้ในครัวของคุณ ช่วยให้คุณสำรวจอาหารใหม่ๆ พัฒนาทักษะการทำอาหาร และทำให้การเตรียมอาหารสะดวกยิ่งขึ้น

- ภาษาที่รองรับ

AyaMCooking รองรับภาษาต่อไปนี้และรหัสภาษาที่เกี่ยวข้อง:

อังกฤษ ( en )
ฝรั่งเศส ( fr )
สเปน ( es )
เยอรมัน ( de )
อิตาลี ( it )
ตุรกี ( tr )
ฮินดี ( hi )
เกาหลี ( ko )
ภาษาญี่ปุ่น ( ja )
เปอร์เซีย ( fa )

หมายเหตุ: แม้ว่า Aya Expanse รองรับ 23 ภาษา แต่ AyaMCooking รองรับ 10 ภาษาเท่านั้น เนื่องจากส่วนประกอบอื่นๆ ในไปป์ไลน์ เช่น โมเดล ASR, โมเดล ASR, Embedding, Rerank และ TTS รองรับคอลเลกชันภาษาที่แตกต่างกัน เราพยายามค้นหาส่วนที่ดีสำหรับโมเดลเหล่านี้ทั้งหมดและความชอบในการทำอาหารของเราเองเพื่อสร้างชุดภาษา 10 ภาษานี้

- ระเบียบวิธี

ผู้คนมักอยากลองอาหารท้องถิ่น แต่สูตรอาหารต้นตำรับมักจะใช้ภาษาต้นกำเนิด การค้นหาส่วนผสม สารทดแทน และข้อมูลอื่นๆ ถือเป็นเรื่องท้าทายและจำกัดความคิดสร้างสรรค์

ขั้นแรกเราใช้ Aya Expanse เพื่อสร้างตัวเลือกสูตรอาหาร จากนั้นจึงใช้เพื่อสร้างสูตรอาหารด้วยเช่นกัน นี่เป็นการสร้างชุดข้อมูลของเรา ซึ่งต่อมาเราฝังไว้ในระยะต่อมาเพื่อสร้างดัชนีของเรา
บ่อยครั้ง แทนที่จะพิมพ์ข้อความค้นหาและอ่านสูตรอาหาร คุณอยากให้เป็นแบบเสียงมากกว่า เพราะง่ายกว่าที่จะปฏิบัติตามส่วนผสมทั้งหมดที่อยู่รอบๆ ดังนั้นเราจึงสร้างขั้นตอนการทำงานที่คุณสามารถพูดคุยกับอายะและรับการตอบกลับในรูปแบบเสียงได้
ไปป์ไลน์ใช้ Whisper เพื่อถอดเสียงที่บันทึกไว้ในหลากหลายรูปแบบ คำถามที่เป็นข้อความที่คัดลอกเป็นภาษาต้นฉบับจะถูกส่งผ่านระบบ RAG หลายภาษา โดยที่ดัชนีและการฝังถูกสร้างขึ้นโดยใช้ Cohere-multilingual-v3-Embed และสำหรับการปรับแต่ง เราใช้ Cohere ReRank3
บริบทที่ดึงมาจาก RAG และการแจ้งเตือนของเรา จะถูกรวมเข้ากับรหัสภาษาและส่งผ่าน Aya Expanse เพื่อสร้างการตอบกลับด้วยข้อความ จากนั้นจะใช้เพื่อสร้างการตอบกลับด้วยเสียงโดยใช้ Coqui TTS ในภาษาที่ผู้ใช้ค้นหา
ความสามารถหลายภาษาช่วยให้เราสามารถดึงสูตรอาหารและข้อมูลจากภาษาอื่นๆ และให้บริบท ซึ่งอาจนำไปสู่คำแนะนำสูตรอาหารที่สร้างสรรค์มากซึ่งยังคงมีพื้นฐานอยู่ในวัฒนธรรมและรสนิยมท้องถิ่น

สมุดบันทึกได้รับการบันทึกไว้ และสิ่งเดียวที่คุณจะต้องใช้คือความคิดสร้างสรรค์เล็กน้อย โชค (ความหวังคือการบันทึกเสียง, GPU VM บน Colab ฯลฯ พร้อมใช้งาน) และคีย์ Cohere API

ขอให้สนุกกับการใช้ประโยชน์จากพลังของโอเพ่นซอร์ส!

ฮารชา | ภาวนา

- ชุดข้อมูลสูตร

เราจัดเตรียมชุดข้อมูลเริ่มต้นที่ประกอบด้วยสูตรอาหาร 100 รายการจาก 10 ภาษาและวัฒนธรรมที่สร้างขึ้นโดยใช้ Aya Expanse สูตรอาหารเหล่านี้มีอยู่ใน Hugging Face

นี่คือตัวอย่าง ที่ถูกตัดทอน จากชุดข้อมูล:

{
    "language" : " en " , 
    "recipe" : " # Fish and Chips ## Description: A classic British dish consisting of battered and fried fish, typically cod or haddock, served with thick-cut chips (French fries). This comforting meal is often accompanied by malt vinegar, lemon wedges, and a side of mushy peas. ## Instructions: 1. **Prepare the Fish:** - Cut the fish fillets into serving-size pieces. You'll need about 4-6 pieces per person, depending on appetite. - Pat the fish dry with paper towels. This step is crucial for achieving a crispy batter. ... " 
}

รับทราบ

เราขอขอบคุณอย่างจริงใจต่อทีมงาน Aya Expanse ทั้งหมดจาก Cohere สำหรับ AI และ Cohere ที่ทำให้สมุดบันทึกนี้เป็นไปได้ และสำหรับการสนับสนุนตลอดกระบวนการพัฒนา นอกจากนี้ เรายังรู้สึกขอบคุณ Cohere ที่ให้เครดิต API ที่ทำให้โครงการนี้เป็นไปได้

การอ้างอิง

 @software { AyaMCooking ,
    title        = { AyaMCooking: A Voice-to-Voice Multilingual RAG Bot for Cooking } ,
    author       = { Minhas, Bhavnick and Nelaturu, Sree Harsha } ,
    year         = 2024 ,
    month        = 10 ,
    version      = { 0.0.1 }
}