اليوم ، مع التطور السريع لتكنولوجيا الذكاء الاصطناعي ، أصدرت Openai رسميًا أحدث واجهة برمجة تطبيقات في الوقت الفعلي في 1 أكتوبر 2023. يوفر هذا الاختراق التكنولوجي للمطورين أدوات قوية لبناء تطبيقات صوتية ذكية. اجتذب إصدار API اهتمامًا واسع النطاق على موقع Openai Devday Singapore ، وخاصةً Daily.CO ، شارك مهندسو CO دروسهم القيمة والدروس في استخدام API هذا. لم ينجح هؤلاء المهندسون فقط بنجاح المنتجات باستخدام واجهات برمجة التطبيقات في الوقت الفعلي ، ولكن أيضًا شاركوا بنشاط في تطوير Pipecat لمشروع المصدر المفتوح ، بهدف توفير الراحة والدعم لمزيد من المطورين.
الميزة الأساسية في API في الوقت الفعلي هي قدرتها على معالجة "صوت إلى صوي" ، والتي تتيح للمطورين تحقيق تفاعلات صوتية سلسة مع زمن انتقال منخفض للغاية. من خلال تحويل المدخلات الصوتية إلى نص ثم تحويل إخراج GPT-4O إلى صوت ، يمكن للمطورين إنشاء تجربة محادثة أكثر طبيعية وإنسانية. هذه العملية بسيطة وفعالة. لا يحسن تطبيق هذه التكنولوجيا تجربة المستخدم فحسب ، بل يوفر أيضًا إمكانيات جديدة إلى مجال التفاعل الصوتي.
أثناء العرض التوضيحي ، أكد الفريق على أهمية اكتشاف النشاط الصوتي (VAD) في التطبيقات الصوتية. نظرًا لوجود عدد قليل من البيئات الهادئة تمامًا في سيناريوهات التطبيق في العالم الحقيقي ، فإنهم يوصون بتعيين أزرار "الكتم" و "الرد القسري" لتحسين تجربة المستخدم. بالإضافة إلى ذلك ، تدعم واجهة برمجة التطبيقات في الوقت الفعلي أيضًا إدارة حالة محادثة مستخدمين متعددين وإخراج المستخدم LLM ، مما يجعل عملية المحادثة أكثر مرونة وكفاءة ، ويمكن أن تتكيف بشكل أفضل مع احتياجات التفاعل المعقدة.
من أجل تمكين المزيد من المطورين من البدء بسرعة ، يوفر مشروع Pipecat إطار عمل بيثون محايد لواجهة برمجة التطبيقات في الوقت الفعلي. لا يدعم هذا الإطار فقط GPT-4O من Openai ، ولكنه متوافق أيضًا مع أكثر من 40 واجهات برمجة التطبيقات الأخرى من الذكاء الاصطناعي ، والتي تغطي مجموعة متنوعة من خيارات النقل مثل WebSockets و WebRTC ، مما يؤدي إلى تبسيط عملية التطوير بشكل كبير. يحتوي الإطار أيضًا على عدد كبير من الوظائف الأساسية العملية ، مثل إدارة السياق ، وإدارة حالة المستخدم ، ومعالجة الأحداث ، والتي توفر للمطورين أدوات قوية لمساعدتهم على إنشاء تطبيقات تفاعل صوتي أكثر ذكاءً وأكثر كفاءة.
توفر واجهة برمجة تطبيقات Openai في الوقت الفعلي للمطورين طريقة جديدة لبناء منتجات صوتية ذكية. مع استمرار نضوج هذه التكنولوجيا ، ستصبح تطبيقات التفاعل الصوتي المستقبلي أكثر ذكاءً وإنسنا. آفاق تطبيق هذه التكنولوجيا واسعة ومن المتوقع أن تجلب تغييرات ثورية في العديد من المجالات وتعزيز تطوير تكنولوجيا التفاعل الصوتي.