أحدث وظيفة "الإخراج التنبؤية" من Openai لطراز GPT-4O قد حسنت بشكل كبير من سرعة استجابة النموذج ، حتى 5 أضعاف السرعة الأصلية. تتجنب هذه الوظيفة التي تم تطويرها بالتعاون مع Factoryai بفعالية توليد مكرر من خلال تحديد وإعادة استخدام المحتوى المتوقع ، وخاصة في السيناريوهات مثل إعادة بناء الكود وتحديثات المدونة. هذه الميزة مفتوحة حاليًا فقط من خلال طرز GPT-4O و GPT-4Mini.
أطلقت Openai مؤخرًا تحديثًا مهمًا لتقديم وظيفة "المخرجات المتوقعة" إلى نموذج GPT-4O. تعمل هذه التقنية المبتكرة على تحسين سرعة استجابة النموذج بشكل كبير ، حيث تصل إلى 5 أضعاف السرعة الأصلية في سيناريو محدد ، مما يجعل المطورين تجربة كفاءة جديدة.
الميزة الأساسية لهذه الميزة ، التي تم تطويرها بشكل مشترك بواسطة Openai و Factoryai ، هي أنه يمكن أن يتجاوز عملية التوليد المتكررة للمحتوى المعروف. في التطبيقات العملية ، يعمل بشكل جيد في مهام مثل تحديث منشورات المدونة ، أو تكرار الردود الحالية ، أو إعادة كتابة التعليمات البرمجية. وفقًا للبيانات التي قدمتها Factoryai ، في مهام البرمجة ، يتم تقليل وقت الاستجابة بمقدار 2 إلى 4 مرات ، وتم ضغط المهمة التي استغرقت في الأصل 70 ثانية لإكمالها في غضون 20 ثانية.
في الوقت الحاضر ، تكون هذه الوظيفة مفتوحة فقط للمطورين من خلال نموذج API ، ويدعم نماذج GPT-4O و GPT-4Mini. التعليقات الفعلية على الاستخدام إيجابية ، وقد أطلقت العديد من المطورين اختبارات وشاركوا تجربتهم. قال مؤسس FireCrawl Eric Ciarla عند تحويل محتوى تحسين محركات البحث (SEO): "السرعة مهمة والاستخدام بسيط ومباشر."
من الناحية الفنية ، تعمل وظيفة الإخراج التنبؤية من خلال تحديد وإعادة استخدام أجزاء المحتوى المتوقعة. تعطي المستندات الرسمية Openai أمثلة.
ومع ذلك ، هناك بعض قيود الاستخدام والاحتياطات لهذه الميزة. بالإضافة إلى القيود التي يدعمها النموذج ، لا تتوفر بعض معلمات API عند استخدام الإخراج المتوقع ، بما في ذلك قيم N أكبر من 1 ، LogProbs ، و Expenalty و RECENCENCY_PENALTY أكبر من 0.
تجدر الإشارة إلى أنه مع توفير استجابة أسرع ، فإن هذه الميزة تجلب أيضًا زيادة بسيطة في التكلفة. وفقًا لبيانات اختبار المستخدم ، قللت نفس المهمة من وقت المعالجة من 5.2 ثانية إلى 3.3 ثانية بعد استخدام وظيفة الإخراج المتوقعة ، لكن التكلفة زادت من 0.1555 سنت إلى 0.2675 سنت. وذلك لأن Openai يتقاضى أيضًا معدل الرموز الخاصة بالجزء غير النهائي المكتمل من التنبؤ.
على الرغم من الزيادة البسيطة في التكاليف ، لا تزال هذه الميزة لديها قيمة تطبيق كبيرة بالنظر إلى تحسن كبير في الكفاءة. يمكن للمطورين الحصول على المزيد من التعليمات الفنية وأدلة الاستخدام من خلال وثائق Openai الرسمية.
الوثائق الرسمية Openai:
https://platform.openai.com/docs/guides/lateency-optimization#use-predicated-utputs
باختصار ، جلبت وظيفة Openai "الناتج التنبؤية" تحسينات كبيرة في الكفاءة للمطورين. يمكن للمطورين وزن إيجابيات وسلبيات بناءً على الاحتياجات الفعلية واختيار استخدام هذه الميزة الجديدة.