تقدم Anthropic API ميزة جديدة طال انتظارها - التخزين المؤقت للتلميحات، والذي سيؤدي إلى تحسين كفاءة واقتصاد نماذج Claude بشكل كبير. تسمح هذه الميزة للمطورين بتخزين المعلومات السياقية المستخدمة بشكل متكرر بين استدعاءات واجهة برمجة التطبيقات (API)، وبالتالي تقليل الحسابات المتكررة وتقليل التكلفة وزمن الوصول. بالنسبة لسيناريوهات التطبيقات التي تحتاج إلى معالجة كميات كبيرة من المعلومات السياقية، مثل وكلاء المحادثة ومساعدي الترميز ومعالجة المستندات الكبيرة، فإن التخزين المؤقت للتلميحات سيؤدي إلى تحسينات هائلة في الأداء. هذا التحديث موجود حاليًا في الإصدار التجريبي العام لـ Claude3.5 Sonnet وClaude3 Haiku، مع خطط للتوسع إلى Claude3 Opus.
أطلقت Anthropic API مؤخرًا التخزين المؤقت السريع، بحيث يمكن للمطورين الآن تخزين المعلومات السياقية شائعة الاستخدام بين استدعاءات API. من خلال التخزين المؤقت للتلميحات، يستطيع العملاء تزويد نماذج Claude بمزيد من المعرفة الأساسية ومخرجات الأمثلة مع تقليل تكلفة التلميحات الطويلة بشكل كبير، وخفض الرسوم بنسبة تصل إلى 90% وتقليل زمن الوصول بنسبة تصل إلى 85%.
هذه الميزة متاحة حاليًا في الإصدارات التجريبية العامة من Claude3.5Sonnet وClaude3Haiku، وستدعم أيضًا Claude3Opus في المستقبل.
تعد ميزة التخزين المؤقت السريع مفيدة بشكل خاص في السيناريوهات التي يلزم فيها الرجوع إلى عدد كبير من السياقات السريعة بشكل متكرر في طلبات متعددة، كما هو الحال في وكلاء المحادثة لتقليل تكلفة المحادثات الطويلة وزمن الوصول إليها، خاصة عند احتوائها على تعليمات معقدة أو عمليات تحميل المستندات؛ يمكن تحسين الإكمال التلقائي المساعد والأسئلة والأجوبة الخاصة بقاعدة التعليمات البرمجية من خلال الاحتفاظ بنسخة مختصرة من قاعدة التعليمات البرمجية في الموجه عند العمل مع مستندات كبيرة، تتيح ذاكرة التخزين المؤقت للموجه تضمين مواد طويلة كاملة دون زيادة أوقات الاستجابة بالإضافة إلى ذلك، للأنظمة التي تتضمن جولات متعددة استدعاءات الأدوات وتكراراتها: تم تغيير سيناريوهات بحث الوكيل واستخدام الأداة، كما يمكن أن يؤدي التخزين المؤقت الفوري إلى تحسين الأداء بشكل كبير.
يعتمد تسعير ذاكرة التخزين المؤقت للتلميح على عدد رموز الإدخال المخزنة مؤقتًا وتكرار الاستخدام. تبلغ تكلفة الكتابة إلى ذاكرة التخزين المؤقت 25% أكثر من سعر رمز الإدخال الأساسي، في حين أن تكلفة استخدام المحتوى المخزن مؤقتًا أقل بكثير، عند 10% فقط من سعر رمز الإدخال الأساسي.
يُذكر أن Notion، باعتبارها أحد عملاء Anthropic API، قامت بدمج وظيفة التخزين المؤقت السريع في مساعد الذكاء الاصطناعي Notion AI. من خلال خفض التكاليف وزيادة السرعة، تعمل Notion على تحسين العمليات الداخلية وتوفير تجربة أكثر تقدمًا وأسرع للمستخدمين.
يعكس إطلاق وظيفة التخزين المؤقت الفوري جهود Anthropic لتحسين أداء نموذج Claude وتقليل تكاليف المستخدم، وتزويد المطورين بحلول ذكاء اصطناعي أكثر فعالية من حيث التكلفة ومواصلة تحسين التطبيق العملي لنموذج Claude في سيناريوهات التطبيقات المختلفة. تثبت قصص نجاح Notion أيضًا القيمة العملية لهذه الميزة.