В Anthropic API представлена долгожданная новая функция — кэширование подсказок, которая значительно повысит эффективность и экономичность моделей Claude. Эта функция позволяет разработчикам кэшировать часто используемую контекстную информацию между вызовами API, тем самым сокращая избыточные вычисления и снижая затраты и задержки. Для сценариев приложений, которым необходимо обрабатывать большие объемы контекстной информации, таких как диалоговые агенты, помощники по кодированию и обработка больших документов, кэширование подсказок приведет к значительному повышению производительности. Это обновление в настоящее время находится в стадии публичной бета-версии для Claude3.5 Sonnet и Claude3 Haiku, с планами расширения до Claude3 Opus.
Недавно Anthropic API запустил кэширование подсказок, поэтому теперь разработчики могут кэшировать часто используемую контекстную информацию между вызовами API. Благодаря кэшированию подсказок клиенты могут предоставить моделям Claude больше базовых знаний и примеров вывода, при этом значительно снижая стоимость длинных подсказок, снижая комиссию до 90 % и сокращая задержку до 85 %.
Эта функция в настоящее время доступна в общедоступных бета-версиях Claude3.5Sonnet и Claude3Haiku, а также будет поддерживать Claude3Opus в будущем.
Функция кэширования подсказок особенно полезна в сценариях, где большое количество контекстов подсказок необходимо неоднократно ссылаться в нескольких запросах, например, в диалоговых прокси-серверах, чтобы снизить стоимость и задержку длинных разговоров, особенно когда они содержат сложные инструкции или загрузку документов; Автозаполнение помощника и вопросы и ответы по кодовой базе можно улучшить, сохранив обобщенную версию кодовой базы в подсказке; при работе с большими документами кэш подсказок позволяет встраивать полный подробный материал без дополнительного увеличения времени ответа для систем, в которых требуется несколько раундов; вызовы и итерации инструментов. Измененные сценарии поиска прокси и использования инструментов, кэширование подсказок также могут значительно повысить производительность.
Цена кэша подсказок зависит от количества кэшированных входных токенов и частоты использования. Запись в кеш стоит на 25 % дороже, чем базовая цена входного токена, а использование кэшированного контента обходится значительно дешевле — всего 10 % от базовой цены входного токена.
Сообщается, что Notion, как клиент Anthropic API, интегрировала функцию оперативного кэширования в своего помощника по искусственному интеллекту Notion AI. Сокращая затраты и увеличивая скорость, Notion оптимизирует внутренние операции и предоставляет пользователям более продвинутые и быстрые возможности.
Запуск функции оперативного кэширования отражает усилия Anthropic по оптимизации производительности модели Claude и снижению затрат пользователей, предоставляя разработчикам более экономичные решения искусственного интеллекта и дальнейшему повышению практичности модели Claude в различных сценариях применения. Истории успеха Notion также доказывают практическую ценность этой функции.