OpenAI недавно запустила функцию вывода прогнозов для модели GPT-4o. Эта функция, разработанная совместно с FactoryAI, может значительно улучшить скорость отклика модели — до 5 раз по сравнению с исходной скоростью. Эта функция уменьшает дублирование за счет выявления и повторного использования предсказуемых частей контента и особенно эффективна в таких задачах, как рефакторинг кода и обновление блогов. Редактор Downcodes подробно объяснит преимущества, ограничения и стоимость использования этой новой функции.
OpenAI недавно выпустила важное обновление, представив функцию прогнозируемых результатов в модели GPT-4o. Эта инновационная технология значительно повышает скорость отклика модели, которая в определенных сценариях может в 5 раз превышать исходную скорость, что дает разработчикам новый уровень эффективности.
Основное преимущество этой функции, совместно разработанной OpenAI и FactoryAI, заключается в том, что она позволяет обойти процесс дублирования при создании известного контента. Отлично подходит для реальных приложений, особенно для таких задач, как обновление сообщений в блогах, повторение существующих ответов или переписывание кода. По данным FactoryAI, в задачах программирования время отклика сократилось в 2–4 раза, сжимая задачу, выполнение которой изначально занимало 70 секунд, до 20 секунд.
В настоящее время эта функция доступна только разработчикам через API и поддерживает модели GPT-4o и GPT-4mini. Отзывы о фактическом использовании были положительными, и многие разработчики начали тестировать и делиться своим опытом. Эрик Сиарла, основатель Firecrawl, сказал при преобразовании SEO-контента: скорость значительно улучшилась, а использование стало простым и понятным.
Технически прогнозируемый вывод работает путем идентификации и повторного использования предсказуемых частей контента. В официальных документах OpenAI приводятся примеры того, что в таких сценариях, как рефакторинг кода, например, при изменении атрибута «Имя пользователя» в коде C# на «Электронная почта», скорость генерации можно значительно улучшить, введя весь файл класса в виде прогнозируемого текста.
Однако эта функция имеет некоторые ограничения и предостережения. Помимо ограничений поддержки модели, некоторые параметры API недоступны при использовании результатов прогнозирования, включая значения n больше 1, logprobs, а также присутствия_penalty и Frequency_penalty больше 0.
Стоит отметить, что эта функция, обеспечивая более быстрое время отклика, также приводит к небольшому увеличению стоимости. Согласно данным пользовательского тестирования, после использования функции прогнозирующего вывода для той же задачи, хотя время обработки и сократилось с 5,2 секунды до 3,3 секунды, стоимость выросла с 0,1555 цента до 0,2675 цента. Это связано с тем, что OpenAI также взимает плату за токены завершения за токены незаключительного завершения, предоставленные во время прогнозирования.
Хотя стоимость немного увеличилась, эта функция по-прежнему имеет значительную прикладную ценность, учитывая значительное повышение эффективности. Разработчики могут получить более подробные технические инструкции и руководства по использованию в официальной документации OpenAI.
Официальная документация OpenAI:
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
В целом, функция вывода прогнозов OpenAI обеспечивает разработчикам значительный прирост эффективности, и, несмотря на некоторые ограничения использования и повышенные затраты, улучшения скорости, которые она обеспечивает, по-прежнему заслуживают внимания. Редактор Downcodes рекомендует разработчикам оценивать ценность своих приложений исходя из собственных потребностей.