Последняя функция «прогнозирующего вывода» OpenAI в модели GPT-4O значительно улучшила скорость отклика модели, до 5 раз превышает исходную скорость. Эта функция, разработанная в сотрудничестве с FactoryAI, эффективно избегает дублированного генерации, выявляя и повторно используя предсказуемый контент, особенно в таких сценариях, как реконструкция кода и обновления блога. В настоящее время эта функция открыта только через API, поддерживая модели GPT-4O и GPT-4MINI.
OpenAI недавно запустил важное обновление для введения функции «прогнозируемые выходы» в модель GPT-4O. Эта инновационная технология значительно улучшает скорость отклика модели, достигая до 5 раз превышает исходную скорость в конкретном сценарии, что приводит разработчиков новый опыт эффективности.
Основным преимуществом этой функции, разработанной совместно с OpenAI и FactoryAI, является то, что она может обойти повторяющийся процесс генерации известного контента. В практических приложениях он хорошо выполняет такие задачи, как обновление сообщений в блогах, итерация существующих ответов или переписывание кода. Согласно данным, предоставленным FactoryAI, в задачах программирования время отклика уменьшается на 2-4 раза, а задача, которая первоначально занимала 70 секунд, была сжата до завершения в течение 20 секунд.
В настоящее время эта функция открыта только для разработчиков через форму API и поддерживает модели GPT-4O и GPT-4mini. Фактическая обратная связь об использовании является положительным, и многие разработчики запустили тесты и поделились своим опытом. Основатель FireCRAWL Эрик Ciarla сказал при преобразовании контента SEO: «Скорость значительна, а использование простое и простое».
Технически, функция прогнозирующей выходной сигналы работает путем определения и повторного использования предсказуемых частей контента. Официальные документы OpenAI приводят примеры.
Тем не менее, есть некоторые ограничения использования и меры предосторожности для этой функции. В дополнение к ограничениям, поддерживаемым моделью, некоторые параметры API не доступны при использовании прогнозируемого вывода, включая значения n, превышающие 1, logprobs, а также присутствие_Пенальности и частота_Пенальности, превышающие 0.
Стоит отметить, что, обеспечивая более быстрый отклик, эта функция также приносит небольшое увеличение затрат. Согласно данным пользовательского теста, та же задача сократила время обработки с 5,2 секунды до 3,3 секунды после использования прогнозируемой выходной функции, но стоимость увеличилась с 0,1555 центов до 0,2675 цента. Это связано с тем, что OpenAI также взимает ставку токенов за нефинансирующую часть прогнозирования.
Несмотря на небольшое увеличение затрат, эта функция по -прежнему имеет значительную стоимость применения, учитывая значительное повышение эффективности. Разработчики могут получить более подробные технические инструкции и руководства по использованию с помощью официальной документации OpenAI.
Официальная документация OpenAI:
https://platform.openai.com/docs/guides/lateency-optimization#use-predicated-outputs
Короче говоря, функция «прогнозирующего вывода» OpenAI привела к значительному повышению эффективности для разработчиков. Разработчики могут взвесить плюсы и минусы на основе фактических потребностей и выбирать, использовать ли эту новую функцию.