A OpenAI lançou recentemente uma função de saída de previsão para o modelo GPT-4o. Esta função desenvolvida em conjunto com a FactoryAI pode melhorar significativamente a velocidade de resposta do modelo, até 5 vezes a velocidade original. Esse recurso reduz a duplicação ao identificar e reutilizar partes de conteúdo previsíveis e é particularmente eficaz em tarefas como refatoração de código e atualizações de blogs. O editor do Downcodes explicará detalhadamente as vantagens, limitações e custos de utilização desta nova funcionalidade.
A OpenAI lançou recentemente uma atualização importante, introduzindo a função Predicted Outputs ao modelo GPT-4o. Essa tecnologia inovadora melhora significativamente a velocidade de resposta do modelo, que pode ser até 5 vezes a velocidade original em determinados cenários, trazendo uma nova experiência de eficiência aos desenvolvedores.
A principal vantagem deste recurso, desenvolvido em conjunto pela OpenAI e FactoryAI, é que ele pode contornar o processo de duplicação de geração de conteúdo conhecido. Excelente em aplicações do mundo real, especialmente em tarefas como atualizar postagens de blogs, iterar respostas existentes ou reescrever código. De acordo com dados fornecidos pela FactoryAI, em tarefas de programação, o tempo de resposta foi reduzido de 2 a 4 vezes, comprimindo em 20 segundos uma tarefa que originalmente levava 70 segundos para ser concluída.
Atualmente, esta função está aberta apenas para desenvolvedores por meio de API e oferece suporte aos modelos GPT-4o e GPT-4mini. O feedback do uso real tem sido positivo e muitos desenvolvedores começaram a testar e compartilhar suas experiências. Eric Ciarla, o fundador do Firecrawl, disse ao converter conteúdo SEO: a velocidade foi significativamente melhorada e o uso é simples e direto.
Tecnicamente, a saída preditiva funciona identificando e reutilizando partes previsíveis do conteúdo. Documentos oficiais da OpenAI dão exemplos de que em cenários como refatoração de código, como ao alterar o atributo Nome de usuário no código C# para Email, a velocidade de geração pode ser bastante melhorada inserindo todo o arquivo de classe como texto previsto.
No entanto, esse recurso apresenta algumas limitações e advertências. Além das limitações do suporte do modelo, certos parâmetros da API não estão disponíveis ao usar a saída de previsão, incluindo n valores maiores que 1, logprobs e presença_penalty e Frequency_penalty maiores que 0.
Vale ressaltar que esse recurso, embora proporcione tempos de resposta mais rápidos, também traz um ligeiro aumento de custos. De acordo com dados de teste do usuário, depois de usar a função de saída preditiva para a mesma tarefa, embora o tempo de processamento tenha sido reduzido de 5,2 segundos para 3,3 segundos, o custo aumentou de 0,1555 centavos para 0,2675 centavos. Isso ocorre porque a OpenAI também cobra a taxa de tokens de conclusão para os tokens de conclusão não finais fornecidos durante a previsão.
Embora o custo tenha aumentado ligeiramente, este recurso ainda tem um valor de aplicação considerável, considerando a melhoria significativa da eficiência. Os desenvolvedores podem obter instruções técnicas e guias de uso mais detalhados por meio da documentação oficial da OpenAI.
Documentação oficial da OpenAI:
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
Em suma, a função de saída de previsão do OpenAI fornece aos desenvolvedores ganhos de eficiência significativos e, apesar de algumas restrições de uso e aumento de custos, ainda vale a pena prestar atenção às melhorias de velocidade que ela traz. O editor do Downcodes recomenda que os desenvolvedores avaliem o valor de suas aplicações com base em suas próprias necessidades.