A mais recente função de "saída preditiva" do OpenAI do modelo GPT-4O melhorou bastante a velocidade de resposta do modelo, até 5 vezes a velocidade original. Essa função desenvolvida em colaboração com a Factoryai evita efetivamente a geração duplicada, identificando e reutilizando conteúdo previsível, especialmente em cenários, como reconstrução de código e atualizações de blog. Atualmente, esse recurso está aberto apenas através da API, apoiando os modelos GPT-4O e GPT-4mini.
O OpenAI lançou recentemente uma atualização importante para introduzir a função "Saídas previstas" no modelo GPT-4O. Essa tecnologia inovadora melhora significativamente a velocidade de resposta do modelo, atingindo até 5 vezes a velocidade original em um cenário específico, trazendo aos desenvolvedores uma nova experiência de eficiência.
A vantagem central desse recurso, desenvolvida em conjunto pelo OpenAI e Factoryai, é que ele pode ignorar o processo de geração repetida de conteúdo conhecido. Em aplicações práticas, ele tem um bom desempenho em tarefas como atualizar postagens no blog, iterando respostas existentes ou reescrever código. De acordo com os dados fornecidos pela Factoryai, nas tarefas de programação, o tempo de resposta é reduzido em 2 a 4 vezes, e a tarefa que originalmente levou 70 segundos foi compactada para ser concluída em 20 segundos.
Atualmente, essa função está aberta apenas aos desenvolvedores por meio da forma da API e suporta os modelos GPT-4O e GPT-4mini. O feedback real sobre o uso é positivo e muitos desenvolvedores lançaram testes e compartilharam sua experiência. O fundador da Firecrawl, Eric Ciarla, disse ao converter o conteúdo de SEO: "A velocidade é significativa e o uso é simples e direto".
Tecnicamente, a função de saída preditiva funciona identificando e reutilizando peças de conteúdo previsíveis. Os documentos oficiais do OpenAI dão exemplos.
No entanto, existem algumas limitações de uso e precauções para esse recurso. Além das limitações suportadas pelo modelo, alguns parâmetros da API não estão disponíveis ao usar a saída prevista, incluindo valores de n maiores que 1, logProbs e presença_penalty e frequência_penalty maiores que 0.
Vale a pena notar que, ao fornecer uma resposta mais rápida, esse recurso também traz um pequeno aumento de custo. De acordo com os dados do teste do usuário, a mesma tarefa reduziu o tempo de processamento de 5,2 segundos para 3,3 segundos após o uso da função de saída prevista, mas o custo aumentou de 0,1555 centavos para 0,2675 centavos. Isso ocorre porque o OpenAI também cobra a taxa de tokens para a parte não final concluída da previsão.
Apesar do pequeno aumento nos custos, esse recurso ainda tem um valor considerável de aplicação, dada a melhoria significativa da eficiência. Os desenvolvedores podem obter instruções técnicas mais detalhadas e guias de uso através da documentação oficial do OpenAI.
Documentação oficial do OpenAI:
https://platform.openai.com/docs/guides/lateency-optimization#use-predicty-tputs
Em suma, a função "Preditive Saída" da OpenAI trouxe melhorias significativas de eficiência para os desenvolvedores. Os desenvolvedores podem pesar os prós e contras com base nas necessidades reais e escolher se devem usar esse novo recurso.