La última función de "salida predictiva" de OpenAI del modelo GPT-4O ha mejorado enormemente la velocidad de respuesta del modelo, hasta 5 veces la velocidad original. Esta función desarrollada en colaboración con Factoryai evita efectivamente la generación duplicada identificando y reutilizando contenido previsible, especialmente en escenarios como la reconstrucción de códigos y las actualizaciones de blogs. Actualmente, esta característica solo está abierta a través de la API, lo que respalda los modelos GPT-4O y GPT-4Mini.
Operai lanzó recientemente una actualización importante para introducir la función de "salidas predichas" al modelo GPT-4O. Esta tecnología innovadora mejora significativamente la velocidad de respuesta del modelo, alcanzando hasta 5 veces la velocidad original en un escenario específico, lo que brinda a los desarrolladores una nueva experiencia de eficiencia.
La ventaja central de esta característica, desarrollada conjuntamente por OpenAI y Factoryai, es que puede evitar el proceso de generación repetida de contenido conocido. En aplicaciones prácticas, funciona bien en tareas como actualizar publicaciones de blog, iterando las respuestas existentes o el código de reescritura. Según los datos proporcionados por Factoryai, en las tareas de programación, el tiempo de respuesta se reduce en 2 a 4 veces, y la tarea que originalmente tardó 70 segundos se comprimió para completarse en 20 segundos.
En la actualidad, esta función solo está abierta para los desarrolladores a través de la forma API, y admite modelos GPT-4O y GPT-4Mini. La retroalimentación real sobre el uso es positiva, y muchos desarrolladores han lanzado pruebas y han compartido su experiencia. El fundador de Firecrawl, Eric Ciarla, dijo al convertir el contenido de SEO: "La velocidad es significativa y el uso es simple y directo".
Técnicamente, la función de salida predictiva funciona identificando y reutilizando piezas de contenido predecibles. Los documentos oficiales de OpenAI dan ejemplos.
Sin embargo, existen algunas limitaciones de uso y precauciones para esta característica. Además de las limitaciones admitidas por el modelo, algunos parámetros de API no están disponibles cuando se usan la salida predicha, incluidos los valores de N mayores que 1, logProbs y Presence_Penalty y Frecuencia_Penalty superiores a 0.
Vale la pena señalar que si bien proporciona una respuesta más rápida, esta característica también trae un ligero aumento en el costo. Según los datos de la prueba del usuario, la misma tarea ha reducido el tiempo de procesamiento de 5.2 segundos a 3.3 segundos después de usar la función de salida prevista, pero el costo ha aumentado de 0.1555 centavos a 0.2675 centavos. Esto se debe a que OpenAi también cobra la tasa de tokens por la parte no finalizada de la predicción.
A pesar del ligero aumento en los costos, esta característica aún tiene un valor de aplicación considerable dada la mejora significativa de la eficiencia. Los desarrolladores pueden obtener instrucciones técnicas y guías de uso más detalladas a través de la documentación oficial de OpenAI.
Documentación oficial de Operai:
https://platform.openai.com/docs/guides/lateency-optimization#use-prediche-outputs
En resumen, la función de "producción predictiva" de OpenAI ha traído mejoras de eficiencia significativas a los desarrolladores. Los desarrolladores pueden sopesar los pros y los contras en función de las necesidades reales y elegir si usar esta nueva característica.