OpenAI lanzó recientemente una función de salida de predicción para el modelo GPT-4o. Esta función desarrollada conjuntamente con FactoryAI puede mejorar significativamente la velocidad de respuesta del modelo, hasta 5 veces la velocidad original. Esta característica reduce la duplicación al identificar y reutilizar partes de contenido predecibles y es particularmente efectiva en tareas como la refactorización de código y las actualizaciones de blogs. El editor de Downcodes explicará detalladamente las ventajas, limitaciones y costes de uso de esta nueva característica.
OpenAI lanzó recientemente una actualización importante, introduciendo la función Salidas previstas en el modelo GPT-4o. Esta innovadora tecnología mejora significativamente la velocidad de respuesta del modelo, que puede ser hasta 5 veces la velocidad original en ciertos escenarios, brindando una nueva experiencia de eficiencia a los desarrolladores.
La principal ventaja de esta función, desarrollada conjuntamente por OpenAI y FactoryAI, es que puede evitar el proceso de duplicación de generación de contenido conocido. Excelente en aplicaciones del mundo real, especialmente en tareas como actualizar publicaciones de blogs, iterar respuestas existentes o reescribir código. Según datos proporcionados por FactoryAI, en tareas de programación el tiempo de respuesta se ha acortado de 2 a 4 veces, comprimiendo en 20 segundos una tarea que originalmente tardaba 70 segundos en completarse.
Actualmente, esta función solo está abierta a desarrolladores a través de API y es compatible con los modelos GPT-4o y GPT-4mini. Los comentarios sobre el uso real han sido positivos y muchos desarrolladores han comenzado a probar y compartir su experiencia. Eric Ciarla, fundador de Firecrawl, dijo al convertir contenido SEO: la velocidad ha mejorado significativamente y el uso es simple y directo.
Técnicamente, la salida predictiva funciona identificando y reutilizando partes predecibles de contenido. Los documentos oficiales de OpenAI dan ejemplos de que en escenarios como la refactorización de código, como cuando se cambia el atributo Nombre de usuario en el código C# a Correo electrónico, la velocidad de generación se puede mejorar enormemente ingresando el archivo de clase completo como texto predicho.
Sin embargo, esta característica tiene algunas limitaciones y advertencias. Además de las limitaciones de la compatibilidad con el modelo, ciertos parámetros de API no están disponibles cuando se utiliza la salida de predicción, incluidos valores n mayores que 1, logprobs y presencia_penalty y frecuencia_penalty mayores que 0.
Vale la pena señalar que esta característica, si bien proporciona tiempos de respuesta más rápidos, también genera un ligero aumento de costos. Según los datos de las pruebas de usuarios, después de utilizar la función de salida predictiva para la misma tarea, aunque el tiempo de procesamiento se redujo de 5,2 segundos a 3,3 segundos, el costo aumentó de 0,1555 centavos a 0,2675 centavos. Esto se debe a que OpenAI también cobra la tasa de tokens de finalización por los tokens de finalización no finales proporcionados durante la predicción.
Aunque el costo ha aumentado ligeramente, esta característica todavía tiene un valor de aplicación considerable considerando la mejora significativa de la eficiencia. Los desarrolladores pueden obtener instrucciones técnicas y guías de uso más detalladas a través de la documentación oficial de OpenAI.
Documentación oficial de OpenAI:
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
Con todo, la función de salida de predicción de OpenAI proporciona a los desarrolladores ganancias de eficiencia significativas y, a pesar de algunas restricciones de uso y mayores costos, aún vale la pena prestar atención a las mejoras de velocidad que aporta. El editor de Downcodes recomienda que los desarrolladores evalúen el valor de sus aplicaciones en función de sus propias necesidades.