La dernière fonction de "sortie prédictive" d'OpenAI du modèle GPT-4O a considérablement amélioré la vitesse de réponse du modèle, jusqu'à 5 fois la vitesse d'origine. Cette fonction développée en collaboration avec Factoryai évite efficacement la génération en double en identifiant et en réutilisant le contenu prévisible, en particulier dans des scénarios tels que la reconstruction du code et les mises à jour du blog. Cette fonctionnalité n'est actuellement ouverte que via l'API, les modèles GPT-4O et GPT-4mini.
OpenAI a récemment lancé une mise à jour importante pour introduire la fonction "Sorties prédites" dans le modèle GPT-4O. Cette technologie innovante améliore considérablement la vitesse de réponse du modèle, atteignant jusqu'à 5 fois la vitesse d'origine dans un scénario spécifique, offrant aux développeurs une nouvelle expérience d'efficacité.
L'avantage principal de cette fonctionnalité, développé conjointement par OpenAI et Factoryai, est qu'il peut contourner le processus de génération répété du contenu connu. Dans les applications pratiques, il fonctionne bien dans les tâches telles que la mise à jour des articles de blog, l'itération des réponses existantes ou le code de réécriture. Selon les données fournies par Factoryai, dans les tâches de programmation, le temps de réponse est réduit de 2 à 4 fois, et la tâche qui a pris à l'origine 70 secondes a été comprimée pour terminer dans les 20 secondes.
À l'heure actuelle, cette fonction n'est ouverte qu'aux développeurs via la forme API et prend en charge les modèles GPT-4O et GPT-4MINI. La rétroaction réelle sur l'utilisation est positive, et de nombreux développeurs ont lancé des tests et partagé leur expérience. Le fondateur de Firecrawl, Eric Ciarla, a déclaré lors de la conversion du contenu du référencement: "La vitesse est importante et l'utilisation est simple et simple."
Techniquement, la fonction de sortie prédictive fonctionne en identifiant et en réutilisant des pièces de contenu prévisibles. Les documents officiels OpenAI donnent des exemples.
Cependant, il existe des limitations d'utilisation et des précautions pour cette fonctionnalité. En plus des limitations prises en charge par le modèle, certains paramètres d'API ne sont pas disponibles lors de l'utilisation de la sortie prévue, y compris n valeurs supérieures à 1, logprobs et présence_penalty et fréquence_penalty supérieure à 0.
Il convient de noter que tout en fournissant une réponse plus rapide, cette fonctionnalité apporte également une légère augmentation des coûts. Selon les données du test de l'utilisateur, la même tâche a réduit le temps de traitement de 5,2 secondes à 3,3 secondes après avoir utilisé la fonction de sortie prévue, mais le coût est passé de 0,1555 cents à 0,2675 cents. En effet, OpenAI facture également le taux de jetons pour la partie non finale terminée de la prédiction.
Malgré la légère augmentation des coûts, cette fonctionnalité a toujours une valeur d'application considérable compte tenu de l'amélioration significative de l'efficacité. Les développeurs peuvent obtenir des instructions techniques plus détaillées et des guides d'utilisation dans la documentation officielle OpenAI.
Documentation officielle OpenAI:
https://platform.openai.com/docs/guides/lateency-optimisation#use-predita-sorts
En bref, la fonction de «sortie prédictive» d'OpenAI a apporté des améliorations d'efficacité importantes aux développeurs. Les développeurs peuvent peser les avantages et les inconvénients en fonction des besoins réels et de choisir d'utiliser cette nouvelle fonctionnalité.