OpenAI a récemment lancé une fonction de sortie de prédiction pour le modèle GPT-4o. Cette fonction développée conjointement avec FactoryAI peut améliorer considérablement la vitesse de réponse du modèle, jusqu'à 5 fois la vitesse d'origine. Cette fonctionnalité réduit la duplication en identifiant et en réutilisant les parties de contenu prévisibles, et est particulièrement efficace dans des tâches telles que la refactorisation du code et les mises à jour de blogs. L'éditeur de Downcodes vous expliquera en détail les avantages, les limites et les coûts d'utilisation de cette nouvelle fonctionnalité.
OpenAI a récemment lancé une mise à jour importante, introduisant la fonction Predicted Outputs au modèle GPT-4o. Cette technologie innovante améliore considérablement la vitesse de réponse du modèle, qui peut atteindre jusqu'à 5 fois la vitesse d'origine dans certains scénarios, apportant ainsi une nouvelle expérience d'efficacité aux développeurs.
Le principal avantage de cette fonctionnalité, développée conjointement par OpenAI et FactoryAI, est qu'elle peut contourner le processus de duplication de génération de contenu connu. Excellent dans les applications du monde réel, en particulier pour des tâches telles que la mise à jour d'articles de blog, l'itération de réponses existantes ou la réécriture de code. Selon les données fournies par FactoryAI, dans les tâches de programmation, le temps de réponse a été raccourci de 2 à 4 fois, compressant en 20 secondes une tâche qui prenait initialement 70 secondes.
Actuellement, cette fonction n'est ouverte aux développeurs que via l'API et prend en charge les modèles GPT-4o et GPT-4mini. Les retours sur l'utilisation réelle ont été positifs et de nombreux développeurs ont commencé à tester et à partager leur expérience. Eric Ciarla, le fondateur de Firecrawl, a déclaré lors de la conversion du contenu SEO : la vitesse a été considérablement améliorée et l'utilisation est simple et directe.
Techniquement, la sortie prédictive fonctionne en identifiant et en réutilisant des parties prévisibles du contenu. Les documents officiels d'OpenAI donnent des exemples selon lesquels, dans des scénarios tels que la refactorisation de code, par exemple lors de la modification de l'attribut Nom d'utilisateur dans le code C# en Email, la vitesse de génération peut être considérablement améliorée en saisissant l'intégralité du fichier de classe sous forme de texte prédit.
Cependant, cette fonctionnalité comporte certaines limitations et mises en garde. Outre les limitations de la prise en charge du modèle, certains paramètres de l'API ne sont pas disponibles lors de l'utilisation de la sortie de prédiction, notamment les valeurs n supérieures à 1, les logprobs, ainsi que les valeurs de présence_penalty et de fréquence_penalty supérieures à 0.
Il convient de noter que cette fonctionnalité, tout en offrant des temps de réponse plus rapides, entraîne également une légère augmentation des coûts. Selon les données des tests utilisateurs, après avoir utilisé la fonction de sortie prédictive pour la même tâche, bien que le temps de traitement ait été réduit de 5,2 secondes à 3,3 secondes, le coût a augmenté de 0,1555 centimes à 0,2675 centimes. En effet, OpenAI facture également le taux des jetons d'achèvement pour les jetons d'achèvement non finaux fournis lors de la prédiction.
Bien que le coût ait légèrement augmenté, cette fonctionnalité présente toujours une valeur d'application considérable compte tenu de l'amélioration significative de l'efficacité. Les développeurs peuvent obtenir des instructions techniques plus détaillées et des guides d'utilisation via la documentation officielle d'OpenAI.
Documentation officielle d'OpenAI :
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
Dans l'ensemble, la fonction de sortie de prédiction d'OpenAI offre aux développeurs des gains d'efficacité significatifs, et malgré certaines restrictions d'utilisation et une augmentation des coûts, les améliorations de vitesse qu'elle apporte méritent toujours d'être prises en compte. L'éditeur de Downcodes recommande aux développeurs d'évaluer la valeur de leurs applications en fonction de leurs propres besoins.