Die neueste "Predictive Output" -Funktion von OpenAI des GPT-4O-Modells hat die Reaktionsgeschwindigkeit des Modells bis zu dem Fünffachen der ursprünglichen Geschwindigkeit erheblich verbessert. Diese in Zusammenarbeit mit Factoryai entwickelte Funktion vermeidet die doppelte Generation effektiv, indem vorhersehbare Inhalte identifiziert und wiederverwendet werden, insbesondere in Szenarien wie Code -Rekonstruktion und Blog -Updates. Diese Funktion ist derzeit nur über die API geöffnet und unterstützt GPT-4O- und GPT-4Mini-Modelle.
OpenAI hat kürzlich ein wichtiges Update gestartet, um die Funktion "vorhergesagte Ausgänge" in das GPT-4O-Modell einzuführen. Diese innovative Technologie verbessert die Reaktionsgeschwindigkeit des Modells erheblich und erreicht in einem bestimmten Szenario die fünffache ursprüngliche Geschwindigkeit und bringt Entwicklern ein neues Effizienzerlebnis.
Der Kernvorteil dieses Merkmals, das gemeinsam von OpenAI und Factoryai entwickelt wurde, besteht darin, dass sie den wiederholten Erzeugungsprozess bekannter Inhalte umgehen kann. In praktischen Anwendungen wird bei Aufgaben wie dem Aktualisieren von Blog -Posts, der Iterierung vorhandener Antworten oder dem Umschreiben von Code gut ausgeführt. Nach den von Factoryai bereitgestellten Daten wird die Reaktionszeit bei Programmieraufgaben um das 2- bis 4 -fache reduziert, und die Aufgabe, die ursprünglich 70 Sekunden dauerte, wurde innerhalb von 20 Sekunden komprimiert.
Gegenwärtig ist diese Funktion nur für Entwickler durch API-Form offen und unterstützt GPT-4O- und GPT-4Mini-Modelle. Das tatsächliche Feedback zur Nutzung ist positiv, und viele Entwickler haben Tests gestartet und ihre Erfahrungen geteilt. Eric Ciarla, Gründer der Firecrawl -Gründerin, sagte bei der Konvertierung des SEO -Inhalts: "Die Geschwindigkeit ist erheblich und die Verwendung ist einfach und unkompliziert."
Technisch gesehen funktioniert die Vorhersageausgangsfunktion, indem vorhersehbare Inhaltsteile identifiziert und wiederverwendet werden. Offene offizielle Dokumente geben Beispiele an.
Es gibt jedoch einige Nutzungsbeschränkungen und Vorsichtsmaßnahmen für diese Funktion. Zusätzlich zu den vom Modell unterstützten Einschränkungen sind einige API -Parameter nicht verfügbar, wenn die vorhergesagte Ausgabe verwendet wird, einschließlich N -Werten, die größer als 1, logprobs und vorhanden_Penalty und Frequenz_Penalt höher als 0 sind.
Es ist erwähnenswert, dass diese Funktion zwar eine schnellere Reaktion liefert, aber auch eine geringfügige Kostenerhöhung mit sich bringt. Laut Benutzertestdaten hat dieselbe Aufgabe die Verarbeitungszeit von 5,2 Sekunden auf 3,3 Sekunden nach Verwendung der vorhergesagten Ausgangsfunktion verkürzt, die Kosten sind jedoch von 0,1555 Cent auf 0,2675 Cent gestiegen. Dies liegt daran, dass OpenAI auch die Token-Rate für den nicht endgültigen Fertigstellungsteil der Vorhersage berechnet.
Trotz der geringfügigen Kostensteigerung hat diese Funktion aufgrund der erheblichen Verbesserung der Effizienz immer noch einen erheblichen Anwendungswert. Entwickler können detailliertere technische Anweisungen und Nutzungsleitfäden durch die offizielle OpenAI -Dokumentation erhalten.
Offene offizielle Dokumentation:
https://platform.openai.com/docs/guides/latecy-optimization#use-prient-outputs
Kurz gesagt, OpenAIs "Predictive Output" -Funktion hat den Entwicklern erhebliche Effizienzverbesserungen mitgebracht. Entwickler können die Vor- und Nachteile basierend auf den tatsächlichen Anforderungen abwägen und wählen, ob diese neue Funktion verwendet werden soll.