OpenAI hat kürzlich eine Vorhersageausgabefunktion für das GPT-4o-Modell eingeführt. Diese gemeinsam mit FactoryAI entwickelte Funktion kann die Reaktionsgeschwindigkeit des Modells erheblich verbessern, und zwar bis zum Fünffachen der ursprünglichen Geschwindigkeit. Diese Funktion reduziert Duplikate durch die Identifizierung und Wiederverwendung vorhersehbarer Inhaltsteile und ist besonders effektiv bei Aufgaben wie Code-Refactoring und Blog-Updates. Der Herausgeber von Downcodes wird die Vorteile, Einschränkungen und Nutzungskosten dieser neuen Funktion ausführlich erläutern.
OpenAI hat kürzlich ein wichtiges Update veröffentlicht und die Funktion „Vorhergesagte Ausgaben“ in das GPT-4o-Modell eingeführt. Diese innovative Technologie verbessert die Reaktionsgeschwindigkeit des Modells erheblich, die in bestimmten Szenarien bis zum Fünffachen der ursprünglichen Geschwindigkeit betragen kann, was Entwicklern ein neues Effizienzerlebnis bietet.
Der Hauptvorteil dieser von OpenAI und FactoryAI gemeinsam entwickelten Funktion besteht darin, dass sie den Duplizierungsprozess bei der Generierung bekannter Inhalte umgehen kann. Hervorragend geeignet für reale Anwendungen, insbesondere für Aufgaben wie das Aktualisieren von Blogbeiträgen, das Iterieren vorhandener Antworten oder das Umschreiben von Code. Den von FactoryAI bereitgestellten Daten zufolge wurde die Reaktionszeit bei Programmieraufgaben um das Zwei- bis Vierfache verkürzt, wodurch eine Aufgabe, deren Ausführung ursprünglich 70 Sekunden dauerte, innerhalb von 20 Sekunden komprimiert wurde.
Derzeit steht diese Funktion nur Entwicklern über die API zur Verfügung und unterstützt die Modelle GPT-4o und GPT-4mini. Das Feedback aus der Praxis war positiv und viele Entwickler haben mit dem Testen und Teilen ihrer Erfahrungen begonnen. Eric Ciarla, der Gründer von Firecrawl, sagte bei der Konvertierung von SEO-Inhalten: Die Geschwindigkeit sei deutlich verbessert worden und die Nutzung sei einfach und direkt.
Technisch gesehen funktioniert die prädiktive Ausgabe durch die Identifizierung und Wiederverwendung vorhersehbarer Teile des Inhalts. Offizielle Dokumente von OpenAI geben Beispiele dafür, dass in Szenarios wie Code-Refactoring, etwa beim Ändern des Benutzernamen-Attributs in C#-Code in E-Mail, die Generierungsgeschwindigkeit erheblich verbessert werden kann, indem die gesamte Klassendatei als vorhergesagter Text eingegeben wird.
Diese Funktion bringt jedoch einige Einschränkungen und Vorbehalte mit sich. Zusätzlich zu den Einschränkungen der Modellunterstützung sind bestimmte API-Parameter bei Verwendung der Vorhersageausgabe nicht verfügbar, darunter n-Werte größer als 1, logprobs sowie Presence_penalty und Frequency_penalty größer als 0.
Es ist erwähnenswert, dass diese Funktion zwar schnellere Reaktionszeiten bietet, aber auch einen leichten Kostenanstieg mit sich bringt. Laut Benutzertestdaten stiegen die Kosten nach Verwendung der prädiktiven Ausgabefunktion für dieselbe Aufgabe zwar von 5,2 Sekunden auf 3,3 Sekunden, die Kosten stiegen jedoch von 0,1555 Cent auf 0,2675 Cent. Dies liegt daran, dass OpenAI auch die Abschluss-Token-Rate für die nicht-endgültigen Abschluss-Tokens berechnet, die während der Vorhersage bereitgestellt werden.
Obwohl die Kosten leicht gestiegen sind, hat diese Funktion angesichts der erheblichen Effizienzsteigerung immer noch einen erheblichen Anwendungswert. Entwickler können detailliertere technische Anweisungen und Nutzungshandbücher über die offizielle Dokumentation von OpenAI erhalten.
Offizielle OpenAI-Dokumentation:
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
Alles in allem bietet die Vorhersageausgabefunktion von OpenAI Entwicklern erhebliche Effizienzsteigerungen, und trotz einiger Nutzungseinschränkungen und erhöhter Kosten sind die damit verbundenen Geschwindigkeitsverbesserungen immer noch eine Beachtung wert. Der Herausgeber von Downcodes empfiehlt Entwicklern, den Wert ihrer Anwendungen anhand ihrer eigenen Bedürfnisse zu bewerten.