Nicht nur das mit Spannung erwartete OpenAI-Modell Orion der nächsten Generation, sondern auch Anthropic, ein weiteres Star-Start-up für künstliche Intelligenz (KI), das mit Google und OpenAI konkurriert, hat ebenfalls berichtet, dass es bei der Entwicklung fortschrittlicher KI-Modelle zu Engpässen gekommen ist.
Am Mittwoch, dem 13. November, Eastern Time, berichtete Bloomberg, dass OpenAI im September dieses Jahres die erste Runde des Orion-Trainings abgeschlossen habe, in der Hoffnung, dass es einige frühere Versionen deutlich übertreffen und dem Ziel näher kommen würde, dass die KI den Menschen übertrifft, und zitierte dabei zwei bekannte Personen die Sache, aber Orion erbrachte nicht die vom Unternehmen erhoffte Leistung. Im Spätsommer schnitt das Modell bei dem Versuch, untrainierte Codierungsfragen zu beantworten, schlecht ab.
Mit der Angelegenheit vertraute Personen bemerkten, dass die bestehenden Modelle von Orion und OpenAI im Vergleich zur Leistung von GPT-4 über GPT-3.5 hinaus bisher insgesamt keine großen Fortschritte gemacht hätten.
Der Bericht zitierte außerdem drei weitere mit der Angelegenheit vertraute Personen mit der Aussage, dass Googles kommende neue Version von Gemini nicht den internen Erwartungen entsprochen habe, und Anthropic habe außerdem die geplante Veröffentlichung des als 3.5 Opus bekannten Claude-Modells verschoben.
Der Bericht geht davon aus, dass die oben genannten drei Unternehmen bei der Entwicklung von KI-Modellen vor mehreren Herausforderungen stehen. Es wird für sie immer schwieriger, unerschlossene, hochwertige künstliche Trainingsdaten zu finden. Beispielsweise ist die unbefriedigende Codierungsleistung von Orion teilweise auf einen Mangel an ausreichenden Codierungsdaten für das Training zurückzuführen. Selbst geringfügige Verbesserungen der Modellleistung reichen möglicherweise nicht aus, um die enormen Kosten für den Bau und Betrieb eines neuen Modells zu rechtfertigen oder die Erwartungen an ein größeres Upgrade zu erfüllen.
Das Engpassproblem bei der Entwicklung von KI-Modellen stellt das Skalierungsgesetz in Frage, das von vielen Start-ups und sogar Technologiegiganten als Richtlinie angesehen wird. Es stellt auch die Machbarkeit massiver Investitionen in KI zur Erreichung allgemeiner künstlicher Intelligenz (AGI) in Frage.
Wall Street News erwähnte einmal, dass das von OpenAI bereits im Jahr 2020 vorgeschlagene Gesetz bedeutet, dass die endgültige Leistung eines großen Modells hauptsächlich vom Berechnungsumfang, der Menge der Modellparameter und der Menge der Trainingsdaten abhängt und mit der Menge zusammenhängt (Anzahl/Tiefe/Breite) des Modells sind grundsätzlich unerheblich. Im Juli dieses Jahres verteidigte Kevin Scott, Chief Technology Officer (CTO) von Microsoft, dieses Gesetz ebenfalls und sagte, dass das Skalierungsgesetz immer noch für die aktuelle Branche gelte – bei der Erweiterung großer Modelle würden die Grenzvorteile nicht geringer. Zufälligerweise verbreiteten die Medien letzte Woche die Nachricht, dass OpenAI festgestellt habe, dass Orion „keinen so großen Sprung gemacht“ habe und die Fortschritte weitaus geringer seien als bei den beiden vorherigen Generationen der Flaggschiffmodelle. Diese Entdeckung stellt das im KI-Bereich verfolgte Skalierungsgesetz direkt in Frage. Aufgrund des Rückgangs hochwertiger Trainingsdaten und des Anstiegs der Rechenkosten mussten die Forscher von OpenAI damit beginnen, zu untersuchen, ob es andere Möglichkeiten gibt, die Leistung des Modells zu verbessern.OpenAI beispielsweise integriert mehr Code-Schreibfähigkeiten in seine Modelle und versucht, Software zu entwickeln, die einen PC übernehmen kann, um Webbrowser-Aktivitäten oder Anwendungsaufgaben durch Klicken, Cursorbewegungen und andere Aktionen auszuführen.
OpenAI hat außerdem ein spezielles Team unter der Leitung von Nick Ryder gegründet, der zuvor für das Vortraining verantwortlich war, um zu untersuchen, wie begrenzte Trainingsdaten optimiert und die Anwendung von Erweiterungsmethoden angepasst werden können, um die Stabilität der Modellverbesserung aufrechtzuerhalten.
Bezüglich des Bloomberg-Berichts vom Mittwoch sagte ein Google DeepMind-Sprecher, dass das Unternehmen „mit den Fortschritten von Gemini zufrieden ist und wir weitere Informationen weitergeben werden, sobald es soweit ist.“ OpenAI lehnte eine Stellungnahme ab. Auch Anthropic lehnte eine Stellungnahme ab, verwies jedoch auf einen am Montag veröffentlichten Blog-Beitrag, in dem Anthropic-CEO Dario Amodei während eines fünfstündigen Podcasts sprach.
Amodel sagte, dass das, was die Leute Skalierungsgesetz nennen, kein Gesetz sei. Es sei kein universelles Gesetz, sondern ein empirisches Gesetz. Amodel geht davon aus, dass Skalierungsgesetze weiterhin bestehen bleiben, ist sich aber nicht sicher. Er sagte, es gäbe „viele Dinge“, die den Fortschritt hin zu einer leistungsfähigeren KI in den kommenden Jahren „stören“ könnten, darunter „uns könnten die Daten ausgehen“, aber er ist optimistisch, dass KI-Unternehmen einen Weg finden werden, etwaige Hindernisse zu überwinden.
In Bezug auf den Bloomberg-Bericht erklärte Nosson Weissman, der Gründer von NossonAI, einem Unternehmen, das maßgeschneiderte KI-Lösungen für Unternehmen anbietet, dass ihn der Bericht nicht verwirrte, da er erstens nicht den Ausdruck echter Experten sah, die bedeutende Beiträge geleistet haben Zweitens sehen wir oft erhebliche Fortschritte bei der Modellierung, und schließlich glaubt er, dass die Nachrichtenmedien gerne Drama erzeugen, und dieser Bericht scheint einfach eine schöne dramatische Schlagzeile zu haben.
