Auf dem Gebiet der künstlichen Intelligenz wird in letzter Zeit heftig diskutiert und immer wieder wird darüber gestritten, ob die Entwicklung an einem Engpass angelangt ist. Anthropic-Mitbegründer Jack Clark veröffentlichte kürzlich einen Artikel, in dem er seinen Optimismus über die Entwicklungsaussichten von KI zum Ausdruck brachte und seine Ansichten am Beispiel des o3-Modells von OpenAI darlegte. Er glaubt, dass die KI-Entwicklung nicht stagniert, sondern sich beschleunigt, es seien jedoch innovativere Methoden erforderlich, etwa die Kombination von Reinforcement Learning und zusätzlicher Rechenleistung.
Hat die Entwicklung der künstlichen Intelligenz einen Engpass erreicht? Jack Clark, Mitbegründer von Anthropic, machte in einem aktuellen Newsletter deutlich, dass dies nicht der Fall ist. Er glaubt, dass das kürzlich von OpenAI veröffentlichte o3-Modell zeigt, dass sich die Entwicklung der KI nicht verlangsamt hat, sondern möglicherweise beschleunigt.
In einem Newsletter mit dem Titel „Import AI“ widerlegt Clark Behauptungen, dass die KI-Entwicklung an ihre Grenzen stößt. „Jeder, der Ihnen sagt, dass sich der Fortschritt verlangsamt oder dass die Skalierung auf einen Engpass stößt, liegt falsch“, schrieb er. Er wies darauf hin, dass das neue o3-Modell von OpenAI ein Beweis dafür sei, dass es in der KI noch viel Raum für Wachstum gebe, aber ein anderer Ansatz erforderlich sei . Anstatt das Modell einfach zu skalieren, nutzen o3-Modelle die Vorteile von Reinforcement Learning und zusätzlicher Rechenleistung zur Laufzeit.
Clark glaubt, dass diese Fähigkeit, zur Laufzeit „laut zu denken“, völlig neue Möglichkeiten der Skalierung eröffnet. Er geht davon aus, dass sich dieser Trend im Jahr 2025 beschleunigen wird, wenn Unternehmen beginnen werden, traditionelle Methoden, wie etwa größere Basismodelle, mit neuen Möglichkeiten der Computernutzung während des Trainings und der Inferenz zu kombinieren. Dies deckt sich mit den Aussagen von OpenAI bei der ersten Einführung seiner O-Modellreihe.
Clark warnte, dass die meisten Menschen wahrscheinlich nicht damit gerechnet hätten, wie schnell sich KI entwickeln würde. „Ich denke, im Grunde ist sich niemand bewusst, wie bedeutend die Fortschritte in der KI in Zukunft sein werden.“
Allerdings wies er darauf hin, dass der Rechenaufwand eine große Herausforderung darstelle. Die fortschrittlichste Version von o3 erfordert die 170-fache Rechenleistung der Basisversion, die bereits mehr Ressourcen benötigt als o1, das selbst mehr Ressourcen benötigt als GPT-4o.
Clark erklärte, dass diese neuen Systeme die Kostenvorhersage schwieriger machen. In der Vergangenheit wurden die Kosten einfach durch die Modellgröße und die Ausgangslänge bestimmt. Für o3 können die Ressourcenanforderungen jedoch je nach spezifischen Aufgaben variieren.
Trotz dieser Herausforderungen ist Clark weiterhin davon überzeugt, dass die Kombination traditioneller Skalierungsmethoden mit neuen im Jahr 2025 zu „bedeutenderen“ KI-Fortschritten führen wird, als wir bisher gesehen haben.
Clarks Vorhersage weckte Interesse an Anthropics eigenen Plänen. Das Unternehmen hat noch kein „Inferenz“- oder „Testzeit“-Modell veröffentlicht, das mit der o-Serie von OpenAI oder Googles Gemini Flash Thinking konkurrieren kann.
Das zuvor angekündigte Flaggschiffmodell Opus 3.5 bleibt auf Eis, angeblich weil seine Leistungsverbesserungen nicht ausreichen, um die Betriebskosten zu rechtfertigen. Obwohl einige glauben, dass dies auf umfassendere Herausforderungen bei der Skalierung großer Sprachmodelle hinweist, ist Opus 3.5 kein völliger Fehlschlag. Das Modell soll dabei geholfen haben, das neue Sonnet 3.5 zu trainieren, das zum beliebtesten Sprachmodell auf dem Markt geworden ist.
Der Standpunkt von Jack Clark bietet eine neue Perspektive auf die zukünftige Entwicklungsrichtung der künstlichen Intelligenz. Obwohl die Rechenkosten immer noch eine große Herausforderung darstellen, deuten die Anwendung innovativer Methoden und die Weiterentwicklung großer Modelle darauf hin, dass die Technologie der künstlichen Intelligenz eine größere Bedeutung einläuten wird Entwicklung. In Zukunft werden wir erleben, wie die KI ihre leistungsstarken Fähigkeiten in weiteren Bereichen unter Beweis stellt.