In den letzten Jahren hat sich die generative KI-Technologie rasant weiterentwickelt, aber die traditionelle Methode, sich zur Verbesserung der KI-Leistung einfach auf zunehmende Daten- und Rechenleistung zu verlassen, ist an einen Engpass geraten. Der Herausgeber von Downcodes erfuhr, dass viele führende KI-Wissenschaftler darauf hingewiesen haben, dass sich der Bereich der KI von einer Ära der Skalenexpansion in eine neue Phase wandelt, die sich auf bahnbrechende Innovationen konzentriert. Diese Änderung bedeutet, dass die KI-Entwicklung mehr Wert auf die Verbesserung der Modellqualität legen wird, als nur auf die Erweiterung des Maßstabs. Neue technische Wege und Methoden werden erforscht und angewendet, was neue Chancen und Herausforderungen für die zukünftige Entwicklung des KI-Bereichs mit sich bringt.
Mit der rasanten Entwicklung der generativen KI verändert sich das traditionelle Verständnis der Branche, dass „je größer, desto besser“ ist. Viele führende KI-Wissenschaftler haben kürzlich erklärt, dass die Methode zur Verbesserung der KI-Leistung einfach durch die Erhöhung der Datenmenge und der Rechenleistung an einen Engpass stößt und sich neue technologische Durchbruchsrichtungen abzeichnen.
Ilya Sutskever, Mitbegründer von Safe Superintelligence und OpenAI, äußerte kürzlich seine Meinung, dass traditionelle Pre-Training-Methoden ein Leistungsplateau erreicht haben. Diese Behauptung ist besonders auffällig, da es sein frühes Eintreten für groß angelegte Pre-Training-Methoden war, die ChatGPT hervorbrachten. Heute sagte er, dass der Bereich der KI von einer Ära der Größenausweitung zu einer Ära der Wunder und Entdeckungen übergegangen sei.
Derzeit steht das Training großer Modelle vor mehreren Herausforderungen: Trainingskosten in zweistelliger Millionenhöhe, das Risiko eines Hardwareausfalls aufgrund der Systemkomplexität, lange Testzyklen sowie Einschränkungen der Datenressourcen und der Energieversorgung. Diese Probleme haben Forscher dazu veranlasst, neue technologische Wege zu erkunden.
Unter ihnen hat die Testzeit-Rechentechnologie große Aufmerksamkeit erregt. Dieser Ansatz ermöglicht es dem KI-Modell, während der Nutzung mehrere Optionen in Echtzeit zu generieren und zu bewerten, anstatt direkt eine einzige Antwort zu geben. Der OpenAI-Forscher Noam Brown hat eine anschauliche Analogie gezogen: Die KI zu bitten, 20 Sekunden lang über ein Pokerspiel nachzudenken, ist genauso effektiv wie eine Erweiterung der Modellgröße und der Trainingszeit um das 100.000-fache.
Derzeit entwickeln viele führende KI-Labore, darunter OpenAI, Anthropic, xAI und DeepMind, aktiv ihre eigenen technischen Versionen. OpenAI hat diese Technologie in seinem neuesten Modell o1 eingesetzt, und Chief Product Officer Kevin Weil sagte, dass sie durch diese innovativen Methoden viele Möglichkeiten sehen, die Modellleistung zu verbessern.
Branchenexperten gehen davon aus, dass diese Änderung der Technologieroute die Wettbewerbslandschaft der gesamten KI-Branche neu gestalten und die Nachfragestruktur von KI-Unternehmen nach verschiedenen Ressourcen grundlegend verändern könnte. Dies markiert, dass die KI-Entwicklung in eine neue Phase eintritt, in der mehr Wert auf Qualitätsverbesserung als auf reine Skalenerweiterung gelegt wird.
Neue technologische Durchbrüche haben der KI-Branche neue Entwicklungsmöglichkeiten eröffnet und auch neue Denkanstöße für die zukünftige Richtung der KI-Entwicklung gegeben. Der Herausgeber von Downcodes glaubt, dass in der zukünftigen Entwicklung weiterhin innovativere Technologien im KI-Bereich entstehen werden, was die Entwicklung der KI-Technologie auf einer tieferen Ebene vorantreiben und letztendlich der menschlichen Gesellschaft zugute kommen wird.