Meta gab kürzlich bekannt, dass die für das Training großer Sprachmodelle erforderliche Rechenleistung in Zukunft exponentiell zunehmen wird. Meta-CEO Zuckerberg gab während der Telefonkonferenz bekannt, dass das Trainingsberechnungsvolumen von Llama 4 zehnmal so hoch sein wird wie das von Llama 3. Diese Nachricht verdeutlicht die hohen Kosten und technischen Herausforderungen des groß angelegten Sprachmodelltrainings und spiegelt auch den anhaltend harten Wettbewerb zwischen Technologiegiganten im Bereich KI wider. Meta investiert aktiv in den Aufbau entsprechender Rechenkapazitäten, um den zukünftigen Bedarf an Modelltraining zu decken.
Meta ist als Entwickler des groß angelegten Open-Source-Basissprachenmodells Llama davon überzeugt, dass die zum Trainieren von Modellen erforderliche Rechenleistung in Zukunft erheblich zunehmen wird. Am Dienstag gab Mark Zuckerberg während Metas Telefonkonferenz zu den Ergebnissen des zweiten Quartals bekannt, dass das Training von Llama4 zehnmal so viel Rechenleistung erfordern wird wie das Training von Llama3. Er betonte, dass Meta trotzdem die Fähigkeit aufbauen muss, Modelle zu trainieren, um nicht hinter seine Konkurrenten zurückzufallen.
„Das Training von Llama4 erfordert möglicherweise fast das Zehnfache des Rechenaufwands, der für das Training von Llama3 erforderlich ist, und zukünftige Modelle werden weiterhin mehr Rechenleistung erfordern“, sagte Zuckerberg. Er wies auch darauf hin, dass es schwierig sei, den Entwicklungstrend zukünftiger Modelle mit mehreren Generationen vorherzusagen. , aber in diesem Moment ist es besser, die erforderlichen Fähigkeiten im Voraus aufzubauen, als zu spät zu kommen. Schließlich erfordert der Start eines neuen Inferenzprojekts eine lange Vorbereitungszeit.
Im April dieses Jahres veröffentlichte Meta Llama3 mit 80 Milliarden Parametern. Letzte Woche veröffentlichte das Unternehmen seine aktualisierte Version Llama3.1405B mit Parametern von 405 Milliarden und wurde damit zum größten Open-Source-Modell von Meta.
Susan Lee, CFO von Meta, sagte außerdem, dass das Unternehmen verschiedene Rechenzentrumsprojekte und den Aufbau von Kapazitäten für das Training zukünftiger KI-Modelle in Betracht ziehe. Meta erwarte, dass die Investition die Investitionsausgaben im Jahr 2025 erhöhen werde, sagte sie.
Sie wissen, dass das Trainieren großer Sprachmodelle eine kostspielige Angelegenheit ist. Im zweiten Quartal 2024 stiegen die Investitionsausgaben von Meta um fast 33 % auf 8,5 Milliarden US-Dollar von 6,4 Milliarden US-Dollar im Vorjahr, was auf Investitionen in Server, Rechenzentren und Netzwerkinfrastruktur zurückzuführen ist.
Höhepunkte:
?Meta Die zum Trainieren von Llama4 erforderliche Rechenleistung ist etwa zehnmal so hoch wie für das Training von Llama3.
„Meta geht davon aus, dass Investitionen in den Kapazitätsaufbau die Investitionsausgaben im Jahr 2025 erhöhen werden.“
„Das Training großer Sprachmodelle ist teuer und die Investitionsausgaben von Meta sind im zweiten Quartal deutlich gestiegen.“
Alles in allem zeigt die enorme Investition von Meta in die zukünftige Ausbildung von KI-Modellen ihre Ambitionen im Bereich der künstlichen Intelligenz, kündigt aber auch den immer härter werdenden Wettbewerb in der KI-Branche und den rasanten Fortschritt der Technologieentwicklung an. Dies wird tiefgreifende Folgen für die gesamte Technologiebranche haben.