Meta gab kürzlich bekannt, dass es zwei Supercluster mit 24.000 H100-GPUs bauen wird, um sein großes Sprachmodell Llama-3 der nächsten Generation zu trainieren. Das Projekt nutzt ein fortschrittliches RoCEv2-Netzwerk und die NFS/FUSE-Netzwerkspeicherlösung von Tectonic/Hammerspace, um die Trainingseffizienz und die Datenzugriffsgeschwindigkeit zu verbessern. Llama-3 wird voraussichtlich Ende April oder Mitte Mai online sein und möglicherweise ein multimodales Modell sein. Meta plant außerdem, das Modell weiterhin als Open Source bereitzustellen. Dieser Schritt unterstreicht die Entschlossenheit und Stärke von Meta, weiterhin in den Bereich der großen KI-Modelle zu investieren, und seine zukünftige Entwicklung verdient Aufmerksamkeit.
Meta hat auf seiner offiziellen Website zwei 24K-H100GPU-Cluster veröffentlicht, die speziell für das Training des großen Modells Llama-3 entwickelt wurden. Llama-3 nutzt RoCEv2-Netzwerke und den NFS/FUSE-Netzwerkspeicher von Tectonic/Hammerspace. Es wird voraussichtlich Ende April oder Mitte Mai online gehen, möglicherweise als multimodales Modell und weiterhin Open Source. Bis Ende 2024 will Meta über 600.000 H100-Rechenleistungen verfügen.Die umfangreichen Investitionen in die Rechenleistung von Meta läuten die weitere Entwicklung des KI-Modelltrainings in der Zukunft ein, und auch die Veröffentlichung von Llama-3 ist eine Vorfreude wert. Seine multimodalen Eigenschaften und seine Open-Source-Strategie werden tiefgreifende Auswirkungen auf die KI haben Feld. Der ehrgeizige 600.000-H100-Plan von Meta zeigt seine starke Stärke und zukünftige Entwicklungsrichtung im Bereich der künstlichen Intelligenz.