Dieser Artikel analysiert Informationen, die aus den internen Dokumenten von Meta durchgesickert sind, und zeigt die Intensität des internen Wettbewerbs von Meta und seinen starken Wunsch, OpenAI GPT-4 während der Entwicklung des großen Llama3-Modells zu übertreffen. Diese Informationen stammen aus einem Rechtsstreit zum Urheberrecht im Bereich der künstlichen Intelligenz. Die vom Gericht entsiegelten Dokumente zeigen die internen Diskussionen und Entscheidungsprozesse von Meta-Führungskräften in Bezug auf Datenerfassung, Modellleistungsverbesserung und Vergleich mit Wettbewerbern und verdeutlichen ihr Streben nach Druck und Herausforderungen für die Technologieführerschaft.
Kürzlich wurden interne E-Mails des Meta-Unternehmens zur Entwicklung von Llama3 veröffentlicht, die die Bemühungen und Schwierigkeiten offenlegten, mit denen die Führungskräfte des Unternehmens konfrontiert waren, um das GPT-4-Modell von OpenAI zu übertreffen. In der E-Mail äußerten die Führungskräfte von Meta den starken Wunsch, die Konkurrenz zu übertreffen und aktiv nach Möglichkeiten zur Verbesserung der Modellleistung zu suchen, auch auf die Gefahr hin, urheberrechtlich geschützte Daten zu verwenden. Allerdings hat dieser Ansturm auch zu Urheberrechtsklagen geführt. Obwohl Llama3 schließlich veröffentlicht wurde und gute Ergebnisse erzielte, verbargen sich dahinter ein enormer Druck und ein großes Risiko. Durch die Offenlegung dieser internen Dokumente können wir ein tieferes Verständnis für die Intensität des Wettbewerbs zwischen großen Technologieunternehmen im Bereich der künstlichen Intelligenz sowie für die von ihnen verfolgten Strategien und die Herausforderungen gewinnen, denen sie bei der Suche nach Technologieführerschaft gegenüberstehen.
Obwohl Meta offene KI-Modelle veröffentlicht, konzentriert sich die KI-Führung des Unternehmens offenbar stärker auf Konkurrenten, die keine Modellgewichte offenlegen, wie etwa Anthropic und OpenAI, und ihre Claude und GPT-4 als funktionierende Standards betrachten. Obwohl das französische KI-Startup Mistral schon oft erwähnt wurde, scheinen die Meta-Führungskräfte seiner Bewertung eher ablehnend gegenüberzustehen. „Mistral ist ein Kinderspiel für uns und wir sollten es besser machen können“, sagte Al-Dah in der Botschaft.
Im Bereich KI wetteifern große Unternehmen um die Einführung fortschrittlicher KI-Modelle, und diese Gerichtsdokumente zeigen die hohe Spannung von Meta in diesem Wettbewerb. In mehreren Nachrichten erwähnten die KI-Leiter von Meta, dass sie „sehr aktiv“ dabei seien, die für das Training von Lama erforderlichen Daten zu beschaffen. Eine Führungskraft sagte sogar: „Llama3 ist das Einzige, was mich interessiert.“ Sie diskutierten, wie man den Datensatz verbessern kann, um die Leistung von Llama3 zu verbessern.
Allerdings behaupteten die Staatsanwälte in dem Fall, dass die Meta-Führungskräfte in ihrer Eile, KI-Modelle auf den Markt zu bringen, möglicherweise Versäumnisse bei der Verwendung von Daten gemacht haben, was einige urheberrechtlich geschützte Bücher betraf. Touvron erwähnte, dass die Datensatzkombination von Llama2 „nicht gut funktionierte“ und diskutierte, wie Llama3 mit besseren Datenquellen verbessert werden könnte. Al-Dah fragte: „Haben wir den richtigen Datensatz? Gibt es etwas, das wir aus dummen Gründen nicht verwenden können?“
Mark Zuckerberg, CEO von Meta, hat zuvor Bemühungen zum Ausdruck gebracht, die Leistungslücke zwischen dem Llama-Modell und Closed-Source-Modellen von OpenAI, Google und anderen Unternehmen zu verringern. Diese internen Quellen zeigen, dass Meta unter großem Druck steht, dieses Ziel zu verfolgen. Zuckerberg erwähnte in einem Brief vom Juli 2024: „In diesem Jahr ist Llama3 unter den fortschrittlichsten Modellen konkurrenzfähig und in einigen Bereichen führend.“
Im April 2024 veröffentlichte Meta schließlich Llama3. Dieses offene KI-Modell schnitt im Wettbewerb gut ab und übertraf die offenen Optionen von Mistral, aber die Daten, die zum Trainieren des Modells verwendet wurden – die Daten wurden angeblich von Zuckerberg erhalten – werden von mehreren Seiten geprüft Klagen.
Highlight:
Meta-Führungskräfte konzentrierten sich bei der Entwicklung von Llama3 darauf, das GPT-4-Modell von OpenAI zu übertreffen.
Das Unternehmen war bei der Datenbeschaffung aggressiv, sah sich jedoch mit Vorwürfen konfrontiert, urheberrechtlich geschützte Daten zu verwenden.
Zuckerberg erwartet, dass zukünftige Llama-Modelle die fortschrittlichsten Optionen der Branche sein werden.
Alles in allem spiegelt Metas Entwicklungsprozess von Llama3 den harten Wettbewerb im Bereich der künstlichen Intelligenz wider und zeigt auch die rechtlichen und ethischen Risiken auf, denen das Streben nach Geschwindigkeit und Führung ausgesetzt sein kann. In Zukunft wird die Frage, wie man technologische Entwicklung und Compliance in Einklang bringt, ein wichtiges Thema in der Branche der künstlichen Intelligenz sein.