Das Emirates Technology Innovation Institute (TII) hat eine neue Generation der Open-Source-Falcon3-Serie für kleine Sprachmodelle veröffentlicht, die vier Modelle unterschiedlicher Größe umfasst und zwei Varianten bietet: Basisversion und Befehlsversion. Diese Modellreihe schneidet in der Hugging Face-Rangliste gut ab, übertrifft Open-Source-Modelle gleicher Größe und übertrifft in mehreren Benchmark-Tests sogar Konkurrenten wie Google, Meta und Alibaba. Die Falcon3-Serie ist effizient und kostengünstig und eignet sich besonders für Geräte und Anwendungsszenarien mit begrenzten Rechenressourcen, wie zum Beispiel im Kundenservice, im Gesundheitswesen und im Internet der Dinge. Die Trainingsdaten sind groß und nutzen fortschrittliche Architektur und Mechanismen, um die Speichernutzung zu minimieren und die Inferenzeffizienz zu verbessern. TII stellt außerdem die Testumgebung Falcon Playground zur Verfügung, um Entwicklern und Forschern das Ausprobieren zu erleichtern.
Hinweis zur Bildquelle: Das Bild wird von AI und dem Bildautorisierungsdienstleister Midjourney generiert
Die Leistung des Falcon 3 liegt an der Spitze der Hugging Face-Rangliste und übertrifft Open-Source-Modelle derselben Größe, wie z. B. Meta’s Llama und Qwen-2.5. Insbesondere die Versionen 7B und 10B haben führende technische Vorteile in Bezug auf Denkgeschwindigkeit, Sprachverständnis, Befehlsausführung sowie Code- und Mathematikaufgaben gezeigt und in mehreren Benchmark-Tests sogar Konkurrenten wie Google, Meta und Alibaba übertroffen.
Im Vergleich zu herkömmlichen Large-Language-Modellen (LLM) bieten SLM-Modelle aufgrund ihrer geringeren Parameter und ihres einfacheren Designs die Vorteile einer hohen Effizienz und niedriger Kosten und eignen sich besonders für Anwendungen in den Bereichen Kundenservice, Gesundheitswesen, Internet der Dinge und anderen Bereichen. Nach Angaben des Marktforschungsunternehmens Values Reports wird der SLM-Markt in den nächsten fünf Jahren voraussichtlich mit einer durchschnittlichen jährlichen Rate von 18 % wachsen.
Der Trainingsdatenumfang der Falcon3-Serie erreicht 14 Billionen Token, was mehr als das Doppelte des Vorgängers Falcon2 ist. Diese Serie verwendet eine reine Decoder-Architektur und einen gruppierten Abfrage-Aufmerksamkeitsmechanismus, um die Speichernutzung zu minimieren und gleichzeitig die Inferenzeffizienz zu verbessern. Falcon3 unterstützt vier Sprachen, darunter Englisch, Französisch, Spanisch und Portugiesisch, und ist mit einem 32K-Kontextfenster ausgestattet, das lange Eingabetexte verarbeiten und den Anforderungen verschiedener Branchen gerecht werden kann.
Laut TII eignet sich das Basismodell von Falcon3 für allgemeine Aufgaben, während die Befehlsversion für Konversationsaufgaben wie Kundenservice und virtuelle Assistenten optimiert ist. Der Start dieser Reihe wird die Entwicklung von Edge-Computing und datenschutzrelevanten Anwendungen weiter vorantreiben und Szenarien wie personalisierte Empfehlungen, Datenanalyse, medizinische Diagnose und Lieferkettenoptimierung unterstützen.
Alle Falcon3-Modelle werden unter der TII Falcon License 2.0 veröffentlicht, einer freizügigen Lizenz auf Basis von Apache 2.0, die eine verantwortungsvolle KI-Entwicklung und -Bereitstellung unterstützt. Um Entwicklern und Forschern den Einstieg zu erleichtern, hat TII außerdem die Testumgebung Falcon Playground eingeführt, in der Benutzer diese Modelle ausprobieren können, bevor sie sie integrieren.
Die Open-Source-Veröffentlichung der Falcon3-Serie senkt die Schwelle für die Anwendung von KI-Technologie, stellt Entwicklern und Forschern leistungsstarke Tools zur Verfügung, beschleunigt die Anwendung und Innovation von KI-Technologie in verschiedenen Bereichen und läutet den Trend einer weiteren Popularisierung und Demokratisierung der KI-Technologie ein.