In diesem Artikel werden die acht wichtigsten Entwicklungsstadien des Beanbao-Modells seit seiner Veröffentlichung am 15. Mai 2024 besprochen und seine bemerkenswerte Leistung in den Bereichen Spracherkennung, Musikerstellung, Videogenerierung, Bildbearbeitung, Programmierfunktionen, Textverständnis, visuelle Wahrnehmung usw. demonstriert Fortschritt. Vom ersten Durchbruch bei der Spracherkennung bis zur endgültigen Realisierung des Doubao-pro-Universalmodells, das auf die GPT-4-Fähigkeiten ausgerichtet ist, hat das Doubao-Modell in nur 230 Tagen bemerkenswerte Ergebnisse erzielt und starke technische Stärke und Entwicklungspotenzial demonstriert. Der Artikel beschreibt die technologischen Durchbrüche und Anwendungsszenarien in jeder Phase und veranschaulicht einige seiner Funktionen anhand von Bildern.
1. Durchbrüche in der Spracherkennung und im emotionalen AusdruckDas Doubao-Modell erzielte im Juli einen großen Durchbruch auf dem Gebiet der Spracherkennung: Es kann gemischte Gespräche in mehr als 20 Dialekten verstehen und ist in der Lage, beim Zuhören zu denken. Darüber hinaus hat es gelernt, Emotionen in Gesprächen auszudrücken, kann sich in Interaktionen frei einmischen und behält sogar menschliche Sprachgewohnheiten wie Schlucken und Akzent bei. Die Kerntechnologie dahinter ist das Beanbag-Spracherkennungsmodell Seed-ASR und das Sprachgenerierungs-Basismodell Seed-TTS. Diese Modelle integrieren ein breiteres Spektrum an Daten und Argumentationsketten und verleihen ihnen extrem starke Generalisierungsfähigkeiten.
Im September setzte das große Doubao-Modell das Konzept der „KI-Band“ kreativ um. Vom Songwriting über die Performance-Erstellung bis hin zum Gesangsgesang beherrscht Doubao Master mehr als 10 Fähigkeiten zur Musikkreation und kann unerwartete Inspiration in die Musikkreation einbringen. Die Technologie dahinter ist das Seed-Music-Framework, das die Vorteile von Sprachmodellen und Diffusionsmodellen kombiniert, um ein universelles Framework für die Musikgenerierung zu implementieren und über eine extrem hohe Bearbeitungskontrollierbarkeit verfügt.
Im selben Monat sprengte das Sitzsackmodell die Grenzen der Kreativität noch weiter: Es war in der Lage, komplexen Aufforderungswörtern zu folgen, hochauflösende Videos mit mehreren Themen zu erstellen und den Kamerawinkel genau zu steuern. Mit Hilfe von zwei Videogenerierungsmodellen, PixelDance und Seaweed, kann Doubao Big Model gleichzeitig hochwertige Video- und Soundeffekte erzeugen und den Erstellern ein realistischeres und verträumteres visuelles Erlebnis bieten.
4. Verbesserung der Möglichkeiten zur Bildbearbeitung und -erstellungIm November beherrschte Doubao Big Model die Funktionen „Ein-Satz-P-Bild“ und „Ein-Klick-Postergenerierung“. Benutzer benötigen lediglich einfache Textbefehle, um eine präzise Bildbearbeitung und Textgenerierung durchzuführen. Durch das kontinuierlich iterative Vincent-Graphmodell SeedEdit kann Doubao komplexe Szenen präzise darstellen und eine natürliche sprachgesteuerte Bildbearbeitung ermöglichen.
5. Ein Sprung in der ProgrammierfähigkeitMit Beginn des Dezembers wurden Doubaos Programmierfähigkeiten erheblich verbessert und er wurde zum KI-Programmierer und Datenanalysten. Mit Doubao MarsCode können Benutzer problemlos Code schreiben, Daten verarbeiten und visuelle Analysen implementieren. Doubaos großes Codemodell Doubao-coder unterstützt umfassend 16 Programmiersprachen und kann die Anforderungen der Full-Stack-Programmierung wie Front-End- und Back-End-Entwicklung sowie maschinelles Lernen erfüllen.
6. Extreme Textverständnis- und VerarbeitungsfähigkeitenDas große Doubao-Modell durchbricht auch die Grenze des Kontextfensters, indem es es auf 3 Millionen Wörter erhöht, größere Texte verarbeiten kann und eine Verarbeitungsverzögerung von nur 15 Sekunden pro Million Token aufweist. Durch verknüpfte Datenalgorithmen wie STRING kann das große Beanbao-Modell schnell umfangreiches externes Wissen erwerben und genauere Verständnisfähigkeiten bieten.
7. Durchbrüche in der visuellen Wahrnehmung und im tiefen DenkenMitte Dezember erreichte das große Sitzsackmodell die visuelle Wahrnehmung und konnte mehrere Sinne für vertieftes Denken integrieren. Es ist nicht nur in der Lage, Bilder genau zu verstehen, sondern auch komplexe Operationen durchzuführen, wie beispielsweise das Aufnehmen eines Bildes von einem Rechenproblem, und demonstriert damit seine hervorragenden modalübergreifenden Lern- und Argumentationsfähigkeiten.
8. Vollständig verbessertes allgemeines Modell Doubao-proMitte Dezember wurde das allgemeine Doubao-Modell Doubao-pro vollständig aktualisiert, seine Fähigkeiten wurden vollständig an GPT-4 angepasst und es lernte, während des Antwortprozesses zu „reflektieren“. Dieses Upgrade verbessert die Verständnisgenauigkeit und Generierungsqualität von Doubao-pro, macht es zu einem effizienten „Hexagon-Krieger“ mit ausgewogener Leistung in verschiedenen Fähigkeiten und wird zu einem weiteren Maßstab im KI-Bereich.
In diesem Jahr hat das Doubao Big Model-Team erhebliche Fortschritte in der KI-Grundlagenforschung erzielt. Das Team hat 57 Artikel veröffentlicht und ist auf Top-Konferenzen wie ICLR, CVPR und NeurIPS erschienen. Darüber hinaus arbeitet das Doubao Big Model-Team eng mit vielen Spitzenuniversitäten zusammen und hat gemeinsame Labore eingerichtet, um die Entwicklung der KI-Technologie voranzutreiben.
Das große Sitzsackmodell ist nicht nur ein Durchbruch in der Technologie, sondern wird auch in vielen Branchen häufig eingesetzt. Über die Volcano Engine bedient Doubao Big Model mehr als 30 Branchen, und die durchschnittlichen täglichen Token-Aufrufe übersteigen 4 Billionen, was einer Steigerung um das 33-fache seit der Veröffentlichung im Mai entspricht.
Offizielle Adresse: https://mp.weixin.qq.com/s/KVfu86njzyK2iK4j6VJONw
Alles in allem zeigt die schnelle Entwicklung und weit verbreitete Anwendung des Sitzsackmodells das enorme Potenzial der Technologie der künstlichen Intelligenz in verschiedenen Bereichen und es lohnt sich, auf ihre zukünftige Entwicklung zu blicken.