Auf dem Gebiet der künstlichen Intelligenz war die Ausbildung von großsprachigen Modellen (LLM) immer eine ressourcenintensive Aufgabe, in der Regel können nur wenige Tech-Riesen übernehmen. Die kürzlich gestartete SALT -Methode (Small Model Assisted Large Model Training) von Google kann diese Situation jedoch vollständig verändern. Diese Innovation reduziert nicht nur die Schulungskosten, sondern verbessert auch die Leistung des Modells und öffnet die Tür zur KI -Entwicklung für weitere Forschungsinstitutionen und Unternehmen.
Bildquelle Notizen: Das Bild wird von KI erzeugt, und der im Bild autorisierte Dienstanbieter Midjourney
Der Kern der Salzmethode liegt in ihrem zweistufigen Trainingsprozess. Die erste Stufe ist die Wissensdestillation, und das kleine Sprachmodell (SLM) fungiert als "Lehrer" und übergibt das Wissen über "Soft Tags" an das große Modell. Diese Stufe eignet sich besonders für grundlegende Aufgaben, die kleine Modelle gemeistert haben, und hilft großen Modellen, ein solides Fundament im frühen Lernen zu schaffen.
Die zweite Stufe ist selbstüberprüftes Lernen, wobei große Modelle unabhängig lernen und sich auf komplexere Aufgaben konzentrieren. Diese Übergangsphase erfordert eine sorgfältige Gestaltung, einschließlich Strategien wie linearer Abschwächung und linearer proportionaler Abschwächung, um sicherzustellen, dass große Modelle ihre Abhängigkeit von kleinen Modellen allmählich verringern und letztendlich ein unabhängiges Lernen und Optimieren erreichen können.
Die Forschung von Google zeigt, dass die Verwendung der Salzmethode zum Training eines großen Modells mit 2,8 Milliarden Parametern eine Zeitverringerung um 28% und die Genauigkeit bei mathematischen Problemen und Leseverständnisaufgaben um 3% bzw. 4% hat. Diese signifikante Leistungsverbesserung zeigt nicht nur die Effizienz von Salz, sondern zeigt auch sein starkes Potenzial für komplexe Aufgaben.
Das Auftreten von Salz verbessert nicht nur die Trainingseffizienz, sondern senkt auch den Schwellenwert für die KI -Entwicklung. In der Vergangenheit konnten sich die Ausbildungskosten nur große Technologieunternehmen leisten, und jetzt können sich viele kleine Forschungsinstitutionen und Unternehmen beteiligen. Dies wird die Entstehung innovativerer und professionellerer KI -Lösungen fördern und die Entwicklung des Bereichs der künstlichen Intelligenz weiter fördern.
Im Allgemeinen verbessert die Salzmethode nicht nur die Leistung großer Modelle durch Einführung von Hilfstraining kleiner Modelle, sondern reduziert auch die Trainingskosten erheblich. Es wird erwartet, dass diese Innovation eine Revolution auf dem Gebiet der KI auslöst und mehr Institutionen an KI -Forschung und -entwicklung und die Förderung des Fortschritts der gesamten Branche ermöglicht.