Das Team von Kunlun Wanwei Yan Shuicheng arbeitete mit der Nanyang Technological University in Singapur zusammen, um ein bahnbrechendes Projekt namens Q* zu veröffentlichen, das darauf abzielt, die Argumentationsfähigkeiten kleiner Sprachmodelle erheblich zu verbessern. Im Gegensatz zu anderen großen Sprachmodellen auf dem Markt konzentriert sich Q* auf die Verbesserung der Leistung kleiner Modelle und macht seine Argumentationsfähigkeiten mit Modellen mit Dutzenden oder sogar Hundertfachen größeren Parametern vergleichbar. Von diesem Forschungsergebnis wird erwartet, dass es die Grenzen kleiner Modelle in praktischen Anwendungen verändert und neue Entwicklungsmöglichkeiten für den Bereich der künstlichen Intelligenz eröffnet. Durch innovative Algorithmen hat Q* die Argumentationsfähigkeiten kleiner Modelle erheblich verbessert und in mehreren Benchmark-Tests hervorragende Ergebnisse erzielt, die große Modelle übertreffen.
Kürzlich haben das inländische Kunlun Wanwei Yan Shuicheng-Team und das Forschungsteam der Nanyang Technological University in Singapur ein Projekt namens Q* veröffentlicht, das darauf abzielt, die Argumentationsfähigkeiten kleiner Modelle zu verbessern. Dieses Projekt unterscheidet sich von OpenAI, aber es kann es kleinen Modellen ermöglichen, die Argumentationsfähigkeiten von Modellen mit Parametern zu erreichen, die Dutzende oder sogar Hundertfache größer sind als dieses.
Das Forschungsteam erzielte bemerkenswerte Ergebnisse durch die experimentelle Leistung des Q*-Algorithmus: Im GSM8K-Datensatz half Q* Llama-2-7b, sich auf eine Genauigkeit von 80,8 % zu verbessern und damit ChatGPT zu übertreffen.
Beim MATH-Datensatz half Q* dabei, DeepSeek-Math-7b auf eine Genauigkeit von 55,4 % zu verbessern und damit Gemini Ultra zu übertreffen.
Beim MBPP-Datensatz half Q* CodeQwen1.5-7b-Chat, die Genauigkeit auf 77,0 % zu steigern und so die Lücke auf Programmierebene zu GPT-4 zu verringern. Diese Ergebnisse zeigen das Potenzial des Q*-Algorithmus zur Verbesserung der Argumentationsfähigkeiten kleiner Modelle.
Das Arbeitsprinzip des Q*-Algorithmus besteht darin, die Argumentationsbahn des großen Sprachmodells in mehrere Zustände zu zerlegen, eine Gesamtplanung für jeden Zustand durchzuführen und den A*-Suchalgorithmus zu verwenden, um eine Prioritätssuche für komplexe Argumentationsaufgaben zu erreichen. Gleichzeitig trainierten sie durch überwachtes Lernen auch ein Agenten-Q-Wert-Modell, um den optimalen Q-Wert des Zustands-Aktions-Paares zu erhalten, wodurch die Leistung des Modells verbessert wurde.
Highlight:
Das Q*-Projekt wird nicht von OpenAI veröffentlicht. Durch den Algorithmus des Forschungsteams wurde die Argumentationsfähigkeit des kleinen Modells erheblich verbessert.
Das Projekt erzielte bemerkenswerte experimentelle Ergebnisse an mehreren Datensätzen und demonstrierte das Potenzial und die Wirksamkeit des Q*-Algorithmus.
Link zum Papier: https://arxiv.org/abs/2406.14283
Die Forschungsergebnisse des Q*-Projekts geben eine neue Richtung für die Entwicklung kleiner Modelle vor. Sein effizienter Algorithmus und seine signifikante Verbesserungswirkung verdienen Aufmerksamkeit. Es wird erwartet, dass dieser Algorithmus in Zukunft in weiteren Bereichen eingesetzt wird und die Weiterentwicklung der Technologie der künstlichen Intelligenz vorantreibt. Für interessierte Leser wurde ein Link zum Papier bereitgestellt, um weitere Einzelheiten zu erfahren.