Das kürzlich vom Alibaba International AI Team veröffentlichte Inferenzmodell Marco-o1 konzentriert sich auf die Lösung offener Probleme, durchbricht die Beschränkungen traditioneller Modelle, die auf Standardantwortfelder beschränkt sind, und demonstriert sein Potenzial bei der Bewältigung komplexer und schwer zu quantifizierender Aufgaben . Der Herausgeber von Downcodes vermittelt Ihnen ein detailliertes Verständnis der Eigenschaften, Anwendungen und Verwendung dieses Modells sowie der Innovationen, die es auf dem Gebiet der künstlichen Intelligenz mit sich bringt.
Das Alibaba International AI Team hat kürzlich ein neues Argumentationsmodell namens Marco-o1 veröffentlicht, das besonderes Augenmerk auf die Lösung offener Probleme legt und sich nicht auf Fachgebiete mit Standardantworten wie Programmierung und Mathematik beschränkt. Das Forschungsteam möchte untersuchen, ob solche Modelle effektiv auf Bereiche übertragen werden können, die schwer zu quantifizieren sind und für die es keine klaren Belohnungen gibt.
Zu den Merkmalen des Marco-o1-Modells gehören die Verwendung ultralanger CoT-Daten zur Feinabstimmung, die Verwendung von MCTS zur Erweiterung des Lösungsraums und die feinkörnige Erweiterung des Lösungsraums. Das Modell verwendet Self-Play + MCTS, um einen Stapel ultralanger CoT-Daten mit der Fähigkeit zur Reflexion und Korrektur zu erstellen, und wird zusammen mit anderen Open-Source-Daten trainiert. Darüber hinaus definierte das Forschungsteam Mini-Step, um den Lösungsraum des Modells weiter zu erweitern und das Modell so zu steuern, dass es bessere Antworten liefert.
Bei der Übersetzungsaufgabe hat das Marco-o1-Modell seine Fähigkeit unter Beweis gestellt, die Übersetzung langer und schwieriger Sätze zu bewältigen. Dies ist das erste Mal, dass die Erweiterung der Inferenzzeit auf maschinelle Übersetzungsaufgaben angewendet wird. Das Forschungsteam hat einige CoT-Daten und die besten aktuellen Modelle als Open Source bereitgestellt und plant, in Zukunft weitere Daten und Modelle als Open Source bereitzustellen.
Das Modell denkt bei der Argumentation gründlich über die Antwort nach. Wenn es beispielsweise die Anzahl der „r“ im Wort „Erdbeere“ ausgibt, zerlegt das Modell nach und nach jeden Buchstaben im Wort, vergleicht ihn und gibt schließlich das Ergebnis korrekt aus. Im Bereich der maschinellen Übersetzung identifiziert das Modell schwierige Punkte durch Inferenzverknüpfungen korrekt und übersetzt sie Wort für Wort, wodurch die Gesamtgenauigkeit der Übersetzung verbessert wird.
Das Forschungsteam hat es auch in anderen Bereichen ausprobiert und dabei die Fähigkeit des Modells bewiesen, andere allgemeine Probleme der realen Welt zu lösen. Die Gesamtstruktur von Marco-o1 verwendet Self-Play + MCTS, um einen Stapel ultralanger CoT-Daten mit der Fähigkeit zur Reflexion und Korrektur zu erstellen und diese zusammen mit anderen Open-Source-Daten zu trainieren. Das Forschungsteam hat auch einige Datensätze zur Befehlskonformität aus der MarcoPolo-Familie integriert, um die Befehlskonformitätsfunktionen des Modells zu verbessern.
Was die Nutzung betrifft, stellt das Forschungsteam Inferenzcode und Feinabstimmungscode bereit. Benutzer können das Modell und den Tokenizer einfach laden und mit dem Chatten oder der Feinabstimmung des Modells beginnen. Darüber hinaus kann das Modell auch direkt auf der GGUF-Version auf ModelScope ausgeführt werden, was eine schnellere Möglichkeit bietet, es zu erleben.
Die Veröffentlichung des Marco-o1-Modells markiert einen wichtigen Schritt des internationalen KI-Teams von Alibaba im Bereich der Inferenzmodelle und liefert neue Ideen und Werkzeuge zur Lösung offener Probleme.
Modellumfang:
https://modelscope.cn/models/AIDC-AI/Marco-o1
Arxiv:
https://arxiv.org/abs/2411.14405
Github:
https://github.com/AIDC-AI/Marco-o1
Umarmendes Gesicht:
https://huggingface.co/AIDC-AI/Marco-o1
Die offene Quelle des Marco-o1-Modells bietet wertvolle Ressourcen für Forscher und Entwickler. Es wird davon ausgegangen, dass in Zukunft weitere innovative Anwendungen auf der Grundlage dieses Modells entstehen werden, was die Weiterentwicklung der Technologie der künstlichen Intelligenz vorantreiben wird. Wir freuen uns auf weitere Anwendungsfälle und Forschungsergebnisse zu Marco-o1!