Der neueste KI-Data-Science-Assistent von Alibaba, DS Assistant, zielt darauf ab, den Data-Science-Prozess zu vereinfachen und zu beschleunigen. Es automatisiert den gesamten Prozess von der Datenexploration bis zur Modellauswertung und macht die Nutzung auch für Benutzer ohne ausgeprägte datenwissenschaftliche Kenntnisse einfach. DS Assistant basiert auf Alibabas Open-Source-Framework Modelscope-Agent, das über ein umfangreiches Tool-Ökosystem und ein flexibles Moduldesign verfügt. Es unterstützt den Zugriff auf gängige Open-Source-Modelle und stellt RAG-Komponenten bereit, was die Effizienz und Benutzerfreundlichkeit erheblich verbessert. Der Hauptvorteil liegt im automatisierten Workflow. Benutzer müssen lediglich Anforderungen angeben, und DS Assistant kann verschiedene Schritte automatisch ausführen, wodurch der Schwellenwert für die Datenwissenschaft erheblich gesenkt wird.
Vor kurzem hat Alibaba einen KI-Datenwissenschaftsassistenten namens DS Assistant auf den Markt gebracht, der den gesamten Prozess von der Datenexploration bis zur Modellauswertung automatisieren kann und so die Arbeit in der Datenwissenschaft einfacher und effizienter macht.
DS Assistant wird auf der Grundlage des Modelscope-Agent-Frameworks entwickelt, das von Alibaba als Open Source bereitgestellt wird und über ein umfangreiches Tool-Ökosystem und ein flexibles Moduldesign verfügt. Die Einführung von DS Assistant macht deutlich, dass auch Benutzer ohne fundierte Data-Science-Kenntnisse problemlos mit komplexen Data-Science-Problemen umgehen können.
Die Kernstärke von DS Assistant ist sein automatisierter Workflow. Benutzer müssen lediglich Anforderungen angeben, und DS Assistant kann automatisch Schritte wie explorative Datenanalyse, Datenvorverarbeitung, Feature-Engineering, Modellschulung und Bewertung durchführen. Dieser Prozess verbessert nicht nur die Arbeitseffizienz, sondern senkt auch die Hemmschwelle für datenwissenschaftliche Arbeiten.
Das Modelscope-Agent-Framework ist die leistungsstarke Unterstützung hinter DS Assistant. Es verfügt über die folgenden Eigenschaften:
Unterstützt den Zugriff auf verschiedene gängige Open-Source-Modelle wie vllm, ollama usw.;
Stellen Sie RAG-Komponenten bereit und greifen Sie schnell auf die Wissensdatenbank zu.
Umfangreiches Tool-Ökosystem, das Modelscope-Community-Modelle und Langchain-Tools unterstützt.
DS Assistant übernimmt das neue Plan-und-Ausführungs-Framework, um komplexe Aufgaben durch klare Planungs- und Ausführungsschritte effizient zu erledigen. Sein Arbeitsablauf umfasst Aufgabenplanung, Unteraufgabenplanung, Aufgabenausführung und Ergebnisintegration, was die Effizienz und Kontrollierbarkeit der Aufgabenausführung erheblich verbessert.
In Bezug auf die Systemarchitektur besteht DS Assistant aus vier Hauptmodulen: DS Assistant selbst dient als Systemhirn und ist für die Gesamtplanung verantwortlich; Ausführungs- und Speicherergebnisse; das Speicherverwaltungsmodul zeichnet die Ausführungsergebnisse der laufenden Aufgaben auf.
In einem praktischen Fall wurde DS Assistant erfolgreich bei der Wettbewerbsaufgabe ICR – Identifying Age-Related Conditions auf Kaggle eingesetzt. Durch automatisierte Datenverarbeitungs- und Analyseprozesse verbessert DS Assistant nicht nur die Erfolgsquote der Aufgabenausführung, sondern generiert auch detaillierte Verarbeitungsaufzeichnungen für Benutzer.
Die Wirkung von DS Assistant wurde durch ML-Benchmark bewertet. In den drei Dimensionen Normalized Performance Score (NPS), Gesamtzeit und Gesamtzahl der Token hat DS Assistant bei einigen komplexen datenwissenschaftlichen Aufgaben bessere Ergebnisse erzielt als Open Source SOTA.
Der Einsatzwert von DS Assistant liegt in:
Für Benutzer, die mit dem Datenanalyseprozess nicht vertraut sind, bietet DS Assistant eine Möglichkeit, Ideen und technische Aspekte der Datenverarbeitung schnell zu verstehen;
Für Benutzer, die den Datenanalyseprozess verstehen, bietet DS Assistant eine detaillierte Beschreibung der Verarbeitungsmethode, um den experimentellen Referenzvergleich zu erleichtern;
Für alle sorgt DS Assistant automatisiert und schnell für ein tieferes Verständnis der aktuellen Datei.
Zukünftig wird DS Assistant in drei Richtungen optimiert: Verbesserung der Erfolgsquote bei der Aufgabenausführung, Unterstützung der interaktiven Aufgabenfortschrittskonversation und Unterstützung der Stapelverarbeitung mehrerer Dateistapel für dieselbe Aufgabe, um das Benutzererlebnis weiter zu verbessern.
Dieses innovative Tool von Alibaba senkt nicht nur die Eintrittsbarriere in die Datenwissenschaft, sondern stellt Datenwissenschaftlern auch einen leistungsstarken automatisierten Assistenten zur Verfügung, der neue Veränderungen im Bereich der Datenwissenschaft einläutet.
Offizielles Repository: https://github.com/modelscope/modelscope-agent/blob/master/examples/agents/data_science_assistant.ipynb
Referenz: https://blog.langchain.dev/planning-agents/
Alles in allem hat DS Assistant mit seinen automatisierten Prozessen und dem leistungsstarken Modelscope-Agent-Framework zu erheblichen Effizienzsteigerungen und Komfort im Bereich der Datenwissenschaft geführt und verfügt über ein enormes Potenzial für zukünftige Entwicklungen. Es ist nicht nur ein leistungsstarker Assistent für Datenwissenschaftler, sondern öffnet auch mehr Menschen die Tür zur Datenwissenschaft.