Последний помощник Alibaba по обработке данных с использованием искусственного интеллекта, DS Assistant, призван упростить и ускорить процесс обработки данных. Он автоматизирует весь процесс, от исследования данных до оценки модели, что делает его простым в использовании даже для пользователей без глубокого опыта в области науки о данных. DS Assistant основан на платформе Modelscope-Agent с открытым исходным кодом Alibaba, которая имеет богатую экосистему инструментов и гибкую конструкцию модулей. Он поддерживает доступ к основным моделям с открытым исходным кодом и предоставляет компоненты RAG, что значительно повышает эффективность и простоту использования. Его основное преимущество заключается в автоматизированном рабочем процессе. Пользователям нужно только предоставить требования, а DS Assistant может автоматически выполнять различные шаги, что значительно снижает порог для анализа данных.
Недавно Alibaba запустила помощника по науке о данных с искусственным интеллектом под названием DS Assistant, который может автоматизировать весь процесс от исследования данных до оценки моделей, делая работу по обработке данных проще и эффективнее.
DS Assistant разработан на основе платформы Modelscope-Agent, исходный код которой открыт от Alibaba и имеет богатую экосистему инструментов и гибкую конструкцию модулей. Запуск DS Assistant означает, что даже пользователи без глубокого опыта работы с данными могут легко решать сложные задачи в области науки о данных.
Основная сила DS Assistant — это автоматизированный рабочий процесс. Пользователям нужно только предоставить требования, и DS Assistant может автоматически выполнять такие шаги, как исследовательский анализ данных, предварительная обработка данных, разработка функций, обучение и оценка модели. Этот процесс не только повышает эффективность работы, но и снижает порог работы по науке о данных.
Платформа Modelscope-Agent является мощной поддержкой DS Assistant. Она имеет следующие характеристики:
Поддерживает доступ к различным основным моделям с открытым исходным кодом, таким как vllm, ollama и т. д.;
Предоставление компонентов RAG и быстрый доступ к базе знаний;
Богатая экосистема инструментов, поддерживающая модель сообщества Modelscope и инструменты langchain.
DS Assistant использует новую структуру планирования и выполнения для эффективного выполнения сложных задач посредством четких этапов планирования и выполнения. Его рабочий процесс включает планирование задач, планирование подзадач, выполнение задач и интеграцию результатов, что значительно повышает эффективность и управляемость выполнения задач.
С точки зрения архитектуры системы DS Assistant состоит из четырех основных модулей: сам DS Assistant служит мозгом системы и отвечает за общее планирование; модуль «План» отвечает за создание списков задач и выполнение топологической сортировки; модуль «Выполнение» отвечает за конкретные задачи; результаты выполнения и сохранения; модуль управления памятью записывает выполняемые задачи. Результаты выполнения.
В практическом случае DS Assistant был успешно применен к соревновательному заданию ICR — Определение возрастных состояний на Kaggle. Благодаря автоматизированным процессам обработки и анализа данных DS Assistant не только повышает вероятность успешного выполнения задач, но и создает для пользователей подробные записи обработки.
Эффект DS Assistant оценивался с помощью ML-Benchmark. По трем параметрам: нормализованному показателю производительности (NPS), общему времени и общему количеству токенов, DS Assistant достиг лучших результатов, чем SOTA с открытым исходным кодом, в некоторых сложных задачах обработки данных.
Ценность приложения DS Assistant заключается в:
Для пользователей, которые не знакомы с процессом анализа данных, DS Assistant предоставляет возможность быстро понять идеи и технические моменты обработки данных;
Для пользователей, которые понимают процесс анализа данных, DS Assistant предоставляет подробное описание метода обработки, чтобы облегчить экспериментальное сравнение эталонов;
Для всех DS Assistant автоматизирует и быстро достигает более глубокого понимания текущего файла.
В будущем DS Assistant будет оптимизирован по трем направлениям: повышение уровня успешности выполнения задач, поддержка диалогового интерактивного продвижения задач и поддержка пакетной обработки нескольких пакетов файлов для одной и той же задачи для дальнейшего улучшения пользовательского опыта.
Этот инновационный инструмент от Alibaba не только снижает входной барьер в науку о данных, но и предоставляет ученым, работающим с данными, мощного автоматизированного помощника, знаменуя новые изменения в области науки о данных.
Официальный репозиторий: https://github.com/modelscope/modelscope-agent/blob/master/examples/agents/data_science_assistant.ipynb.
Ссылка: https://blog.langchain.dev/planning-agents/.
В целом, DS Assistant значительно повысил эффективность и удобство в области науки о данных благодаря своим автоматизированным процессам и мощной платформе Modelscope-Agent и имеет огромный потенциал для будущего развития. Это не только мощный помощник для специалистов по данным, но и открывает двери в науку о данных для большего числа людей.