O mais recente assistente de ciência de dados de IA do Alibaba, DS Assistant, visa simplificar e acelerar o processo de ciência de dados. Ele automatiza todo o processo, desde a exploração de dados até a avaliação do modelo, tornando-o fácil de usar, mesmo para usuários sem uma sólida experiência em ciência de dados. O DS Assistant é baseado na estrutura Modelscope-Agent de código aberto do Alibaba, que possui um rico ecossistema de ferramentas e design de módulo flexível. Ele oferece suporte ao acesso aos principais modelos de código aberto e fornece componentes RAG, o que melhora muito a eficiência e a facilidade de uso. Sua principal vantagem está no fluxo de trabalho automatizado. Os usuários só precisam fornecer requisitos, e o DS Assistant pode executar várias etapas automaticamente, reduzindo bastante o limite para a ciência de dados.
Recentemente, o Alibaba lançou um assistente de ciência de dados de IA chamado DS Assistant, que pode automatizar todo o processo, desde a exploração de dados até a avaliação do modelo, tornando o trabalho da ciência de dados mais fácil e eficiente.
O DS Assistant é desenvolvido com base na estrutura Modelscope-Agent, que é de código aberto da Alibaba e possui um rico ecossistema de ferramentas e design de módulo flexível. O lançamento do DS Assistant mostra que mesmo usuários sem experiência profunda em ciência de dados podem lidar facilmente com problemas complexos de ciência de dados.
O principal ponto forte do DS Assistant é seu fluxo de trabalho automatizado. Os usuários só precisam fornecer requisitos, e o DS Assistant pode executar automaticamente etapas como análise exploratória de dados, pré-processamento de dados, engenharia de recursos, treinamento e avaliação de modelo. Este processo não só melhora a eficiência do trabalho, mas também reduz o limite para o trabalho de ciência de dados.
A estrutura Modelscope-Agent é o suporte poderoso por trás do DS Assistant. Possui as seguintes características:
Suporta acesso a vários modelos de código aberto convencionais, como vllm, ollama, etc.;
Forneça componentes RAG e acesse rapidamente a base de conhecimento;
Rico ecossistema de ferramentas, com suporte ao modelo da comunidade Modelscope e ferramentas langchain.
O DS Assistant adota a estrutura emergente de planejar e executar para concluir com eficiência tarefas complexas por meio de etapas claras de planejamento e execução. Seu fluxo de trabalho inclui planejamento de tarefas, agendamento de subtarefas, execução de tarefas e integração de resultados, o que melhora muito a eficiência e a controlabilidade da execução de tarefas.
Em termos de arquitetura do sistema, o DS Assistant é composto por quatro módulos principais: o próprio DS Assistant atua como cérebro do sistema e é responsável pelo agendamento geral; o módulo Plan é responsável por gerar listas de tarefas e realizar a classificação topológica; resultados de execução e salvamento; o módulo de gerenciamento de memória registra as tarefas em andamento. Resultados de execução.
Em um caso prático, o DS Assistant foi aplicado com sucesso na tarefa de competição ICR - Identificando Condições Relacionadas à Idade no Kaggle. Por meio de processos automatizados de processamento e análise de dados, o DS Assistant não apenas melhora a taxa de sucesso na execução de tarefas, mas também gera registros de processamento detalhados para os usuários.
O efeito do DS Assistant foi avaliado por meio de ML-Benchmark. A partir das três dimensões do Normalized Performance Score (NPS), tempo total e número total de tokens, o DS Assistant obteve melhores resultados do que o SOTA de código aberto em algumas tarefas complexas de ciência de dados.
O valor da aplicação do DS Assistant reside em:
Para usuários que não estão familiarizados com o processo de análise de dados, o DS Assistant oferece uma maneira de entender rapidamente ideias e pontos técnicos de processamento de dados;
Para usuários que entendem o processo de análise de dados, o DS Assistant fornece uma descrição detalhada do método de processamento para facilitar a comparação experimental de referências;
Para todos, o DS Assistant automatiza e alcança rapidamente uma compreensão mais profunda do arquivo atual.
No futuro, o DS Assistant será otimizado em três direções: melhorando a taxa de sucesso na execução de tarefas, suportando o avanço de tarefas interativas conversacionais e suportando o processamento em lote de vários lotes de arquivos para a mesma tarefa para aprimorar ainda mais a experiência do usuário.
Esta ferramenta inovadora do Alibaba não apenas reduz a barreira de entrada na ciência de dados, mas também fornece aos cientistas de dados um poderoso assistente automatizado, anunciando novas mudanças no campo da ciência de dados.
Repositório oficial: https://github.com/modelscope/modelscope-agent/blob/master/examples/agents/data_science_assistant.ipynb
Referência: https://blog.langchain.dev/planning-agents/
Resumindo, o DS Assistant trouxe melhorias significativas de eficiência e conveniência para o campo da ciência de dados com seus processos automatizados e poderosa estrutura Modelscope-Agent, e tem um enorme potencial para desenvolvimento futuro. Não é apenas um assistente poderoso para cientistas de dados, mas também abre as portas da ciência de dados para mais pessoas.