Alibaba의 최신 AI 데이터 과학 도우미인 DS Assistant는 데이터 과학 프로세스를 단순화하고 가속화하는 것을 목표로 합니다. 데이터 탐색부터 모델 평가까지 전체 프로세스를 자동화하므로 강력한 데이터 과학 배경 지식이 없는 사용자도 쉽게 사용할 수 있습니다. DS Assistant는 풍부한 도구 생태계와 유연한 모듈 설계를 갖춘 Alibaba의 오픈 소스 Modelscope-Agent 프레임워크를 기반으로 하며 주류 오픈 소스 모델에 대한 액세스를 지원하고 RAG 구성 요소를 제공하여 효율성과 사용 편의성을 크게 향상시킵니다. 핵심 장점은 자동화된 워크플로에 있습니다. 사용자는 요구 사항만 제공하면 DS Assistant는 다양한 단계를 자동으로 수행하여 데이터 과학의 임계값을 크게 낮출 수 있습니다.
최근 Alibaba는 데이터 탐색부터 모델 평가까지 전체 프로세스를 자동화하여 데이터 과학 작업을 보다 쉽고 효율적으로 만들 수 있는 DS Assistant라는 AI 데이터 과학 도우미를 출시했습니다.
DS Assistant는 Alibaba가 오픈 소스로 제공하고 풍부한 도구 생태계와 유연한 모듈 설계를 갖춘 Modelscope-Agent 프레임워크를 기반으로 개발되었습니다. DS Assistant의 출시는 깊은 데이터 과학 배경 지식이 없는 사용자라도 복잡한 데이터 과학 문제를 쉽게 처리할 수 있음을 나타냅니다.
DS Assistant의 핵심 강점은 자동화된 작업 흐름입니다. 사용자는 요구 사항만 제공하면 DS Assistant는 탐색적 데이터 분석, 데이터 전처리, 기능 엔지니어링, 모델 교육 및 평가와 같은 단계를 자동으로 수행할 수 있습니다. 이 프로세스는 업무 효율성을 향상시킬 뿐만 아니라 데이터 과학 작업의 문턱을 낮춰줍니다.
Modelscope-Agent 프레임워크는 DS Assistant 뒤에 있는 강력한 지원입니다. 여기에는 다음과 같은 특징이 있습니다.
vllm, ollama 등과 같은 다양한 주류 오픈 소스 모델에 대한 액세스를 지원합니다.
RAG 구성 요소를 제공하고 지식 기반에 빠르게 액세스합니다.
Modelscope 커뮤니티 모델 및 langchain 도구를 지원하는 풍부한 도구 생태계.
DS Assistant는 새로운 계획 및 실행 프레임워크를 채택하여 명확한 계획 및 실행 단계를 통해 복잡한 작업을 효율적으로 완료합니다. 워크플로에는 작업 계획, 하위 작업 예약, 작업 실행 및 결과 통합이 포함되어 작업 실행의 효율성과 제어 가능성이 크게 향상됩니다.
시스템 아키텍처 측면에서 DS Assistant는 네 가지 주요 모듈로 구성됩니다. DS Assistant 자체는 시스템 두뇌 역할을 하며 전체 일정을 담당합니다. 계획 모듈은 작업 목록을 생성하고 토폴로지 정렬을 수행합니다. 실행 및 저장 결과, 메모리 관리 모듈은 진행 중인 작업 실행 결과를 기록합니다.
실제 사례에서 DS Assistant는 Kaggle의 ICR - 연령 관련 조건 식별 경쟁 작업에 성공적으로 적용되었습니다. 자동화된 데이터 처리 및 분석 프로세스를 통해 DS Assistant는 작업 실행 성공률을 향상시킬 뿐만 아니라 사용자를 위한 자세한 처리 기록을 생성합니다.
DS Assistant의 효과는 ML-Benchmark를 통해 평가되었습니다. NPS(정규화된 성능 점수), 총 시간 및 총 토큰 수의 세 가지 차원에서 DS Assistant는 일부 복잡한 데이터 과학 작업에서 오픈 소스 SOTA보다 더 나은 결과를 달성했습니다.
DS Assistant의 애플리케이션 가치는 다음과 같습니다.
데이터 분석 프로세스에 익숙하지 않은 사용자를 위해 DS Assistant는 데이터 처리 아이디어와 기술 포인트를 빠르게 이해할 수 있는 방법을 제공합니다.
데이터 분석 프로세스를 이해하는 사용자를 위해 DS Assistant는 실험적 참조 비교를 용이하게 하기 위해 처리 방법에 대한 자세한 설명을 제공합니다.
모든 사람을 위해 DS Assistant는 현재 파일에 대한 더 깊은 이해를 자동화하고 신속하게 달성합니다.
앞으로 DS Assistant는 작업 실행 성공률 향상, 대화형 대화형 작업 발전 지원, 동일한 작업에 대한 여러 배치 파일의 일괄 처리 지원이라는 세 가지 방향으로 최적화되어 사용자 경험을 더욱 향상시킬 것입니다.
Alibaba의 이 혁신적인 도구는 데이터 과학에 대한 진입 장벽을 낮출 뿐만 아니라 데이터 과학자에게 강력한 자동화 도우미를 제공하여 데이터 과학 분야의 새로운 변화를 예고합니다.
공식 저장소: https://github.com/modelscope/modelscope-agent/blob/master/examples/agents/data_science_assistant.ipynb
참고: https://blog.langchain.dev/planning-agents/
전체적으로 DS Assistant는 자동화된 프로세스와 강력한 Modelscope-Agent 프레임워크를 통해 데이터 과학 분야에 상당한 효율성 향상과 편의성을 가져왔으며 향후 개발에 대한 엄청난 잠재력을 가지고 있습니다. 이는 데이터 과학자를 위한 강력한 도우미일 뿐만 아니라 더 많은 사람들에게 데이터 과학의 문을 열어줍니다.