Asisten ilmu data AI terbaru dari Alibaba, DS Assistant, bertujuan untuk menyederhanakan dan mempercepat proses ilmu data. Ini mengotomatiskan seluruh proses mulai dari eksplorasi data hingga evaluasi model, sehingga mudah digunakan bahkan bagi pengguna yang tidak memiliki latar belakang ilmu data yang kuat. DS Assistant didasarkan pada kerangka Modelscope-Agent open source Alibaba, yang memiliki ekosistem alat yang kaya dan desain modul yang fleksibel. DS Assistant mendukung akses ke model open source mainstream dan menyediakan komponen RAG, yang sangat meningkatkan efisiensi dan kemudahan penggunaan. Keuntungan intinya terletak pada alur kerja otomatis. Pengguna hanya perlu memberikan persyaratan, dan DS Assistant dapat secara otomatis melakukan berbagai langkah, sehingga sangat menurunkan ambang batas ilmu data.
Baru-baru ini, Alibaba meluncurkan asisten ilmu data AI yang disebut DS Assistant, yang dapat mengotomatiskan seluruh proses mulai dari eksplorasi data hingga evaluasi model, menjadikan pekerjaan ilmu data lebih mudah dan efisien.
DS Assistant dikembangkan berdasarkan kerangka Modelscope-Agent, yang bersumber terbuka oleh Alibaba dan memiliki ekosistem alat yang kaya dan desain modul yang fleksibel. Peluncuran DS Assistant menandai bahwa bahkan pengguna yang tidak memiliki latar belakang ilmu data yang mendalam dapat dengan mudah menangani masalah ilmu data yang kompleks.
Kekuatan inti DS Assistant adalah alur kerja otomatisnya. Pengguna hanya perlu memberikan persyaratan, dan DS Assistant dapat secara otomatis melakukan langkah-langkah seperti analisis data eksplorasi, pemrosesan awal data, rekayasa fitur, pelatihan model, dan evaluasi. Proses ini tidak hanya meningkatkan efisiensi kerja, namun juga menurunkan ambang batas pekerjaan ilmu data.
Kerangka kerja Modelscope-Agent adalah dukungan kuat di balik DS Assistant. Kerangka kerja ini memiliki karakteristik sebagai berikut:
Mendukung akses ke berbagai model sumber terbuka arus utama, seperti vllm, ollama, dll.;
Menyediakan komponen RAG dan mengakses basis pengetahuan dengan cepat;
Ekosistem alat yang kaya, mendukung model komunitas Modelscope dan alat langchain.
DS Assistant mengadopsi kerangka rencana-dan-eksekusi yang muncul untuk menyelesaikan tugas-tugas kompleks secara efisien melalui langkah-langkah perencanaan dan pelaksanaan yang jelas. Alur kerjanya mencakup perencanaan tugas, penjadwalan subtugas, pelaksanaan tugas, dan integrasi hasil, yang sangat meningkatkan efisiensi dan pengendalian pelaksanaan tugas.
Dari segi arsitektur sistem, DS Assistant terdiri dari empat modul utama: DS Assistant sendiri berfungsi sebagai otak sistem dan bertanggung jawab atas penjadwalan keseluruhan; modul Plan bertanggung jawab untuk menghasilkan daftar tugas dan melakukan penyortiran topologi; hasil eksekusi dan penyimpanan; modul Manajemen memori mencatat tugas yang sedang berlangsung Hasil eksekusi.
Dalam kasus praktis, Asisten DS berhasil diterapkan pada tugas kompetisi ICR - Mengidentifikasi Kondisi Terkait Usia di Kaggle. Melalui proses pemrosesan dan analisis data otomatis, DS Assistant tidak hanya meningkatkan tingkat keberhasilan pelaksanaan tugas, namun juga menghasilkan catatan pemrosesan terperinci untuk pengguna.
Pengaruh DS Assistant dievaluasi melalui ML-Benchmark. Dari tiga dimensi Normalized Performance Score (NPS), total waktu dan jumlah total token, DS Assistant telah mencapai hasil yang lebih baik daripada SOTA open source pada beberapa tugas ilmu data yang kompleks.
Nilai penerapan DS Assistant terletak pada:
Bagi pengguna yang belum terbiasa dengan proses analisis data, DS Assistant menyediakan cara untuk memahami ide pemrosesan data dan poin teknis dengan cepat;
Bagi pengguna yang memahami proses analisis data, DS Assistant memberikan penjelasan rinci tentang metode pemrosesan untuk memfasilitasi perbandingan referensi eksperimental;
Untuk semua orang, DS Assistant mengotomatiskan dan dengan cepat mencapai pemahaman yang lebih mendalam tentang file saat ini.
Di masa depan, DS Assistant akan dioptimalkan dalam tiga arah: meningkatkan tingkat keberhasilan pelaksanaan tugas, mendukung kemajuan tugas interaktif percakapan, dan mendukung pemrosesan batch beberapa kumpulan file untuk tugas yang sama guna lebih meningkatkan pengalaman pengguna.
Alat inovatif dari Alibaba ini tidak hanya menurunkan hambatan masuk ke ilmu data, namun juga memberikan para ilmuwan data asisten otomatis yang kuat, yang menandai perubahan baru di bidang ilmu data.
Repositori resmi: https://github.com/modelscope/modelscope-agent/blob/master/examples/agents/data_science_assistant.ipynb
Referensi: https://blog.langchain.dev/planning-agents/
Secara keseluruhan, DS Assistant telah memberikan peningkatan efisiensi dan kenyamanan yang signifikan pada bidang ilmu data dengan proses otomatis dan kerangka Modelscope-Agent yang kuat, serta memiliki potensi besar untuk pengembangan di masa depan. Ini tidak hanya menjadi asisten yang hebat bagi para ilmuwan data, tetapi juga membuka pintu bagi ilmu data bagi lebih banyak orang.