[Pendahuluan] TimeMixer++ adalah model analisis deret waktu inovatif yang melampaui model yang ada dalam berbagai tugas melalui metode multi-skala dan multi-resolusi. Model ini menunjukkan perspektif baru dalam analisis deret waktu dan memberikan manfaat yang lebih besar pada tugas-tugas seperti prediksi dan klasifikasi akurasi dan fleksibilitas.
Di era berbasis data, analisis deret waktu telah menjadi bagian integral dari banyak bidang, seperti prediksi cuaca, klasifikasi gejala medis, deteksi anomali pesawat ruang angkasa, dan mengisi data yang hilang dalam data sensor, dll. Aplikasi ini secara khusus melibatkan prediksi deret waktu , klasifikasi, deteksi anomali, pengisian nilai yang hilang, dan tugas lainnya.
Bagaimana satu model dapat digunakan untuk semua tugas secara bersamaan?
Dalam beberapa tahun terakhir, serangkaian karya, termasuk arsitektur Transformer, telah menunjukkan kinerja luar biasa dalam tugas segmentasi, namun karena kurangnya kemampuan ekstraksi fitur temporal yang fleksibel dan universal, karya tersebut tidak dapat menjadi arsitektur model universal.
Untuk mengatasi masalah ini, tim Tiongkok dari MIT, Universitas Sains dan Teknologi Hong Kong, Universitas Zhejiang, dan Universitas Griffith bersama-sama meluncurkan arsitektur model mendalam baru TimeMixer++, yang dapat melakukan 8 tugas termasuk prediksi deret waktu jangka panjang, jangka pendek. prediksi deret waktu rentang, klasifikasi deret waktu, dan deteksi anomali. Performa pada tugas deret waktu secara komprehensif melampaui Transformer dan model lainnya, sehingga memungkinkan pemodelan dan aplikasi deret waktu universal.
Tautan makalah: https://arxiv.org/pdf/2410.16032
Kemampuan universal TimeMixer++ disebabkan oleh kemampuannya mengekstrak fitur pengaturan waktu universal. Untuk tugas yang berbeda, model secara adaptif mempelajari representasi ruang laten yang berbeda, menunjukkan fleksibilitas dan efektivitas yang kuat.
Makalah ini mengusulkan konsep "Mesin Pola Rangkaian Waktu" (TSPM). Sebagai model yang dapat bekerja dengan baik dalam berbagai tugas pengaturan waktu, model tersebut harus mampu mengekstrak berbagai fitur pengaturan waktu untuk beradaptasi dengan kebutuhan tugas tersebut. .
Deret waktu diambil sampelnya dari dunia nyata yang berkelanjutan pada skala yang berbeda (seperti detik, menit, jam), dan periodisitas yang ditampilkan pada skala yang berbeda juga berbeda. Karakteristik multi-skala dan multi-periodik ini memandu desain arsitektur model.
Berdasarkan informasi domain waktu (multi-skala) dan domain frekuensi (multi-frekuensi/periode), TimeMixer++ mengubah setiap rangkaian waktu menjadi gambar rangkaian waktu multi-resolusi (Gambar Waktu Multi-Resolusi), dan memetakan setiap gambar rangkaian waktu dalam gambar ruang kedalaman. Decoupling dan pencampuran dilakukan untuk akhirnya mengekstraksi fitur multi-skala dan multi-periode.
Struktur TimeMixer++ mirip dengan Transformer, termasuk downsampling, lapisan penyematan (Proyeksi Input), MixerBlock bertumpuk L, dan lapisan keluaran. Diantaranya, setiap MixerBlock mencakup (1) pencitraan waktu multi-resolusi, (2) dekomposisi diagram waktu, (3) pencampuran multi-skala, dan (4) pencampuran multi-resolusi secara berurutan.
Di sini kami memperkenalkan secara singkat operasi dalam MixerBlock.
1. Pencitraan Waktu Multi-Resolusi (MRTI): MRTI bertanggung jawab untuk melipatgandakan waktu dalam berbagai skala dan periode berdasarkan informasi domain frekuensi, sehingga memperoleh beberapa rangkaian diagram waktu.
2. Dekomposisi Gambar Waktu (TID): TID memisahkan tren musim dari setiap diagram deret waktu melalui mekanisme perhatian sumbu horizontal dan sumbu vertikal, dan memperoleh grafik musiman dan grafik tren.
3. Pencampuran Multi-Skala (MCM): MCM bertanggung jawab untuk mencampurkan grafik musiman dan grafik tren pada skala yang berbeda. Mengingat bentuk grafiknya, makalah ini menggunakan operasi konvolusi dan dekonvolusi.
MCM didorong oleh kemusiman dan percampuran tren, secara bertahap menggabungkan peta musiman dari butiran halus hingga butiran kasar, dan menggunakan pengetahuan skala kasar untuk menggali informasi tren makro secara mendalam, yang pada akhirnya mencapai percampuran multiskala dalam ekstraksi informasi masa lalu. Untuk grafik tren, digunakan agregasi bertahap dari butiran kasar ke butiran halus.
Untuk memverifikasi kinerja TimeMixer++, penulis melakukan pengujian pada 8 tugas deret waktu utama termasuk prediksi jangka panjang, prediksi jarak pendek, klasifikasi deret waktu, deteksi anomali, pengisian, dan prediksi beberapa sampel/sampel nol. Hasil eksperimen menunjukkan bahwa TimeMixer++ secara komprehensif melampaui model Transformer canggih saat ini dalam berbagai indikator. Performa spesifiknya adalah sebagai berikut:
Dalam prediksi rangkaian waktu jangka panjang, TimeMixer++ melampaui model prediksi beberapa tahun terakhir dalam indikator 9/12.
Dalam tugas prediksi jarak pendek variabel tunggal dan multivariabel, TimeMixer++ melampaui model lain dalam beberapa tahun terakhir dalam semua aspek.
Dalam tugas pengisian nilai yang hilang, TimeMixer++ juga mempertahankan keunggulannya, melampaui model lain di hampir semua indikator dan data.
Dalam tugas klasifikasi yang sulit dan tugas deteksi anomali, TimeMixer++ masih mencapai hasil terbaik di antara semua model, mengalahkan banyak model pengaturan waktu yang dirancang khusus untuk tugas ini.
Di bawah pengaturan prediksi sampel nol, TimeMixer++ mencapai peringkat pertama dalam performa, yang menunjukkan bahwa fitur pengaturan waktu universal diekstraksi dan bukan karena overfitting.
Melalui analisis visual, terlihat bahwa TimeMixer++ menguraikan deret waktu menjadi beberapa rangkaian grafik musiman dan grafik tren, dan dapat sepenuhnya mengekstrak karakteristik deret waktu dari perspektif domain waktu dan domain frekuensi. Terdapat perbedaan signifikan dalam hal musiman dan tren pada skala dan frekuensi yang berbeda.
TimeMixer++ menunjukkan efisiensi tinggi dalam jejak memori dan waktu pelatihan sambil mempertahankan skor MSE yang kompetitif. Dalam pengisian data cuaca dan tugas prediksi jangka panjang ETTm1, dibandingkan dengan model lain, model ini memiliki penggunaan memori yang lebih rendah dan waktu pelatihan yang lebih cepat, serta dapat secara efektif menangkap ketergantungan jangka panjang.
Penulis melakukan eksperimen ablasi untuk memverifikasi rasionalitas arsitektur TimeMixer++. Hasilnya menunjukkan bahwa desain modul multi-grup yang ada telah mencapai hasil optimal pada sebagian besar kumpulan data.
Artikel ini memperkenalkan arsitektur model mendalam baru, TimeMixer++, yang secara komprehensif melampaui Transformer dan model lainnya dalam delapan tugas analisis deret waktu, dan berhasil mengimplementasikan pemodelan dan aplikasi deret waktu universal. Inovasi TimeMixer++ adalah mengubah deret waktu menjadi gambar dan melakukan ekstraksi fitur dalam domain waktu, domain frekuensi, multiskala, dan multi-resolusi, sehingga meningkatkan performa model.
Keberhasilan TimeMixer++ tidak hanya membawa ide-ide baru ke dalam bidang analisis waktu, namun juga menunjukkan perspektif baru dalam pemahaman waktu. Di masa depan, dengan diperkenalkannya lebih banyak teknologi pengoptimalan dan skenario aplikasi, saya yakin TimeMixer++ akan semakin mendorong pengembangan teknologi prediksi deret waktu dan memberikan nilai lebih besar bagi berbagai industri.