[はじめに] TimeMixer++ は、マルチスケールおよびマルチ解像度手法を通じて既存のモデルを超える革新的な時系列分析モデルであり、時系列分析の新しい視点を示し、予測や分類などのタスクにさらなるメリットをもたらします。正確さと柔軟性。
データドリブンの時代において、時系列分析は、天気予報、医療症状の分類、宇宙船の異常検出、センサーデータの欠落データの補充など、多くの分野で不可欠な部分となっています。これらのアプリケーションには、特に時系列予測が含まれます。 、分類、異常検出、欠損値の補充、その他のタスク。
1 つのモデルをすべてのタスクに同時に使用するにはどうすればよいでしょうか?
近年、Transformer アーキテクチャを含む一連の研究は、セグメンテーション タスクにおいて優れたパフォーマンスを示していますが、柔軟かつ普遍的な時間特徴抽出機能が不足しているため、ユニバーサル モデル アーキテクチャにはなり得ません。
これらの問題を解決するために、MIT、香港科技大学、浙江大学、グリフィス大学の中国チームは共同で、長距離時系列予測、短期予測など 8 つのタスクを実行できる新しいディープ モデル アーキテクチャ TimeMixer++ を立ち上げました。時系列タスクのパフォーマンスは、Transformer や他のモデルを包括的に上回り、ユニバーサルな時系列モデリングとアプリケーションを可能にします。
論文リンク: https://arxiv.org/pdf/2410.16032
TimeMixer++ の汎用機能は、さまざまなタスクに対して汎用タイミング機能を抽出できるため、モデルはさまざまな潜在空間表現を適応的に学習し、強力な柔軟性と有効性を示します。
この論文では、幅広いタイミング タスクで適切に実行できるモデルとして、タスクの要件に適応するためにさまざまなタイミング機能を抽出できる必要がある「タイム シリーズ パターン マシン」(TSPM) の概念を提案しています。 。
時系列は、連続する現実世界からさまざまなスケール (秒、分、時間など) でサンプリングされ、スケールごとに表示される周期性も異なります。このマルチスケール、マルチ周期の特性がモデル アーキテクチャの設計の指針となりました。
TimeMixer++ は、時間領域 (マルチスケール) および周波数領域 (マルチ周波数/周期) の情報に基づいて、各時系列を多重解像度の時系列画像 (多重解像度時間画像) に変換し、各時系列画像を深度空間の分離と混合が実行されて、最終的にマルチスケールおよびマルチ期間の特徴が抽出されます。
TimeMixer++ の構造は、ダウンサンプリング、埋め込み層 (入力投影)、L 個のスタックされた MixerBlocks、および出力層を含む、Transformer と似ています。このうち、各 MixerBlock には、(1) 多重解像度時間イメージング、(2) タイミング図分解、(3) マルチスケール ミキシング、および (4) 多重解像度ミキシングが順に含まれます。
ここでは、MixerBlock 内の操作を簡単に紹介します。
1. マルチ解像度時間イメージング (MRTI): MRTI は、周波数領域情報に基づいてタイミングを複数のスケールと期間に折り畳む役割を果たし、それによって複数のタイミング ダイアグラムのセットを取得します。
2. 時間画像分解 (TID): TID は、横軸と縦軸のアテンション メカニズムを通じて各時系列チャートから季節トレンドを分離し、季節チャートとトレンド チャートを取得します。
3. マルチスケール混合 (MCM): MCM は、さまざまなスケールで季節グラフと傾向グラフを混合する役割を果たします。グラフの形式を考慮して、この論文では畳み込み演算と逆畳み込み演算を使用します。
MCM は季節性とトレンドの混合によって駆動され、季節マップを細粒度から粗粒度まで徐々に集約し、粗いスケールの事前知識を使用してマクロトレンド情報を深く掘り下げ、最終的には過去の情報抽出でマルチスケールの混合を実現します。トレンド チャートの場合、粗い粒度から細かい粒度への段階的な集計が使用されます。
TimeMixer++ のパフォーマンスを検証するために、著者は、長距離予測、短距離予測、時系列分類、異常検出、フィリング、少数サンプル/ゼロサンプル予測を含む 8 つの主流の時系列タスクについてテストを実施しました。実験結果は、TimeMixer++ が複数の指標において現在の最先端の Transformer モデルを総合的に上回ることを示しています。具体的なパフォーマンスは次のとおりです。
長距離時系列予測において、TimeMixer++ は 9/12 指標において近年の予測モデルを上回っています。
単一変数および多変数の短距離予測タスクにおいて、TimeMixer++ は近年の他のモデルをあらゆる面で上回っています。
欠損値を埋めるタスクでも、TimeMixer++ がリードを維持し、ほぼすべてのインジケーターとデータで他のモデルを上回りました。
困難な分類タスクや異常検出タスクにおいても、TimeMixer++ はすべてのモデルの中で最高の結果を達成し、このタスク専用に設計された多くのタイミング モデルを破りました。
ゼロサンプル予測の設定では、TimeMixer++ がパフォーマンスで 1 位を達成しました。これは、ユニバーサル タイミング特徴が抽出されており、過学習によるものではないことを示しています。
視覚的な分析を通じて、TimeMixer++ が時系列を季節チャートと傾向チャートの複数のセットに分解し、時間領域と周波数領域の両方の観点から時系列の特性を完全に抽出できることが示されています。スケールや頻度が異なると、季節性と傾向に大きな違いがあります。
TimeMixer++ は、競争力のある MSE スコアを維持しながら、メモリ フットプリントとトレーニング時間の効率が高いことを実証します。気象データの入力および ETTm1 長期予測タスクでは、他のモデルと比較してメモリ使用量が少なく、トレーニング時間が短縮され、長距離の依存関係を効果的にキャプチャできます。
著者は、TimeMixer++ アーキテクチャの合理性を検証するためにアブレーション実験を実施しました。結果は、既存のマルチグループ モジュール設計がほとんどのデータ セットで最適な結果を達成していることを示しています。
この記事では、新しいディープ モデル アーキテクチャである TimeMixer++ を紹介します。これは、8 つの時系列分析タスクにおいて Transformer や他のモデルを包括的に上回り、ユニバーサルな時系列モデリングとアプリケーションの実装に成功します。 TimeMixer++ の革新的な点は、時系列を画像に変換し、時間領域、周波数領域、マルチスケール、マルチ解像度で特徴抽出を実行することで、モデルのパフォーマンスを向上させることです。
TimeMixer++ の成功は、タイミング解析の分野に新しいアイデアをもたらしただけでなく、タイミング理解の新しい視点も示しました。今後、さらなる最適化技術や応用シナリオの導入により、TimeMixer++は時系列予測技術の開発をさらに推進し、さまざまな業界にさらなる価値をもたらしていくと考えています。