[Introduction] TimeMixer++ est un modèle d'analyse de séries chronologiques innovant qui surpasse les modèles existants dans plusieurs tâches grâce à des méthodes multi-échelles et multi-résolutions. Il démontre une nouvelle perspective de l'analyse des séries chronologiques et apporte de meilleurs avantages aux tâches telles que la prédiction et la classification. précision et flexibilité.
À l'ère des données, l'analyse des séries chronologiques est devenue partie intégrante de nombreux domaines, tels que la prévision météorologique, la classification des symptômes médicaux, la détection des anomalies des engins spatiaux et le remplissage des données manquantes dans les données des capteurs, etc. Ces applications impliquent spécifiquement la prédiction des séries chronologiques. , classification, détection d'anomalies, remplissage des valeurs manquantes et autres tâches.
Comment un modèle peut-il être utilisé simultanément pour toutes les tâches ?
Ces dernières années, une série de travaux, dont l'architecture Transformer, ont démontré d'excellentes performances dans les tâches de segmentation, mais en raison du manque de capacités d'extraction de caractéristiques temporelles flexibles et universelles, ils ne peuvent pas devenir une architecture de modèle universelle.
Afin de résoudre ces problèmes, des équipes chinoises du MIT, de l'Université des sciences et technologies de Hong Kong, de l'Université du Zhejiang et de l'Université Griffith ont lancé conjointement une nouvelle architecture de modèle profond TimeMixer++, capable d'effectuer 8 tâches, notamment la prédiction de séries chronologiques à longue portée, la prédiction des séries chronologiques, la classification des séries chronologiques et la détection des anomalies. Les performances sur les tâches de séries chronologiques surpassent largement Transformer et d'autres modèles, permettant une modélisation et des applications universelles de séries chronologiques.
Lien papier : https://arxiv.org/pdf/2410.16032
La capacité universelle de TimeMixer++ est due à sa capacité à extraire des fonctionnalités de synchronisation universelles pour différentes tâches, le modèle apprend de manière adaptative différentes représentations d'espace latent, faisant preuve d'une grande flexibilité et efficacité.
L'article propose le concept de « Time Series Pattern Machine » (TSPM). En tant que modèle capable de bien fonctionner dans un large éventail de tâches de synchronisation, il doit être capable d'extraire une variété de fonctionnalités de synchronisation pour s'adapter aux exigences de la tâche. .
Les séries temporelles sont échantillonnées à partir du monde réel continu à différentes échelles (telles que les secondes, les minutes, les heures), et la périodicité affichée à différentes échelles est différente. Cette caractéristique multi-échelle et multi-périodique a guidé la conception de l’architecture du modèle.
Sur la base des informations du domaine temporel (multi-échelles) et du domaine fréquentiel (multi-fréquence/période), TimeMixer++ convertit chaque série temporelle en une image de série temporelle multi-résolution (images temporelles multi-résolution) et mappe chaque image de série temporelle dans le l'espace de profondeur. Le découplage et le mélange sont effectués pour finalement extraire les caractéristiques multi-échelles et multi-périodes.
La structure de TimeMixer++ est similaire à celle de Transformer, y compris le sous-échantillonnage, la couche d'intégration (Input Projection), les MixerBlocks empilés en L et la couche de sortie. Parmi eux, chaque MixerBlock comprend (1) une imagerie temporelle multi-résolution, (2) une décomposition de diagramme temporel, (3) un mélange multi-échelle et (4) un mélange multi-résolution dans l'ordre.
Ici, nous présentons brièvement les opérations dans MixerBlock.
1. Imagerie temporelle multi-résolution (MRTI) : MRTI est responsable du repliement du timing en plusieurs échelles et périodes en fonction des informations du domaine fréquentiel, obtenant ainsi plusieurs ensembles de chronogrammes.
2. Décomposition d'image temporelle (TID) : TID découple la tendance saisonnière de chaque graphique de série chronologique via le mécanisme d'attention de l'axe horizontal et de l'axe vertical, et obtient des graphiques saisonniers et des graphiques de tendance.
3. Mélange multi-échelles (MCM) : MCM est chargé de mélanger les graphiques saisonniers et les graphiques de tendance à différentes échelles. Compte tenu de la forme du graphique, l'article utilise des opérations de convolution et de déconvolution.
MCM est motivé par la saisonnalité et le mélange de tendances, agrégeant progressivement des cartes saisonnières allant du grain fin au grain grossier, et utilisant des connaissances préalables à grande échelle pour exploiter en profondeur les informations sur les macro-tendances, obtenant finalement un mélange à plusieurs échelles dans l'extraction d'informations passées. Pour les graphiques de tendance, une agrégation par étapes, du plus grossier au plus fin, est utilisée.
Afin de vérifier les performances de TimeMixer++, l'auteur a effectué des tests sur 8 tâches principales de séries chronologiques, notamment la prédiction à longue portée, la prédiction à courte portée, la classification des séries chronologiques, la détection d'anomalies, le remplissage et la prédiction de quelques échantillons/zéro échantillon. Les résultats expérimentaux montrent que TimeMixer++ surpasse largement le modèle Transformer de pointe actuel dans plusieurs indicateurs. Les performances spécifiques sont les suivantes :
Dans la prévision de séries chronologiques à long terme, TimeMixer++ surpasse les modèles de prédiction de ces dernières années dans les indicateurs 9/12.
Dans les tâches de prédiction à courte portée à une et plusieurs variables, TimeMixer++ surpasse les autres modèles de ces dernières années dans tous les aspects.
Dans la tâche de remplissage des valeurs manquantes, TimeMixer++ a également conservé son avance, surpassant les autres modèles dans presque tous les indicateurs et données.
Dans les tâches de classification difficiles et les tâches de détection d'anomalies, TimeMixer++ a quand même obtenu les meilleurs résultats parmi tous les modèles, battant de nombreux modèles de synchronisation conçus spécifiquement pour cette tâche.
Dans le cadre de la prédiction à échantillon nul, TimeMixer++ a atteint la première place en termes de performances, indiquant que les fonctionnalités de synchronisation universelles sont extraites et non dues à un surajustement.
Grâce à une analyse visuelle, il est montré que TimeMixer++ décompose la série chronologique en plusieurs ensembles de graphiques saisonniers et de graphiques de tendance, et peut extraire pleinement les caractéristiques de la série chronologique du point de vue du domaine temporel et du domaine fréquentiel. Il existe des différences significatives en termes de saisonnalité et de tendance selon différentes échelles et fréquences.
TimeMixer++ démontre une grande efficacité en termes d'empreinte mémoire et de temps de formation tout en maintenant des scores MSE compétitifs. Dans les tâches de remplissage de données météorologiques et de prévision à long terme ETTm1, par rapport à d'autres modèles, il utilise moins de mémoire et un temps de formation plus rapide, et peut capturer efficacement les dépendances à longue portée.
L'auteur a mené des expériences d'ablation pour vérifier la rationalité de l'architecture TimeMixer++. Les résultats montrent que la conception de modules multigroupes existante a obtenu des résultats optimaux sur la plupart des ensembles de données.
Cet article présente une nouvelle architecture de modèle profond, TimeMixer++, qui surpasse largement Transformer et d'autres modèles dans huit tâches d'analyse de séries chronologiques, et implémente avec succès la modélisation et les applications de séries chronologiques universelles. L'innovation de TimeMixer++ consiste à convertir des séries chronologiques en images et à effectuer une extraction de caractéristiques dans le domaine temporel, le domaine fréquentiel, multi-échelle et multi-résolution, améliorant ainsi les performances du modèle.
Le succès de TimeMixer++ apporte non seulement de nouvelles idées dans le domaine de l’analyse temporelle, mais démontre également une nouvelle perspective dans la compréhension du timing. À l'avenir, avec l'introduction de davantage de technologies d'optimisation et de scénarios d'application, je pense que TimeMixer++ favorisera davantage le développement de la technologie de prédiction de séries chronologiques et apportera une plus grande valeur à diverses industries.