[Einführung] TimeMixer++ ist ein innovatives Zeitreihenanalysemodell, das bestehende Modelle in mehreren Aufgabenbereichen durch Methoden mit mehreren Maßstäben und mehreren Auflösungen übertrifft. Es zeigt eine neue Perspektive der Zeitreihenanalyse auf und bringt Vorteile für Aufgaben wie Vorhersage und Klassifizierung Genauigkeit und Flexibilität.
Im datengesteuerten Zeitalter ist die Zeitreihenanalyse zu einem integralen Bestandteil vieler Bereiche geworden, beispielsweise der Wettervorhersage, der Klassifizierung medizinischer Symptome, der Erkennung von Anomalien bei Raumfahrzeugen und dem Ausfüllen fehlender Daten in Sensordaten usw. Diese Anwendungen umfassen insbesondere die Vorhersage von Zeitreihen , Klassifizierung, Anomalieerkennung, Füllen fehlender Werte und andere Aufgaben.
Wie kann ein Modell für alle Aufgaben gleichzeitig genutzt werden?
In den letzten Jahren haben eine Reihe von Arbeiten, darunter die Transformer-Architektur, eine hervorragende Leistung bei Segmentierungsaufgaben gezeigt, können jedoch aufgrund des Mangels an flexiblen und universellen Funktionen zur Extraktion zeitlicher Merkmale nicht zu einer universellen Modellarchitektur werden.
Um diese Probleme zu lösen, haben chinesische Teams vom MIT, der Hong Kong University of Science and Technology, der Zhejiang University und der Griffith University gemeinsam eine neue Deep-Model-Architektur TimeMixer++ auf den Markt gebracht, die 8 Aufgaben ausführen kann, darunter die Vorhersage von Zeitreihen über große Entfernungen, Kurzzeitreihen. Bereichszeitreihenvorhersage, Zeitreihenklassifizierung und Anomalieerkennung. Die Leistung bei Zeitreihenaufgaben übertrifft Transformer und andere Modelle bei weitem und ermöglicht universelle Zeitreihenmodellierung und -anwendungen.
Link zum Papier: https://arxiv.org/pdf/2410.16032
Die universelle Fähigkeit von TimeMixer++ beruht auf seiner Fähigkeit, universelle Timing-Funktionen zu extrahieren. Für verschiedene Aufgaben lernt das Modell adaptiv verschiedene latente Raumdarstellungen und zeigt so eine hohe Flexibilität und Effektivität.
Das Papier schlägt das Konzept der „Time Series Pattern Machine“ (TSPM) als Modell vor, das bei einer Vielzahl von Timing-Aufgaben gute Leistungen erbringen kann und in der Lage sein muss, eine Vielzahl von Timing-Funktionen zu extrahieren, um sich an die Anforderungen der Aufgabe anzupassen .
Zeitreihen werden aus der kontinuierlichen realen Welt in verschiedenen Maßstäben (z. B. Sekunden, Minuten, Stunden) abgetastet, und die in verschiedenen Maßstäben angezeigte Periodizität ist unterschiedlich. Diese mehrskalige, mehrperiodische Eigenschaft leitete den Entwurf der Modellarchitektur.
Basierend auf Informationen im Zeitbereich (mehrere Skalen) und im Frequenzbereich (mehrere Frequenzen/Perioden) konvertiert TimeMixer++ jede Zeitreihe in ein Zeitreihenbild mit mehreren Auflösungen (Zeitbilder mit mehreren Auflösungen) und ordnet jedes Zeitreihenbild im zu Tiefenraum werden entkoppelt und gemischt, um schließlich Merkmale mit mehreren Maßstäben und mehreren Perioden zu extrahieren.
Die Struktur von TimeMixer++ ähnelt der von Transformer, einschließlich Downsampling, Einbettungsschicht (Eingabeprojektion), L-gestapelten MixerBlocks und Ausgabeschicht. Darunter umfasst jeder MixerBlock (1) Zeitbildgebung mit mehreren Auflösungen, (2) Zeitdiagrammzerlegung, (3) Mischen mit mehreren Maßstäben und (4) Mischen mit mehreren Auflösungen in der Reihenfolge.
Hier stellen wir kurz die Vorgänge in MixerBlock vor.
1. Multi-Resolution Time Imaging (MRTI): MRTI ist für die Faltung des Timings in mehrere Skalen und Perioden basierend auf den Frequenzbereichsinformationen verantwortlich, wodurch mehrere Sätze von Timing-Diagrammen erhalten werden.
2. Time Image Decomposition (TID): TID entkoppelt den Saisontrend von jedem Zeitreihendiagramm durch den Aufmerksamkeitsmechanismus der horizontalen und vertikalen Achse und erhält saisonale Diagramme und Trenddiagramme.
3. Multi-Scale Mixing (MCM): MCM ist für das Mischen saisonaler Diagramme und Trenddiagramme in verschiedenen Maßstäben verantwortlich. Aufgrund der Form des Diagramms verwendet das Papier Faltungs- und Entfaltungsoperationen.
MCM basiert auf Saisonalität und Trendmischung, wobei saisonale Karten schrittweise von feinkörnig zu grobkörnig aggregiert werden und grobskaliges Vorwissen genutzt wird, um Makrotrendinformationen tiefgreifend zu durchsuchen, um letztendlich eine mehrskalige Mischung bei der Extraktion vergangener Informationen zu erreichen. Für Trenddiagramme wird eine schrittweise Aggregation von grobkörnig zu feinkörnig verwendet.
Um die Leistung von TimeMixer++ zu überprüfen, führte der Autor Tests zu 8 gängigen Zeitreihenaufgaben durch, darunter Vorhersagen über große Entfernungen, Vorhersagen über kurze Entfernungen, Zeitreihenklassifizierung, Anomalieerkennung, Füllen und Vorhersagen mit wenigen/null Stichproben. Experimentelle Ergebnisse zeigen, dass TimeMixer++ das aktuelle hochmoderne Transformer-Modell in mehreren Indikatoren übertrifft. Die spezifische Leistung ist wie folgt:
Bei der Vorhersage langfristiger Zeitreihen übertrifft TimeMixer++ die Vorhersagemodelle der letzten Jahre bei 9/12 Indikatoren.
Bei Einzelvariablen- und Multivariablen-Vorhersageaufgaben im Nahbereich übertrifft TimeMixer++ in allen Aspekten andere Modelle der letzten Jahre.
Auch bei der Aufgabe, fehlende Werte zu ergänzen, behauptete TimeMixer++ seinen Vorsprung und übertraf andere Modelle bei fast allen Indikatoren und Daten.
Bei schwierigen Klassifizierungsaufgaben und Anomalieerkennungsaufgaben erzielte TimeMixer++ immer noch die besten Ergebnisse unter allen Modellen und schlug viele Timing-Modelle, die speziell für diese Aufgabe entwickelt wurden.
Unter der Einstellung der Zero-Sample-Vorhersage erreichte TimeMixer++ den ersten Platz in der Leistung, was darauf hindeutet, dass universelle Timing-Funktionen extrahiert werden und nicht auf Überanpassung zurückzuführen sind.
Durch visuelle Analyse wird gezeigt, dass TimeMixer++ die Zeitreihen in mehrere Sätze saisonaler Diagramme und Trenddiagramme zerlegt und die Merkmale der Zeitreihen sowohl aus der Zeitdomänen- als auch aus der Frequenzdomänenperspektive vollständig extrahieren kann. Es gibt erhebliche Unterschiede in der Saisonalität und im Trend bei unterschiedlichen Maßstäben und Häufigkeiten.
TimeMixer++ weist eine hohe Effizienz in Bezug auf Speicherbedarf und Trainingszeit auf und behält gleichzeitig konkurrenzfähige MSE-Ergebnisse bei. Beim Füllen von Wetterdaten und bei ETTm1-Langzeitvorhersageaufgaben weist es im Vergleich zu anderen Modellen eine geringere Speichernutzung und eine schnellere Trainingszeit auf und kann Abhängigkeiten über große Entfernungen effektiv erfassen.
Der Autor führte Ablationsexperimente durch, um die Rationalität der TimeMixer++-Architektur zu überprüfen. Die Ergebnisse zeigen, dass das bestehende Mehrgruppen-Moduldesign bei den meisten Datensätzen optimale Ergebnisse erzielt hat.
In diesem Artikel wird eine neue tiefe Modellarchitektur, TimeMixer++, vorgestellt, die Transformer und andere Modelle in acht Zeitreihenanalyseaufgaben umfassend übertrifft und universelle Zeitreihenmodellierung und -anwendungen erfolgreich implementiert. Die Innovation von TimeMixer++ besteht darin, Zeitreihen in Bilder umzuwandeln und Merkmalsextraktionen im Zeitbereich, im Frequenzbereich, in mehreren Maßstäben und in mehreren Auflösungen durchzuführen, wodurch die Leistung des Modells verbessert wird.
Der Erfolg von TimeMixer++ bringt nicht nur neue Ideen in den Bereich der Timing-Analyse, sondern zeigt auch eine neue Perspektive des Timing-Verständnisses auf. Ich glaube, dass TimeMixer++ in Zukunft mit der Einführung weiterer Optimierungstechnologien und Anwendungsszenarien die Entwicklung der Zeitreihenvorhersagetechnologie weiter vorantreiben und verschiedenen Branchen einen größeren Mehrwert bieten wird.