[소개] TimeMixer++는 다중 규모 및 다중 해상도 방법을 통해 여러 작업에서 기존 모델을 능가하는 혁신적인 시계열 분석 모델입니다. 정확성과 유연성.
데이터 중심 시대에 시계열 분석은 날씨 예측, 의학적 증상 분류, 우주선 이상 탐지, 센서 데이터의 누락 데이터 채우기 등과 같은 많은 분야에서 필수적인 부분이 되었습니다. 이러한 응용 분야는 특히 시계열 예측과 관련됩니다. , 분류, 이상 탐지, 누락된 값 채우기 및 기타 작업.
어떻게 하나의 모델을 모든 작업에 동시에 사용할 수 있나요?
최근에는 Transformer 아키텍처를 비롯한 일련의 연구들이 분할 작업에서 뛰어난 성능을 보여주었지만 유연하고 보편적인 시간 특징 추출 기능이 부족하여 보편적인 모델 아키텍처가 될 수 없습니다.
이러한 문제를 해결하기 위해 MIT, 홍콩과기대, 저장대, 그리피스 대학의 중국 팀은 장거리 시계열 예측, 단기 시계열 예측 등 8가지 작업을 수행할 수 있는 새로운 딥 모델 아키텍처 TimeMixer++를 공동 출시했습니다. 범위 시계열 예측, 시계열 분류 및 이상 탐지. 시계열 작업에 대한 성능은 Transformer 및 기타 모델을 포괄적으로 능가하므로 범용 시계열 모델링 및 애플리케이션이 가능합니다.
논문 링크: https://arxiv.org/pdf/2410.16032
TimeMixer++의 범용 기능은 범용 타이밍 기능을 추출하는 기능에 기인합니다. 다양한 작업에 대해 모델은 다양한 잠재 공간 표현을 적응적으로 학습하여 강력한 유연성과 효율성을 보여줍니다.
본 논문에서는 광범위한 타이밍 작업에서 잘 수행할 수 있는 모델로서 "시계열 패턴 머신"(TSPM) 개념을 제안하며, 작업 요구 사항에 맞게 다양한 타이밍 기능을 추출할 수 있어야 합니다. .
시계열은 연속적인 현실 세계에서 다양한 규모(예: 초, 분, 시간)로 샘플링되며, 다양한 규모로 표시되는 주기도 다릅니다. 이러한 다중 규모, 다중 주기 특성은 모델 아키텍처의 설계를 안내했습니다.
TimeMixer++는 시간 영역(다중 스케일) 및 주파수 영역(다중 주파수/주기) 정보를 기반으로 각 시계열을 다중 해상도 시계열 이미지(Multi-Resolution Time Images)로 변환하고 각 시계열 이미지를 Decoupling과 Mixing을 수행하여 최종적으로 다중척도 및 다중주기 특징을 추출합니다.
TimeMixer++의 구조는 다운샘플링, 임베딩 레이어(Input Projection), L 스택 MixerBlocks 및 출력 레이어를 포함하여 Transformer와 유사합니다. 그 중 각 MixerBlock에는 (1) 다중 해상도 시간 이미징, (2) 타이밍 다이어그램 분해, (3) 다중 스케일 믹싱, (4) 다중 해상도 믹싱이 순서대로 포함됩니다.
여기에서는 MixerBlock 내의 작업을 간략하게 소개합니다.
1. MRTI(Multi-Resolution Time Imaging): MRTI는 주파수 영역 정보를 기반으로 여러 스케일과 기간의 타이밍을 접어서 여러 세트의 타이밍 다이어그램을 얻는 역할을 합니다.
2. TID(Time Image Decomposition): TID는 가로축과 세로축의 Attention 메커니즘을 통해 각 시계열 차트에서 계절 추세를 분리하고 계절 차트와 추세 차트를 얻습니다.
3. MCM(Multi-Scale Mixing): MCM은 그래프의 형태를 고려하여 계절 그래프와 추세 그래프를 혼합하는 역할을 담당하며, 논문에서는 convolution 및 deconvolution 연산을 사용합니다.
MCM은 계절성과 추세 혼합을 기반으로 세분화된 계절 지도를 세분화된 것부터 성긴 것까지 점진적으로 집계하고, 대략적인 사전 지식을 사용하여 거시적 추세 정보를 심층적으로 마이닝하여 궁극적으로 과거 정보 추출에서 다중 규모 혼합을 달성합니다. 추세 차트의 경우 대략적인 것부터 세밀한 것까지의 단계적 집계가 사용됩니다.
TimeMixer++의 성능을 검증하기 위해 저자는 장거리 예측, 단거리 예측, 시계열 분류, 이상 탐지, 채우기, 소수 샘플/제로 샘플 예측 등 8가지 주류 시계열 작업에 대한 테스트를 수행했습니다. 실험 결과는 TimeMixer++가 여러 지표에서 현재의 최첨단 Transformer 모델을 포괄적으로 능가한다는 것을 보여줍니다. 구체적인 성능은 다음과 같습니다.
장거리 시계열 예측에서 TimeMixer++는 9/12 지표에서 최근 몇 년간의 예측 모델을 능가합니다.
단일 변수 및 다중 변수 단거리 예측 작업에서 TimeMixer++는 모든 측면에서 최근 몇 년간 다른 모델을 능가합니다.
결측값 채우기 작업에서도 TimeMixer++는 거의 모든 지표와 데이터에서 다른 모델을 능가하며 선두를 유지했습니다.
어려운 분류 작업과 이상 탐지 작업에서 TimeMixer++는 이 작업을 위해 특별히 설계된 많은 타이밍 모델을 물리치고 여전히 모든 모델 중에서 최고의 결과를 달성했습니다.
제로 샘플 예측 설정에서 TimeMixer++는 성능에서 1위를 차지했으며 이는 과적합으로 인한 것이 아니라 범용 타이밍 기능이 추출되었음을 나타냅니다.
시각적 분석을 통해 TimeMixer++는 시계열을 여러 세트의 계절 차트와 추세 차트로 분해하고 시간 영역 및 주파수 영역 관점에서 시계열의 특성을 완벽하게 추출할 수 있음을 보여줍니다. 규모와 빈도에 따라 계절성과 추세에 상당한 차이가 있습니다.
TimeMixer++는 경쟁력 있는 MSE 점수를 유지하면서 메모리 공간과 훈련 시간의 높은 효율성을 보여줍니다. 기상 데이터 채우기 및 ETTm1 장기 예측 작업에서는 다른 모델에 비해 메모리 사용량이 적고 훈련 시간이 빠르며 장거리 종속성을 효과적으로 캡처할 수 있습니다.
저자는 TimeMixer++ 아키텍처의 합리성을 검증하기 위해 절제 실험을 수행했습니다. 결과는 기존 다중 그룹 모듈 설계가 대부분의 데이터 세트에서 최적의 결과를 달성했음을 보여줍니다.
이 기사에서는 8가지 시계열 분석 작업에서 Transformer 및 기타 모델을 포괄적으로 능가하고 범용 시계열 모델링 및 애플리케이션을 성공적으로 구현하는 새로운 심층 모델 아키텍처인 TimeMixer++를 소개합니다. TimeMixer++의 혁신은 시계열을 이미지로 변환하고 시간 영역, 주파수 영역, 다중 스케일 및 다중 해상도에서 특징 추출을 수행하여 모델의 성능을 향상시키는 것입니다.
TimeMixer++의 성공은 타이밍 분석 분야에 새로운 아이디어를 가져올 뿐만 아니라 타이밍 이해에 대한 새로운 관점을 보여줍니다. 앞으로는 더 많은 최적화 기술과 응용 시나리오가 도입되면서 TimeMixer++가 시계열 예측 기술 개발을 더욱 촉진하고 다양한 산업에 더 큰 가치를 가져올 것이라고 믿습니다.