[Introdução] TimeMixer++ é um modelo inovador de análise de série temporal que supera os modelos existentes em múltiplas tarefas por meio de métodos multiescala e multirresolução. Ele demonstra uma nova perspectiva de análise de série temporal e traz benefícios para tarefas como previsão e classificação. precisão e flexibilidade.
Na era baseada em dados, a análise de séries temporais tornou-se parte integrante de muitos campos, como previsão do tempo, classificação de sintomas médicos, detecção de anomalias em espaçonaves e preenchimento de dados ausentes em dados de sensores, etc. , classificação, detecção de anomalias, preenchimento de valores faltantes e outras tarefas.
Como um modelo pode ser usado para todas as tarefas simultaneamente?
Nos últimos anos, uma série de trabalhos, incluindo a arquitetura Transformer, demonstraram excelente desempenho em tarefas de segmentação, mas devido à falta de recursos flexíveis e universais de extração de características temporais, eles não podem se tornar uma arquitetura de modelo universal.
Para resolver esses problemas, equipes chinesas do MIT, da Universidade de Ciência e Tecnologia de Hong Kong, da Universidade de Zhejiang e da Universidade Griffith lançaram em conjunto uma nova arquitetura de modelo profundo TimeMixer++, que pode executar 8 tarefas, incluindo previsão de séries temporais de longo alcance, curto- previsão de série temporal de intervalo, classificação de série temporal e detecção de anomalias O desempenho em tarefas de série temporal supera amplamente o Transformer e outros modelos, permitindo modelagem e aplicações de série temporal universais.
Link do artigo: https://arxiv.org/pdf/2410.16032
A capacidade universal do TimeMixer++ se deve à sua capacidade de extrair recursos de temporização universal. Para diferentes tarefas, o modelo aprende de forma adaptativa diferentes representações de espaço latente, mostrando forte flexibilidade e eficácia.
O artigo propõe o conceito de "Máquina de Padrão de Série Temporal" (TSPM) como um modelo que pode funcionar bem em uma ampla gama de tarefas de temporização, deve ser capaz de extrair uma variedade de recursos de temporização para se adaptar aos requisitos da tarefa. .
As séries temporais são amostradas do mundo real contínuo em diferentes escalas (como segundos, minutos, horas), e a periodicidade exibida em diferentes escalas é diferente. Essa característica multiescala e multiperiódica orientou o desenho da arquitetura do modelo.
Com base em informações de domínio de tempo (multiescala) e domínio de frequência (multifrequência/período), o TimeMixer++ converte cada série temporal em uma imagem de série temporal de multi-resolução (imagens de tempo de multi-resolução) e mapeia cada imagem de série temporal no espaço de profundidade. O desacoplamento e a mistura são realizados para finalmente extrair recursos multiescala e multiperíodo.
A estrutura do TimeMixer++ é semelhante ao Transformer, incluindo redução da resolução, camada de incorporação (projeção de entrada), MixerBlocks empilhados em L e camada de saída. Entre eles, cada MixerBlock inclui (1) imagem de tempo multi-resolução, (2) decomposição de diagrama de temporização, (3) mixagem multi-escala e (4) mixagem multi-resolução em ordem.
Aqui apresentamos brevemente as operações dentro do MixerBlock.
1. Imagem de Tempo de Multi-Resolução (MRTI): O MRTI é responsável por dobrar a temporização em múltiplas escalas e períodos com base nas informações do domínio da frequência, obtendo assim vários conjuntos de diagramas de temporização.
2. Decomposição de imagem temporal (TID): o TID desacopla a tendência da estação de cada gráfico de série temporal por meio do mecanismo de atenção do eixo horizontal e do eixo vertical e obtém gráficos sazonais e gráficos de tendências.
3. Mistura multiescala (MCM): O MCM é responsável por misturar gráficos sazonais e gráficos de tendências em diferentes escalas. Tendo em vista a forma do gráfico, o artigo utiliza operações de convolução e deconvolução.
O MCM é impulsionado pela sazonalidade e pela mistura de tendências, agregando gradualmente mapas sazonais, de granulação fina a granulação grossa, e usando conhecimento prévio em escala grosseira para explorar profundamente informações de macrotendências, conseguindo, em última análise, uma mistura em múltiplas escalas na extração de informações passadas. Para gráficos de tendências, é usada a agregação gradual de granulação grossa para granulação fina.
Para verificar o desempenho do TimeMixer++, o autor conduziu testes em 8 tarefas convencionais de séries temporais, incluindo previsão de longo alcance, previsão de curto alcance, classificação de séries temporais, detecção de anomalias, preenchimento e previsão de poucas amostras/amostra zero. Os resultados experimentais mostram que o TimeMixer++ supera de forma abrangente o atual modelo Transformer de última geração em vários indicadores. O desempenho específico é o seguinte:
Na previsão de séries temporais de longo alcance, o TimeMixer++ supera os modelos de previsão dos últimos anos em 9/12 indicadores.
Em tarefas de previsão de curto alcance univariáveis e multivariáveis, o TimeMixer++ supera outros modelos nos últimos anos em todos os aspectos.
Na tarefa de preenchimento de valores faltantes, o TimeMixer++ também manteve a liderança, superando outros modelos em quase todos os indicadores e dados.
Em tarefas difíceis de classificação e detecção de anomalias, o TimeMixer++ ainda alcançou os melhores resultados entre todos os modelos, derrotando muitos modelos de temporização projetados especificamente para esta tarefa.
Sob a configuração de previsão de amostra zero, o TimeMixer++ alcançou o primeiro lugar em desempenho, indicando que os recursos de temporização universal são extraídos e não devido ao overfitting.
Através da análise visual, é mostrado que o TimeMixer++ decompõe a série temporal em vários conjuntos de gráficos sazonais e gráficos de tendências e pode extrair totalmente as características da série temporal tanto do domínio do tempo quanto do domínio da frequência. Existem diferenças significativas na sazonalidade e tendência em diferentes escalas e frequências.
O TimeMixer++ demonstra alta eficiência no consumo de memória e no tempo de treinamento, ao mesmo tempo que mantém pontuações competitivas de MSE. No preenchimento de dados meteorológicos e nas tarefas de previsão de longo prazo do ETTm1, em comparação com outros modelos, ele tem menor uso de memória e tempo de treinamento mais rápido, e pode capturar efetivamente dependências de longo alcance.
O autor conduziu experimentos de ablação para verificar a racionalidade da arquitetura TimeMixer++. Os resultados mostram que o design do módulo multigrupo existente alcançou resultados ideais na maioria dos conjuntos de dados.
Este artigo apresenta uma nova arquitetura de modelo profundo, TimeMixer++, que supera de forma abrangente o Transformer e outros modelos em oito tarefas de análise de série temporal e implementa com sucesso modelagem e aplicativos de série temporal universal. A inovação do TimeMixer++ é converter séries temporais em imagens e realizar extração de características no domínio do tempo, domínio da frequência, multiescala e multirresolução, melhorando assim o desempenho do modelo.
O sucesso do TimeMixer++ não apenas traz novas ideias para o campo da análise de temporização, mas também demonstra uma nova perspectiva de compreensão de temporização. No futuro, com a introdução de mais tecnologias de otimização e cenários de aplicação, acredito que o TimeMixer++ promoverá ainda mais o desenvolvimento da tecnologia de previsão de séries temporais e agregará maior valor a vários setores.