[Введение] TimeMixer++ — это инновационная модель анализа временных рядов, которая превосходит существующие модели в решении множества задач благодаря методам с несколькими масштабами и разрешениями. Она демонстрирует новую перспективу анализа временных рядов и дает дополнительные преимущества для таких задач, как прогнозирование и классификация. точность и гибкость.
В эпоху, основанную на данных, анализ временных рядов стал неотъемлемой частью многих областей, таких как прогнозирование погоды, классификация медицинских симптомов, обнаружение аномалий космических аппаратов, заполнение недостающих данных в данных датчиков и т. д. Эти приложения, в частности, включают прогнозирование временных рядов. , классификация, обнаружение аномалий, заполнение пропущенных значений и другие задачи.
Как можно использовать одну модель для всех задач одновременно?
В последние годы ряд работ, в том числе архитектура Transformer, продемонстрировали отличную производительность в задачах сегментации, но из-за отсутствия гибких и универсальных возможностей извлечения временных признаков они не могут стать универсальной модельной архитектурой.
Чтобы решить эти проблемы, китайские команды из Массачусетского технологического института, Гонконгского университета науки и технологий, Чжэцзянского университета и Университета Гриффита совместно запустили новую архитектуру глубокой модели TimeMixer++, которая может выполнять 8 задач, включая долгосрочное прогнозирование временных рядов, краткосрочное прогнозирование. Прогнозирование временных рядов по диапазону, классификация временных рядов и обнаружение аномалий. Производительность при выполнении задач временных рядов значительно превосходит модели Transformer и другие модели, что обеспечивает универсальное моделирование временных рядов и приложения.
Ссылка на документ: https://arxiv.org/pdf/2410.16032.
Универсальные возможности TimeMixer++ обусловлены его способностью извлекать универсальные функции синхронизации. Для различных задач модель адаптивно изучает различные представления скрытого пространства, демонстрируя высокую гибкость и эффективность.
В документе предлагается концепция «Машины шаблонов временных рядов» (TSPM). Как модель, которая может хорошо работать в широком диапазоне задач синхронизации, она должна иметь возможность извлекать различные функции синхронизации, чтобы адаптироваться к требованиям задачи. .
Временные ряды выбираются из непрерывного реального мира в разных масштабах (например, секундах, минутах, часах), а периодичность, отображаемая в разных масштабах, различна. Эта многомасштабная, многопериодическая характеристика определяла дизайн архитектуры модели.
На основе информации о временной области (мультимасштаб) и частотной области (многочастота/период) TimeMixer++ преобразует каждый временной ряд в изображение временного ряда с разным разрешением (временные изображения с несколькими разрешениями) и отображает каждое изображение временного ряда в Развязка и смешивание выполняются для окончательного извлечения многомасштабных и многопериодных функций.
Структура TimeMixer++ аналогична Transformer, включая понижающую дискретизацию, слой внедрения (входная проекция), L-сложные блоки MixerBlocks и выходной слой. Среди них каждый MixerBlock включает в себя (1) временную визуализацию с разными разрешениями, (2) разложение временной диаграммы, (3) многомасштабное смешивание и (4) последовательное смешивание с разными разрешениями.
Здесь мы кратко представляем операции в MixerBlock.
1. Временная визуализация с множественным разрешением (MRTI). MRTI отвечает за объединение временных данных в несколько масштабов и периодов на основе информации о частотной области, тем самым получая несколько наборов временных диаграмм.
2. Разложение временного изображения (TID): TID отделяет сезонный тренд от каждого графика временного ряда с помощью механизма внимания горизонтальной оси и вертикальной оси и получает сезонные диаграммы и диаграммы тенденций.
3. Многомасштабное смешивание (MCM): MCM отвечает за смешивание сезонных графиков и графиков тенденций в разных масштабах. Учитывая форму графика, в статье используются операции свертки и деконволюции.
MCM основан на сезонности и смешивании трендов, постепенно агрегируя сезонные карты от мелкозернистых к крупнозернистым и используя крупномасштабные предварительные знания для глубокого анализа информации о макротрендах, в конечном итоге достигая многомасштабного смешивания при извлечении прошлой информации. Для диаграмм трендов используется поэтапная агрегация от крупнозернистого к мелкозернистому.
Чтобы проверить производительность TimeMixer++, автор провел тесты на 8 основных задачах временных рядов, включая долгосрочное прогнозирование, краткосрочное прогнозирование, классификацию временных рядов, обнаружение аномалий, заполнение и прогнозирование с малой выборкой или нулевой выборкой. Результаты экспериментов показывают, что TimeMixer++ полностью превосходит современную модель Transformer по нескольким показателям. Конкретные характеристики следующие:
В долгосрочном прогнозировании временных рядов TimeMixer++ превосходит модели прогнозирования последних лет по 9/12 показателям.
В задачах краткосрочного прогнозирования с одной и несколькими переменными TimeMixer++ превосходит другие модели последних лет по всем аспектам.
В задаче заполнения недостающих значений TimeMixer++ также сохранил лидерство, обогнав другие модели практически по всем показателям и данным.
В сложных задачах классификации и обнаружении аномалий TimeMixer++ по-прежнему достигал лучших результатов среди всех моделей, побеждая многие модели синхронизации, разработанные специально для этой задачи.
При настройке прогнозирования с нулевой выборкой TimeMixer++ занял первое место по производительности, что указывает на то, что извлекаются универсальные функции синхронизации, а не из-за переобучения.
С помощью визуального анализа показано, что TimeMixer++ разлагает временной ряд на несколько наборов сезонных диаграмм и диаграмм тенденций и может полностью извлечь характеристики временного ряда как с точки зрения временной, так и частотной области. Существуют значительные различия в сезонности и тенденциях в разных масштабах и частотах.
TimeMixer++ демонстрирует высокую эффективность использования памяти и времени обучения, сохраняя при этом конкурентоспособные показатели MSE. При заполнении данных о погоде и задачах долгосрочного прогнозирования ETTm1 по сравнению с другими моделями она требует меньшего использования памяти и более быстрого времени обучения, а также может эффективно фиксировать долгосрочные зависимости.
Автор провел эксперименты по абляции, чтобы проверить рациональность архитектуры TimeMixer++. Результаты показывают, что существующая конструкция модуля с несколькими группами достигла оптимальных результатов для большинства наборов данных.
В этой статье представлена новая архитектура глубокой модели TimeMixer++, которая полностью превосходит Transformer и другие модели в восьми задачах анализа временных рядов и успешно реализует универсальное моделирование и приложения временных рядов. Инновация TimeMixer++ заключается в преобразовании временных рядов в изображения и выполнении извлечения признаков во временной области, частотной области, мультимасштабе и мультиразрешении, тем самым улучшая производительность модели.
Успех TimeMixer++ не только привносит новые идеи в область временного анализа, но и демонстрирует новую перспективу понимания синхронизации. Я считаю, что в будущем, с появлением новых технологий оптимизации и сценариев применения, TimeMixer++ будет способствовать дальнейшему развитию технологии прогнозирования временных рядов и принесет большую пользу различным отраслям.