[مقدمة] يعد TimeMixer++ نموذجًا مبتكرًا لتحليل السلاسل الزمنية يتفوق على النماذج الحالية في مهام متعددة من خلال أساليب متعددة المقاييس ومتعددة الدقة، وهو يوضح منظورًا جديدًا لتحليل السلاسل الزمنية ويجلب فوائد للمهام مثل التنبؤ والتصنيف الدقة والمرونة.
في العصر المعتمد على البيانات، أصبح تحليل السلاسل الزمنية جزءًا لا يتجزأ من العديد من المجالات، مثل التنبؤ بالطقس، وتصنيف الأعراض الطبية، واكتشاف شذوذ المركبات الفضائية، وملء البيانات المفقودة في بيانات الاستشعار، وما إلى ذلك. وتشمل هذه التطبيقات على وجه التحديد التنبؤ بالسلاسل الزمنية والتصنيف واكتشاف الشذوذ وملء القيمة المفقودة ومهام أخرى.
كيف يمكن استخدام نموذج واحد لجميع المهام في وقت واحد؟
في السنوات الأخيرة، أظهرت سلسلة من الأعمال، بما في ذلك بنية المحولات، أداءً ممتازًا في مهام التجزئة، ولكن بسبب الافتقار إلى إمكانات استخلاص الميزات الزمنية المرنة والعالمية، لا يمكن أن تصبح بنية نموذجية عالمية.
من أجل حل هذه المشاكل، أطلقت فرق صينية من معهد ماساتشوستس للتكنولوجيا، وجامعة هونغ كونغ للعلوم والتكنولوجيا، وجامعة تشجيانغ، وجامعة جريفيث بشكل مشترك بنية نموذجية عميقة جديدة TimeMixer ++، والتي يمكنها أداء 8 مهام بما في ذلك التنبؤ بالسلاسل الزمنية طويلة المدى، والتنبؤ بالسلاسل الزمنية القصيرة المدى. نطاق التنبؤ بالسلاسل الزمنية، وتصنيف السلاسل الزمنية، والكشف عن الحالات الشاذة، يفوق الأداء في مهام السلاسل الزمنية بشكل شامل المحولات والنماذج الأخرى، مما يتيح نمذجة وتطبيقات السلاسل الزمنية العالمية.
رابط الورقة: https://arxiv.org/pdf/2410.16032
ترجع القدرة العالمية لـ TimeMixer++ إلى قدرته على استخراج ميزات التوقيت العالمية للمهام المختلفة، ويتعلم النموذج بشكل تكيفي تمثيلات مختلفة للمساحة الكامنة، مما يُظهر مرونة وفعالية قوية.
تقترح الورقة مفهوم "آلة نمط السلاسل الزمنية" (TSPM) كنموذج يمكنه الأداء الجيد في نطاق واسع من مهام التوقيت، ويجب أن يكون قادرًا على استخلاص مجموعة متنوعة من ميزات التوقيت للتكيف مع متطلبات المهمة. .
يتم أخذ عينات من السلاسل الزمنية من العالم الحقيقي المستمر بمقاييس مختلفة (مثل الثواني والدقائق والساعات)، وتختلف الدورية المعروضة بمقاييس مختلفة. هذه الخاصية متعددة النطاقات والمتعددة الدورية وجهت تصميم بنية النموذج.
استنادًا إلى معلومات المجال الزمني (متعدد المقاييس) ومجال التردد (متعدد التردد/الفترة)، يقوم TimeMixer++ بتحويل كل سلسلة زمنية إلى صورة سلسلة زمنية متعددة الدقة (صور زمنية متعددة الدقة)، ويقوم بتعيين كل صورة سلسلة زمنية في يتم إجراء عملية الفصل والخلط لاستخراج ميزات متعددة المقاييس ومتعددة الفترات.
هيكل TimeMixer++ مشابه لـ Transformer، بما في ذلك الاختزال، وطبقة التضمين (Input Projection)، وMixerBlocks L المكدسة، وطبقة الإخراج. من بينها، يتضمن كل MixerBlock (1) تصويرًا زمنيًا متعدد الدقة، (2) تحليل مخطط التوقيت، (3) خلطًا متعدد المقاييس، و(4) خلطًا متعدد الدقة بالترتيب.
نقدم هنا بإيجاز العمليات داخل MixerBlock.
1. التصوير الزمني متعدد الدقة (MRTI): MRTI مسؤول عن طي التوقيت في مقاييس وفترات متعددة بناءً على معلومات مجال التردد، وبالتالي الحصول على مجموعات متعددة من مخططات التوقيت.
2. تحليل الصور الزمنية (TID): يقوم TID بفصل الاتجاه الموسمي عن كل مخطط سلسلة زمنية من خلال آلية الانتباه للمحور الأفقي والمحور الرأسي، والحصول على الرسوم البيانية الموسمية ومخططات الاتجاه.
3. الخلط متعدد المقاييس (MCM): MCM مسؤول عن خلط الرسوم البيانية الموسمية والرسوم البيانية للاتجاه بمقاييس مختلفة، في ضوء شكل الرسم البياني، تستخدم الورقة عمليات الالتواء وتفكيك الالتفاف.
يتم تشغيل MCM من خلال الموسمية وخلط الاتجاهات، وتجميع الخرائط الموسمية تدريجيًا من الحبيبات الدقيقة إلى الحبيبات الخشنة، واستخدام المعرفة السابقة على نطاق واسع للتنقيب بعمق في معلومات الاتجاه الكلي، وتحقيق خلط متعدد النطاق في نهاية المطاف في استخراج المعلومات السابقة. بالنسبة لمخططات الاتجاه، يتم استخدام التجميع التدريجي من الحبيبات الخشنة إلى الحبيبات الدقيقة.
من أجل التحقق من أداء TimeMixer++، أجرى المؤلف اختبارات على 8 مهام سلاسل زمنية رئيسية بما في ذلك التنبؤ طويل المدى، والتنبؤ قصير المدى، وتصنيف السلاسل الزمنية، واكتشاف الشذوذ، والملء، والتنبؤ بالعينات القليلة/العينات الصفرية. تظهر النتائج التجريبية أن TimeMixer++ يتفوق بشكل شامل على نموذج Transformer الحالي المتطور في مؤشرات متعددة، والأداء المحدد هو كما يلي:
في التنبؤ بالسلاسل الزمنية طويلة المدى، يتفوق TimeMixer++ على نماذج التنبؤ للسنوات الأخيرة في مؤشرات 12/9.
في مهام التنبؤ قصيرة المدى أحادية المتغير ومتعددة المتغيرات، يتفوق TimeMixer++ على النماذج الأخرى في السنوات الأخيرة في جميع الجوانب.
وفي مهمة ملء القيمة المفقودة، حافظ TimeMixer++ أيضًا على تقدمه، متجاوزًا النماذج الأخرى في جميع المؤشرات والبيانات تقريبًا.
في مهام التصنيف الصعبة ومهام الكشف عن الشذوذ، لا يزال TimeMixer++ يحقق أفضل النتائج بين جميع النماذج، متغلبًا على العديد من نماذج التوقيت المصممة خصيصًا لهذه المهمة.
في ظل إعداد تنبؤ العينة الصفرية، حقق TimeMixer++ المركز الأول في الأداء، مما يشير إلى أن ميزات التوقيت العالمية مستخرجة وليس بسبب التجهيز الزائد.
من خلال التحليل المرئي، تبين أن TimeMixer++ يقوم بتحليل السلاسل الزمنية إلى مجموعات متعددة من الرسوم البيانية الموسمية ومخططات الاتجاه، ويمكنه استخراج خصائص السلسلة الزمنية بالكامل من منظور المجال الزمني ومجال التردد. هناك اختلافات كبيرة في الموسمية والاتجاه تحت نطاقات وترددات مختلفة.
يُظهر TimeMixer++ كفاءة عالية في مساحة الذاكرة ووقت التدريب مع الحفاظ على درجات MSE التنافسية. في تعبئة بيانات الطقس ومهام التنبؤ طويلة المدى لـ ETTm1، مقارنةً بالنماذج الأخرى، فإنه يستخدم ذاكرة أقل ووقت تدريب أسرع، ويمكنه التقاط التبعيات طويلة المدى بشكل فعال.
أجرى المؤلف تجارب الاستئصال للتحقق من عقلانية بنية TimeMixer++. تظهر النتائج أن التصميم الحالي للوحدة متعددة المجموعات قد حقق نتائج مثالية في معظم مجموعات البيانات.
تقدم هذه المقالة بنية نموذجية عميقة جديدة، TimeMixer++، والتي تتفوق بشكل شامل على Transformer والنماذج الأخرى في ثماني مهام تحليل سلاسل زمنية، وتنفذ بنجاح نمذجة وتطبيقات السلاسل الزمنية العالمية. يتمثل ابتكار TimeMixer++ في تحويل السلاسل الزمنية إلى صور وإجراء استخراج الميزات في المجال الزمني ومجال التردد ومتعدد المقاييس ومتعدد الدقة، وبالتالي تحسين أداء النموذج.
إن نجاح TimeMixer++ لا يجلب أفكارًا جديدة إلى مجال تحليل التوقيت فحسب، بل يوضح أيضًا منظورًا جديدًا لفهم التوقيت. في المستقبل، مع إدخال المزيد من تقنيات التحسين وسيناريوهات التطبيق، أعتقد أن TimeMixer++ سيعمل على تعزيز تطوير تقنية التنبؤ بالسلاسل الزمنية وسيجلب قيمة أكبر لمختلف الصناعات.