[บทนำ] TimeMixer++ คือโมเดลการวิเคราะห์อนุกรมเวลาที่เป็นนวัตกรรมใหม่ที่ก้าวล้ำหน้าโมเดลที่มีอยู่ในงานต่างๆ มากมายผ่านวิธีการแบบหลายสเกลและหลายความละเอียด โดยแสดงให้เห็นมุมมองใหม่ของการวิเคราะห์อนุกรมเวลา และนำคุณประโยชน์มาสู่งานต่างๆ เช่น การทำนายและการจำแนกประเภทที่ดียิ่งขึ้น ความแม่นยำและความยืดหยุ่น
ในยุคที่ขับเคลื่อนด้วยข้อมูล การวิเคราะห์อนุกรมเวลาได้กลายเป็นส่วนสำคัญของหลายสาขา เช่น การพยากรณ์อากาศ การจำแนกอาการทางการแพทย์ การตรวจจับความผิดปกติของยานอวกาศ และการกรอกข้อมูลที่ขาดหายไปในข้อมูลเซ็นเซอร์ เป็นต้น แอปพลิเคชันเหล่านี้เกี่ยวข้องกับการทำนายอนุกรมเวลาโดยเฉพาะ , การจำแนกประเภท การตรวจจับความผิดปกติ การเติมค่าที่ขาดหายไป และงานอื่นๆ
โมเดลเดียวสามารถนำไปใช้งานทั้งหมดพร้อมกันได้อย่างไร?
ในช่วงไม่กี่ปีที่ผ่านมา ชุดงานต่างๆ รวมถึงสถาปัตยกรรม Transformer ได้แสดงให้เห็นถึงประสิทธิภาพที่ยอดเยี่ยมในการแบ่งส่วนงาน แต่เนื่องจากขาดความสามารถในการแยกคุณสมบัติชั่วคราวที่ยืดหยุ่นและเป็นสากล งานเหล่านั้นจึงไม่สามารถกลายเป็นสถาปัตยกรรมโมเดลสากลได้
เพื่อแก้ไขปัญหาเหล่านี้ ทีมงานชาวจีนจาก MIT, มหาวิทยาลัยวิทยาศาสตร์และเทคโนโลยีฮ่องกง, มหาวิทยาลัยเจ้อเจียง และมหาวิทยาลัยกริฟฟิธได้ร่วมกันเปิดตัวสถาปัตยกรรมโมเดลเชิงลึกใหม่ TimeMixer++ ซึ่งสามารถดำเนินการได้ 8 งาน รวมถึงการทำนายอนุกรมเวลาระยะยาว การทำนายอนุกรมเวลาระยะสั้น การทำนายอนุกรมเวลา การจำแนกอนุกรมเวลา และการตรวจจับความผิดปกติ ประสิทธิภาพของงานอนุกรมเวลานั้นเหนือกว่า Transformer และรุ่นอื่น ๆ อย่างครอบคลุม ทำให้สามารถสร้างแบบจำลองและแอปพลิเคชันอนุกรมเวลาสากลได้
ลิงค์กระดาษ: https://arxiv.org/pdf/2410.16032
ความสามารถที่เป็นสากลของ TimeMixer++ นั้นมาจากความสามารถในการแยกคุณสมบัติการจับเวลาแบบสากล สำหรับงานที่แตกต่างกัน โมเดลจะเรียนรู้การแสดงพื้นที่แฝงที่แตกต่างกัน ซึ่งแสดงความยืดหยุ่นและประสิทธิผลที่แข็งแกร่ง
บทความนี้เสนอแนวคิดของ "Time Series Pattern Machine" (TSPM) เนื่องจากเป็นแบบจำลองที่สามารถทำงานได้ดีในงานจับเวลาที่หลากหลาย จึงต้องดึงคุณสมบัติการจับเวลาที่หลากหลายมาปรับให้เข้ากับความต้องการของงานได้ .
อนุกรมเวลาจะถูกสุ่มตัวอย่างจากโลกแห่งความเป็นจริงที่ต่อเนื่องกันในระดับที่แตกต่างกัน (เช่น วินาที นาที ชั่วโมง) และคาบที่แสดงในระดับที่แตกต่างกันจะแตกต่างกัน คุณลักษณะหลายระดับและหลายงวดนี้เป็นแนวทางในการออกแบบสถาปัตยกรรมแบบจำลอง
ตามข้อมูลโดเมนเวลา (หลายสเกล) และโดเมนความถี่ (หลายความถี่/ช่วงเวลา) TimeMixer++ จะแปลงอนุกรมเวลาแต่ละชุดให้เป็นภาพอนุกรมเวลาที่มีความละเอียดหลายระดับ (รูปภาพเวลาที่มีความละเอียดหลายความละเอียด) และแมปแต่ละภาพอนุกรมเวลาใน การแยกส่วนและการผสมจะดำเนินการเพื่อแยกคุณสมบัติหลายขนาดและหลายช่วงเวลาในที่สุด
โครงสร้างของ TimeMixer++ นั้นคล้ายคลึงกับ Transformer ซึ่งรวมถึง downsampling, การฝังเลเยอร์ (Input Projection), L stacked MixerBlocks และเลเยอร์เอาต์พุต MixerBlock แต่ละตัวประกอบด้วย (1) การถ่ายภาพเวลาแบบหลายความละเอียด (2) การสลายตัวของแผนภาพเวลา (3) การผสมแบบหลายสเกล และ (4) การผสมแบบหลายความละเอียดตามลำดับ
ที่นี่เราจะแนะนำการทำงานภายใน MixerBlock โดยย่อ
1. การถ่ายภาพเวลาแบบหลายความละเอียด (MRTI): MRTI มีหน้าที่พับการจับเวลาในหลายระดับและช่วงเวลาตามข้อมูลโดเมนความถี่ ดังนั้นจึงได้รับไดอะแกรมกำหนดเวลาหลายชุด
2. การแบ่งแยกภาพเวลา (TID): TID แยกแนวโน้มฤดูกาลจากแผนภูมิอนุกรมเวลาแต่ละชุดผ่านกลไกความสนใจของแกนนอนและแกนตั้ง และรับแผนภูมิตามฤดูกาลและแผนภูมิแนวโน้ม
3. การผสมแบบหลายสเกล (MCM): MCM มีหน้าที่ผสมกราฟตามฤดูกาลและกราฟแนวโน้มในระดับต่างๆ เมื่อพิจารณาถึงรูปแบบของกราฟ บทความนี้จะใช้การดำเนินการแบบบิดและการแยกส่วน
MCM ได้รับแรงผลักดันจากการผสมผสานระหว่างฤดูกาลและแนวโน้ม โดยค่อยๆ รวบรวมแผนที่ตามฤดูกาลตั้งแต่แบบละเอียดไปจนถึงแบบหยาบ และใช้ความรู้เดิมในระดับหยาบเพื่อขุดค้นข้อมูลแนวโน้มมหภาคอย่างลึกซึ้ง ท้ายที่สุด บรรลุการผสมผสานหลายระดับในการดึงข้อมูลในอดีต สำหรับแผนภูมิแนวโน้ม จะใช้การรวมแบบเป็นขั้นตอนตั้งแต่แบบหยาบไปจนถึงแบบละเอียด
เพื่อตรวจสอบประสิทธิภาพของ TimeMixer++ ผู้เขียนได้ทำการทดสอบงานอนุกรมเวลาหลัก 8 งาน รวมถึงการทำนายระยะยาว การทำนายช่วงสั้น การจำแนกอนุกรมเวลา การตรวจจับความผิดปกติ การเติม และการทำนายตัวอย่างน้อย/ศูนย์ตัวอย่าง ผลการทดลองแสดงให้เห็นว่า TimeMixer++ เหนือกว่ารุ่น Transformer ที่ล้ำสมัยในปัจจุบันอย่างครอบคลุมในตัวบ่งชี้หลายตัว ประสิทธิภาพเฉพาะมีดังนี้:
ในการทำนายอนุกรมเวลาระยะยาว TimeMixer++ เหนือกว่าโมเดลการคาดการณ์ในช่วงหลายปีที่ผ่านมาในตัวบ่งชี้ 9/12
ในงานทำนายระยะสั้นแบบตัวแปรเดียวและหลายตัวแปร TimeMixer++ เหนือกว่ารุ่นอื่นๆ ในช่วงไม่กี่ปีที่ผ่านมาในทุกด้าน
ในงานเติมค่าที่ขาดหายไป TimeMixer++ ยังคงรักษาตำแหน่งผู้นำไว้ได้ โดยเหนือกว่ารุ่นอื่นๆ ในตัวบ่งชี้และข้อมูลเกือบทั้งหมด
ในงานจำแนกประเภทที่ยากลำบากและงานตรวจจับความผิดปกติ TimeMixer++ ยังคงได้รับผลลัพธ์ที่ดีที่สุดในทุกโมเดล โดยเอาชนะโมเดลไทม์มิ่งจำนวนมากที่ออกแบบมาเพื่องานนี้โดยเฉพาะ
ภายใต้การตั้งค่าการทำนายตัวอย่างเป็นศูนย์ TimeMixer++ ประสบความสำเร็จเป็นที่หนึ่งในด้านประสิทธิภาพ ซึ่งบ่งชี้ว่าคุณลักษณะการกำหนดเวลาสากลถูกแยกออกมา และไม่ได้เกิดจากการติดตั้งมากเกินไป
จากการวิเคราะห์ด้วยภาพ แสดงให้เห็นว่า TimeMixer++ แยกอนุกรมเวลาออกเป็นแผนภูมิตามฤดูกาลและแผนภูมิแนวโน้มหลายชุด และสามารถแยกคุณลักษณะของอนุกรมเวลาได้อย่างสมบูรณ์จากทั้งโดเมนเวลาและมุมมองของโดเมนความถี่ ฤดูกาลและแนวโน้มมีความแตกต่างอย่างมีนัยสำคัญภายใต้ขนาดและความถี่ที่ต่างกัน
TimeMixer++ แสดงให้เห็นถึงประสิทธิภาพสูงในด้านหน่วยความจำและเวลาการฝึกอบรม ขณะเดียวกันก็รักษาคะแนน MSE ที่แข่งขันได้ ในการกรอกข้อมูลสภาพอากาศและงานคาดการณ์ระยะยาวของ ETTm1 เมื่อเปรียบเทียบกับรุ่นอื่นๆ จะมีการใช้หน่วยความจำน้อยกว่าและเวลาฝึกฝนที่เร็วกว่า และสามารถบันทึกการขึ้นต่อกันในระยะยาวได้อย่างมีประสิทธิภาพ
ผู้เขียนได้ทำการทดลองระเหยเพื่อตรวจสอบความสมเหตุสมผลของสถาปัตยกรรม TimeMixer++ ผลลัพธ์แสดงให้เห็นว่าการออกแบบโมดูลหลายกลุ่มที่มีอยู่ได้รับผลลัพธ์ที่ดีที่สุดในชุดข้อมูลส่วนใหญ่
บทความนี้จะแนะนำสถาปัตยกรรมโมเดลเชิงลึกใหม่ TimeMixer++ ซึ่งเหนือกว่า Transformer และโมเดลอื่นๆ ในงานวิเคราะห์อนุกรมเวลาแปดงานอย่างครอบคลุม และนำการสร้างแบบจำลองและแอปพลิเคชันอนุกรมเวลาสากลไปใช้ได้อย่างประสบความสำเร็จ นวัตกรรมของ TimeMixer++ คือการแปลงอนุกรมเวลาให้เป็นรูปภาพ และทำการแยกคุณสมบัติในโดเมนเวลา โดเมนความถี่ หลายสเกล และหลายความละเอียด ซึ่งจะช่วยปรับปรุงประสิทธิภาพของโมเดล
ความสำเร็จของ TimeMixer++ ไม่เพียงแต่นำแนวคิดใหม่ๆ มาสู่การวิเคราะห์จังหวะเวลาเท่านั้น แต่ยังแสดงให้เห็นถึงมุมมองใหม่ของการทำความเข้าใจเกี่ยวกับจังหวะเวลาอีกด้วย ในอนาคต ด้วยการเปิดตัวเทคโนโลยีการปรับให้เหมาะสมและสถานการณ์การใช้งานที่มากขึ้น ผมเชื่อว่า TimeMixer++ จะส่งเสริมการพัฒนาเทคโนโลยีการทำนายอนุกรมเวลาต่อไป และนำมูลค่าที่มากขึ้นมาสู่อุตสาหกรรมต่างๆ