Dự báo chuỗi thời gian dài hạn với xLSTM: XLSTMTime

xLSTMTime: Long-term Time Series Forecasting With xLSTM

• Trong vài năm gần đây, các mô hình dựa trên Transformer đã cho thấy hiệu năng nổi bật trong dự báo chuỗi thời gian dài hạn đa biến (LTSF). Tuy nhiên, chúng vẫn gặp phải các vấn đề như yêu cầu tính toán cao, khó nắm bắt động lực theo thời gian và quản lý các phụ thuộc dài hạn
• Sự xuất hiện của LTSF-Linear với cấu trúc tuyến tính đơn giản đã cho thấy hiệu năng vượt qua các mô hình dựa trên Transformer, từ đó khiến người ta phải đánh giá lại tính hữu dụng của Transformer trong dự báo chuỗi thời gian
• Để đáp lại điều đó, bài báo này trình bày kết quả áp dụng kiến trúc gần đây là mở rộng LSTM (xLSTM) vào LTSF. xLSTM có tiềm năng phù hợp với LTSF nhờ cơ chế exponential gating và cấu trúc bộ nhớ được sửa đổi với dung lượng cao hơn
• xLSTMTime, kiến trúc LTSF mà chúng tôi áp dụng, vượt qua các phương pháp hiện tại. Kết quả so sánh hiệu năng giữa nhiều mô hình hiện đại và xLSTMTime trên nhiều bộ dữ liệu thực tế đã chứng minh khả năng dự báo vượt trội của mô hình này
• Kết quả nghiên cứu của chúng tôi cho thấy các kiến trúc hồi quy được tinh chỉnh có thể cung cấp một phương án thay thế cạnh tranh cho các mô hình dựa trên Transformer trong các tác vụ LTSF, đồng thời gợi mở khả năng tái định hình bức tranh dự báo chuỗi thời gian

Tóm tắt của GN⁺

• Bài báo này giới thiệu xLSTM nhằm khắc phục những hạn chế của các mô hình dựa trên Transformer và cho thấy hiệu năng vượt trội trong dự báo chuỗi thời gian dài hạn
• xLSTMTime chứng minh khả năng dự báo vượt trội so với các mô hình hiện có thông qua cơ chế exponential gating và cấu trúc bộ nhớ được sửa đổi
• Nghiên cứu này làm nổi bật lại tiềm năng của kiến trúc hồi quy trong dự báo chuỗi thời gian và đề xuất một phương án thay thế mới cho các mô hình dựa trên Transformer
• Các dự án có chức năng tương tự gồm có Prophet của Facebook và DeepAR của Amazon

[GN⁺]

Bình luận trên Hacker News

• Trong vài năm gần đây, các mô hình dựa trên transformer đã nổi bật trong bài toán dự báo chuỗi thời gian đa biến dài hạn
  • Tuy nhiên, vẫn chưa chắc chúng có thực sự tốt hơn các mô hình không phải deep learning nói chung hay không
• Tôi đang làm công việc xây dựng các mô hình nowcasting và dự báo trong kinh tế học (lạm phát, GDP, v.v.) và tài chính (thanh khoản thị trường, v.v.)
  • Tôi đồng tình với quan điểm rằng mô hình transformer rất xuất sắc, nhưng các mô hình kiểu LSTM vẫn cực kỳ hữu ích
• Tôi tự hỏi liệu điều này có liên quan đến mô hình dự báo thời tiết dùng AI của Google hay không
  • Đính kèm liên kết tới mô hình AI Graphcast của Google
• Thật tiếc vì liên kết bộ dữ liệu trong bài báo không hoạt động
  • Mong rằng sẽ được sửa
• Nó đang được quảng bá như một công cụ dự báo, nhưng tôi tự hỏi liệu nó có áp dụng được cho phân loại sự kiện trong chuỗi thời gian hay không
• Những mô hình deep learning chuỗi thời gian tốt nhất đang được sử dụng nội bộ, không công khai, trong các quỹ phòng hộ
• Dự báo chuỗi thời gian hoạt động tốt nhất trong các miền mang tính xác định
  • Trong số các kỹ thuật LLM/AI/deep learning/machine learning đã được công bố, không có kỹ thuật nào hoạt động tốt trên thị trường chứng khoán
  • Tôi đã thử mọi kỹ thuật nhưng đều không thành công
• Nếu phương pháp dự báo chuỗi thời gian của ai đó thực sự hiệu quả, họ đã không công bố nó
• Tôi đã đọc nhầm thành XSLT
• Tôi đang chờ xem sẽ có người mất sạch tiền vì cố dự đoán cổ phiếu bằng công cụ này