TimeGPT-1
(arxiv.org)- TimeGPT là mô hình nền tảng cho chuỗi thời gian dự báo dữ liệu chuỗi thời gian ở nhiều miền mà không cần huấn luyện bổ sung
- So với các phương pháp thống kê, machine learning và deep learning hiện có, mô hình này đề xuất cách tiếp cận cải thiện đồng thời hiệu năng, hiệu quả và sự đơn giản trong suy luận zero-shot
- Dự báo chuỗi thời gian là nền tảng cốt lõi trong các lĩnh vực cần ra quyết định cho tương lai như tài chính, y tế, thời tiết, khoa học xã hội, nhu cầu điện, lập kế hoạch năng lực cho máy chủ, nhân công và máy móc
- Lĩnh vực dự báo chuỗi thời gian hiện chưa có sự đồng thuận thực tiễn mạnh về hiệu quả của deep learning, và còn thiếu mô hình tiền huấn luyện đa dụng được công nhận rộng rãi như trong lĩnh vực ngôn ngữ hoặc nhận thức
- Bài viết gợi mở khả năng rằng các mô hình tiền huấn luyện đa dụng có thể giúp dự báo chính xác dễ tiếp cận hơn, đồng thời giảm độ phức tạp về thời gian và tính toán
Định hướng mô hình mà TimeGPT đề xuất
- TimeGPT là mô hình nền tảng dành cho chuỗi thời gian, có thể tạo dự báo ngay cả trên nhiều tập dữ liệu chưa từng thấy trong quá trình huấn luyện
- Trọng tâm là suy luận zero-shot, tức thực hiện dự báo cho nhiều miền và ứng dụng mà không cần huấn luyện bổ sung
- Mô hình đa dụng đã được tiền huấn luyện có thể thay đổi thực tiễn dự báo chuỗi thời gian theo hướng dễ tiếp cận hơn, chính xác hơn, đồng thời giảm đáng kể thời gian tiêu tốn và độ phức tạp tính toán
Các lĩnh vực sử dụng dự báo chuỗi thời gian
- Chuỗi thời gian là dữ liệu được sắp xếp theo thứ tự thời gian, được dùng làm dữ liệu nền tảng để các hệ thống, doanh nghiệp và tổ chức đánh giá trạng thái tương lai
- Các trường hợp ứng dụng trải rộng trên nhiều lĩnh vực
- Hiểu chu kỳ và xu hướng kinh tế
- Nắm bắt mô hình chi tiêu của người tiêu dùng
- Tối ưu hóa nhu cầu điện phục vụ sản xuất điện và quản lý lưới điện
- Điều chỉnh năng lực và hạ tầng cho máy chủ, nhân công và máy móc
- Đo thủy triều đại dương và theo dõi giá đóng cửa hằng ngày của Dow Jones
- Trong tài chính, y tế, thời tiết và khoa học xã hội, việc nắm bắt các mẫu hình theo thời gian, xu hướng và biến động chu kỳ có vai trò quan trọng đối với dự báo giá trị tương lai và ra quyết định
Hạn chế của các phương pháp dự báo hiện có
- Lĩnh vực dự báo chuỗi thời gian chưa đạt được mức đồng thuận được công nhận rộng rãi như các mô hình sinh trong lĩnh vực ngôn ngữ và nhận thức
- Đánh giá của giới thực hành về hiệu quả của deep learning trong các tác vụ dự báo vẫn còn chia rẽ
- Nghiên cứu dự báo hiện tại vẫn chưa đáp ứng đầy đủ mức kỳ vọng mà một mô hình tiền huấn luyện đa dụng thực sự hứa hẹn
Kết quả đánh giá và hàm ý
- TimeGPT được đánh giá so sánh với các mô hình thống kê, mô hình machine learning và mô hình deep learning hiện có
- Kết quả đánh giá cho thấy suy luận zero-shot của TimeGPT đã được tiền huấn luyện nổi bật về hiệu năng, hiệu quả và sự đơn giản
- Đây được dùng làm cơ sở cho thấy những hiểu biết thu được từ tiến bộ ở các lĩnh vực AI khác cũng có thể áp dụng vào phân tích chuỗi thời gian
- Các mô hình chuỗi thời gian quy mô lớn có thể trở thành cơ hội để tăng khả năng tiếp cận các dự báo chính xác hơn và giảm bất định
1 bình luận
Các ý kiến trên Hacker News
Tôi đã làm dự báo chuỗi thời gian khá lâu, nhưng vẫn chưa tìm thấy công dụng của những mô hình deep learning chuyên biệt cho chuỗi thời gian như thế này
Với dữ liệu có số chiều rất cao, chẳng hạn như khi xây dựng mô hình phát hiện gian lận tại một công ty xử lý thanh toán thẻ, deep learning chiếm ưu thế. Nhưng gần như không có lợi ích gì khi dùng một mô hình “chuỗi thời gian” riêng, đối xử với thời gian khác với các đặc trưng khác
Tôi đã thử N-BEATS, N-HiTS được quảng bá là có hiệu năng tiên tiến, cùng gần như mọi biến thể RNN từng thịnh hành trước thời Transformer, nhưng chúng không vượt được MLP dùng các giá trị trễ làm đặc trưng. Trao đổi với những người khác trong lĩnh vực dự báo thì họ cũng nói đã thấy kết quả tương tự
Với dữ liệu số chiều trung bình, LightGBM/XGBoost vượt trội rõ rệt; thường đạt hiệu năng ngang bằng hoặc tốt hơn bất kỳ mô hình deep learning nào, trong khi cần tinh chỉnh ít hơn nhiều và thời gian tính toán cũng cực kỳ thấp
Với dữ liệu số chiều thấp, vì không có đủ dữ liệu nên phải dùng trực giác của con người để định hình cấu trúc; do đó (V)ARIMA/ETS/mô hình nhân tố vẫn là mạnh nhất
Vì vậy tôi rất hoài nghi trước tuyên bố về một mô hình “chuỗi thời gian” có hiệu năng cao một cách phổ dụng. Khác với mô hình ngôn ngữ, dù học trên chuỗi thời gian, mức độ mô hình hiểu được cấu trúc nền tảng về cách thế giới vận hành là có giới hạn, nên năng lực khái quát hóa cũng chắc chắn rất hạn chế
Và cũng muốn biết trong dự báo nhiều bước, khi cần dự đoán nhiều thời điểm phía trước, thì dùng các mô hình như XGBoost như thế nào
Cách đưa các đặc trưng trễ vào MLP so với việc dùng độ dài chuỗi dài hơn trong attention của Transformer thì thế nào? Tôi tò mò liệu đưa 128 giá trị trễ theo thời điểm vào mạng nơ-ron truyền thẳng có cho kết quả tốt không
Khi thử nghiệm nhiều thuật toán machine learning để xây dựng bot giao dịch thông minh https://github.com/asavinov/intelligent-trading-bot, tôi cũng đi đến kết luận như vậy
Tuy nhiên cũng có những trường hợp Transformer có thể đem lại lợi thế lớn. Nó có thể hữu ích khi kết hợp dự báo số học với phân tích sự kiện rời rạc và thứ tự các sự kiện là quan trọng, hoặc khi những mẫu hình cụ thể trong phân tích kỹ thuật là quan trọng. Trong các trường hợp này sẽ cần nhiều dữ liệu hơn đáng kể
Chắc chắn sẽ có một loạt nhà phân tích biểu đồ đổ ra bán dự báo thị trường dựa trên GPT
Tôi nghĩ một mô hình chuỗi thời gian với kho ngữ liệu huấn luyện đủ lớn có thể xử lý khá tốt các điểm bất thường điển hình như tính mùa vụ, cú sốc và ngoại lệ
Tôi hoàn toàn đồng ý về tình hình cho đến nay, nhưng tôi mong chờ việc các chuyên gia thực tế thử nghiệm những mô hình như mô hình được nêu ở đây. Biết đâu nó thực sự hiệu quả
Không, Transformer không phải là lời giải vạn năng
Dù Transformer có vẻ như một bộ xấp xỉ hàm tổng quát tối tân, ta vẫn cần hiểu vì sao nó hoạt động tốt như vậy trong ngôn ngữ và thị giác
Transformer rất dễ song song hóa và học được các biểu diễn trung gian tinh vi. Trong không gian, các khái niệm ngữ nghĩa bắt đầu được tách biệt gọn gàng, việc phát hiện dấu phân cách cũng diễn ra tự nhiên, và nó cũng học cách xử lý các yếu tố như đường thẳng, đường cong, màu sắc, tai chó. Các tầng cuối cùng kết hợp những khái niệm tinh vi này để học các khái niệm cấp cao như chó/mèo/blog
Nhưng Transformer, và rộng hơn là toàn bộ các phương pháp học sâu, chưa hoạt động tốt với dữ liệu chuỗi thời gian vì chúng vẫn chưa trích xuất được các biểu diễn trung gian mới từ đó
Chỉ nhìn bề ngoài thôi cũng thấy: phải xử lý “cửa sổ token” thế nào? Nói đơn giản nhất, mô hình hóa chuỗi thời gian là việc xác định các mẫu lặp lại có vòng đời rất khác nhau, dựa trên một quan sát cụ thể về thế giới. Ngay từ đầu, để xử lý bài toán này, mô hình phải có khả năng suy luận tự nhiên đồng thời theo đơn vị năm, ngày, giây. Buồn cười là bài báo về LLM streaming của MIT tuần trước có thể sẽ giúp ích ở đây
Thứ hai, mức cải thiện trông có vẻ rất nhỏ dù có tích cực đến đâu. Nếu đề xuất một thay đổi kiến trúc khổng lồ mà lại loại bỏ khả năng quan sát và khả năng giải thích, thì cần phải có kết quả thật sự áp đảo
Thực ra, nếu ai đó tìm ra một kỹ thuật đột phá trong dự báo chuỗi thời gian, nói cho người khác biết trước khi kiếm được 1 tỷ USD đầu tiên trên thị trường là một việc ngu ngốc. Tôi cũng nghĩ dừng lại ở 1 tỷ USD cũng ngu ngốc. Dự báo chuỗi thời gian là bài toán mang lại phần thưởng tài chính lớn nhất nếu có thể giải được. Nếu nó được công bố thành bài báo, bản thân điều đó đã khiến tôi đoán là nó sẽ gây thất vọng
Chỉ cần duyệt qua tất cả các máy Turing đơn điệu phổ dụng có băng đầu vào gồm toàn bộ dữ liệu thu thập được có thể có nối với chuỗi thời gian quan tâm. Bỏ qua các chương trình chạy quá lâu, chỉ giữ lại những chương trình còn lại tái hiện được chuỗi đầu vào, rồi tạo phân phối xác suất cho bit đầu ra tiếp theo bằng trọng số 2^- theo kích thước chương trình
Có gì mà khó vậy?
Ngành giao dịch tần suất cao từ lâu đã áp dụng học sâu khá thành công cho dữ liệu thị trường. Họ xử lý mọi thứ từ packet capture và tick cho đến candle
Tại sao một đội 50 quant/kỹ sư phần mềm/trader lại công khai cách kiếm hơn 1 tỷ USD lợi nhuận mỗi năm?
Trong dự báo chuỗi thời gian tiêu chuẩn, các đặc tính đó thường là những điều như “mẫu chu kỳ sẽ tiếp diễn” hoặc “mẫu tăng trưởng sẽ tiếp diễn”
Transformer được huấn luyện trên dữ liệu ngôn ngữ về bản chất là đang học dự báo chuỗi thời gian, nơi xuất hiện rất nhiều đặc tính phức tạp ảnh hưởng đến nội dung tiếp theo. Dữ liệu ngôn ngữ quá phức tạp và đa dạng đến mức để viết tiếp văn bản cần có học trong ngữ cảnh. Đó là khả năng tìm ra đặc tính chung trong bất kỳ loại chuỗi ký hiệu nào và dùng chúng để viết tiếp
Trong dữ liệu ngôn ngữ cũng có thể có các bảng Excel khổng lồ chứa nhiều loại dữ liệu như giá cổ phiếu hay bản ghi thời tiết. Vì vậy, việc học trong ngữ cảnh trở nên rất mạnh, đến mức có thể viết tiếp chuỗi thời gian zero-shot, là điều hợp lý
Xa hơn nữa, tôi nghĩ dữ liệu ngôn ngữ và kiến trúc Transformer, nhờ học trong ngữ cảnh, có tiềm năng đạt được hành vi giống trí tuệ tổng quát thật sự. Đó là nhận dạng mẫu tổng quát. Dữ liệu ngôn ngữ đủ phức tạp để hạ dốc ngẫu nhiên tất yếu dẫn tới nhận dạng mẫu tổng quát và viết tiếp
Chúng ta vẫn mới ở giai đoạn đầu, và hiện đang tập trung vào fine-tuning làm hỏng học trong ngữ cảnh. Nhưng chẳng bao lâu nữa, các Transformer khổng lồ sẽ được huấn luyện trên mọi modality, mọi chuỗi ký hiệu có thể tìm thấy
Tuy nhiên, video rốt cuộc trông giống như thị giác được xếp theo lớp. Tại sao thị giác của các khung hình lại không thể hoạt động giống thị giác? Câu trả lời hiện tại là nó không hoạt động, nhưng tôi tò mò liệu đó là do mạng nơ-ron không làm được, hay chỉ là chúng ta vẫn chưa tìm ra cách mô hình hóa đúng
Tôi không hiểu đoạn nói rằng “các mô hình phổ biến như Prophet [Taylor và Letham, 2018] và ARIMA đã bị loại khỏi phân tích vì yêu cầu tính toán quá mức và thời gian huấn luyện dài”
Không biết ai đã làm nhiều về dự báo chuỗi thời gian có thể giải thích chi tiết hơn không
Tôi từng dùng ARIMA cho vài việc đơn giản. Tôi không hiểu vì sao chi phí huấn luyện và chạy lại đắt hơn mô hình transformer; và ngay cả nếu đúng như vậy thì ARIMA vốn được dùng rất rộng rãi, nên việc so sánh tài nguyên và thời gian hẳn sẽ hữu ích
Nếu không thì nghe giống lời chào hàng, như thể họ ném ra các viết tắt khó hiểu kiểu “tôi là chuyên gia đây, abc xyz thuật ngữ ngành” để làm marketing
Để trả lời mối lo hợp lý này, có nhiều lý do khiến chi phí tính toán cao. Thứ nhất, ARIMA và các phương pháp “thống kê” khác là mô hình cục bộ, nên phải huấn luyện một mô hình riêng cho từng chuỗi thời gian. Ngược lại, các mô hình machine learning và deep learning là mô hình toàn cục, dùng “một” mô hình cho tất cả chuỗi thời gian
Thứ hai, ARIMA thường không cho hiệu năng tốt trên các tập chuỗi thời gian đa dạng như trong thí nghiệm này. AutoARIMA là lựa chọn tốt hơn, nhưng xét số lượng và độ dài của chuỗi thời gian thì thời gian huấn luyện sẽ dài hơn nhiều. Ngoài ra AutoARIMA có xu hướng rất chậm với chuỗi thời gian dài
Tóm lại, áp dụng ARIMA cho 500 nghìn chuỗi thời gian dùng trong benchmark sẽ mất đúng nghĩa là nhiều tuần và chi phí cũng rất lớn
Vì vậy chúng tôi đã đưa vào nhiều mô hình “thống kê” cục bộ có hiệu năng tốt như Theta và CES. Với mọi baseline, chúng tôi dùng các triển khai trong hệ sinh thái mã nguồn mở của mình, gồm StatsForecast, MLForecast và Neuralforecast. Chúng tôi sẽ sớm công bố một bộ thí nghiệm có thể tái lập trên một tập con nhỏ hơn
Nếu loại một kỹ thuật dự báo từ thập niên 1970 với lý do “thời gian huấn luyện dài” thì khó mà xem bài này một cách nghiêm túc
Có thể tìm được vài cái cớ để loại ARIMA. Vì để nó hoạt động đúng trong thực tế, cần đưa vào những thông tin tiên nghiệm quan trọng về chuỗi thời gian, chẳng hạn như tính chu kỳ hoặc hiệu chỉnh điểm chuyển đổi
Nhưng “khối lượng tính toán quá mức và thời gian huấn luyện dài” thì không áp dụng được
Phần đó trông hơi màu mè, nhưng phần còn lại của bài, đặc biệt là khả năng zero-shot, nếu được xác nhận thì rất thú vị. Hy vọng nó sẽ dễ tiếp cận hơn một API kiểu “hãy liên hệ với chúng tôi”, để có thể tự so sánh với ARIMA và các phương pháp khác
Nó có nhiều khiếm khuyết và hạn chế, nhưng hiệu quả tính toán không phải là vấn đề
Bài báo này cực kỳ nghèo nàn về nội dung. Hầu như không có thông tin về những thứ quan trọng, chỉ nói qua loa về kiến trúc và dữ liệu
Thay vào đó lại tốn giấy mực cho những thứ như công thức MAE hay sơ đồ minh họa khái niệm huấn luyện và suy luận. Chỗ nào cũng là dấu hiệu cảnh báo
Tôi là Max từ Nixtla. Tôi không ngờ lại nhận được nhiều quan tâm như vậy, và rất vui khi thấy cả phản hồi tích cực lẫn phản biện
Tôi muốn làm rõ vài điểm quan trọng
Mục tiêu chính của phiên bản đầu tiên của bài báo này là giới thiệu TimeGPT-1, trình bày kết quả sơ bộ của các thí nghiệm quy mô lớn, và cho thấy rằng transfer learning ở quy mô này thực sự khả thi với chuỗi thời gian. Như đã nói trong bài, chúng tôi tin sâu sắc rằng các mô hình tiền huấn luyện có thể là một giải pháp rất hiệu quả về chi phí xét về tài nguyên tính toán trong nhiều ứng dụng. Ngoài ra, phiên bản này là bản tiền ấn phẩm. Chúng tôi đang làm việc để công bố một bộ thí nghiệm có thể tái lập trên một phần dữ liệu, mong mọi người chờ thêm
Các công trình trước đây của Nixtla đều là mã nguồn mở, và chúng tôi cho rằng TimeGPT có thể trở thành một sản phẩm thương mại khả dụng, mang dự báo và phát hiện bất thường đến ngay cho người thực hành. Một số chi tiết thú vị đã được lược bỏ vì chúng là lợi thế cạnh tranh để dùng cho việc phát triển công ty, cung cấp giải pháp tốt hơn và tiếp tục xây dựng hệ sinh thái
Như những người khác trong thread này đã nói, chúng tôi đang làm việc để đưa càng nhiều người càng tốt vào bản dùng thử miễn phí, nhằm giúp nhiều người thực hành độc lập hơn kiểm chứng độ chính xác trên use case của chính họ. Có thể xem ấn tượng ban đầu của người tạo Prophet https://x.com/seanjtaylor/status/1694745912776749296?s=20, phản hồi của người tạo GluonTS https://www.linkedin.com/posts/tim-januschowski_foundational..., và các thử nghiệm ban đầu do người của H20 thực hiện https://youtu.be/N0gyDVUFPlg?si=xH8oy5cjgLm-o_WD&t=457. Hy vọng sẽ sớm có thêm nhiều benchmark độc lập
Khi giới học thuật cảnh báo rằng “bình duyệt đồng cấp là quan trọng” và “đừng đọc bản tiền ấn phẩm arxiv nếu bạn không phải chuyên gia trong lĩnh vực đó”, thì họ đang nói chính những trường hợp như thế này
Câu “Sự bất định là một khía cạnh cốt lõi của cuộc sống, một hằng số mà con người đã không mệt mỏi vượt qua và cố gắng thấu hiểu” nghe hơi kỳ
Làm gì đó bằng cả tấm lòng thì tốt, nhưng nếu vậy thì ít nhất cũng nên thơ hơn một phim tài liệu BBC
Có vẻ liên quan?
Inverted Transformers Are Effective for Time Series Forecasting
https://news.ycombinator.com/item?id=37848321
Cái này trông giống tài liệu marketing cho sản phẩm https://www.nixtla.io/
Hy vọng là tôi sai, nhưng có vẻ chỉ tốt hơn mô hình Seasonal Naive khoảng 20~30%. Mức đó thì không có vẻ hữu ích lắm
Việc nó là zero-shot chắc chắn rất ấn tượng, nhưng thực tế tôi không nghĩ có thể làm được nhiều thứ với nó