Silurian (YC S24) ra mắt – công nghệ mô phỏng Trái Đất

 (news.ycombinator.com)
1 điểm bởi GN⁺ 2024-09-17 | 1 bình luận | Chia sẻ qua WhatsApp
  • Silurian đang xây dựng mô hình nền tảng cho mô phỏng Trái Đất, và đã chọn dự báo thời tiết làm lĩnh vực ứng dụng đầu tiên vì giá trị của việc dự báo sớm hơn dù chỉ một ngày cũng rất lớn
  • Trước đây, dự báo thời tiết chỉ được cải thiện khoảng 1 ngày mỗi 10 năm, nhưng gần đây GPU và deep learning hiện đại đã đẩy nhanh tốc độ đó
  • Từ năm 2022, các nghiên cứu về dự báo thời tiết dựa trên deep learning tại NVIDIA, Google DeepMind, Huawei, Microsoft và các nơi khác đã trở nên sôi động, và các mô hình dựa trên dữ liệu có thể cho kết quả tốt hơn mô phỏng vật lý khí quyển truyền thống
  • GFT (Generative Forecasting Transformer), được xây dựng dựa trên kinh nghiệm với ClimaX và Aurora của Microsoft, mô phỏng thời tiết toàn cầu tới 14 ngày trước với độ phân giải khoảng 11 km
  • Mục tiêu dài hạn là mô hình hóa cả hạ tầng chịu ảnh hưởng bởi thời tiết như lưới điện, nông nghiệp, logistics và quốc phòng; hiện tại họ đang công khai dự báo đường đi bão năm 2024

Bắt đầu mô phỏng Trái Đất từ dự báo thời tiết

  • Silurian là nhóm do Jayesh, Cris và Nikhil thành lập, đang phát triển mô hình nền tảng cho mô phỏng Trái Đất
  • Đối tượng ứng dụng đầu tiên là dự báo thời tiết, và kết quả dự báo bão gần đây có thể xem tại hurricanes2024.silurian.ai
  • Mục tiêu là mở rộng mô hình và đẩy nó tới giới hạn có thể dự báo được về mặt vật lý
  • Về dài hạn, họ muốn mô hình hóa cả hạ tầng chịu ảnh hưởng bởi thời tiết
    • Lưới điện
    • Nông nghiệp
    • Logistics
    • Quốc phòng

Dự báo bằng deep learning và hiệu năng hiện tại của GFT

  • Các hệ thống dự báo truyền thống đã cải thiện hiệu năng với tốc độ khoảng 1 ngày mỗi 10 năm; tức là dự báo 6 ngày ngày nay đạt độ chính xác tương đương dự báo 5 ngày của 10 năm trước
  • Từ năm 2022, nghiên cứu về hệ thống deep learning cho thời tiết tại NVIDIA, Google DeepMind, Huawei, Microsoft và các nơi khác đã tăng nhanh
  • Các mô hình này có rất ít hoặc hoàn toàn không có các định luật vật lý được tích hợp sẵn, mà học dự báo chỉ từ dữ liệu
  • Jayesh và Cris, trong thời gian làm tại Microsoft, đã lần lượt dẫn dắt các dự án ClimaX và Aurora, qua đó trực tiếp trải nghiệm tiềm năng của công nghệ này
    • Các mô hình nền tảng này cho kết quả tốt hơn dự báo ECMWF, vốn được xem là tiêu chuẩn trong dự báo thời tiết
    • Dữ liệu huấn luyện sử dụng chỉ là một phần của lượng dữ liệu sẵn có
  • Mùa hè này, Silurian đã xây dựng mô hình nền tảng riêng GFT (Generative Forecasting Transformer)
    • Đây là mô hình tiên phong với 1,5 tỷ tham số
    • Mô phỏng thời tiết toàn cầu tới 14 ngày trước
    • Độ phân giải khoảng 11 km
  • Dù dữ liệu thời tiết cực đoan trong hồ sơ quá khứ còn ít, GFT hiện đã cho thấy hiệu năng rất tốt trong dự báo đường đi bão năm 2024
  • Có thể trực tiếp kiểm tra dự báo bão tại hurricanes2024.silurian.ai
  • Phần trực quan hóa sử dụng công cụ trực quan hóa thời tiết mã nguồn mở cambecc/earth

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-09-17
Ý kiến trên Hacker News

  • Vui vì giờ đây có thể thực hiện dự báo tổ hợp cho xoáy thuận nhiệt đới

    • Thất vọng vì việc so sánh mô hình ML với mô hình HRES của ECMWF
    • HRES là một hiện thực đơn lẻ của thời tiết có thể xảy ra, không phải ước tính tối ưu của thời tiết trung bình
    • NeuralGCM đang đứng top trên bảng xếp hạng WeatherBench
    • Muốn so sánh hiệu năng của các mô hình trên WeatherBench

  • Một mô hình không tích hợp vật lý lại đưa ra dự báo tốt hơn chỉ nhờ dữ liệu

    • Câu châm ngôn trong NLP rằng "mỗi lần sa thải một nhà ngôn ngữ học thì hiệu năng lại tăng lên" cũng đúng với các nhà vật lý

  • Silurian đang xây dựng một mô hình nền tảng để mô phỏng Trái Đất

    • Nếu thành công, tò mò muốn biết họ còn muốn mô phỏng thêm điều gì

  • Hào hứng về tiềm năng thương mại của ClimaX

    • Tò mò không biết đã có ngành cụ thể nào liên hệ về tiềm năng thương mại chưa (ví dụ: thăm dò tài nguyên thiên nhiên)

  • Với tư cách là một tổ chức phi lợi nhuận, đang xây dựng một mô hình tương tự cho đất liền

    • Muốn giúp thay thế land mask bằng land embedding
    • Điều này sẽ giúp rất nhiều trong việc downscale các hiệu ứng theo khu vực

  • Tò mò không biết nó khác gì so với GraphCast mà Google phát hành năm ngoái

  • Các mô hình thời tiết thật khó hiểu

    • Tò mò không biết các phương pháp ML có ổn định về mặt số học hơn mô phỏng dựa trên vật lý hay không
    • Tò mò không biết chúng so sánh với nhau ra sao về yêu cầu tính toán
    • Trước đây từng có kinh nghiệm chuyển mô hình từ FORTRAN sang Verilog

  • Tò mò không biết cách tiếp cận này đã từng được áp dụng cho động đất, thứ không thể dự báo trước, hay chưa

  • Cách tiếp cận này có vẻ như là một ví dụ nữa của "The Bitter Lesson"

  • Tò mò muốn biết trong tương lai họ sẽ mô phỏng thêm điều gì

    • Đã xây dựng một bản demo có thể tìm kiếm đối tượng bằng ngôn ngữ tự nhiên ở San Francisco
    • Đã thử dùng embedding của Clay, nhưng hiệu năng kém hơn embedding caption OSM được fine-tune bằng CLIP