Silurian (YC S24) ra mắt – công nghệ mô phỏng Trái Đất

• Chúng tôi là Jayesh, Cris và Nikhil, là thành viên của đội ngũ Silurian. Silurian đang xây dựng một mô hình nền tảng để mô phỏng Trái Đất, bắt đầu từ dự báo thời tiết. Kết quả dự báo bão gần đây có thể được trực quan hóa tại đây

• Nếu có thể biết trước dự báo thời tiết sớm hơn một ngày thì giá trị của điều đó sẽ là bao nhiêu? Các hệ thống dự báo truyền thống chỉ cải thiện độ chính xác thêm một ngày sau mỗi 10 năm. Nhưng trong vài năm gần đây, nhờ GPU và các kỹ thuật deep learning hiện đại, tốc độ này đang được đẩy nhanh

• Kể từ năm 2022, NVIDIA, Google DeepMind, Huawei, Microsoft và nhiều nơi khác đã tích cực nghiên cứu các hệ thống deep learning cho thời tiết. Những mô hình này học cách dự báo chỉ từ dữ liệu mà hầu như không tích hợp sẵn vật lý. Đáng ngạc nhiên là cách tiếp cận này lại cho dự báo tốt hơn các mô phỏng vật lý khí quyển truyền thống

• Jayesh và Cris đã trực tiếp trải nghiệm tiềm năng của công nghệ này khi lần lượt dẫn dắt các dự án ClimaX và Aurora tại Microsoft. Những mô hình nền tảng mà họ xây dựng đã cải thiện dự báo của ECMWF, vốn được xem là tiêu chuẩn vàng trong dự báo thời tiết, dù chỉ sử dụng một phần rất nhỏ dữ liệu huấn luyện. Mục tiêu của Silurian là mở rộng tối đa các mô hình này và đẩy giới hạn của dự báo vật lý đến mức xa nhất có thể. Về lâu dài, mục tiêu là mô hình hóa mọi hạ tầng chịu ảnh hưởng của thời tiết như lưới điện, nông nghiệp, logistics, quốc phòng, v.v. Nói cách khác, đó là mô phỏng Trái Đất

• Mùa hè này, chúng tôi đã xây dựng GFT (Generative Forecasting Transformer), một frontier model 1.5B tham số. Mô hình này mô phỏng thời tiết toàn cầu trong tối đa 14 ngày ở độ phân giải khoảng 11km. Dù dữ liệu thời tiết cực đoan trong hồ sơ lịch sử còn hạn chế, GFT vẫn cho thấy hiệu năng rất ấn tượng trong dự báo quỹ đạo bão năm 2024. Bạn có thể xem dự báo bão của chúng tôi tại đây. Chúng tôi dùng công cụ trực quan hóa thời tiết mã nguồn mở cambecc/earth để hiển thị kết quả này

• Chúng tôi rất hào hứng với lần ra mắt trên HN và muốn lắng nghe ý kiến của mọi người

Tóm tắt của GN⁺

• Silurian là công ty xây dựng mô hình nền tảng để mô phỏng Trái Đất, bắt đầu từ dự báo thời tiết
• Trong vài năm gần đây, độ chính xác của dự báo thời tiết đã cải thiện đáng kể nhờ sự phát triển của công nghệ deep learning
• Mô hình GFT của Silurian cho thấy hiệu năng dự báo nổi bật dù dữ liệu thời tiết cực đoan còn thiếu hụt
• Công nghệ này có tiềm năng được áp dụng cho nhiều loại hạ tầng như năng lượng, nông nghiệp, logistics, v.v.
• Các dự án có chức năng tương tự bao gồm các hệ thống deep learning thời tiết của NVIDIA và Google DeepMind

[GN⁺]

Ý kiến trên Hacker News

• Vui vì giờ đây có thể thực hiện dự báo tổ hợp cho xoáy thuận nhiệt đới

  • Thất vọng vì việc so sánh mô hình ML với mô hình HRES của ECMWF
  • HRES là một hiện thực đơn lẻ của thời tiết có thể xảy ra, không phải ước tính tối ưu của thời tiết trung bình
  • NeuralGCM đang đứng top trên bảng xếp hạng WeatherBench
  • Muốn so sánh hiệu năng của các mô hình trên WeatherBench

• Một mô hình không tích hợp vật lý lại đưa ra dự báo tốt hơn chỉ nhờ dữ liệu

  • Câu châm ngôn trong NLP rằng "mỗi lần sa thải một nhà ngôn ngữ học thì hiệu năng lại tăng lên" cũng đúng với các nhà vật lý

• Silurian đang xây dựng một mô hình nền tảng để mô phỏng Trái Đất

  • Nếu thành công, tò mò muốn biết họ còn muốn mô phỏng thêm điều gì

• Hào hứng về tiềm năng thương mại của ClimaX

  • Tò mò không biết đã có ngành cụ thể nào liên hệ về tiềm năng thương mại chưa (ví dụ: thăm dò tài nguyên thiên nhiên)

• Với tư cách là một tổ chức phi lợi nhuận, đang xây dựng một mô hình tương tự cho đất liền

  • Muốn giúp thay thế land mask bằng land embedding
  • Điều này sẽ giúp rất nhiều trong việc downscale các hiệu ứng theo khu vực

• Tò mò không biết nó khác gì so với GraphCast mà Google phát hành năm ngoái

• Các mô hình thời tiết thật khó hiểu

  • Tò mò không biết các phương pháp ML có ổn định về mặt số học hơn mô phỏng dựa trên vật lý hay không
  • Tò mò không biết chúng so sánh với nhau ra sao về yêu cầu tính toán
  • Trước đây từng có kinh nghiệm chuyển mô hình từ FORTRAN sang Verilog

• Tò mò không biết cách tiếp cận này đã từng được áp dụng cho động đất, thứ không thể dự báo trước, hay chưa

• Cách tiếp cận này có vẻ như là một ví dụ nữa của "The Bitter Lesson"

• Tò mò muốn biết trong tương lai họ sẽ mô phỏng thêm điều gì

  • Đã xây dựng một bản demo có thể tìm kiếm đối tượng bằng ngôn ngữ tự nhiên ở San Francisco
  • Đã thử dùng embedding của Clay, nhưng hiệu năng kém hơn embedding caption OSM được fine-tune bằng CLIP