Hydro: Framework lập trình phân tán cho Rust

 (hydro.run)
1 điểm bởi GN⁺ 2025-02-02 | 1 bình luận | Chia sẻ qua WhatsApp

  • Giới thiệu

    • Hydro là một framework lập trình phân tán cấp cao dành cho Rust.
    • Hydro giúp viết nhanh các dịch vụ phân tán có khả năng mở rộng, đồng thời đảm bảo tính an toàn phân tán giống như cách Rust đảm bảo an toàn bộ nhớ.
    • Hỗ trợ chạy chương trình phân tán dễ dàng trong chế độ kiểm thử hoặc chế độ triển khai.

  • Các đặc điểm của Hydro

    • Hydro là một ngôn ngữ luồng dữ liệu phân tán được vận hành bởi runtime DFIR đơn luồng hiệu năng cao.
    • Khác với các kiến trúc truyền thống như actor hay RPC, Hydro cung cấp API choreographic cho phép mô tả việc tính toán trải dài trên nhiều vị trí.
    • Tích hợp với Hydro Deploy để có thể dễ dàng triển khai và chạy các chương trình Hydro phân tán trên máy cục bộ hoặc trên đám mây.

  • Biên dịch và triển khai

    • Hydro sử dụng cách tiếp cận biên dịch hai giai đoạn.
    • Chương trình Hydro là chương trình Rust tiêu chuẩn, tạo ra kế hoạch triển khai trên laptop của nhà phát triển.
    • Kế hoạch này được biên dịch sang DFIR để tạo các binary riêng cho từng máy trong hệ thống phân tán.
    • Kế hoạch được tạo ra cùng với đặc tả tài nguyên đám mây sẽ được dùng để triển khai lên đám mây.

  • Trường hợp sử dụng

    • Hydro được dùng để triển khai các hệ thống phân tán hiệu năng cao như two-phase commit và Paxos.
    • Dự án đang phát triển một thư viện chuẩn cho hệ thống phân tán, cung cấp các giao thức này dưới dạng thành phần có thể tái sử dụng.

  • Lưu ý

    • Tài liệu của Hydro hiện vẫn đang được hoàn thiện; nếu có câu hỏi hoặc phát hiện lỗi, bạn nên tạo issue trên kho GitHub của Hydro.

Bài viết liên quan

1 bình luận

 
GN⁺ 2025-02-02
Ý kiến trên Hacker News
  • Có một bài nói chuyện hay trên YouTube về dự án Hydro
    • Nội dung tập trung vào DFIR
  • Có lẽ sẽ dễ hiểu hơn nếu có các trường hợp áp dụng thực tế
  • Tò mò liệu việc có ngôn ngữ trung gian và runtime riêng có làm mất đi các ưu điểm của Rust hay không
    • Ban đầu tôi mong đợi một ngôn ngữ để điều phối các binary Rust thành một hệ thống phân tán nhất quán và giàu tính năng, nhưng có vẻ như lại là viết DFIR
  • Dự án này thực sự rất thú vị
    • Tò mò liệu ai quen thuộc với lĩnh vực này có thể chia sẻ các ví dụ trước đây hay không
    • Tò mò liệu đã có ai xây dựng framework tương tự bằng ngôn ngữ khác hay chưa
    • Đã có những người làm về dataflow, và tôi từng nghĩ Materialize rất tuyệt
    • Tôi từng dùng Kafka Streams và đã nghĩ cần một framework để tích hợp những thứ này
  • Nỗ lực này rất đáng ghi nhận, nhưng tôi vẫn mong hệ sinh thái Rust có một "akka.rs"
  • Tò mò nếu nhìn từ góc độ dataflow thì nó so với Timely như thế nào
    • Tò mò liệu có thể biểu diễn control flow như vòng lặp trong IR hay không
  • Tò mò liệu mỗi "process" có được triển khai thành một binary riêng và chạy như một process riêng hay không
    • Nếu vậy thì có vẻ sẽ có vấn đề về chi phí phụ trội tăng lên
    • Tò mò việc giao tiếp tốc độ cao được thực hiện như thế nào
    • Tò mò liệu có cơ chế IPC bộ nhớ dùng chung tốc độ cao hay không
    • Có vẻ không thấy đề cập đến việc tích hợp với async
    • Phần lớn mã xử lý networking hiện nay đã chuyển sang async
    • Rất khó tìm được thư viện async tốt cho nhiều thứ cần đến networking
  • Trông thực sự rất hay, đặc biệt phần triển khai có vẻ độc đáo
    • Hy vọng sẽ có tài liệu chi tiết hơn
    • Đặc biệt tò mò về các phần Streams, Singletons, Optionals quan trọng
  • Tôi thích mô hình lập trình này
    • Tò mò liệu khi biên dịch lại ứng dụng có thực hiện tối ưu hóa mạng hay không
    • Tò mò cách nó xử lý các nút thắt và tắc nghẽn mạng
  • Tò mò nếu so với việc dùng Ballista cho data pipeline thì như thế nào
    • Cái sau được xây dựng trên Apache Arrow và Apache Datafusion nên hưởng nhiều lợi thế