WarpStream: Kafka đã chết, Kafka muôn năm!

• WarpStream là nền tảng streaming dữ liệu tương thích giao thức Kafka, được xây dựng trực tiếp trên S3
• Được cung cấp dưới dạng một binary Go đơn lẻ stateless, nên không cần đĩa cục bộ để quản lý, không cần broker để rebalance, cũng không cần vận hành ZooKeeper
• Vì trao đổi dữ liệu trực tiếp với S3 nên rẻ hơn Kafka từ 5~10x (thậm chí có thể chiếm hơn 80% chi phí hạ tầng của các triển khai Kafka quy mô lớn)
• Kafka là phần mềm rất xuất sắc, được tạo ra cho trung tâm dữ liệu vào năm 2011, nhưng không phù hợp với các workload hiện đại
  • Tính kinh tế: theo thiết kế, chiến lược replication của Kafka tạo ra chi phí băng thông liên AZ rất lớn
  • Overhead vận hành: việc vận hành một cụm Kafka đòi hỏi đội ngũ riêng và các công cụ tùy biến phức tạp
• WarpStream chạy trực tiếp trên object storage của nhiều đám mây khác nhau (AWS S3, GCP GCS, Azure Blob Storage)
• Hiện đang trong giai đoạn developer preview

[xguru]

Hãy xem cả phiên bản do GN⁺ tóm tắt. https://vi.news.hada.io/topic?id=10254

[pseudojo]

Một công cụ giúp giảm bớt tầng lớp, nhưng phải được xử lý cực kỳ cẩn thận. Những công cụ kiểu này luôn để ngỏ khả năng biến thành “bom” chi phí. (* ngoại lệ là khi tự vận hành bằng MinIO v.v. trong trung tâm dữ liệu riêng)

[ehlegeth]

Đây là một thử nghiệm thú vị tận dụng định hướng lưu trữ tách rời. Tôi khá tò mò họ đã xử lý các vấn đề như caching như thế nào.

[xguru]

Tiêu đề bài blog có phần hơi câu view, nhưng đây có vẻ là một thử nghiệm thú vị như một giải pháp thay thế nhẹ hơn cho Kafka.