Cải tiến kiến trúc cho pipeline dữ liệu thời gian thực không có độ trễ

<p>Đây là bài viết về mối quan hệ giữa Kafka consumer group và số lượng partition, những khó khăn của auto scaling phát sinh từ đó, cùng quá trình áp dụng một kiến trúc mới để giải quyết vấn đề này.<br /> <br /> - Giới thiệu về dịch vụ Airbridge và workload<br /> - Các vấn đề của kiến trúc hiện tại<br /> - Đề xuất kiến trúc mới<br /> - Phương án 1: mô hình driver, executor như Spark streaming<br /> - Phương án 2: mô hình tách rời Kafka consumer và application server<br /> - Lý do chọn phương án 2<br /> - Kiến trúc mô hình tách rời Kafka consumer và application server<br /> - Các điểm cần cân nhắc trong kiến trúc mới<br /> - Những khó khăn đã trải qua<br /> - Kết quả sau khi áp dụng kiến trúc mới<br /> - Những điều cần tiếp tục thử trong tương lai</p>

[lamanus]

<p>Wow... tôi cũng dùng ECS, nhưng chưa từng suy nghĩ kỹ đến mức này; hay thật.</p>

[lamanus]

<p>Có vẻ như yêu cầu giảm lưu lượng truy cập giữa các AZ khi dùng envoy đã ở trạng thái chờ xử lý.<br /> <br /> https://github.com/aws/aws-app-mesh-roadmap/issues/94</p>;