- Mã nguồn mở hiệu năng cao viết bằng Rust, là lựa chọn thay thế Kafka
- Nền tảng streaming thông điệp phân tán được xây dựng trên engine lưu trữ log hiệu năng cao, cung cấp khả năng streaming ổn định và tự động chuyển leader
- Duy trì tính nhất quán metadata và hỗ trợ khôi phục sau sự cố thông qua giao thức đồng thuận Raft
- Phân vùng dựa trên segment để tự động phân tán tải và xoay vòng quyền lãnh đạo theo cơ chế round-robin
- Tính năng cốt lõi
- Chia topic bằng sharding theo từng segment, trong đó node leader của mỗi segment chịu trách nhiệm ghi
- Lease-based write fencing giúp chỉ một leader được phép ghi, ngăn hiện tượng split-brain
- Tự động rollover: khi kích thước segment vượt ngưỡng, hệ thống đề xuất thay đổi metadata và thực hiện chuyển leader
- Tính năng Sealed Segment Reads cho phép đọc trực tiếp từ replica của dữ liệu cũ
- I/O hiệu năng cao dựa trên io_uring giúp đạt thông lượng cao trên môi trường Linux
- Giao thức client
- Sử dụng giao thức văn bản có tiền tố độ dài dựa trên TCP
- Hỗ trợ tạo topic, gửi/nhận thông điệp và truy vấn trạng thái bằng các lệnh
REGISTER, PUT, GET, STATE, METRICS
- Cấu trúc lệnh đơn giản cho phép kết nối tới bất kỳ node nào, hệ thống tự động xử lý chuyển tiếp
- Đặc tính hiệu năng
- Thông lượng ghi: duy trì hiệu năng ổn định nhờ cấu trúc single writer cho mỗi segment
- Thông lượng đọc: mở rộng tỷ lệ thuận với số lượng replica
- Độ trễ: trung bình ở mức 1~2 RTT
- Tối thiểu hóa overhead đồng thuận: chỉ áp dụng Raft cho metadata, không áp dụng trên đường dữ liệu
- So sánh hiệu năng
- Kafka, RocksDB: cho thông lượng ghi và băng thông cao hơn
- Khi tắt fsync đạt hơn 1,2 triệu bản ghi/giây; khi bật vẫn duy trì mức hiệu năng ổn định tương tự
- MIT License
Chưa có bình luận nào.