Mọi điều kỹ sư phần mềm cần biết về log | Bối cảnh ra đời của Apache Kafka

Bài viết dịch và diễn giải bài viết do Jay Kreps, người phát triển Apache Kafka tại Linkedin, viết năm 2013

• Log: cấu trúc lưu trữ được trừu tượng hóa ở mức đơn giản nhất, chỉ cho phép append-only, và là cấu trúc dữ liệu trong đó toàn bộ sự kiện được sắp xếp theo thứ tự thời gian
  • Khi triển khai sao chép trong các hệ thống cơ sở dữ liệu truyền thống, log đóng vai trò then chốt
  • Các hệ thống phân tán dựa trên state machine replication thực chất cũng là hệ thống sao chép log
• Log và bảng có tính tương đương.
  • Lấy ví dụ ngân hàng, log là lịch sử nạp/rút tiền còn bảng thể hiện số dư tài khoản. Có thể tạo bảng từ log, và ngược lại cũng có thể trích xuất log từ bảng
• Nhiều công ty rất tích cực trong việc áp dụng big data, nhưng lại ít quan tâm đến việc xây dựng các data pipeline đáng tin cậy
  • Cách kết nối dữ liệu theo kiểu end-to-end ngày càng trở nên khó khăn do sự cố, bảo trì, phân mảnh dữ liệu và sự phát triển của dữ liệu sự kiện.
  • Ý tưởng về Apache Kafka bắt đầu từ động lực cần trừu tượng hóa cấu trúc dữ liệu log thành lớp mạng chính
  • Jay Kreps trên Quora giải thích rằng trước đây message queue là một lĩnh vực rất ngách trong thế giới hạ tầng; ông cho rằng cần trừu tượng hóa dữ liệu thời gian thực thành event stream, và commit log có tính bền vững là cấu trúc dữ liệu phù hợp