murrdb/murr - bộ nhớ đệm dưới mili giây cho workload ML/AI

• Bộ nhớ đệm NVMe/S3 dựa trên RocksDB nhắm tới workload suy luận AI, có thể thay thế Redis
  • Tối ưu cho đọc và ghi zero-copy độ trễ thấp theo kiểu xử lý theo lô
• Là lớp phục vụ dữ liệu nằm giữa pipeline dữ liệu theo lô và ứng dụng suy luận, với đầu vào Parquet, đầu ra Arrow-Flight
• Lưu trữ phân tầng (tiered storage) với dữ liệu nóng trong bộ nhớ, dữ liệu lạnh trên đĩa và sao chép dựa trên S3
• Hoạt động theo mô hình đầu vào theo lô · đầu ra theo lô trên lưu trữ dạng cột mà không có overhead theo từng hàng, có thể đưa trực tiếp tệp Parquet/Arrow 1GB vào Ingestion API
• Với wire protocol zero-copy, có thể dựng np.ndarray/pd.DataFrame/pt.Tensor từ phản hồi API mà không cần chuyển đổi
• Thiết kế stateless, lưu toàn bộ trạng thái trên S3 và tự bootstrap từ block storage nên vẫn có thể khôi phục khi node bị loại bỏ
• Hỗ trợ Python first-class với ánh xạ zero-copy cho mảng Numpy/Pandas/Polars/Pytorch, còn Sparse columns thì các cột không có dữ liệu sẽ chiếm 0 byte
• Khi nào Murr phù hợp
  • Khi dữ liệu nặng và ở dạng bảng, chẳng hạn các bản dump Parquet dung lượng lớn trên S3
  • Khi việc đọc diễn ra theo lô: ví dụ lấy 100 cột trải trên 1000 tài liệu
  • Trong các tình huống coi trọng chi phí, offload sang đĩa/S3 đơn giản hơn và rẻ hơn về vận hành so với Redis dùng nhiều bộ nhớ
• Điểm mạnh so với công nghệ cạnh tranh
  • So với Redis: cung cấp tính bền vững dựa trên S3, có thể offload dữ liệu lạnh sang NVMe cục bộ
  • So với RocksDB nhúng: không cần tự xây đồng bộ dữ liệu giữa producer và node suy luận, được thiết kế phân tán ngay từ đầu
  • So với DynamoDB: chỉ tính phí CPU/RAM thay vì theo từng truy vấn, nên rẻ hơn khoảng 10 lần
• Theo benchmark, khi đọc packed-blob thì nhanh hơn Redis khoảng 3 lần, nhanh hơn kiểu HSET của Feast khoảng 12 lần, đồng thời dùng RAM ít hơn khoảng 3 lần so với HSET
• Vì không phải DB đa dụng, nên OLTP vẫn nên dùng Postgres, phân tích nên dùng Clickhouse/BigQuery/Snowflake, còn cache đa dụng nên dùng Redis
• Giấy phép Apache 2.0