Garage - Mã nguồn mở lưu trữ đối tượng phân tán tương thích S3

• Dịch vụ lưu trữ đối tượng phân tán tương thích Amazon S3 được thiết kế cho nhu cầu tự lưu trữ quy mô nhỏ và vừa
• Được thiết kế cho các cụm lưu trữ gồm các node chạy ở những vị trí vật lý khác nhau
  • Hỗ trợ multi-site nhưng vẫn gọn nhẹ
  • Khả năng phục hồi cao: chống chịu tốt trước sự cố mạng, độ trễ mạng, lỗi đĩa và sai sót của quản trị viên hệ thống
• Cung cấp binary không phụ thuộc chạy trên mọi bản phân phối Linux
• Triển khai nhanh, vận hành an toàn: thân thiện với quản trị viên hệ thống
• Các tính năng được hỗ trợ
  • Tương thích API S3 (không phải toàn bộ)
  • Phân phối địa lý: lưu bản sao dữ liệu ở nhiều địa điểm để ứng phó sự cố
  • Triển khai đơn giản. Không có phụ thuộc bên ngoài
  • Topology linh hoạt: có thể dễ dàng thêm/xóa node và tự động cân bằng lại
  • Hỗ trợ nhiều chế độ sao chép: 1,2,3,5,7,,,
  • Khử trùng lặp và tùy chọn nén (Zstd)
  • Không dùng RAFT gây suy giảm tốc độ
  • Web server cho việc hosting website tĩnh
  • Bucket có thể sở hữu nhiều alias
  • API quản lý cụm
  • Cung cấp metric dựa trên định dạng dữ liệu Prometheus
  • Tích hợp Kubernetes và Nomad
  • Hỗ trợ thay đổi IP
  • API K2V (thử nghiệm): API lưu trữ Key/Value

[sftblw]

Trang chủ là https://garagehq.deuxfleurs.fr/.

[xguru]

Ý kiến trên Hacker News

• Đã dùng Minio 2 năm rồi chuyển sang Garage

  • Minio gặp khó với việc xử lý file nhỏ
  • SSD giải quyết được phần nào vấn đề, còn HDD thì không
  • Ngay cả ở chế độ đồng bộ, Minio vẫn bị suy giảm hiệu năng
  • Sau khi chuyển sang Garage, đã trải nghiệm hiệu năng tăng 20-30 lần

• Cần một hệ lưu trữ blob định địa chỉ theo nội dung

  • Lưu blob bất biến theo hash có thể giảm độ phức tạp và chi phí hiệu năng
  • Khi kết hợp với xóa mềm, mọi thao tác trở thành idempotent và blob cũng dễ cache
  • Có những giải pháp quy mô lớn như IPFS, nhưng vẫn cần một lựa chọn thay thế S3 để triển khai cục bộ

• Đã dùng Garage lâu năm nhưng thấy giao thức AWS sigv4 khá bất tiện

  • Muốn gửi API key qua header
  • Muốn gửi nhận file mà không dùng AWS SDK
  • Không quan tâm đến lợi ích bảo mật của AWS sigv4
  • Mong dự án cân nhắc các phương thức xác thực khác

• SeaweedFS cũng rất tuyệt

  • Liên kết GitHub của SeaweedFS

• Đánh giá cao mức sử dụng bộ nhớ thấp của Garage

  • Cần tính năng tự động sao lưu một số bucket lên AWS S3

• Garage hỗ trợ sao chép lưu trữ theo cặp

  • Khi có ổ 10GB và ổ 1TB thì chỉ hỗ trợ mirroring kiểu RAID1
  • Dung lượng lưu trữ bị giới hạn ở 10GB

• Apache Ozone là một lựa chọn thay thế cho lưu trữ đối tượng chạy trên Hadoop

  • Liên kết Apache Ozone

• Cần một giải pháp đơn giản có tính tương thích S3 để dùng cục bộ

  • Muốn biết có lựa chọn nào đáng khuyên dùng cho công việc phát triển và kiểm thử hay không