Kỹ thuật Erasure Coding cho hệ thống phân tán

[GN⁺]

Ý kiến Hacker News

• Ngạc nhiên vì không thấy nhắc đến rateless fountain codes

  • Luby Transform Code khá thú vị
  • LT codes được dùng trong mã hóa RaptorQ của RFC6330

• Có những thuật toán network coding từng được đề xuất trước đây

  • Có thể nhận tệp nhanh hơn qua nhiều đường truyền

• Erasure coding là một kỹ thuật đã có từ lâu

  • Cần nhớ đến các tệp PAR2 của Usenet

• Nếu quan tâm đến erasure coding thì nên xem xét các trường hợp đa chiều

  • Không chỉ spindle mà còn cần nghĩ đến việc mã hóa trên nhiều miền lỗi khác nhau như rack, phòng, trung tâm dữ liệu, khu vực, v.v.

• Tò mò không biết có ai đã dùng Wirehair trong dự án thực tế chưa

  • Wirehair có hiệu năng thuật toán và API gần như lý tưởng
  • Tuy nhiên, Wirehair là một cách hiện thực hóa ý tưởng chứ không phải một đặc tả
  • Dù ổn định, vẫn lo liệu nó có thể được chuyển thành một đặc tả đáng tin cậy hay không

• Đây là công nghệ cốt lõi của Erasure Code pool trong Ceph

  • Không thể cập nhật các tham số mã hóa (k, m) về sau
  • Chính sự thiếu linh hoạt này khiến bản sao vẫn là lựa chọn chủ đạo cho lưu trữ dữ liệu chịu lỗi, tính sẵn sàng cao

• Tò mò liệu sản phẩm được tạo ra trong sự kiện M of N có được mã hóa khác đi so với khi toàn bộ N đều khả dụng hay không

  • Có thể sẽ cần một cờ bit để biểu thị "cần mã hóa lại khi N được khôi phục"

• Gợi nhớ đến Information Dispersal Algorithm của Rabin

  • Có cung cấp liên kết đến bài báo liên quan

• Tò mò liệu điều này chỉ thực tế với các tác vụ chỉ đọc hoặc thiên về đọc hay không

• Đây là một trong các chiến lược sao chép mà Ceph dùng cho lưu trữ blob phân tán