CDC File Transfer - Công cụ đồng bộ và truyền phát tệp từ Windows sang Linux

• Hoạt động nhanh và hiệu quả nhờ sử dụng FastCDC(Content Defined Chunking)
• Công cụ từng được sử dụng tại Google Stadia
  • Thông thường, nhà phát triển game phát triển trên Windows và phải chạy trên máy Linux
  • Để sao chép nhanh trong trường hợp này, họ đã tạo ra hai công cụ mã nguồn mở là cdc_rsync và cdc_stream
• CDC RSync
  • Tương tự rsync hiện có nhưng đồng bộ nhanh hơn khoảng 3 lần
  • Thuật toán diff từ xa dựa trên CDC có thể nhanh hơn tới khoảng 30 lần
  • Nếu dấu thời gian/kích thước tệp giống nhau thì bỏ qua
  • Sử dụng nén nhanh cho mọi lần truyền dữ liệu
  • Nếu tệp đã thay đổi, công cụ sẽ xác định phần nào thay đổi và chỉ truyền các phần đã thay đổi
• CDC Stream
  • Về ý tưởng tương tự sshfs nhưng được tối ưu cho tốc độ đọc, cải thiện hiệu năng khoảng từ 2 đến 5 lần
  • Lưu cache dữ liệu được stream trên thiết bị Linux
  • Sau khi tệp thay đổi trên Windows, nếu Linux đọc lại thì chỉ phần đã thay đổi mới được stream, phần còn lại được đọc từ cache
  • Metadata thư mục hoạt động theo cách thân thiện với streaming nên thao tác stat rất nhanh

[popopo]

Tôi thường dùng rsync để quản lý file log, nghe nói cái này còn nhanh hơn nên thấy khá hứng thú.