Meta (trước đây là Facebook) mã nguồn mở giải pháp nén hiệu năng cao cho AI dùng nội bộ mang tên 'OpenZL'

Meta (trước đây là Facebook) đã mã nguồn mở framework nén dữ liệu hiệu năng cao 'OpenZL' mà công ty đã sử dụng nội bộ. Được tối ưu đặc biệt cho việc xử lý khối lượng lớn tập dữ liệu chuyên biệt như trong các workload AI và machine learning, OpenZL đồng thời mang lại tỷ lệ nén cao và tốc độ nhanh, vượt qua các giới hạn của những giải pháp nén đa dụng hiện có.

Đặc điểm và tính năng

Điểm nổi bật lớn nhất của OpenZL nằm ở phương thức nén Format-Aware, tạo ra bộ nén tùy biến được tối ưu cho từng định dạng dữ liệu. Bằng cách phân tích cấu trúc dữ liệu để xây dựng thuật toán nén hiệu quả nhất, OpenZL đạt được mức tỷ lệ nén cao mà các bộ nén đa dụng không thể làm được, đồng thời vẫn duy trì tốc độ xử lý nhanh theo yêu cầu của các workload trong trung tâm dữ liệu.

Ngoài ra, mọi bộ nén chuyên biệt được tạo ra đều tương thích với một bộ giải nén đa dụng duy nhất, giúp việc bảo trì hệ thống trở nên dễ dàng hơn; đồng thời công cụ 'Trace Visualizer' cũng cho phép phân tích trực quan quá trình nén.

Dữ liệu hiệu năng (dựa trên dữ liệu SAO của corpus nén Silesia)

Phân loại	OpenZL	zstd -3	xz -9
Tỷ lệ nén	x2.06	x1.31	x1.64
Tốc độ nén	203 MB/s	115 MB/s	3.1 MB/s
Tốc độ giải nén	822 MB/s	890 MB/s	30 MB/s

Việc Meta mã nguồn mở OpenZL lần này được kỳ vọng sẽ giúp giảm chi phí lưu trữ và truyền tải dữ liệu, đồng thời cải thiện đáng kể hiệu suất công việc trong AI và nhiều lĩnh vực công nghiệp khác, nơi xử lý dữ liệu quy mô lớn là yêu cầu thiết yếu.

[xguru]

OpenZL: Khung nén mã nguồn mở có khả năng nhận biết định dạng tệp
Hãy tham khảo thêm cả bản dịch do AI thực hiện từ bài giới thiệu của Facebook

[t7vonn]

Có vẻ Meta đang dẫn dắt mảng nén thật nhỉ, ghê thật. zstd trước đây cũng là một bước tiến lớn mà

[darjeeling]

Đã dùng rất ổn ở nội bộ rồi mà giờ công khai... Tức là sắp có thêm một cú lớn nữa tới rồi.