Greenmask - Công cụ ẩn danh hóa DB PostgreSQL và tạo dữ liệu tổng hợp

• Tiện ích mã nguồn mở được thiết kế để dump bản sao lưu cơ sở dữ liệu, ẩn danh hóa, tạo dữ liệu tổng hợp và khôi phục
• Stateless và không cần thay đổi schema cơ sở dữ liệu
• Được thiết kế để có mức độ tùy biến cao, tương thích rất tốt với các tiện ích PostgreSQL hiện có, đồng thời nhanh và ổn định
• Playground: có môi trường sandbox được cấu hình sẵn cùng DB mẫu bên trong Docker nên có thể thử nghiệm mà không cần thêm thao tác
• Tính năng chính
  • Deterministic transformers: phương thức biến đổi dữ liệu có tính quyết định dựa trên hàm băm, trong đó cùng một dữ liệu đầu vào sẽ luôn tạo ra cùng một dữ liệu đầu ra. Hầu hết transformer hỗ trợ engine ngẫu nhiên hoặc hash để phù hợp với mọi trường hợp sử dụng.
  • Dynamic parameters: mỗi transformer hỗ trợ tham số động, cho phép tham số hóa transformer bằng giá trị từ các cột trong bảng. Tính năng này hữu ích để xử lý phụ thuộc hàm giữa các cột và đáp ứng các ràng buộc.
  • Transformation validation and maintainability: cung cấp cảnh báo xác thực trong quá trình cấu hình, khác biệt biến đổi dữ liệu và tính năng so sánh schema để có thể giám sát và bảo trì quá trình biến đổi hiệu quả trong suốt vòng đời phần mềm. So sánh schema giúp ngăn rò rỉ dữ liệu khi schema thay đổi.
  • Partitioned tables transformation inheritance: chỉ cần định nghĩa cấu hình Transformation một lần là có thể áp dụng cho mọi partition của bảng phân vùng (dùng tham số apply_for_inherited), giúp đơn giản hóa quy trình ẩn danh hóa.
  • Stateless: hoạt động bằng logical dump và không ảnh hưởng đến schema cơ sở dữ liệu hiện có
  • Cross-platform: nhờ kiến trúc dựa trên Go, loại bỏ phụ thuộc nền tảng nên có thể dễ dàng build và chạy trên mọi nền tảng
  • Database type safe: sử dụng driver cơ sở dữ liệu cho việc xác thực dữ liệu và các tác vụ encoding/decoding để đảm bảo tính toàn vẹn dữ liệu. Nhờ đó định dạng dữ liệu được giữ nguyên
  • Backward compatible: hỗ trợ đầy đủ các chức năng và giao thức giống với các tiện ích PostgreSQL hiện có, và các bản dump được tạo bằng Greenmask có thể được khôi phục thành công bằng tiện ích pg_restore
  • Extensible: người dùng có thể triển khai các phép biến đổi theo domain bằng nhiều ngôn ngữ lập trình khác nhau hoặc sử dụng các mẫu được định nghĩa sẵn
  • Integrable: có thể tích hợp vào hệ thống CI/CD để dễ dàng xử lý tự động các tác vụ ẩn danh hóa và khôi phục cơ sở dữ liệu
  • Parallel execution: tận dụng khả năng dump và khôi phục song song để rút ngắn đáng kể thời gian tạo kết quả
  • Storage variety: cung cấp các tùy chọn lưu trữ dữ liệu cục bộ và từ xa, bao gồm thư mục và các kho lưu trữ dữ liệu từ xa như S3
  • Hỗ trợ Pgzip: khi đặt --pgzip, có thể xử lý dump và khôi phục nhanh hơn thông qua nén song song