Rocky - engine chuyển đổi SQL kiểm tra kiểu trên toàn bộ pipeline để phát hiện thay đổi gây lỗi trước khi chạy

• Tự động phát hiện schema drift: nếu kiểu/tên cột của bảng nguồn bị thay đổi ở upstream, hệ thống sẽ diff rồi tự động tái tạo target
  • Bắt được các truy vấn chạy qua ở môi trường phát triển nhưng thất bại khi lên production trước khi thực thi, đồng thời chặn ngay tại thời điểm chạy các tình huống kiểu như "hôm qua còn chạy tốt mà dữ liệu hôm nay lại lạ"
• Data contract ở thời điểm biên dịch: phát hiện bằng mã lỗi (E010, E013) các trường hợp thiếu cột bắt buộc, xóa cột được bảo vệ, hoặc thay đổi kiểu nguy hiểm trước khi ghi dù chỉ một dòng vào bảng production
• Cung cấp column lineage ở cấp độ cột: chỉ cần chọn một cột cụ thể là có thể lần ngược từ seed đến bảng fact cuối cùng - khi cần trả lời "con số này đến từ đâu?" thì không phải mở từng file model để dò nữa
• Branch = môi trường thử nghiệm cô lập: dùng rocky branch create để tạo branch thử nghiệm trong schema riêng, sau khi kiểm tra kết quả có thể promotion hoặc drop để tránh rủi ro đụng vào bảng production
• Tạo model bằng AI: tự động sinh model Rocky DSL từ đầu vào ngôn ngữ tự nhiên như "hãy tạo model tổng hợp doanh thu theo tháng", và nếu biên dịch thất bại thì tự động thử lại - không cần tự viết SQL boilerplate
• Cung cấp VS Code language server: hiển thị mismatch kiểu và broken reference ngay khi đang viết thay vì đợi đến CI, đồng thời hỗ trợ hover để xem kiểu cột và go-to-definition trên mọi model
• Data masking — gắn tag cho các cột PII và cấu hình masking theo từng môi trường; nếu dữ liệu bị lộ mà chưa được masking thì kiểm tra sẽ thất bại
• Tự động quản lý incremental load: chỉ cần đặt strategy = "incremental" + timestamp_column là hệ thống sẽ tự ghi nhớ watermark.
  • Sau lần tải ban đầu 500 dòng, khi thêm 25 dòng thì chỉ xử lý nhanh phần delta nên không cần tự quản lý điều kiện WHERE
• Không bị vendor lock-in: rocky emit-sql render toàn bộ model chuyển đổi thành SQL thuần đã được sắp xếp dependency khi offline mà không cần kết nối warehouse, còn rocky import-dbt chuyển đổi dự án dbt Core thuần chỉ với một lệnh
• Giữ nguyên Databricks/Snowflake/BigQuery hiện có, còn việc biên dịch/thực thi/lineage/branch của model SQL được xử lý bằng một binary Rust duy nhất
  • Tình trạng adapter: Databricks, Snowflake, BigQuery, Trino, DuckDB
  • Nguồn: Fivetran, Airbyte, Iceberg, Manual
• Giấy phép Apache 2.0