Bruin - Mã nguồn mở cho pipeline dữ liệu hợp nhất viết bằng Go

• Framework hợp nhất để xây dựng luồng end-to-end bằng cách thu thập dữ liệu từ nhiều nguồn, biến đổi dữ liệu bằng SQL và Python, đồng thời bổ sung kiểm tra chất lượng dữ liệu
  • Tương tự như gộp dbt + Airbyte + Great Expectations thành một
• Gồm CLI viết bằng Go và tiện ích mở rộng cho VS Code liên kết với CLI đó. Có thể tạo, quản lý và triển khai pipeline ngay trong VS Code
• Thu thập dữ liệu bằng ingestr
  • ingestr là một CLI mã nguồn mở riêng biệt được viết bằng Python, xử lý việc sao chép dữ liệu dễ dàng giữa các nguồn dữ liệu
  • Hỗ trợ: AWS Athena, Databricks, DuckDB, Google BigQuery, Microsoft SQL Server, Postgres, Redshift, Snowflake, Synapse, Pager
• Biến đổi dữ liệu bằng SQL và Python (tương tự dbt)
• Quản lý môi trường Python bằng uv. Chạy tách biệt
• Tích hợp sẵn kiểm tra chất lượng dữ liệu
• Hỗ trợ template Jinja
• Hỗ trợ dry-run để có thể kiểm chứng pipeline từ đầu đến cuối
• Có thể chạy trên máy cục bộ, EC2 instance và GitHub Actions
• Tiêm secret bằng biến môi trường
• Hỗ trợ nhiều chiến lược materialization cho bảng/view. Bảng incremental