Ploomber - framework mã nguồn mở giúp tạo pipeline dữ liệu nhanh chóng

• Phát triển bằng Jupyter/VSCode/PyCharm, v.v.

• Triển khai lên máy chủ production mà không cần thay đổi mã: Kubernetes, AWS Batch, Airflow, Kubeflow, Slurm, v.v.

• Có thể refactor notebook hiện có thành pipeline mô-đun hóa

Tính năng chính

• Phát triển nhanh bằng YAML

• Cung cấp tính linh hoạt nhờ Python API mạnh mẽ

• Tự động cache các kết quả trước đó của pipeline và chỉ tính toán lại những phần đã thay đổi kể từ lần chạy trước

• Triển khai phân tán bằng shell script hoặc Kubernetes, Airflow, AWS Batch, v.v.

[japansea]

Chắc là không thể đối đầu với Kafka được nhỉ?