Hãy kiểm tra xem Airflow có thực sự là lựa chọn tốt nhất cho use case của tôi hay không

• Có quá nhiều lựa chọn thay thế cho Airflow, nên cần xác nhận chắc chắn rằng Airflow có thực sự là giải pháp tốt nhất cho use case của mình hay không (hoặc thậm chí liệu nó có phải là một giải pháp phù hợp hay không)
• Các lựa chọn thay thế được nhắc đến trong bài viết
  • Prefect
  • Dagster
  • Cadence
  • Temporal

[hmkim]

cũng có cwl, wdl, nextflow, snakemake, v.v.

[kbumsik]

Vấn đề là, trước khi trực tiếp trải nghiệm ở một quy mô nhất định thì khá khó để dự đoán liệu Airflow có thực sự phù hợp với mình hay không.
Dù khá nổi tiếng, có vẻ vẫn có một số cạm bẫy khó nhận ra trước.

Thiếu trigger DAGrun dựa trên sự kiện, phát triển cục bộ không hề dễ (từ 2.2 có airflow standalone nên cũng đỡ hơn một chút), cấu hình DAG không linh hoạt, và nếu không hiểu rõ cách nó vận hành bên trong thì rất dễ không dùng jinja template mà lại dùng Variable sai cách, v.v...

Có lẽ ở dự án tiếp theo tôi muốn thử trải nghiệm Dagster một lần