Một stack Infrastructure cho phép phát triển nhanh ở môi trường local rồi khi cần chạy ở quy mô lớn trên cloud thì có thể thực thi mà không cần thay đổi code. Nó cho phép biến code/data/dependencies đang làm việc trên notebook thành snapshot và lưu vào S3 hoặc filesystem, từ đó có thể resume workflow hoặc tái lập lại các kết quả trước đó.
2 bình luận
Vì sao là Metaflow thì bạn có thể tham khảo phần giải thích bằng hình tại https://docs.metaflow.org/introduction/why-metaflow .
Netflix và AWS cùng phát triển, nên được tích hợp rất sâu.
Ở môi trường local, có thể lưu trên ổ đĩa và cài notebook để phát triển nhanh và thuận tiện,
sau đó khi đưa lên AWS thì có thể dùng các dịch vụ dưới đây để chạy ở quy mô lớn.
Metadata - RDS hoặc Metaflow Metadata Service https://github.com/Netflix/metaflow-service
Datastore - AWS S3
Compute - AWS Batch https://aws.amazon.com/batch/
Notebook - Sagemaker Notebook https://aws.amazon.com/sagemaker/
Scheduling - Step Functions https://aws.amazon.com/step-functions/
Large-Scale ML - Sagemaker Models https://aws.amazon.com/sagemaker/
Bất kể bạn dùng thư viện machine learning/data science thực tế nào như PyTorch, Tensorflow hay Scikit-Learn, tất cả đều có thể tích hợp được.