Các trường hợp ứng dụng Serverless trong Airbridge Data Pipeline

• Giới thiệu
• Bối cảnh áp dụng công nghệ Serverless trong Data Pipeline: Trong lúc tìm kiếm một môi trường phù hợp để chạy mã với chu kỳ ngắn hơn theo giờ, nhóm đã quyết định sử dụng công nghệ Serverless
• Môi trường triển khai Lambda gây bất tiện: Khi thực hiện IaC bằng Terraform, không chỉ phải viết nhiều mã nên khá bất tiện mà việc đóng gói Lambda cũng bất tiện
• Áp dụng Serverless Framework: Có thể cấu hình và vận hành tốt chỉ với lượng mã nhỏ, đồng thời thuận tiện cho Build và Test
  • Điểm còn tiếc: Không thể xem Plan, và những điểm bất tiện của CloudFormation vẫn còn nguyên
  • Kết luận: Serverless Framework là một framework có ưu điểm vượt trội hơn hẳn các điểm còn tiếc nên sẽ tiếp tục được sử dụng trong tương lai. Thực ra, vấn đề của môi trường Lambda còn nhiều hơn cả Serverless Framework.
• Các trường hợp ứng dụng
  • Trường hợp 1: Kafka Connect Manager
  • Trường hợp 2: Chạy Batch Job
• Lời kết