Truy vấn CloudWatch Logs bằng Athena
(engineering.ab180.co)<p>- Những điểm còn hạn chế của CloudWatch Logs<br />
- Có những phần khó giải quyết ngay cả khi dùng Logs Insights<br />
- Thử truy vấn CloudWatch Logs bằng Athena Federated Query<br />
- truy vấn mất quá nhiều thời gian<br />
- khó troubleshooting vì error log và tài liệu không thân thiện<br />
- Cuối cùng quay về cách cổ điển là unload sang S3 bằng Firehose rồi truy vấn bằng Athena<br />
- Những điểm đã cân nhắc trong phương pháp này<br />
- Firehose dynamic partitioning<br />
- Athena partition projection<br />
- Firehose buffer size & interval<br />
- Những điều cần lưu ý<br />
- Giới hạn số lượng CloudWatch Logs subscription filter<br />
- Định dạng log<br />
- Chi phí<br />
- IaC<br />
- Terraform hóa Athena table DDL</p>
4 bình luận