Git Scraping - Ghi lại thay đổi của web vào Git Repo

• Thu thập và ghi lại dữ liệu từ các website liên tục thay đổi bằng GitHub Actions, rồi tích lũy cùng với lịch sử commit

• Ví dụ ghi lại dữ liệu cháy rừng gần đây ở California bằng cách thu thập từ Cục Bảo vệ Rừng và Phòng cháy Chữa cháy California

• Tạo và chạy một file workflow GitHub Actions YML đơn giản để lấy dữ liệu XHR JSON bằng curl, tách bằng jq rồi lưu lại

• Chỉ commit khi nội dung thực sự thay đổi, đồng thời thiết lập GitHub Cron để chạy khoảng 3 lần mỗi giờ

• Tác giả trước đây cũng từng công khai các bản ghi áp dụng cách này cho thông tin bão và nhiều dịch vụ công khác

[xguru]

Các trang web của cơ quan chính phủ trong nước thường có nhiều trường hợp không được cung cấp dưới dạng API hoặc dữ liệu hóa.

Có vẻ cách này cũng có thể là một thử nghiệm khác khá hay.