Flat Data - Sử dụng GitHub làm công cụ và kho lưu trữ dữ liệu ETL

<p>- Một dự án giúp dễ dàng phát triển các ứng dụng nhẹ dựa trên dữ liệu bằng kỹ thuật Git Scraping<br /> → Xây dựng và sử dụng Data ETL mà không cần hạ tầng riêng<br /> - Gồm 3 thành phần<br /> → Flat Action: GitHub Action dùng để lấy/chuyển đổi dữ liệu<br /> → Flat Editor: GUI để chỉnh sửa Flat Data Workflow (phần mở rộng VS Code)<br /> → Flat Viewer: trang web để xem, lọc/chia sẻ các Flatfile được lưu trong repo <br /> <br /> Cách sử dụng Flat Data<br /> 1. Dùng Flat Action để lấy dữ liệu bằng HTTP hoặc SQL Query (MySQL, Postgres, SQLite, MongoDB, v.v.) <br /> → Có thể lấy giá cổ phiếu/coin, Excel sang CSV, dashboard COVID, v.v. rồi lưu vào GitHub Repo hoặc nơi tương tự<br /> 2. Chuyển đổi dữ liệu <br /> → Postprocess bằng GitHub Action rồi lưu thành tệp mới <br /> 3. Trực quan hóa dữ liệu <br /> → Cung cấp công cụ GUI hiển thị dữ liệu chỉ bằng cách thêm `flat` vào mọi địa chỉ GitHub: https://flatgithub.com/the-pudding/data<br /> <br /> Lý do tạo ra Flat Data<br /> - Để sử dụng dữ liệu thường cần các hệ thống phân tán và hạ tầng lớn <br /> - Nhằm giúp các nhà phát triển có thể dễ dàng tiếp cận loại dữ liệu này bằng cách thực hiện việc thu thập/làm sạch dữ liệu qua GitHub Actions <br /> - Lưu dữ liệu vào repo mà không cần phải hiểu về các dependency, thư viện, package manager, hạ tầng phức tạp, v.v.<br /> <br /> * Dự án này là một thử nghiệm do nhóm trải nghiệm nhà phát triển của GitHub OCTO (Office of the CTO) thực hiện, không phải sản phẩm chính thức của GitHub. Giấy phép MIT </p>

[xguru]

<p>Kỹ thuật Git Scraping do Simon Willison tạo ra đã được GitHub áp dụng và biến thành một sản phẩm rất tuyệt vời<br /> - Git Scraping - Ghi lại các thay đổi trên web vào Git Repo https://vi.news.hada.io/topic?id=3008<br /> <br /> Simon cũng nổi tiếng với mẹo lưu TIL (Today I Learned) vào chỉ mục GitHub.<br /> - Tự động tạo chỉ mục README cho TIL bằng GitHub Actions https://vi.news.hada.io/topic?id=1936</p&gt;