Pipet - Công cụ CLI để scrape/trích xuất dữ liệu trực tuyến

• Hỗ trợ 3 chế độ hoạt động: phân tích HTML, phân tích JSON, và thực thi JavaScript ở phía client
• Dựa vào các công cụ sẵn có như curl và hoạt động bằng Unix Pipe
• Cấu hình lệnh bằng tệp .pipet, bên trong gồm nhiều khối
  • Mỗi khối có 3 phần
    • Dòng đầu là URL tài nguyên
    • Các dòng tiếp theo là các truy vấn chỉ định dữ liệu cần đọc
    • Nếu bắt đầu bằng >, đó là selector để đọc trang tiếp theo (tùy chọn)
• Ví dụ tệp

curl https://news.ycombinator.com/  
.title .titleline  
  span > a  
  .sitebit a  

• Có thể chạy lại theo chu kỳ thời gian mong muốn (60 giây) với --interval 60
• --on-change CMD: thực thi lệnh khi nội dung thay đổi