Trình phân tích cú pháp Robots.txt cho NodeJS
(github.com)-
Được phát triển với mục tiêu tương thích với bản nháp Robots Exclusion Protocol của IETF
-
Các quy tắc được hỗ trợ
→ User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host
→ Path: khớp Wildcard(*) và EOL($)
1 bình luận