robots.txt của Wikipedia

robots.txt thú vị vì có kèm chú thích - bot hoạt động bất thường, bot không tuân thủ quy ước, bot chụp nội dung, bot quảng cáo Google, chế độ đệ quy của wget đầy rắc rối, v.v.

[rtyu1120]

Đoạn "Dù sao thì cũng không tuân theo robots.txt, nhưng..." khá buồn cười nhỉ haha

[iolothebard]

Có thể xem đây là những thực tiễn tốt nhất cho robots.txt!!

Cảm ơn vì thông tin hữu ích.