Cuộc tranh cãi giữa Cloudflare và Perplexity. Nhưng đó là điều mà mọi người dùng web đều cần biết

🚨 Tổng quan sự việc

Ngày 4 tháng 8 năm 2025, Cloudflare đã công khai chỉ trích công cụ tìm kiếm AI Perplexity là vi phạm quy chuẩn web

⚔️ Lập luận của hai bên

Lập luận của Cloudflare: "Stealth crawling"

• Perplexity đã lách qua biện pháp chặn crawl qua 4 bước
  1. Cố gắng tiếp cận bằng bot chính thức
  2. Nếu bị chặn, ngay lập tức thay đổi chiến thuật
  3. Ngụy trang thành trình duyệt Chrome
  4. Truy cập lại bằng cách thay đổi địa chỉ IP
• Thu thập và tóm tắt nội dung từ các trang đã bị chặn trong robots.txt

Perplexity phản bác: "tác nhân đại diện người dùng"

• Đây là AI xử lý yêu cầu của người dùng, không phải crawler truyền thống
• Không lưu nội dung, mà chỉ sử dụng cho việc trả lời thời gian thực
• Cho rằng Cloudflare đã phân tích sai lưu lượng BrowserBase

💡 Ý kiến của tác giả: Cloudflare thuyết phục hơn

1. Mạo danh danh tính không phải là hành vi chính đáng
2. robots.txt là quy chuẩn web đã được duy trì từ năm 1994
3. Một mô hình ký sinh làm giảm doanh thu của trang nguồn
4. Có các ví dụ điển hình tuân thủ chuẩn như OpenAI

🔮 Triển vọng sắp tới

• Cập nhật robots.txt cho thời đại AI
• Xây dựng hệ thống xác thực cho AI crawler
• Mở rộng mô hình thương mại hóa quyền truy cập nội nội dung
• Tăng cường quy định pháp lý