Nếu có vấn đề thì hãy chặn ở cấp IP

• Gần đây khi phân tích lưu lượng web, tác giả phát hiện một web bot tên Thinkbot tạo ra lượng truy cập lớn nhất
• Bot này phớt lờ robots.txt, và cả câu tự giới thiệu cũng rất hời hợt, đại loại là “nếu có vấn đề thì cứ chặn IP”
• Trong một tháng, nó đã sử dụng 74 địa chỉ IP khác nhau, phân tán trên 41 khối mạng
• Kết quả điều tra cho thấy toàn bộ các khối mạng này đều thuộc sở hữu của Tencent, làm dấy lên nghi ngờ rằng điều này có liên quan đến khả năng chuyển chi phí của Great Firewall sang bên khác
• Cuối cùng, tác giả đã thêm các quy tắc chặn quy mô lớn bao phủ hơn khoảng 470 nghìn IP

---

Sự xuất hiện của Thinkbot

• Trong lúc phân tích lưu lượng web, tác giả phát hiện web bot mang tên Thinkbot chiếm tỷ lệ rất cao
• Chuỗi User-Agent của nó thiếu thiện chí như sau
  > “Mozilla/5.0 (compatible; Thinkbot/0.5.8; +In­_the­_test­_phase,­_if­_the­_Thinkbot­_brings­_you­_trouble,­_please­_block­_its_IP_address._Thank_you.)”.
  • Ngoài câu “nếu gây rắc rối trong giai đoạn thử nghiệm thì hãy chặn IP”, thậm chí không có cả URL tham chiếu
• Nó hoàn toàn không tôn trọng tệp robots.txt và vẫn tiếp tục crawl
• Ngay cả khi muốn chặn với tư cách quản trị website, tác giả cũng không thể xử lý bằng một IP đơn lẻ vì bot dùng tới 74 địa chỉ IP
• Sau khi lần ngược và tra cứu ASN, tác giả xác nhận lưu lượng này đến từ 41 khối mạng
• Điều đó có nghĩa là không thể phòng thủ chỉ bằng cách chặn một IP riêng lẻ

Liên quan đến Tencent

• Cả 41 khối mạng này đều thuộc sở hữu của Tencent
• Tác giả nghi ngờ chính phủ Trung Quốc có thể đang làm ngơ hoặc khuyến khích điều này, và có thể hiểu đây là một nỗ lực chuyển chi phí của Great Firewall sang phần còn lại của thế giới
• Trong nội địa Trung Quốc, việc thu thập nội dung được cho phép; còn dù có bị chặn từ bên ngoài thì từ góc nhìn của CCP cũng không thành vấn đề, nhưng điều đó lại tạo gánh nặng cho các quốc gia và website khác khi cố gắng ngăn chặn

Biện pháp chặn bằng tường lửa

• Tác giả đã trực tiếp thêm các khối mạng của Tencent vào quy tắc tường lửa badbots
• Ví dụ: 43.130.0.0/18, 101.32.0.0/20, 150.109.96.0/19 v.v.
• Tổng cộng đã thêm hơn 40 khối mạng; dù chưa bao phủ toàn bộ IP do Tencent sở hữu, chúng vẫn chứa hơn 476.590 IP duy nhất

Kết luận và phép ví von

• Tác giả mô tả tình huống này như một thực tế rằng “trên Internet, chúng ta không còn có thể giữ được những điều tốt đẹp nữa”
• Đây không chỉ là một ca chặn lưu lượng bot đơn thuần, mà còn cho thấy sự suy giảm niềm tin trên toàn bộ hệ sinh thái Internet và phản ứng phòng thủ mang tính tất yếu