Có lẽ bạn nên kiểm tra lại thiết bị gia dụng thông minh

 (xeiaso.net)
1 điểm bởi GN⁺ 5 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Trong số hơn 2,67 triệu IP duy nhất mà honeypot Anubis thu thập tại Sourceware, 89,3% không có trong các danh sách mối đe dọa hiện có, khiến việc nhận diện phần lớn hoạt động scraper chỉ bằng các danh sách chặn đã biết trở nên khó khăn
  • Bằng cách chèn HTML không hợp lệ về mặt ngữ nghĩa và liên kết “Don't click me” vào trang challenge, các scraper kém chất lượng đi theo liên kết này sẽ bị dẫn tới nội dung vô nghĩa và các liên kết bổ sung
  • Trong 2.678.193 IP duy nhất, 286.161 địa chỉ (10,7%) có trong cơ sở dữ liệu; trong đó 98,6% thuộc nhóm abuse, và toàn bộ lưu lượng trải rộng trên 229 quốc gia và 21.116 ASN
  • Lưu lượng có thể đến từ thiết bị gia dụng thông minh bị nhiễm tham gia vào mạng proxy, nhưng chỉ với dữ liệu thu thập được thì không thể chứng minh loại thiết bị thực tế hay tình trạng nhiễm mã độc
  • Để đối phó với scraping không bị giới hạn ở một quốc gia hay mạng viễn thông cụ thể, cần có tường lửa ứng dụng web như Anubis; còn để giải quyết tận gốc thì cần một phản ứng toàn cầu được điều phối đồng thời

Các scraper bị danh sách mối đe dọa hiện có bỏ sót

  • Trong quá trình xây dựng Anubis reputation database, 80–90% lượt truy cập được chức năng honeypot ghi nhận đến từ các IP không có trong danh sách giám sát mối đe dọa hiện có
  • Dữ liệu mà Sourceware thu thập trong vài tháng gần đây bao gồm 2.678.193 IP duy nhất
    • Không có địa chỉ nào bị loại trừ vì là mục không phải IP hoặc trùng lặp
    • Số địa chỉ có trong cơ sở dữ liệu là 286.161, chiếm 10,7% tổng số
    • Số địa chỉ chưa được ghi nhận là 2.392.032, chiếm 89,3% tổng số
  • Có thể xem bảng đầu vào đầy đủ tại Appendix A: Full tables for the reputation database input

Phân loại và nhà cung cấp của các IP đã được ghi nhận

  • Trong số các địa chỉ có trong cơ sở dữ liệu, nhóm abuse chiếm 282.182 địa chỉ, tương đương 98,6%
    • datacenter 7.918 địa chỉ (2,8%)
    • proxy 2.562 địa chỉ (0,9%)
    • vpn 1.264 địa chỉ (0,4%)
    • crawler 46 địa chỉ
    • tor 17 địa chỉ
  • Theo các cờ riêng, thống kê gồm is_datacenter 7.918 địa chỉ, is_proxy 2.562 địa chỉ, is_vpn 1.264 địa chỉ, is_crawler 46 địa chỉ
  • Có 126 nhà cung cấp, trong đó netshield chiếm tỷ trọng lớn nhất với 237.945 địa chỉ (83,2%)
    • bitwire 96.539 địa chỉ (33,7%), magicteamc 26.475 địa chỉ (9,3%), ipinsights 17.378 địa chỉ (6,1%), threathive 8.422 địa chỉ (2,9%)
    • Ngoài ra còn có netmountains, multacom, fyvri, cbuijs, x4bnet, solispirit, dailyproxy, blackwall, hproxy, Scaleway, AWS, Alibaba Cloud, OVHcloud, v.v.
    • Một IP có thể được gán nhiều nhóm hoặc nhiều thông tin nhà cung cấp, nên tổng tỷ lệ có thể vượt quá 100%

Phân bố trên phạm vi quốc gia và mạng

  • Toàn bộ địa chỉ được quan sát tại 229 quốc gia, cho thấy chúng không bị giới hạn ở một khu vực cụ thể
    • Số lượng địa chỉ nhiều nhất lần lượt là Brazil 270.937, Ấn Độ 185.091, Ả Rập Xê Út 120.372, Mexico 95.449, Thổ Nhĩ Kỳ 87.258
    • Tỷ lệ được ghi nhận trong cơ sở dữ liệu là Bangladesh 29,9%, Ukraine 27,6%, Iraq 21,9%, Venezuela 21,3%, Pakistan 20,0%, v.v.
    • Mỹ ghi nhận 3.347 địa chỉ trong tổng số 40.828 địa chỉ, tương đương 8,2%
  • So với việc ISO 3166-1 bao gồm 249 quốc gia, trong đó 193 là thành viên Liên Hợp Quốc, hoạt động scraper trải rộng trên toàn thế giới
  • Các địa chỉ phân bố trên 21.116 ASN
    • AS55836 Reliance Jio Infocomm Limited có 1.749 địa chỉ được ghi nhận trong tổng số 57.029, tương đương 3,1%
    • AS45899 VNPT Corp có 6.831 trong tổng số 56.910, tương đương 12,0%
    • AS14593 Space Exploration Technologies Corporation có 4.597 trong tổng số 31.569, tương đương 14,6%
    • AS9541 Cyber Internet Services có 3.696 trong tổng số 21.386, tương đương 17,3%
    • Trong bảng, 18.069 ASN còn lại đã được lược bỏ

Cách honeypot Anubis nhốt các scraper

  • Để đo phạm vi lan rộng của vấn đề scraper, Anubis chèn HTML không hợp lệ về mặt ngữ nghĩa như sau vào mọi trang challenge

/init">Don't click me
  • Trong quy trình xử lý bình thường, đây là liên kết nên bị bỏ qua; nhưng nếu đi theo liên kết này, hệ thống sẽ trả về nội dung có chi phí tạo thấp và không có thông tin thực chất
    • Nội dung được trả về lại chứa hai liên kết dẫn tới các trang khác
  • Cấu trúc này được thiết kế để dẫn các scraper được viết kém vào bên trong honeypot thay vì website được bảo vệ, đồng thời đo lường quy mô của vấn đề

Khả năng thiết bị gia dụng thông minh bị nhiễm và giới hạn trong ứng phó

  • Một phần đáng kể lưu lượng quan sát được có thể đến từ thiết bị gia dụng thông minh bị nhiễm đang cung cấp lưu lượng cho các mạng proxy
  • Tuy nhiên, điều này vẫn chỉ là suy đoán; dữ liệu thu thập được không trực tiếp chứng minh loại thiết bị thực tế hay tình trạng nhiễm mã độc của từng IP
  • Để tạo tác động thực chất đối với một vấn đề phân tán trên nhiều quốc gia và ASN, cần có một phản ứng toàn cầu được điều phối đồng thời
  • Vì quy mô scraping đủ rộng, cần vận hành tường lửa ứng dụng web như Anubis
  • Sau khi công bố, sự thật và tình hình có thể đã thay đổi; vì vậy, những điểm chưa rõ hoặc có thể sai cần được kiểm chứng trước khi vội kết luận

Bài viết liên quan

1 bình luận

 
GN⁺ 5 giờ trước
Các ý kiến trên Lobste.rs
  • script type=ignore là một ý tưởng rất sáng tạo. Cả các công cụ như elinks lẫn Chrome headless mà scraper dùng đều hoàn toàn bỏ qua nó, nhưng bản thân nội dung vẫn có thể được gửi về căn cứ và thêm vào hàng đợi tác vụ
  • Bài viết lại không đề cập đến câu hỏi thú vị thực sự. Tôi muốn biết cách thực hiện kiểm tra, và nên làm gì nếu phát hiện hành vi đối địch
    Đặc biệt, tôi muốn biết thêm về cách phát hiện liệu thiết bị bị nhiễm có giao tiếp với máy chủ chỉ huy và điều khiển (C&C) hay không
    • Ngay cả cách xác định tất cả các mẫu TV thông minh khả dĩ còn không biết, nên càng khó đưa ra cách kiểm tra mã độc cho từng mẫu. Lời khuyên khả dĩ duy nhất là đừng cài các ứng dụng bất hợp pháp quảng cáo TV miễn phí
    • Có vẻ khó làm nếu không có một mức độ kỹ thuật mạng nhất định. Cách chắc chắn nhất là phân tích lưu lượng trên router theo từng thiết bị nguồn trong LAN
      Có thể lấy tổng lượng lưu lượng hoặc số lượng IP đích khác nhau đã kết nối làm tiêu chí
  • Tôi tò mò không biết danh mục abuse ở đây nghĩa là gì
    • Nó trộn lẫn nhiều ý nghĩa nên cần tách ra, nhưng thường chỉ những đối tượng được biết đến là nguồn gửi spam email hoặc được đánh dấu trong FireHOL. Chỉ cần tìm abuse trong tệp này: https://github.com/TecharoHQ/reputationdb/…