- Các cuộc tấn công web scraping nhằm thu thập dữ liệu huấn luyện cho mô hình ngôn ngữ lớn và các hệ thống tương tự đã gia tăng hơn một năm qua, khiến gánh nặng lưu lượng lên các website độc lập lớn đến mức khó duy trì tính mở
- Kẻ tấn công dùng proxy dân cư gồm hàng triệu thiết bị thông thường và di động, chỉ gửi vài yêu cầu từ mỗi IP và giả mạo user-agent, làm vô hiệu các biện pháp chặn IP truyền thống
- Mạng proxy này được tạo từ mã độc, thiết bị streaming media yếu bảo mật, VPN miễn phí và SDK ứng dụng; sau khi Google triệt phá IPIDEA và NetNut, lưu lượng tấn công từng giảm tạm thời rồi lại tăng trở lại
- Các website đáp trả bằng proof of work của Anubis, CAPTCHA, tường đăng nhập hoặc trả phí, và công cụ đầu độc dữ liệu; nhưng LWN tập trung vào tối ưu website và kiềm chế chi phí khi bị tấn công để không cản trở độc giả thật, công cụ tìm kiếm và Internet Archive
- Khi chi phí phòng thủ scraper và xác minh người dùng bị đẩy sang toàn bộ web, nếu không có giải pháp bền vững thì các trang độc lập có thể phải lùi sau tường bảo vệ, làm tổn hại Internet mở
Các cuộc tấn công scraper ngày càng phình to
- Vấn đề thu thập dữ liệu huấn luyện cho các mô hình ngôn ngữ lớn và những dự án liên quan, từng được đề cập vào đầu năm 2025, vẫn tiếp tục xấu đi sau hơn một năm
- Các yêu cầu gửi tới website bởi những tác nhân không rõ danh tính đã tăng lên mức chưa từng có, và lưu lượng quá mức đang khiến việc duy trì web mở ngày càng khó khăn
Proxy dân cư huy động hàng triệu IP
- Cuộc tấn công gửi các yêu cầu phối hợp trong nhiều giờ từ hàng triệu địa chỉ IP duy nhất, với mỗi địa chỉ chỉ truy cập website hai hoặc ba lần trở xuống
- Thông tin như user-agent do kẻ tấn công kiểm soát là giả mạo, khiến mỗi yêu cầu trông như truy cập của một người bình thường đang dùng trình duyệt web
- Bot thường không tải hình ảnh hay CSS nên vẫn có dấu hiệu để phân biệt với con người, nhưng đến khi việc nhận diện hoàn tất thì địa chỉ đó không còn được dùng lại, nên chặn IP sau sự kiện không hiệu quả
- Lưu lượng chủ yếu xuất phát từ các mạng gia đình và di động do một nút chỉ huy và điều khiển trung tâm điều phối
- Phần mềm cài trên các thiết bị thông thường nhận lệnh từ nút điều khiển để tải trang web rồi gửi lại dữ liệu
- Không ít trường hợp hoạt động mà chủ thiết bị không hề biết hoặc không đồng ý; những hệ thống bị lợi dụng như vậy được gọi là proxy dân cư
Mạng proxy tội phạm và thiết bị bị nhiễm
- Một dạng là các nhà vận hành mang tính tội phạm chạy scraper trên những hệ thống bị chiếm quyền bằng mã độc
- Đầu năm nay, Google đã công bố thông tin về cách vận hành khi triệt phá mạng bot IPIDEA
- Thời điểm IPIDEA bị gián đoạn trùng với lúc lưu lượng scraper vào LWN giảm mạnh
- Mọi thứ tương đối yên ắng trong vài tháng, nhưng sau đó các cuộc tấn công lại tăng lên
- Gần đây, thiết bị streaming media đã được xác định là phương tiện phát tán chính của phần mềm scraping độc hại
- Một số thiết bị đã bị nhiễm ngay từ khâu cung ứng
- Những thiết bị khác bị bán ra với bảo mật lỏng lẻo nên dễ bị chiếm quyền sau đó
Mạng proxy thương mại dùng VPN miễn phí và SDK ứng dụng
- Một dạng khác hành xử phần nào giống doanh nghiệp hợp pháp và bán các địa chỉ IP được quảng bá là “thu thập có đạo đức”
- Bright Data là ví dụ tiêu biểu cho loại công ty quảng cáo khả năng vượt qua kiểm soát truy cập và giới hạn lưu lượng của website
- Người dùng VPN “miễn phí” phải cho phép Bright Data định tuyến lưu lượng qua chính thiết bị của họ
- Điện thoại và các thiết bị khác dùng VPN này trở thành điểm cuối trong mạng proxy dân cư của Bright Data và bị huy động để tấn công website
- Những công ty tương tự cung cấp thư viện để nhà phát triển ứng dụng tích hợp vào sản phẩm, thậm chí trả tiền cho nhà phát triển để đổi lấy quyền sử dụng kết nối mạng của người dùng
- Một công ty từng hỏi liệu có thể đặt quảng cáo SDK của họ trên LWN hay không, nhưng cuộc trao đổi nhanh chóng kết thúc
- Có nơi cố tạo vẻ ngoài hợp pháp bằng những tuyên bố như “tuân thủ GDPR”, trong khi nơi khác thì công khai phi đạo đức
- Vì các nhà vận hành proxy này có thể chạy mã để truy cập tài nguyên của mạng lưới gồm hàng triệu thiết bị, nên không thể giả định quyền đó chỉ được dùng cho web scraping
Các công ty mô hình và người dùng mạng proxy
- Những công ty nổi tiếng lấy phát triển mô hình làm hoạt động cốt lõi cũng tự mình scraping web
- Lưu lượng có thể dễ dàng quy về các công ty này thường ghi rõ danh tính trong user-agent
- Họ nhìn chung tuân theo các cơ chế kiểm soát như
robots.txt - Họ liên tục thu thập toàn bộ website như thể đang kiểm tra xem ngay cả các bài viết từ năm 2003 có thay đổi gần đây hay không
- Tuy vậy, họ không gửi lưu lượng ở mức hàng triệu hệ thống khó có thể gánh nổi, nên đó không phải vấn đề lớn nhất
- Chưa rõ ai đang trả tiền để thực hiện các cuộc tấn công bằng proxy dân cư
- Chưa có bằng chứng cho thấy các công ty mô hình hàng đầu dùng những mạng này
- Các công ty đó không công khai cách họ cấp dữ liệu cho mô hình hay nguồn gốc dữ liệu huấn luyện, và cũng không cho thấy sự tôn trọng đối với người tạo nội dung hay những người lo ngại về vận hành
- Với mỗi mô hình công khai, có thể còn nhiều mô hình khác không lộ ra bên ngoài
- Nhiều công ty có thể đang tự xây mô hình với kỳ vọng rằng đi trước trong cuộc đua AI sẽ mang lại định giá khổng lồ
- Các cơ quan chính phủ không công khai ở nhiều quốc gia cũng có thể muốn sở hữu mô hình và dữ liệu huấn luyện riêng
- Những tổ chức tội phạm quy mô lớn cũng có khả năng muốn có mô hình riêng
- Khi các công cụ AI bị xem như vũ khí, một cuộc chạy đua vũ trang đang diễn ra, và toàn bộ Internet bị cuốn vào quá trình đó
Các biện pháp phòng vệ để bảo vệ Internet mở
- Các nhà vận hành website đang triển khai nhiều lớp phòng thủ để ngăn tấn công trong khi giảm thiểu tác động lên người dùng thật
- Anubis được sử dụng rộng rãi để chặn scraper bằng cách yêu cầu người truy cập thực hiện proof of work
- Các dịch vụ thương mại hiển thị nút “chứng minh bạn là con người”, còn những website khác yêu cầu CAPTCHA như chọn các ô có đèn giao thông hoặc ghép mảnh câu đố
- Một số website đã chuyển các tính năng chính ra sau tường đăng nhập hoặc trả phí, và chủ động đầu độc dữ liệu mà scraper nhận được bằng các công cụ như iocaine
- Chi phí xây dựng và duy trì các lớp phòng thủ, cùng với sự bất tiện của người dùng phải vượt qua chúng, là gánh nặng nặng nề mà scraper và bên trả tiền cho chúng áp đặt lên toàn bộ thế giới
Cách LWN phòng thủ và những giới hạn
- Gần đây LWN đã hứng chịu cuộc tấn công scraper mạnh nhất từ trước tới nay, nhưng nhờ các biện pháp đã xây dựng, website vẫn chịu được lưu lượng đến mức phần lớn độc giả thật hầu như không nhận ra
- Việc công khai chi tiết phòng thủ có thể cung cấp thông tin cho kẻ tấn công, nên chúng được giữ kín, và phía phòng thủ cũng đang ở trong cuộc chạy đua vũ trang
- Ưu tiên hàng đầu là giảm tối đa tác động đến độc giả thật
- LWN không dùng Anubis vì nó làm chậm việc truy cập website và gây phiền cho độc giả
- Có vẻ scraper cuối cùng sẽ vượt qua được Anubis, và đã có dấu hiệu như vậy
- Nếu có thể huy động hàng triệu thiết bị của người khác, thì proof of work không phải rào cản lớn
- LWN cũng không muốn chặn truy cập từ các công cụ tìm kiếm hợp lệ và những tổ chức như Internet Archive
- Danh sách cho phép rõ ràng chỉ dành cho các công cụ tìm kiếm thống trị sẽ càng củng cố vị thế của những doanh nghiệp độc quyền vốn đã có vấn đề về chất lượng dịch vụ
- Đến nay LWN vẫn thành công trong việc duy trì truy cập hợp lệ mà không cần danh sách cho phép dành riêng cho công cụ tìm kiếm nào
- Họ tối ưu mạnh một số phần của website và giảm thiểu các tác vụ tốn kém khi bị tấn công
- Độc giả ẩn danh đôi khi có thể bị ảnh hưởng bởi các biện pháp này, nhưng người dùng đã đăng nhập thì không
- Trong một số tình huống tấn công khi biện pháp phòng thủ được kích hoạt, thời gian phản hồi thậm chí còn nhanh hơn lúc bình thường
- LWN không xem các biện pháp hiện tại là lời giải vĩnh viễn, và cần cân nhắc bước ứng phó tiếp theo cho thời điểm chúng mất tác dụng
NetNut bị triệt phá và khoảng lặng tạm thời
- Google thông báo ngày 2/7 rằng họ đã triệt phá mạng proxy dân cư NetNut với sự phối hợp của Cục Điều tra Liên bang Mỹ (FBI) và các bên khác
- Sau biện pháp này, mức độ tấn công scraper có vẻ đã giảm phần nào, nhưng theo kinh nghiệm trước đây thì sự yên ắng này có lẽ sẽ không kéo dài
- Google Play Store sẽ kiểm tra các ứng dụng bị nhiễm NetNut
- Các đơn vị vận hành app store lớn vẫn chưa trả lời vì sao việc đưa ứng dụng có chức năng proxy dân cư lên kho lại dễ đến vậy
Internet bị đẩy ra sau tường phòng vệ
- Cần có một giải pháp bền vững hơn trước khi toàn bộ Internet bị đẩy ra sau tường bảo vệ và mạng mở từng thúc đẩy sáng tạo biến mất
- Ngành công nghiệp gây ra các cuộc tấn công này lấy nội dung từ các website độc lập rồi mặc kệ việc website bị phá hủy, và thái độ đó cũng kéo dài sang cả hành tinh và nền kinh tế
- Chừng nào chưa áp dụng những tiêu chuẩn đạo đức tối thiểu cho các công ty vận hành mô hình ngôn ngữ lớn và các công nghệ liên quan, hành vi này sẽ còn tiếp diễn, và các nhà vận hành website sẽ vẫn buộc phải tự vệ
1 bình luận
Ý kiến trên Lobste.rs
Trong số đủ mọi mô hình kinh doanh trắng trợn đáng ngờ mà gần đây tôi mới biết tới, proxy dân dụng là thứ gây sốc nhất
Tôi đã đọc kỹ hơn tại https://spur.us/blog/smart-tv-apps-residential-proxy-sdks, và thật khó tin là chuyện này lại hợp pháp. Nó nên được xếp cùng loại với botnet và gọi là botnet được hợp pháp hóa
Một nạn nhân khác là trình kiểm tra liên kết. Việc kiểm tra xem một trang có liên kết chết hay không đang trở nên khá khó khăn
Nếu có thời gian, có lẽ tôi sẽ thử tận dụng dự án Common Crawl để kiểm tra xem nội dung còn tồn tại hay không
Cuối cùng thì các tác vụ tốn kém như liệt kê lịch sử của kho GitHub đều sẽ bị giấu sau lớp xác thực, còn phần còn lại sẽ được tạo tĩnh và phân phối qua CDN
Ở cấp ứng dụng, rõ ràng việc tạo tĩnh nhiều nội dung hơn, giảm truy vấn cơ sở dữ liệu và tận dụng bộ nhớ đệm sẽ có ích. Chúng ta đã hưởng sự xa xỉ là không phải quá lo về hiệu năng trong một thời gian dài, nhưng giờ ngay cả các trang nhỏ cũng cần chú ý hơn, và điều đó vẫn tốt hơn nhiều so với việc ở đâu cũng thấy Cloudflare “đang kiểm tra trình duyệt”
Tôi từng gặp vấn đề trên một VPS nhỏ vì Apache theo kiểu truyền thống fork riêng một tiến trình cho mỗi yêu cầu. Tôi lớn lên cùng việc vọc các máy chủ LAMP nên thấy Apache quen thuộc và thoải mái, nhưng nó không tận dụng phần cứng hiệu quả nhất, và rốt cuộc điều đó mới là điều quan trọng hơn. Tôi không có số liệu thực nghiệm, nhưng các máy chủ như Caddy có vẻ sẽ chịu tải tốt hơn nên tôi định chuyển sang khi nâng cấp máy chủ lần tới
Tôi cũng đã dùng fail2ban, nhưng khi quy mô tăng lên thì nó không còn xử lý nổi. Cuối cùng tôi để Cloudflare xử lý bằng các quy tắc bảo mật được tổng hợp trong bài viết blog. Tôi từng ngại phụ thuộc lâu dài vào Cloudflare, nhưng đã đổi ý sau khi xem biểu đồ mức sử dụng CPU ở cuối bài
Dù gây ra chi phí rất lớn cho các máy chủ Git, đáng ngạc nhiên là nhiều máy chủ vẫn không cấu hình
robots.txtđể ngăn việc crawl quá sâu vào bên trong khoĐoạn “đã có người yêu cầu giải thích các biện pháp được thực hiện để bảo vệ trang, nhưng vì những lý do hiển nhiên tôi không muốn thảo luận chi tiết. Ngay ở mức này cũng đã là một cuộc chạy đua vũ trang” thật sự khiến tôi chạnh lòng
Tôi cũng đã khá thành công trong cuộc chiến này, nhưng vì bi kịch của tài sản chung, nếu công khai những biện pháp rất đơn giản mà tôi dùng thì hiệu quả của chúng sẽ giảm đi. Đây là một chủ đề thực sự thú vị và tôi cũng có vài ý tưởng độc đáo muốn viết thành blog, nhưng lại không thể nên thấy khá tiếc