Hạ tầng FOSS đang bị các công ty AI tấn công

 (thelibre.news)
1 điểm bởi GN⁺ 2025-03-21 | 1 bình luận | Chia sẻ qua WhatsApp
  • Nhiều hạ tầng FOSS như SourceHut, KDE GitLab, GNOME GitLab, LWN, Fedora, Inkscape, Diaspora, Read the Docs đang gặp sự cố, bị chặn và gánh thêm gánh nặng vận hành do crawler AI và các báo cáo bảo mật do AI tạo ra
  • Các crawler phớt lờ robots.txt hoặc liên tục yêu cầu những endpoint tốn kém như git blame, log Git, và trang commit, đồng thời trộn vào lưu lượng người dùng bình thường bằng hàng chục nghìn IP và User-Agent ngụy trang
  • GNOME đã triển khai Anubis proof-of-work, nhưng trong khoảng 2 giờ 30 phút chỉ 3% trong số 81.000 yêu cầu vượt qua được, cho thấy phần lớn lưu lượng có thể là bot
  • Các biện pháp như chặn phiên bản Edge, hạn chế người dùng chưa đăng nhập, chặn subnet và quốc gia, danh sách chặn IP, robots.txt và .htaccess dành cho crawler AI đã được áp dụng, và người dùng thực cũng gặp độ trễ hoặc bị chặn truy cập
  • Các dự án mã nguồn mở phụ thuộc vào cộng tác công khai có bề mặt phơi lộ rộng hơn dịch vụ tư nhân, nên AI scraping và các báo cáo bảo mật ảo giác từ LLM đang trực tiếp bào mòn thời gian và năng lực vận hành của maintainer

Sự cố lặp đi lặp lại trên nhiều hạ tầng FOSS

  • Drew DeVault, founder kiêm CEO của SourceHut, chỉ trích các công ty LLM vì crawl dữ liệu mà không tôn trọng robots.txt, gây ra sự cố nghiêm trọng cho SourceHut
  • Hạ tầng KDE GitLab bị quá tải bởi crawler AI đến từ dải IP của Alibaba, khiến các nhà phát triển KDE tạm thời không thể truy cập GitLab
  • Trên GNOME GitLab bắt đầu xuất hiện màn hình tải mặc định của trình thử thách proof-of-work Anubis nhằm chặn các AI scraper gây ra sự cố
  • Khi các trường hợp ngày càng chồng chất, mức độ hung hăng của AI scraper tăng lên, và gánh nặng vận hành đối với các cộng đồng FOSS dựa trên cộng tác công khai cũng tăng theo

Cách crawler hoạt động và khó khăn khi ngăn chặn

  • Theo Drew DeVault, crawler LLM không tuân theo yêu cầu của robots.txt và quét toàn bộ kho, kể cả những trang có chi phí xử lý cao
    • Mục tiêu bao gồm git blame, mọi trang của log Git, và mọi commit trong kho
    • Crawler dùng User-Agent ngẫu nhiên từ hàng chục nghìn IP, và mỗi IP chỉ gửi tối đa một yêu cầu HTTP để trộn vào lưu lượng người dùng
  • Vì cách làm này, rất khó tạo biện pháp giảm thiểu, và tại SourceHut nhiều công việc ưu tiên cao đã bị trì hoãn nhiều tuần hoặc nhiều tháng
  • Việc phân biệt bot với con người rất khó, nên người dùng thực cũng bị ảnh hưởng gián đoạn, dẫn tới sự cố ở SourceHut
  • Drew không phân biệt liệu mọi công ty AI có xử lý robots.txt hay khai báo User-Agent theo cùng một cách hay không

Phản ứng của KDE và GNOME

  • Theo Ben trong nhóm sysadmin KDE, các IP gây DDoS cho KDE GitLab đều tự nhận là MS Edge, và nguyên nhân đến từ các công ty AI Trung Quốc
    • Ben cho rằng các nhà vận hành LLM phương Tây như OpenAI và Anthropic ít nhất vẫn đặt User-Agent đúng cách
    • Giải pháp tạm thời là chặn phiên bản Edge mà các bot tự nhận
    • Tuy nhiên, bot có xu hướng đổi User-Agent để hòa lẫn, nên khó dùng làm giải pháp cuối cùng
  • GNOME đã gặp vấn đề từ tháng 11 năm ngoái, và áp dụng rate limit để người dùng chưa đăng nhập không thể xem merge request và commit
    • Biện pháp này cũng gây vấn đề cho người dùng thực chưa đăng nhập
  • Sau đó GNOME chuyển sang Anubis
    • Anubis đưa ra bài toán tính toán cho trình duyệt, và nếu trình duyệt dành thời gian giải rồi gửi kết quả về máy chủ thì mới được cấp quyền truy cập
    • Một developer mô tả đây là “biện pháp gần như hạt nhân”, và cho rằng đây là lựa chọn bị ép buộc vì bot AI scraper không tuân theo các chuẩn như robots.txt
  • Anubis cũng vẫn ảnh hưởng tới người dùng
    • Nếu nhiều người ở cùng một nơi mở liên kết, có thể họ sẽ nhận bài toán khó hơn
    • Một người dùng bị chậm 1 phút, người khác phải đợi khoảng 2 phút trên điện thoại
    • Điều này xảy ra khi liên kết GitLab được dán vào phòng chat hoặc khi merge request Triple Buffering của GNOME được đưa lên Hacker News và thu hút chú ý
  • Theo số liệu do sysadmin GNOME Bart Piotrowski chia sẻ, trong khoảng 2 giờ 30 phút chỉ 3% proof-of-work Anubis vượt qua được trên tổng số 81.000 yêu cầu
    • Tỷ lệ vượt qua Anubis: {p:3}
    • Điều này cho thấy 97% lưu lượng có thể là bot

Các trường hợp chặn tại LWN, Fedora, Inkscape

  • Jonathan Corbet, người điều hành LWN, đã thông báo cho người dùng rằng trang web “đôi khi có thể chậm” do DDoS từ bot AI scraper
    • Ông nói lưu lượng phục vụ cho độc giả là con người thực tế chỉ chiếm một phần nhỏ trong tổng lưu lượng
    • Có lúc bot truy cập đồng thời từ hàng trăm IP, không tự nhận là bot, và thậm chí chỉ không đọc robots.txt
  • Sysadmin Kevin Fenzi của dự án Fedora cũng gặp vấn đề với AI scraper
    • Một tháng trước, ông phải ứng phó để giữ cho pagure.io tiếp tục hoạt động
    • Sau đó tình hình tệ hơn, nhiều subnet đã bị chặn và người dùng thực cũng bị ảnh hưởng
    • Trong tình thế cấp bách, cả Brazil đã bị chặn, và theo hiểu biết hiện tại lệnh chặn này vẫn còn hiệu lực
  • Neal Gompa chỉ ra rằng chặn cả quốc gia cũng có giới hạn, và hạ tầng Fedora đã “thường xuyên sập trong nhiều tuần” vì AI scraper
  • Inkscape cũng gặp vấn đề tương tự vào tuần trước
    • Martin Owens cho rằng đây không phải DDoS thông thường từ Trung Quốc như năm ngoái, mà là nhiều công ty phớt lờ thiết lập spider và giả mạo thông tin trình duyệt
    • Ông đã tạo danh sách chặn Prodigius, và nói rằng nếu bạn làm ở một tập đoàn lớn làm AI thì có thể sẽ không còn truy cập được website Inkscape

Danh sách chặn IP và nỗ lực phối hợp

  • BigGrizzly của phần mềm Frama cũng bị các crawler LLM xấu flood, và đã tạo danh sách chặn 460.000 IP dùng User-Agent ngụy trang
    • Ông cho biết có thể chia sẻ danh sách này
  • Dự án ai.robots.txt là một nỗ lực bao quát hơn nhằm tạo danh sách công khai các web crawler liên quan tới công ty AI
    • Dự án cung cấp robots.txt triển khai Robots Exclusion Protocol
    • Dự án cũng cung cấp tệp .htaccess trả về trang lỗi cho các yêu cầu từ AI crawler có trong danh sách

Số liệu lưu lượng của Diaspora và Read the Docs

  • Trong phân tích của Dennis Schubert về hạ tầng Diaspora, một phần lớn tổng lưu lượng web đến từ bot của các công ty AI
    • Bot dùng User-Agent của OpenAI chiếm một phần tư tổng lưu lượng web
    • Amazon chiếm 15%, Anthropic chiếm 4,3%
    • Khoảng 70% tổng số yêu cầu được ghi nhận là đến từ các công ty AI
  • Schubert cho biết các bot này không crawl một lần rồi rời đi mà quay lại mỗi 6 giờ, và không quan tâm đến robots.txt
    • Nếu bị áp rate limit, chúng chuyển sang IP khác
    • Nếu bị chặn bằng chuỗi User-Agent, chúng đổi sang chuỗi User-Agent không phải bot
    • Ông mô tả đây là một cuộc DDoS nhắm vào toàn bộ Internet
  • Read the Docs, trong bài “AI crawlers need to be more respectful”, cho biết sau khi chặn toàn bộ AI crawler thì lưu lượng đã giảm 75%
    • Tỷ lệ giảm lưu lượng: {p:75}
    • Lưu lượng giảm từ 800GB mỗi ngày xuống còn 200GB mỗi ngày
    • Nhờ đó tiết kiệm khoảng 1.500 USD mỗi tháng
    • Cũng có trường hợp crawler tải xuống hàng chục TB dữ liệu chỉ trong vài ngày
    • Vì dùng nhiều IP nên rất khó chặn hoàn toàn
  • Theo Schubert, các crawler “bình thường” như Google và Bing cộng lại cũng chỉ chiếm dưới 1%

Báo cáo bảo mật do AI tạo ra làm tăng gánh nặng cho maintainer

  • Vấn đề không chỉ dừng ở scraper mà còn lan sang bug report do AI tạo ra
  • Daniel Stenberg của dự án Curl đã đề cập vấn đề bug report do AI tạo trong bài “The I in LLM stands for Intelligence”
    • Curl vận hành một dự án bug bounty
    • Gần đây nhiều bug report được AI tạo ra, thoạt nhìn có vẻ hợp lý nên developer phải tốn thời gian kiểm tra
    • Nhưng trong đó có những ảo giác điển hình thường thấy ở AI
  • Seth Larson, người thuộc nhóm triage báo cáo bảo mật của CPython, pip, urllib3, Requests và các dự án khác, cũng gặp vấn đề tương tự
    • Số lượng báo cáo bảo mật ảo giác từ LLM, chất lượng cực thấp và mang tính spam, đang tăng lên trong các dự án mã nguồn mở
    • Những báo cáo này thoạt nhìn có thể trông hợp lệ nên cần thời gian để bác bỏ
  • Việc xử lý báo cáo bảo mật vốn đã tốn kém, và phải phản hồi các bug report bịa nhưng trông có vẻ đáng tin càng tạo thêm gánh nặng lớn cho maintainer
  • Larson kêu gọi không dùng AI hay hệ thống LLM để phát hiện lỗ hổng
    • Ông cho rằng các hệ thống hiện tại không thể hiểu mã nguồn, trong khi việc phát hiện lỗ hổng bảo mật đòi hỏi hiểu mã, hiểu ý đồ, cách sử dụng phổ biến và ngữ cảnh ở mức khái niệm như con người

Gánh nặng cấu trúc tác động mạnh hơn lên FOSS

  • Các dự án FOSS thường có ít tài nguyên hơn sản phẩm thương mại
  • Các dự án do cộng đồng dẫn dắt có nhiều phần hạ tầng được công khai hơn nên dễ lộ diện trước crawler
  • Vì cần hạ tầng công khai cho issue, báo cáo bảo mật và cộng tác, nên AI scraper và các issue do AI tạo ra cùng lúc trở thành gánh nặng
  • Cuối cùng, việc ứng phó sự cố, chính sách chặn, giảm thiểu thiệt hại cho người dùng, và xem xét báo cáo bảo mật sai lệch đều tiêu tốn thời gian của maintainer mã nguồn mở

Bài viết liên quan

1 bình luận

 
GN⁺ 2025-03-21
Ý kiến trên Hacker News

  • Đây cũng là một ví dụ: https://about.readthedocs.com/blog/2024/07/ai-crawlers-abuse... Đây là bài cũng được trích dẫn trong nguyên văn, và những người quen của tôi vận hành hạ tầng Internet quy mô lớn đều đang gặp những chuyện tương tự
    Bài viết này tập hợp rất tốt các trường hợp như vậy vào một chỗ. Như tôi đã nói khi viết bài, họ đơn giản là đang đốt sạch tài sản niềm tin
    Một startup lớn trong lĩnh vực này đã trực tiếp hợp tác với chúng tôi, hoàn tiền chi phí và sửa cả lỗi crawler. Ngược lại, Facebook không trả lời email, còn liên kết trong User Agent thì trả về 404. Một kỹ sư của công ty thấy bài viết và cho tôi địa chỉ email đúng, nhưng tôi gửi 3 lần tới đó vẫn không có phản hồi

    • Các công ty AI có vẻ đang hành xử như thể tài sản niềm tin không quan trọng. Họ làm bất cứ điều gì mình muốn như một con khỉ đột 800 pound với 100 tỷ USD vốn
      Thái độ là dù muốn hay không, AI sẽ được đưa vào mọi sản phẩm, và dù muốn hay không, nó sẽ hút mọi dữ liệu
    • Tôi đã phải đọc lại đoạn “một crawler đã tải xuống 73TB tệp HTML nén vào tháng 5/2024, khiến chi phí băng thông vượt quá 5.000 USD”
      Tôi vận hành hạ tầng xử lý vài trăm TB lưu lượng mỗi tháng, chủ yếu trên server dedicated, và chi phí lưu lượng vào khoảng 0,50–3 USD mỗi TB. Dù có khác nhau theo khu vực, chi phí lưu lượng ra của AWS thật sự điên rồ
    • Nếu họ không trả lời, thay vì email thì cứ gửi hóa đơn cho bộ phận công nợ phải trả là được
    • Nếu gửi email 3 lần mà vẫn không có phản hồi, từ thời điểm đó chẳng phải việc crawl nên được xem là DDoS, chứ không còn là lỗi hay nhầm lẫn sao?
    • Hay cứ cho nó ăn thông tin rác được tạo động thì sao? Có vẻ còn thú vị hơn là không cung cấp thông tin gì

  • Thấy dự án của tôi xuất hiện như thế này trong ảnh xem trước thật sự có cảm giác phi thực tế. Tuyệt thật! Nếu muốn dùng thử thì ở đây: https://github.com/TecharoHQ/anubis
    Theo những gì thấy đến giờ thì có vẻ nó thật sự hoạt động. Tôi đã triển khai trên xeiaso.net để xem nó sẽ thất bại trong môi trường production trên blog của mình như thế nào

    • Sẽ tốt hơn nếu thêm một chút giải thích cho người dùng biết hiện họ cần làm gì và chuyện gì đang diễn ra trên trang đó
      Có một widget kiểu animation tải trang, nhưng khi tôi lần đầu thấy trên trình theo dõi issue của Gnome vài tuần trước, proof-of-work mất khoảng 20 giây và tôi không biết chuyện gì đang xảy ra. Ban đầu tôi tưởng mình bị chặn hoặc captcha chưa tải
      Giờ thì tôi biết nó là gì, nhưng nếu chỉ nhìn riêng trang “đang kiểm tra bạn có phải bot không” thì có vẻ vẫn chưa rõ ràng 100%
    • Tôi thật sự thích cách này. Internet vận hành như miền Tây hoang dã thì cũng được, nhưng tôi không thích việc thiếu trách nhiệm quy kết
      Đây là một cách hay để những bên muốn tiếp tục mở miễn phí trang của mình chuyển gánh nặng kinh tế sang crawler. Nếu muốn dữ liệu thì phía lấy dữ liệu hãy tự chi tiền
      Có nhược điểm là có thể bị loại khỏi công cụ tìm kiếm, nhưng cũng không có lý do gì không thể đăng ký dịch vụ vào các indexer toàn cục hoặc P2P
    • Tôi thích nó, như mọi khi là làm rất tốt
      Và liên quan đến https://news.ycombinator.com/item?id=43422781, nếu gắn thêm cách tính một lượng cực nhỏ của shitcoin nào đó mà bạn muốn, có lẽ sẽ có thêm một ứng dụng thật sự hữu ích của tiền mã hóa
    • Anubis sẽ chỉ hiệu quả chừng nào nó chưa nổi tiếng. Khi nổi tiếng, các crawler sẽ bắt đầu xử lý proof-of-work bằng GPU/ASIC, và lúc đó là hết
    • Tôi thích việc thỉnh thoảng ngẫu nhiên bắt gặp thứ bạn làm ra. Tôi cũng thích cách giải thích dạng blog, nên sẽ tìm hiểu thêm về Anubis

  • Với tốc độ này thì đây không chỉ là vấn đề của riêng hạ tầng tự do/mã nguồn mở. Dĩ nhiên tôi đặc biệt đồng cảm vì nó giống như chim hoàng yến trong mỏ than, nhưng cuối cùng đây là vấn đề của toàn bộ quyền truy cập Internet ẩn danh
    Có thể đặt trang web sau một bức tường xác thực, nhưng các bot mới, không như trước đây, giải được captcha và bắt chước người dùng thật. Điều này càng đúng khi chúng dùng IP dân cư và User Agent giả, hoặc thậm chí dùng User Agent thật gắn với những thứ như Playwright, như trong bài viết
    Rốt cuộc còn lại gì ngoài việc các trang web bắt đầu yêu cầu thẻ tín dụng, Worldcoin, hoặc một lựa chọn thay thế u ám tương tự?

    • Chúng ta đã đi được khoảng nửa đường rồi. Tôi cảm nhận điều này mỗi khi lập bản đồ OpenStreetMap và tìm các doanh nghiệp địa phương không có website riêng
      Họ dùng Facebook, Instagram, X, v.v. như danh thiếp số. Tôi bình thường không dùng Facebook hay Instagram, cũng đã bỏ X và không có tài khoản, nhưng khi đi theo các liên kết đó thì chỉ thấy được một phần thông tin rồi hiện hộp thoại bảo phải tạo tài khoản hoặc rời đi, hoặc gặp lỗi không rõ nguyên nhân
      Tham gia các cộng đồng riêng tư thì không sao, nhưng thật khó chịu khi những rào cản như vậy xuất hiện với thông tin mà người đăng tưởng là sẽ được công khai
    • Nói to phần ít ai nói ra: một trong những lý do lớn nhất khiến việc này u ám là vì đây không chỉ là phá hoại đơn thuần, mà là kiểu phá hoại đem lại lợi ích kép theo lãi kép cho những kẻ xấu liên quan. Việc cào nội dung chỉ là khởi đầu
      Chi phí tăng khiến một trang web phải đóng vĩnh viễn? Tuyệt, vì mọi người sẽ phải dùng AI cho mọi tài liệu. Khiến người ta lùi khỏi captcha và nhập thẻ tín dụng hoặc số điện thoại? Tuyệt, vì tính ẩn danh của Internet giảm thêm chừng đó
      Rò rỉ dữ liệu làm lừa đảo tăng? Tuyệt, vì rồi sẽ cần AI để ngăn chặn nó. Với tác nhân độc hại, gần như thế nào cũng là thế thắng
      Sự Balkan hóa của Internet đã được bàn đến từ lâu. Những mối đe dọa đó, hoặc thực tế rằng nó đã là một bãi rác mất kiểm soát, lẽ ra phải khiến người ta thận trọng phần nào trong việc làm tình hình tệ hơn, nhưng việc đẩy giới hạn chịu đựng của con người đối với sự quấy rầy và ma sát dù sao cũng không quan trọng. Vì họ không có lựa chọn thực sự
    • Tôi không chắc. Tôi vận hành một game trình duyệt nhỏ, và máy chủ định kỳ bị các trình scraper LLM đập tơi tả, nhưng đến giờ tôi vẫn chưa thấy tài khoản mới nào trông như do bot tạo
      Tỷ lệ đăng ký mới cũng không thay đổi đáng kể. Cả ở game lẫn wiki đều vậy, và lưu lượng scraping chủ yếu đổ vào wiki. Nếu scraping không giảm, rất có thể wiki sẽ phải được đưa gần như hoàn toàn ra sau bức tường xác thực
    • Có thể sẽ thành kiểu: để thực hiện X yêu cầu tiếp theo, bạn phải xử lý ngần này token. Tất nhiên nghe khá là không tưởng
    • Không nhất thiết phải đặt sau tường xác thực. Dùng dịch vụ thanh toán vi mô ẩn danh cho từng yêu cầu cũng hoàn toàn khả thi
      Nếu đây là một Internet mà việc có quá nhiều khách truy cập trở thành khủng hoảng tồn vong của website, thì Internet mà chúng ta đang sống không phải là một cấu trúc có thể tồn tại lâu dài

  • Trước đây khi các công cụ tìm kiếm gây ra chuyện như thế này, ngành đã thỏa thuận để tránh việc có quy định pháp lý được ban hành và tạo ra đặc tả robots.txt. Vì vậy không có khung pháp lý nào được lập ra
    Giờ đây có một thế hệ mới các bộ lập chỉ mục đói dữ liệu không tham gia thỏa thuận đó, vì áp lực cạnh tranh nên cố cào càng nhiều dữ liệu càng tốt, và đơn giản là phớt lờ robots.txt
    Dù sao thì lẽ ra đã phải có lập pháp, và bên phớt lờ robots.txt đáng ra phải bị chặn, phạt tiền, giới hạn tốc độ, v.v.

    • Tôi không biết mình có thích kế hoạch này không. Không nên để AI bất hợp pháp có nhiều tri thức và hữu dụng hơn AI hợp pháp
      Ngoài cấm hoàn toàn vẫn còn những lựa chọn khác
    • Tôi sẽ ngạc nhiên nếu trong Hạ viện Mỹ hay Quốc hội Mỹ có dù chỉ một nghị sĩ biết robots.txt là gì
    • Luật của Mỹ hay EU làm sao ngăn được lưu lượng đến từ Trung Quốc, Thái Lan, Nga? Nhiều nhất cũng chỉ làm Internet bị phân mảnh, mà đó không phải “điều tốt nhất” và là một ý tưởng tệ hại

  • Gần đây tôi cũng bị tấn công [0]. Đó là một instance Forgejo nhỏ lưu mã của vài gói mã nguồn mở nên cần phải công khai, nhưng nó đã hỏng hoàn toàn và đĩa bị lấp đầy bởi các kho lưu trữ ZIP được tạo ra
    Tôi không phải người duy nhất gặp chuyện này. Trong trường hợp của tôi, sau khi chặn dải IP Alibaba Cloud thì cuộc tấn công tạm thời lắng xuống
    Nếu bạn vận hành một instance Forgejo, tôi rất khuyến nghị đặt DISABLE_DOWNLOAD_SOURCE_ARCHIVES thành true. Crawler vẫn sẽ bám chặt CPU, nhưng ít nhất đĩa sẽ không bị các file ZIP lấp đầy
    [0] https://blog.nytsoi.net/2025/03/01/obliterated-by-ai

    • “Đĩa bị lấp đầy bởi các kho lưu trữ ZIP được tạo ra” nghĩa là đây là thiết kế phần mềm tồi khi tạo file ZIP ngay tại chỗ
    • Có lẽ tốt hơn là chuyển sang phần mềm được làm tốt, được thiết kế đúng để phục vụ trên Internet công khai
      Thiết kế tạo file ZIP, ghi toàn bộ xuống đĩa, rồi gửi một lượt cho client là hoàn toàn kinh khủng và không dùng được. Thiết kế đúng phải tạo dần và truyền tới client với mức dùng bộ nhớ tối thiểu, hoàn toàn không dùng đĩa
      Việc tồn tại một thiết kế vô lý như vậy là dấu hiệu cho thấy các nhà phát triển hầu như phớt lờ hiệu quả, và rất có thể còn đầy những vấn đề nghiêm trọng tương tự
      Ví dụ, nhìn lướt mã nguồn Forgejo thì có vẻ mọi thao tác Git đều khởi chạy tiến trình “git” thay vì dùng thư viện chuyên dụng. Tôi chưa kiểm chứng, nhưng sẽ không ngạc nhiên nếu các thao tác đó rất xa so với cách hiệu quả nhất để thực hiện cùng phép toán
      Chạy phần mềm cực kỳ kém như vậy thì việc CPU bị ghim ở 100% và máy chủ không thể sử dụng được cũng chẳng có gì đáng ngạc nhiên

  • Kết luận lớn ở đây là sự thống trị web của Google và quảng cáo nói chung đang biến mất
    Cách duy nhất để chặn bot là captcha, nhưng làm vậy thì các trình lập chỉ mục tìm kiếm cũng không thể lập chỉ mục trang web. Kết cục là công cụ tìm kiếm không thể lập chỉ mục trang web và không còn cung cấp giá trị nữa
    Sẽ có một độ trễ nhất định trước khi lượng tri thức hiện có trong LLM cạn kiệt, nhưng rồi sẽ không còn ai có thể cào web theo cách tự động nữa
    Có vẻ mọi thứ sẽ cháy rụi

    • Trên thực tế, có lẽ nó sẽ trở thành một dạng ổn định Lyapunov giống quần thể sói và thỏ. Trong kịch bản này, chúng ta là thỏ
      Khi số lượng AI giảm, nội dung của con người tăng lên, trở thành nhiều thức ăn hơn cho AI và khiến AI lại tăng. Khi đó tiếng nói của con người bị lấn át, con người im lặng hơn. Thức ăn cho AI giảm khiến AI suy giảm, tiếng ồn bớt đi và con người lại phát triển. Vòng lặp này cứ lặp đi lặp lại đến phát chán
    • Cá nhân tôi cho rằng đây là một trong những động cơ thực sự của Web Environment Integrity. Tức là cho Google lập chỉ mục, còn nơi khác thì không
      Chúng ta đang kẹt trong một lựa chọn khó chịu: muốn các ông lớn hiện hữu đã bám rễ, hay muốn hosting rẻ và mở?
    • Google vốn đã cào các trang web và hiển thị câu trả lời ngay trong kết quả tìm kiếm. Nếu bạn coi trọng lưu lượng truy cập và muốn bán vị trí quảng cáo, thì giờ tại sao lại muốn Google lập chỉ mục trang của mình?
      Phần lớn các trang dựa vào quảng cáo sẽ tối đèn. Vì khách truy cập chỉ toàn là bot
    • Nếu phải chuyển sang crawling dựa trên xác thực, vị thế của các công cụ tìm kiếm hiện tại sẽ càng được củng cố. Vì chỉ những crawler được mời mới có thể truy cập
      Nếu có công cụ đơn giản, đa số sẽ chỉ cho phép Google, Bing, và nhiều lắm là thêm một hai nơi nữa
    • Công ty AI nào có công nghệ vượt captcha tốt nhất sẽ thắng, và sẽ chèn quảng cáo vào đầu ra của LLM theo cách tinh vi hơn

  • Nếu có ai quan tâm đến phá hoại nhỏ lẻ, tôi nghĩ mình đã phần nào thành công trong việc “nhấn chìm” thông tin thật trên microblog của mình
    Tôi dùng LLaMa tạo ra hàng chục bài viết mâu thuẫn cho mỗi bài thật, rồi liên kết chúng theo cách vô hình để con người không bấm vào. Nói nôm na là kiểu Bannon: làm ngập khu vực bằng rác

    • Tôi từng thấy cách tiếp cận này được dùng, nhưng không rõ tỷ lệ thành công ra sao. Về mặt logic thì nghe có vẻ hợp lý
      Tức là tham chiếu rõ ràng đến một đường dẫn mà con người không thể thực sự nhìn thấy, và coi lưu lượng truy cập vào đường dẫn đó là bot. Bot không cưỡng lại được
    • Đúng vậy. Nhưng nhớ thêm vào robots.txt để chỉ robot xấu mới bị ảnh hưởng
    • Hôm qua đọc cái này, tôi đã nghĩ về cách giảm thiểu ở quy mô lớn hơn. Cách làm là website tạo ra các đường dẫn hoặc endpoint ảo ngẫu nhiên để dụ bot vào một Library of Babel[0] được phục vụ cục bộ, làm ô nhiễm spider bằng văn bản vô dụng
      Nó sẽ không hiệu quả với các trang có cấu trúc tốt, nơi bot biết chính xác endpoint cần cào, nhưng có thể làm chậm các luồng spider mang tính thăm dò hơn
      [0] https://libraryofbabel.info/
    • Ngoài việc làm ngập bằng rác, còn phá hoại trực tiếp kiểu cung cấp thứ như ZIP bomb hoặc khiến chúng lãng phí tài nguyên tính toán thì sao?

  • Đây là VideoLAN
    Chúng tôi cũng vậy, forum và GitLab đang bị bot của các công ty AI tấn công dồn dập
    Phần lớn không tuân thủ robots.txt

    • Các bạn có ghi lại tài liệu về những biện pháp đã thực hiện để giải quyết việc này không?

  • Điên thật. Tôi tự hỏi cuối cùng chúng ta có đi đến một phiên bản web không được công cụ tìm kiếm lập chỉ mục hay không. Một web gần giống kiểu duyệt web thập niên 90 hơn, nơi các website phải liên kết với nhau thì mới được biết đến
    Tôi thích điểm rằng giải pháp cho việc LLM scraping là bắt trình duyệt thực hiện bằng chứng công việc trước khi cho truy cập. Không biết các trang mới có bắt đầu áp dụng thứ như vậy không
    Khi đó chúng sẽ không được công cụ tìm kiếm lập chỉ mục, nhưng sẽ giúp bảo vệ quyền sở hữu trí tuệ

  • Trước giờ tôi chưa từng nghĩ đến, nhưng chuyện các công ty vừa cung cấp sản phẩm LLM vừa cung cấp dịch vụ điện toán đám mây lại kiếm tiền hai lần thật điên rồ
    Họ có được sản phẩm LLM để bán, đồng thời còn thu cả chi phí lưu lượng đi ra và chi phí tính toán do tải tăng lên. Nhìn như vậy thì họ có động lực gì để bận tâm đến việc LLM scraping kém hiệu quả? Cứ để nó hỗn loạn, vì một đế chế khác của họ là phí lưu lượng đi ra từ lưu trữ đám mây sẽ kiếm được tiền