5 điểm bởi GN⁺ 17 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • 인터넷이 AI 생성 저품질 콘텐츠(slop)로 넘쳐나는 가운데, 사람들이 AI에 적극적으로 저항하는 다양한 움직임이 확산 중
  • Reddit 커뮤니티 r/PoisonFountain은 AI 크롤러에 하루 1테라바이트의 오염 데이터를 제공하는 것을 2026년 말까지 목표로 활동 중
  • AI 비디오 요약기를 속이는 기법이나 소셜 미디어에서의 의도적 허위 데이터 삽입 등 다양한 형태의 저항이 등장
  • AI 크롤러들이 robots.txt를 무시하고 소규모 웹사이트에 DDoS 수준의 부하를 일으키는 현실이 이러한 저항의 배경
  • 이 감정이 평화적이고 합법적인 저항 행위로 이어진다면, 실리콘밸리의 데이터 수집 방식을 바꿀 수 있다는 기대

AI 크롤러 대상 데이터 오염 커뮤니티

  • Reddit 커뮤니티 r/PoisonFountain 은 AI 업계 내부자를 자처하는 사람들이 만든 커뮤니티로, 가능한 한 많은 사람들이 웹 크롤러에 대량의 쓰레기 데이터(poison)를 공급하도록 독려
  • 2026년 말까지 크롤러에 하루 1테라바이트의 오염 데이터 제공이 목표
  • 오염 데이터의 본체는 rnsaffn.com 에 호스팅되어 있으며, AI 크롤러가 유혹될 만한 가비지 링크 사이에 배치
    • 언뜻 보면 정상적인 코드처럼 보이지만, 실제로는 미묘한 오류가 포함되어 사용 불가능한 코드를 생성
    • 이러한 오류를 필터링하는 것은 가능하지만 대규모로는 비용이 많이 소요
  • AI 기업들은 인간이 만든 새로운 데이터 없이는 모델을 개선할 수 없으므로, 데이터 도용의 시간과 비용을 증가시키는 것이 핵심 전략
  • Miasma 는 이 오염 데이터를 활용해 악성 봇에 대량의 가비지를 제공하는 도구로, 개발자는 이를 "슬롭 머신을 위한 끝없는 슬롭 뷔페"로 표현

AI 크롤러의 문제 행위

AI 비디오 요약기 오염 시도

  • r/PoisonFountain을 통해 알려진 영상에서, @f4mi라는 크리에이터가 YouTube 자막 루프홀을 이용해 AI 비디오 요약기를 오염 시키는 기법을 시연함
  • 현재는 YouTube가 해당 자막 루프홀을 수정하여 이 기법은 더 이상 작동하지 않음
  • 일시적이었지만 AI 시스템을 교란하는 데 성공한 사례로, 사람들이 적극적으로 저항을 시도하고 있음을 보여줌

소셜 미디어에서의 의도적 AI 사보타주

  • Reddit 등 소셜 미디어 플랫폼에서 의도적으로 허위 정보를 작성해 AI 학습 데이터를 오염시키는 행위가 증가 중
  • 예시로, "Everybody Loves Raymond"에서 Idris Elba가 Raymond의 어머니 역을 연기했다는 명백한 허위 정보를 게시하는 사례도 있음
    • 인간은 맥락상 허위임을 즉시 파악할 수 있지만, 자동화된 웹 스크레이퍼는 이를 양질의 인간 생성 데이터로 인식
    • 이 데이터가 OpenAI 등으로 전달되면, 훈련 데이터셋에서 이를 제거하는 데 추가 리소스가 소요
  • 산업혁명 시대 방직 노동자들이 동력 직기를 파괴한 것의 현대적 변형이라 할 수 있으며, 충분한 수의 사람들이 봇 대상 허위 정보로 공공 공간을 오염시키면 AI 기업들이 훈련 데이터 수집 방식을 재고하도록 압박할 수 있음

AI에 대한 광범위한 반감

  • 사람들은 AI가 세상에 미치는 영향에 대해 반감을 가지고 있으며, 구체적으로 온라인 커뮤니티, 환경, 초등학교와 대학교, 정신건강 위험군, 생계에 미치는 영향에 반감을 느낌
  • AI 슬롭을 소비하고 생성하는 사람들도 있지만, 오프라인과 온라인 모두에서 이 기술을 혐오하고 거부하는 사람들이 훨씬 많음
  • 혐오 감정이 좋은 결과로 이어지는 경우는 드물며, AI 배달 로봇을 발로 차거나 전복 시키는 행위나 Sam Altman의 집에 화염병을 투척한 사건 등 폭력적 행위에는 반대 입장임
  • 다만 AI에 대한 감정이 평화적이고 합법적인 저항 행위로 전환된다면, 실리콘밸리의 행동 방식을 실제로 바꿀 가능성이 있음

후일담: Hacker News 바이럴 이후 원문 수정

  • 이 글이 대형 뉴스 허브(Hacker News) 첫 페이지 에 올라가며 예상치 못한 대규모 트래픽이 유입됨
  • 소수 IP 주소에서 해당 페이지에 수천 건의 요청을 보내는 악의적 서버 과부하 공격이 발생
    • 저가 공유 호스팅이었다면 사이트가 완전히 다운됐을 가능성이 높았으며, 대응으로 해당 URL 트래픽을 일시 차단
  • AI 전문가가 아님에도 일부 댓글 참여자들이 전문가 수준의 정확성을 요구하며 과도하게 비판
    • 한 댓글은 "도서관을 불태우는 집단보다 나을 게 없다"는 표현을 사용, 도서관과 지식 공유를 좋아하는 블로거에게 특히 실망스러운 반응
  • 원래 소규모 블로그 팔로워를 위해 반AI 동향 링크를 공유한 것이 목적이었으며, 이렇게 큰 플랫폼에서 부정적 관심을 끌 줄 알았다면 게시하지 않았을 것이라는 입장
  • 이후 AI 관련 개인 의견 게시를 자제하겠다는 결정을 내렸으며, 블로그 운영의 본래 목적인 소규모 웹(small web)에서의 즐거움에 집중할 예정
  • 소규모 웹에서의 자유로운 의견 표현이 바이럴 확산으로 인해 위축되는 현실을 보여주는 사례

1 bình luận

 
Ý kiến trên Hacker News
  • Tôi mừng vì người này đã tìm được cộng đồng, nhưng cũng có cảm giác họ phần nào bị cuốn hút bởi sự chú ý tập trung. Trong 30 năm tới sẽ luôn có những nhóm ghét và cố cản trở AI, giống như trước đây vẫn luôn có những người phản đối smartphone, internet hay TV. Mặt khác, nếu model poisoning thực sự có thể được thực hiện một cách ổn định, thì đó là một bài toán khoa học máy tính rất thú vị. Tôi không định giao du với các nhà hoạt động chống AI, nhưng lại rất quan tâm đến chính các kỹ thuật tấn công, và tôi nghĩ các thảo luận theo hướng đó hoàn toàn đáng để cả những người có lập trường khác đọc
    • Theo tôi thì rốt cuộc chuyện này quy về halting problem. Khi cơ chế làm thay đổi hành vi đã được đo lường được công khai, hệ thống cũng sẽ thay đổi hành vi có tính đến chính cơ chế đó, nên ngay khi phương pháp poisoning được phổ biến rộng rãi, rất có thể nó cũng sẽ sớm được dùng cho việc huấn luyện hoặc lọc để chặn lại. Trừ khi đó là kiểu tấn công làm hỏng cả thông tin, nếu không hiệu quả chỉ tồn tại trong thời gian ngắn; mà nếu quá mạnh thì hệ thống cũng trở nên vô dụng với cả con người. Vì vậy tôi không nghĩ những đòn như vậy sẽ tồn tại lâu, nhưng trong ngắn hạn nó là một đề tài nghiên cứu thú vị, có thể phơi bày bề mặt tiếp giáp thô ráp giữa mô hình và quá trình huấn luyện
    • Tôi nhớ là vài năm trước ở đây đã từng bịa ra một tên game giả rồi đăng nhiều bình luận về nó để poison các mô hình AI trong tương lai. Chỉ là giờ tôi cũng không nhớ tên game đó nữa, và cũng chẳng có hứng bấm More hàng trăm lần để lục lại bình luận cũ
    • Tôi nhìn chung đồng ý, nhưng đôi khi cũng tự hỏi rốt cuộc chúng ta đang sống trong bong bóng đến mức nào, nhất là trong cộng đồng công nghệ và trên những trang như thế này. Mấy tháng gần đây tôi chợt nhận ra bạn bè mình hầu như toàn là người trong ngành công nghệ với mức lương sáu chữ số thuộc nhóm trung-thượng, mà ngay cả họ cũng khá dè dặt trong việc ca ngợi AI. Vậy nên tôi lại càng tò mò người bình thường cảm nhận AI ra sao
    • Tôi đoán là Chinese models có khả năng chống poisoning tốt hơn nhiều, và công chúng Trung Quốc nhìn chung cũng có thiện cảm với AI hơn phương Tây
    • Vậy thì có một tin vui. Nếu nhân loại tuyệt chủng trong vài năm tới vì unaligned superintelligence, thì cộng đồng hoạt động tích cực nhằm ghét và cản trở AI cũng sẽ không còn tồn tại nữa
  • Trớ trêu là tôi còn không vào nổi trang của người đó. Tôi chỉ thấy thông báo Sorry, you have been blocked, bị CloudFlare chặn. Thật mỉa mai khi vừa nói chống AI, vừa dựa vào MITM và những cổng kiểm soát tập trung, đồng thời lại hạn chế người truy cập thật
    • Các dịch vụ chuyên cào dữ liệu web thường quen với việc vượt CloudFlare challenge, nên ngược lại còn vào được những trang kiểu này tốt hơn. Có lẽ thử dùng một dịch vụ như vậy cũng là một cách
    • Tôi cũng bị chặn y hệt. Nhưng tôi xem được qua Wayback Machine
  • Tôi nhớ hồi xưa những vấn đề biểu tượng của giới hacker là DRM, DMCA, patent troll, kiểm soát xuất khẩu PGP và những thứ tương tự. Cốt lõi khi đó là tự do sử dụng thông tin bất cứ lúc nào, và khẩu hiệu là “Information wants to be free”. Thế mà giờ bầu không khí đã đổi thành kiểu nếu doanh nghiệp không thể lấy dữ liệu huấn luyện một cách có đạo đức thì chủ website cũng chẳng có lý do gì phải giúp họ ăn cắp dễ dàng. Tôi thấy sự thay đổi đó thật đáng kinh ngạc. Có lẽ 25 năm trước rất khó mà dự đoán được cú chuyển hướng này
    • Tôi cho rằng đây là chuyện rất điển hình trong một nền văn hóa có cơ chế loại trừ yếu. Họ đã không ngăn được những kẻ muốn thiêu rụi nền văn hóa ấy, rồi cuối cùng vampires được mời vào nhà, xong lại thắc mắc sao cổ mình đau
    • Tôi chưa bao giờ thật sự đồng ý với lập luận xem đây là một mâu thuẫn. Một người muốn mọi người cùng sống tốt khác với một người chỉ có kế hoạch làm giàu cho bản thân và khiến người khác nghèo hơn. Nếu một công ty tận dụng dữ liệu huấn luyện nhưng che giấu hay bóp méo nguồn gốc, đồng thời làm tổn hại khả năng tiếp cận thông tin của người khác, thì việc một người ủng hộ thông tin tự do phản đối cách sử dụng đó là hoàn toàn nhất quán. Trừ khi bản quyền bị xóa bỏ hoàn toàn và mọi sản phẩm sáng tạo trở thành hàng hóa công cộng miễn phí, tôi không thấy cần phải coi đây là sự thay đổi giá trị đột ngột
    • Hồi đó người ta muốn xây dựng sharing economy hay nền kinh tế quà tặng, nhưng lại không lọc được các tác nhân ác ý ra khỏi hệ thống. Vì vậy điều còn lại là cảm giác chua chát khi giấc mơ không tưởng của họ bị những kẻ trục lợi chiếm đoạt, và tôi thấy phản ứng ấy không hề kỳ lạ
    • Theo tôi, cách hiểu xem đây là sự phản bội tinh thần hacker nguyên thủy thì khó đồng tình. “Information wants to be free” chỉ là một phần của đạo đức hacker chứ không phải toàn bộ, và thông tin đặt trên server vốn dĩ không miễn phí từ đầu vì nó kéo theo chi phí về server availability. Tạo ra các cơ chế khiến những tác nhân tham lam phải chịu bất lợi là quyền chính đáng của người vận hành server, đồng thời cũng là một bài toán tit-for-tat thú vị. Hơn nữa, kiểu đối phó bằng poisoning này không phải can thiệp của chính phủ mà là cá nhân tự làm lấy, nên theo tôi lại càng mang tính hacker hơn
    • Theo tôi, khẩu hiệu thực tế gần hơn với “thông tin nên tự do, nhưng chỉ những người tôi hoàn toàn chấp thuận mới được dùng”. Tôi thường có cảm giác thế hệ trẻ ca ngợi văn hóa vi phạm bản quyền, nhưng lại ghét LLM vì piracy theo đúng logic tương tự
  • Tôi thấy đáng tiếc là ý đồ poisoning kiểu này đang bị tiêu tốn theo hướng lệch mục tiêu. Nội dung chưa bị ô nhiễm dùng cho huấn luyện vốn đã đủ nhiều, và phần lớn nội dung mới trong tương lai cũng sẽ được thu thập tự động từ thế giới thực hoặc được sản xuất dưới dạng có kiểm soát chất lượng trong các xưởng quy mô lớn ở châu Phi. Vì vậy bạn có thể làm internet cũ ô nhiễm hơn, nhưng không thể đảo ngược mũi tên thời gian; và về sau internet mới xoay quanh API và các liên minh công bố công khai sẽ càng lớn, khiến tác động của vấn đề này nhỏ đi
    • Nhưng nhìn cách các phòng lab AI tuyệt vọng thế nào trong việc kiếm nội dung internet mới, tôi lại thấy cần nghĩ lại về lập luận đó. Họ lùng sục các walled garden sẵn sàng bán dữ liệu, và trong nhiều trường hợp trông như vẫn muốn lấy ngay cả khi không có sự đồng ý. Dạo này kiểu scraping tinh vi và hung hăng thực sự đã ở mức nghiêm trọng
    • Dù nội dung có nhiều đến đâu, những người thực sự vận hành internet vẫn đang rất vất vả để chặn các AI crawlers không được phép. Trong nhiều trường hợp họ chặn không chỉ để ngăn huấn luyện mà còn để bảo vệ hạ tầng khỏi các đợt request dồn dập. Những crawler này lại không chịu tuân thủ tín hiệu từ chối truy cập, nên với các operator không mong muốn điều đó, poisoning có thể trông như công cụ phòng thủ gần như duy nhất
    • Theo những gì tôi từng đụng tới, đúng là chỉ với loại nội dung ẩn mà mắt người khó thấy nhưng scraper lại tưởng là có liên quan thì khó mà làm ô nhiễm toàn bộ mô hình một cách đáng kể. Nhưng chỉ chừng đó thôi cũng có thể khiến lợi ích ròng mà scraper thu được khi phớt lờ tín hiệu “làm ơn đừng ném bom request vào tôi nữa” giảm xuống 0 hoặc hơi âm. Và bản thân việc triển khai nó cũng là một trò khá vui. Việc rải ký tự ngẫu nhiên rất dễ bị bộ lọc bắt, nhưng trộn nội dung của trang hiện tại với các trang lân cận có thể làm suy yếu liên kết token. Một số scraper còn bỏ cả trang nếu có chửi tục lộ liễu, nên rải những từ như vậy theo cách chỉ bot nhìn thấy cũng có thể hiệu quả. Tất nhiên các cách này vẫn không ngăn được chính sự lãng phí băng thông
    • Như tôi đã nói ở bình luận khác, chỉ riêng việc gần như mọi bot AI đều tin Fortnite là thật cũng cho thấy poisoning bịa đặt hoàn toàn vẫn có thể ăn phần nào
    • Tôi nghĩ cũng phải xét đến model collapse. Trong bối cảnh nội dung do AI tạo ra ngày càng nhiều như hiện nay, bản thân việc có nhiều nội dung chưa chắc đã là lời giải đầy đủ, trong khi đồng thời một lượng dữ liệu khổng lồ đang bị đưa sau các bức tường trả phí hoặc vào trạng thái riêng tư
  • Tôi nghĩ cách dễ nhất để làm phong trào phản kháng AI lớn mạnh là đưa Dario AmodeiSam Altman lên TV để họ tự nói chuyện
    • Nếu có thêm Alex Karp xuất hiện quảng bá vũ khí tự động nữa thì gần như thành bộ ba combo hoàn hảo
    • Tôi muốn nghe thêm vì sao lại nói vậy. Có lẽ là vì cả hai đều không kết nối tốt với người bình thường, động cơ khuyến khích bị lệch, không nói chuyện trực diện như những gì ta mong ở một lãnh đạo doanh nghiệp, và lại có ảnh hưởng còn lớn hơn nhiều nhà cầm quyền được bầu. Tuy vậy, tôi nghĩ nên cẩn thận khi xếp Amodei và Altman vào chung một rọ. Ấn tượng của tôi là Altman quá trau chuốt và quá giỏi, nên lại càng đáng lo; mọi người dường như đi theo con người ông ta hơn là ý tưởng của ông ta, nên có phần thiếu đạo đức. Còn Amodei thì giống một well-meaning geek thuyết phục người khác bằng tính cách và lý tưởng hơn; phản ứng với truyền thông có thể vụng, nhưng ít nhất cho cảm giác ông ấy đang nói bằng chính con người mình. Dĩ nhiên cả hai vẫn còn nhiều điểm đáng phê phán, và tôi tin tập trung quyền lực sẽ dẫn tới tha hóa. Nhưng có một nhận định tôi vẫn muốn để ngỏ: trong giới lãnh đạo doanh nghiệp, Dario có vẻ là người xem alignment nghiêm túc hơn bất kỳ ai, thực sự cấp vốn cho nghiên cứu đó, hiểu nguyên lý của nó, và từng trực tiếp làm việc thực tế với nó — một kiểu CEO rất hiếm
  • Theo tôi, AI là một corporate tool để doanh nghiệp vắt thêm việc từ nhân viên, đồng thời cũng là thiết bị khiến họ tưởng mình đã thành lập trình viên turbo. Ngành công nghệ hiện nay giống một gánh xiếc nồng mùi tiền hơn là một nỗ lực nghiêm túc nhằm cải thiện nhân loại
    • May là tôi nghĩ hầu như không có lập trình viên còn tỉnh táo nào thật sự tin vào ảo tưởng turbo-charged dev đó. Phần lớn chúng tôi đều biết đây về bản chất là một màn kịch kiếm tiền
  • Tôi xem kiểu hành động này rốt cuộc là slacktivism. Tôi phần nào hiểu cách diễn giải rằng lao động của giai cấp công nhân đang bị thay thế bằng compute, mà compute tức là vốn, nên đây là cấu trúc mà giai cấp tư bản bóp nghẹt giai cấp lao động. Thật ra rất có thể giai cấp tư bản cũng đang mong muốn đúng kết quả đó. Nhưng nếu tin như vậy, thì việc làm bẩn mô hình thêm chút ít hầu như không chạm tới bản chất của điều đang diễn ra
  • Tôi thấy xu hướng này đặc biệt rõ trên Reddit. Có những cộng đồng rất thân AI, tới mức gắn bình luận tóm tắt bằng AI vào từng thread và khuyến khích bài viết do AI tạo ra, như r/vibecoding. Cũng có những nơi thận trọng như r/isthisAI, r/aiwars, và những nơi phản đối hẳn như r/antiai. Ngoài ra, các subreddit truyền thống không lấy AI làm chủ đề cũng nằm ở đâu đó trên phổ này; ví dụ có thể thấy sự khác biệt giữa vấn đề nghi ngờ AI trong cộng đồng nhiếp ảnhbầu không khí hoài nghi nhưng vẫn dùng trong cộng đồng dev
    • Tôi cảm thấy rốt cuộc đây chính là kiểu groupthink của Reddit, rộng hơn là của con người. Thay vì xử lý sắc thái tinh tế, người ta có xu hướng nhanh chóng tự đánh dấu mình ở đâu đó trên một trục một chiều, hoặc chui hẳn vào một trong hai phe
  • Điều khiến tôi thấy ngượng hơn cả cơn giận bộc lộ trong blog đó là sự thiếu hiểu biết kỹ thuật thể hiện qua niềm tin nghiêm túc rằng các nỗ lực poisoning như vậy sẽ chẳng gây ra tác động tiêu cực nào lên huấn luyện mô hình
    • Tôi không tự tin đến mức khẳng định poisoning sẽ không hiệu quả. Ít nhất ví dụ Reddit này cho thấy đôi khi thực sự xuất hiện những kết quả kỳ quặc ngoài dự đoán
    • Tôi nghĩ xem bản thân việc thể hiện giận dữ là cringe là một hướng rất nguy hiểm. Nếu gạt toàn bộ cơn giận sang một bên như thứ trẻ con, ta có thể dần rời xa cảm nhận thực tế và cảm quan đạo đức
    • Thành thật mà nói, tôi còn thấy phía bên kia mới cringe hơn. Cái cảnh người ta dùng ChatGPT để viết thay tin nhắn, email, CV, rồi các lập trình viên chuyên nghiệp dựng cả app bằng vibe coding, lại còn rao rằng AGI sắp xuất hiện từ LLM — với tôi đó mới là đỉnh cao của sự ngượng ngùng
  • Tôi không đồng ý với nhận định rằng “các công ty này không thể cải thiện mô hình AI nếu không có dữ liệu mới do con người tạo ra”. self-play đã có từ thời Arthur Samuel những năm 1950, và RL dùng phần thưởng có thể kiểm chứng cho đến nay vẫn là thành tố cốt lõi trong việc huấn luyện các mô hình hàng đầu
    • Tôi cũng không cho rằng câu đó hoàn toàn sai. self-play hoạt động đặc biệt tốt khi bài toán dễ mô phỏng trong môi trường RL và việc khám phá trạng thái tương đối dễ, còn language modeling và các dạng RLHF thì không phải môi trường kiểu đó. Trên thực tế hiện nay vẫn có những công ty thuê lập trình viên hoặc nhà khoa học dữ liệu giải các bài toán ngẫu nhiên để tạo dữ liệu huấn luyện; nếu self-play hiệu quả đến vậy thì khó có lý do để các mô hình kinh doanh như thế tồn tại
    • Trong phạm vi thông tin hiện biết, có vẻ các mô hình hiện đại vẫn chưa thật sự dùng RLVR with self-play một cách nghiêm túc. Thay vào đó, họ dường như chạy RLVR trên các môi trường RL quy mô lớn do con người xây dựng thủ công. Tuy vậy, khả năng cao là họ sẽ sớm chuyển sang self-play, và tôi nghĩ bài viết liên quan của Amplify Partners cũng đáng tham khảo