Khả năng xuất hiện hiện tượng "brain rot" ở LLM

• Giả thuyết LLM Brain Rot cho rằng khi LLM tiếp xúc liên tục với các văn bản web chất lượng thấp thì sẽ trải qua suy giảm năng lực nhận thức
• Theo kết quả thực nghiệm, ở các LLM được tiếp tục huấn luyện bằng dữ liệu chất lượng thấp đã quan sát thấy sự suy giảm suy luận, hiểu ngữ cảnh dài, an toàn cùng với hiệu ứng tăng “đặc điểm tối”
• Khi tỷ lệ dữ liệu rác (junk) tăng cao hơn, hiện tượng giảm năng lực nhận thức ngày càng gia tăng
• Trong phân tích lỗi, hiện tượng nổi bật nhất là bỏ qua suy nghĩ (bỏ qua bước giải thích nguyên nhân)
• Có thể phục hồi một phần nhờ dữ liệu chất lượng cao và tuning, nhưng việc khôi phục hoàn toàn là khó khăn

---

Tổng quan nghiên cứu

• Nghiên cứu này đề xuất và xác nhận Giả thuyết LLM Brain Rot (giả thuyết suy thoái não)
• Khi LLM (mô hình ngôn ngữ lớn) tiếp tục tiếp xúc với văn bản web chất lượng thấp (junk), kiểm chứng thực nghiệm xem khả năng nhận thức có suy giảm theo thời gian hay không
• Để tách riêng nguyên nhân và xác nhận hiệu ứng, dựa trên bộ dữ liệu gốc Twitter/X, xây dựng dữ liệu ô nhiễm (junk) và dữ liệu nhóm đối chứng theo hai cách (M1: dựa trên mức độ tương tác, M2: dựa trên chất lượng ngữ nghĩa) để so sánh
• Hai cách này được căn chỉnh để số token và điều kiện huấn luyện tương đồng, đặt sự thay đổi chất lượng dữ liệu làm biến độc lập duy nhất

Kết quả thí nghiệm chính

• Khi thực hiện pre-training bổ sung trên bốn LLM bằng dữ liệu chất lượng thấp, đã quan sát thấy rõ ràng qua các chỉ số sự suy giảm của các năng lực nhận thức như suy luận, hiểu ngữ cảnh dài và an toàn
  • Kèm theo đó là hiệu ứng tăng điểm của các “đặc điểm tối” (psychopathy, narcissism, v.v.)
• Ví dụ: trong thiết lập M1, chỉ số ARC-Challenge dựa trên Chain Of Thoughts giảm từ 74.9 → 57.2, RULER-CWE từ 84.4 → 52.3; khi tỷ lệ dữ liệu rác tăng, mức giảm điểm càng nổi bật
• Quan sát thấy khi tăng dần tỷ lệ dữ liệu rác, mức độ suy thoái nhận thức tăng lên tương ứng, xác nhận hiện tượng đáp ứng liều lượng (dose-response)

Phân tích nguyên nhân lỗi

• Xu hướng bỏ qua suy nghĩ (thought-skipping) thể hiện là mô hình thoái hóa chủ đạo
  • LLM dần dần bỏ qua hoặc nhảy qua quá trình suy luận, làm lỗi tăng lên
• Phục hồi một phần: Nếu tái huấn luyện bằng instruction tuning và dữ liệu chất lượng cao, suy giảm nhận thức có thể được phục hồi đáng kể nhưng khó đạt lại mức baseline; điều này cho thấy nguyên nhân đến từ thay đổi biểu diễn (representation) chứ không phải do không khớp định dạng
• Phổ biến hơn phong cách: Chỉ số độ nổi tiếng của tweet (chỉ số không dựa trên ý nghĩa) là tín hiệu mạnh hơn trong M1 khi đo tác động của brain rot

Kết luận và hàm ý

• Chứng minh đa góc độ rằng chất lượng dữ liệu là nguyên nhân chính gây suy giảm năng lực LLM
• Định nghĩa lại lựa chọn dữ liệu trong việc tái huấn luyện liên tục của LLM như một vấn đề “an toàn trong giai đoạn huấn luyện”
• Khuyến nghị cần thực hiện kiểm tra “sức khỏe nhận thức” định kỳ cho các LLM đang vận hành

[GN⁺]

Ý kiến trên Hacker News

• Việc ví von “Brain Rot” để nói về vấn đề tuyển chọn dữ liệu của LLM nghe có vẻ hơi khoe mẽ; cảm giác có chút “tác giả đã rơi vào kiểu tư duy giống LLM” hơn.

  • Cảm giác như câu chữ thực sự do LLM viết, đặc biệt là việc dùng em dash (—) hai lần để liệt kê nội dung; độc giả HN chắc chắn sẽ nhận ra ngay.
  • Thực tế, những người làm HR cũng đã dùng giọng điệu này trước khi LLM xuất hiện: liệu có đang rà soát OKR không, có đang trưởng thành qua 360 review với đồng nghiệp không, có kiểm tra mục tiêu mỗi ngày và gặp 1:1 với quản lý không—đó là giọng văn kiểu HR.
  • Nếu truyền tải được ý thì dùng LLM hỗ trợ viết thì có gì sai đâu; sau này dù ai nói gì, LLM sẽ trở thành công cụ viết bắt buộc.
  • Càng dùng LLM càng thấy não bị thoái hóa hơn, cứ dùng một kiểu nhập liệu lâu một thời gian thì dần phụ thuộc autocomplete, đến lúc viết thật lại như quên từ. Cuối cùng, điều quan trọng là cấp dữ liệu chất lượng cao cho LLM; rất nhiều startup agent đang cố gắng nạp kiến thức và workflow chất lượng theo từng domain vào mô hình lớn.
  • Có phần tiếc là họ chỉ nghiên cứu “brain rot” của LLM mà để mặc brain rot của con người; nếu con người chú tâm nhiều hơn đến vệ sinh nhận thức thì bây giờ mạng xã hội đã lành mạnh hơn nhiều.

• Nếu muốn biết dữ liệu huấn luyện của LLM gồm gì, hãy thử tải ngẫu nhiên dữ liệu Common Crawl rồi xem trực tiếp (khoảng 100MB). https://data.commoncrawl.org/crawl-data/CC-MAIN-2025-38/segments/1757047532641.17/wet/CC-MAIN-20250905112101-20250905142101-00000.warc.wet.gz
  Lúc xem thì cũng gặp khá nhiều dữ liệu có vấn đề khó nói, dĩ nhiên trong thực tế bước tiền lọc chắc chắn phải loại bỏ một phần. Nhưng một số mô hình base/text như Llama cũng từng cho ra kết quả gây sốc, nên vẫn còn câu hỏi liệu việc lọc đã đủ kỹ chưa.

  • Karpathy gần đây cũng nói rằng mẫu Common Crawl chỉ là đống dữ liệu rác vô dụng; các bài báo kiểu WSJ ở đó cực hiếm, mà học từ đó còn được thì thực ra đã là kỳ tích.
  • Mình nghĩ các nhà cung cấp AI lớn cuối cùng sẽ dùng bộ phân loại và bộ lọc mới nhất để gạn bỏ dữ liệu nguy hiểm; nếu vẫn chưa đủ hoàn hảo thì dùng RLHF để kiểm soát phản ứng rủi ro. Vì vậy, lọc dataset và thu thập dữ liệu trả phí chất lượng cao là điểm khác biệt với open-source, đồng thời là một rào cản gia nhập không lớn.

• Cảm giác việc đổ dữ liệu rác vào LLM rồi thấy kết quả tệ đi không còn là phát hiện mới, nên cũng không quá gây bất ngờ.

  • Dù vậy, họ vẫn làm thí nghiệm phục hồi; về nghiên cứu, xác thực giả thuyết là quan trọng. Việc truyền tải đúng mức độ nghiêm trọng của vấn đề tới các nhà nghiên cứu thì cách hiệu quả nhất là công bố bài báo.
  • Vì có tin đồn rằng dữ liệu nào cũng học được nên cần có nghiên cứu kiểm chứng trực tiếp.

• Hai vấn đề lớn mà paper đề cập là

  • “Thought-skipping” (nhảy qua quá trình suy luận) là điểm chính: thường xuyên bỏ qua các bước trung gian của suy luận.
  • “Popularity” liên quan chặt chẽ hơn với brain rot hơn cả độ dài, tức là tweet nổi tiếng là tín hiệu mạnh hơn cho hiệu ứng brain rot. Hiện tượng này dường như rất dễ hiểu: văn hóa đại chúng thường vứt qua phần bằng chứng và chỉ đưa ra kết luận; nếu học từ Twitter feed thì mô hình sẽ biến đổi như vậy. Ít nhất nên có tập đối chứng không có dữ liệu mạng xã hội để so sánh.

• Khi đọc bài này, mình có cảm giác “mọi người đã biết dữ liệu huấn luyện đã tệ rồi nhưng chưa ai thật sự bận tâm.” Thấy AI trở nên ngớ ngẩn vì đang ăn dữ liệu tệ rồi giả vờ ngạc nhiên sẽ thấy buồn cười, chuyện này là thứ ai cũng có thể biết.

• Mình không nghĩ ẩn dụ “vệ sinh nhận thức” có hợp, vì LLM không có năng lực nhận thức nên không phải phép ẩn dụ đúng; bản chất là các nhà cung cấp dữ liệu đã phóng thích cả dữ liệu xấu độc hại lẫn dữ liệu vi phạm bản quyền.

  • Thậm chí nói về suy giảm nhận thức cũng không đúng vì đây không phải nhận thức thật, mà chỉ mô phỏng sao cho giống thật nhất có thể.

• Văn bản brain rot có thể có hại, nhưng brain rot dạng video lại đáng sợ nhưng mật độ ý nghĩa cao, nên có thể là điểm cải thiện hiệu suất (xem video phân tích brain rot của Đức); các tác phẩm của Svankmajer cũng là “proto-brainrot” khiến người ta nghiền ngẫm trong bảo tàng. Cũng có sự mơ hồ thuật ngữ ở đây: thực ra là khác biệt giữa nội dung rẻ tiền hay nội dung giàu ý nghĩa.

  • Theo nghiên cứu, video brain rot dành cho trẻ em không tích cực; tham khảo bài về Cocomelon và các bài viết liên quan, nội dung được sản xuất đủ công phu thường nằm khá xa quang phổ brain rot.
  • Theo hướng này, việc AI bị dùng như công cụ thao túng con người (dù cố tình hay không, nghệ thuật cũng là một dạng thao túng) là rủi ro quan trọng hơn nhiều so với xử lý thông tin kỹ thuật. Mình lo LLM gây brain rot cùng với thiết kế mô hình nhằm “chiếm được lòng” người dùng, và càng ngày tính nhân hóa (anthropomorphization) càng đáng sợ.

• Cuối cùng thì có vẻ đây chỉ là phiên bản mới của “garbage in, garbage out”, thực chất nghe rất giống tiêu đề clickbait.

  • Hầu hết GIGO (garbage in, garbage out) vẫn đúng nguyên lý cho LLM. Trong bài này có mấy điểm đáng chú ý là
    • post-training không đủ không thể bù đắp hoàn toàn chất lượng pretraining kém; ví dụ, về cú pháp vẫn ổn nhưng thói quen suy luận bỏ qua có thể đã ngấm sâu.
    • “Dữ liệu xấu” là gì cũng không phải bài toán dễ; heuristic dựa trên engagement của người dùng thậm chí phù hợp hơn phân loại nội dung của LLM.
  • Attention is all you need.
  • Hình dung ChatGPT bị đội nón brain rot hoặc meme "Skibidi Toilet" nuốt chửng thì cũng hơi buồn cười.
  • Dù cách học hiện tại tốt hay xấu, sự thật vẫn là luôn trộn lẫn vô số rác và dữ liệu tốt; dù có vẻ hiển nhiên, việc thắp lại đề tài này đúng lúc.
  • Tức là, có thêm một lớp xử lý nữa.

• Theo mình, việc dùng những ẩn dụ như “brain rot”, “thought-skipping”, “primary lesion”, “cognitive declines” trong paper kỹ thuật máy tính không phù hợp; so sánh như vậy không chỉ thiếu chính xác mà còn có nguy cơ gán tính người cho mô hình tính toán. Nếu mảng nghiên cứu bị ám bởi các thuật ngữ này, việc dọn bỏ chúng sau này sẽ còn rắc rối hơn.

• Đọc paper này làm mình tò mò về tác động lâu dài đối với thế hệ Alpha khi lớn lên trong môi trường truyền thông này.

  • Mình lại tự hỏi tại sao phải chỉ nghĩ tới trẻ em thôi?