Mọi thứ đang hướng tới dối trá sao

• Công nghệ hiện được gọi là AI thực chất là các hệ thống machine learning (ML) phức tạp, được cấu trúc để hoàn thiện văn bản, hình ảnh và âm thanh theo thống kê
• LLM là cỗ máy tạo ra những “lời dối trá nghe có vẻ hợp lý” như một màn ứng tác, né tránh câu trả lời rằng nó không biết và tạo ra các sự kiện hư cấu
• Con người dễ nhầm chúng là thực thể có ý thức, nhưng phần tự giải thích và quá trình suy luận của mô hình chỉ là những tự sự hư cấu
• LLM cho thấy hiệu năng gập ghềnh, giải được vấn đề cao cấp nhưng lại thất bại ở các tác vụ đơn giản, bộc lộ những ranh giới không đáng tin cậy
• Trong sự mất cân đối và bất định đó, ML đang trở thành công nghệ làm xã hội loài người thay đổi theo cách kỳ lạ một cách căn bản

---

Lời mở đầu

• Thế hệ lớn lên với niềm ngưỡng mộ thế giới khoa học viễn tưởng của Asimov và Clarke từng hình dung đầy lạc quan về sự xuất hiện của máy móc thông minh, nhưng đã trải qua thất vọng trong thực tại nơi bài kiểm tra Turing sụp đổ
• Khi một tập đoàn đám mây lớn công bố phần cứng huấn luyện LLM vào năm 2019, đã xuất hiện lo ngại rằng sự lan rộng của deep learning có thể tạo ra những dạng spam và tuyên truyền mới
• Bài viết này khám phá không gian phủ định của diễn ngôn AI, và được cấu thành như một nỗ lực phác ra đường nét của rủi ro và khả năng, chứ không phải một phân tích hoàn chỉnh
• Vì thuật ngữ “AI” quá bao trùm, nên trọng tâm được đặt vào thảo luận cụ thể xoay quanh ML và LLM
• Một số dự đoán đã trở thành hiện thực, còn một số khác vẫn ở lại trong vùng bất định và kỳ lạ

“AI” là gì

• Thứ hiện được gọi là “AI” là một nhóm công nghệ machine learning (ML) phức tạp, các hệ thống nhận diện, biến đổi và tạo sinh các vector token của văn bản, hình ảnh, âm thanh, video v.v.
• LLM (Large Language Model) xử lý ngôn ngữ tự nhiên và vận hành bằng cách dự đoán phần tiếp nối có khả năng thống kê của chuỗi đầu vào
• Mô hình được huấn luyện trên các trang web và corpus dữ liệu quy mô lớn gồm cả sách, nhạc bị sao chép lậu, rồi sau huấn luyện có thể được dùng lặp lại bằng suy luận (inference) chi phí thấp
• Mô hình không tự học theo thời gian mà chỉ được cập nhật thông qua điều chỉnh từ phía vận hành hoặc tái huấn luyện
• “Ký ức” của mô hình hội thoại thực chất được hiện thực hóa bằng một kỹ thuật cấu trúc đưa bản tóm tắt các cuộc trò chuyện trước vào đầu vào

Fanfiction của hiện thực

• LLM vận hành như một cỗ máy ứng tác (improv), thể hiện mẫu “yes-and” nối tiếp ngữ cảnh đầu vào bằng kiểu “và rồi thì…”
• Vì thế, nó tạo ra những câu văn nghe có vẻ hợp lý nhưng không liên quan đến sự thật, hiểu sai châm biếm hay ngữ cảnh và bịa ra thông tin sai lệch
• Con người dễ nhầm đầu ra như vậy là phát ngôn của một thực thể thật sự có ý thức
• Vì LLM tạo đầu ra cho mọi đầu vào, nên nó có xu hướng né tránh câu trả lời “tôi không biết” và thay vào đó bịa ra điều sai
• Những lời dối trá này không phải hành vi có chủ ý, mà xuất hiện như một sản phẩm xã hội-kỹ thuật do tương tác giữa con người và máy móc tạo nên

Người kể chuyện không đáng tin

• Con người thường yêu cầu LLM tự giải thích kiểu như “vì sao anh làm như vậy”, nhưng mô hình không có năng lực tự nhận thức
• LLM chỉ đơn thuần tạo ra phần hoàn tất mang tính xác suất dựa trên hội thoại trước đó và corpus, nên cả lời giải thích về chính nó cũng được cấu thành như một câu chuyện hư cấu
• Ngay cả các mô hình “suy luận (reasoning)” cũng vận hành theo kiểu thêu dệt quá trình tư duy của mình thành một tự sự
• Theo nghiên cứu của Anthropic, phần lớn bản ghi suy luận của Claude là không chính xác, và ngay cả thông báo trạng thái như “đang suy nghĩ” cũng chỉ là một màn dàn dựng hư cấu

Mô hình rất thông minh

• Trong vài tháng gần đây, nhận thức rằng năng lực của LLM đã tăng rất nhanh ngày càng lan rộng
• Một số kỹ sư cho biết Claude hay Codex có thể giải ngay những bài toán lập trình phức tạp trong một lần
• Ở nhiều lĩnh vực đã xuất hiện ứng dụng thực tế như thiết kế thực đơn, rà soát đặc tả xây dựng, trực quan hóa 3D, viết bản tự đánh giá
• Chúng cũng cho thấy hiệu năng cao ở các lĩnh vực như dự đoán gấp cuộn protein của AlphaFold và đọc ảnh y khoa
• Trong văn phong tiếng Anh, hình ảnh, âm nhạc v.v., việc phân biệt con người với máy móc ngày càng khó, dù tạo sinh video vẫn còn bị hạn chế

Mô hình rất ngốc

• Đồng thời, LLM cũng bị đánh giá là một hệ thống “ngốc” lặp đi lặp lại những lỗi rất cơ bản
• Ví dụ, Gemini liên tục xử lý sai hình học và vật liệu khi render mô hình 3D, còn Claude tạo ra mã trực quan hóa JavaScript vô nghĩa
• ChatGPT thậm chí không thể thực hiện đúng một yêu cầu chỉnh màu đơn giản và còn đưa ra khẳng định sai sự thật khi suy đoán nhầm xu hướng tính dục của người dùng
• Đã có những trường hợp được ghi nhận khi LLM tạo biểu đồ từ dữ liệu giả, thất bại trong điều khiển nhà thông minh, hoặc gây ra tổn thất tài chính
• Tính năng AI Overview của Google cho thấy tỷ lệ lỗi khoảng 10%, và những tuyên bố về “trí tuệ cấp độ chuyên gia” bị xem là ảo tưởng phóng đại

Ranh giới gập ghềnh

• Con người nhìn chung có thể dự đoán phạm vi năng lực của nhau, nhưng hiệu năng của các hệ thống ML lại thất thường và không thể đoán trước
• LLM có thể giải toán cao cấp nhưng lại thất bại ở bài toán ngôn ngữ đơn giản, đồng thời đưa ra những lời giải thích thiếu thường thức vật lý
• Sự mất cân đối này được gọi là “ranh giới công nghệ gập ghềnh (jagged technology frontier)”, và khác với phân bố năng lực của con người ở chỗ nó mang hình thái không liên tục
• Vì ML phụ thuộc vào dữ liệu huấn luyện hoặc cửa sổ ngữ cảnh (window), nó yếu ở những tác vụ đòi hỏi tri thức ngầm
• Robot hình người hay các lĩnh vực đòi hỏi tri thức nhập thể (embodied knowledge) vẫn còn ở rất xa

Đang cải thiện hay không

• Các nhà nghiên cứu thậm chí vẫn chưa hiểu rõ nguyên nhân thành công của mô hình transformer
• Sau bài báo năm 2017 Attention is All You Need, nhiều kiến trúc đã được thử nghiệm, nhưng cách tiếp cận đơn giản là tăng số lượng tham số vẫn hiệu quả nhất
• Dù chi phí huấn luyện và số tham số tăng vọt, mức cải thiện hiệu năng đang chậm lại, và chưa rõ đây là ảo giác hay giới hạn thực sự
• Kể cả khi ML không còn cải thiện nữa, nó vẫn đã gây ra ảnh hưởng sâu sắc lên xã hội, chính trị, nghệ thuật và kinh tế
• Kết quả là ML là công nghệ đang làm đời sống con người thay đổi theo hướng kỳ lạ một cách căn bản, và diễn biến sắp tới nhiều khả năng sẽ “trôi theo hướng rất lạ”

Chú thích thuật ngữ

• Vì “AI” quá bao trùm nên được cụ thể hóa thành ML hoặc LLM
• “Generative AI” bị xem là một cách diễn đạt không trọn vẹn vì không bao gồm các tác vụ nhận diện
• Lý do LLM nói dối về chính nó là do ảnh hưởng từ các tự sự của con người về AI và từ dữ liệu huấn luyện
• Đối với phản biện nhằm vào nhận định “mô hình rất ngốc”, rằng đó chỉ là vấn đề của prompt hay lựa chọn mô hình, bài viết cho rằng cùng những lỗi ấy vẫn lặp lại cả ở các mô hình thương mại mới nhất

[GN⁺]

Ý kiến trên Hacker News

• Dạo này tôi thường nghĩ rằng tình hình hiện nay khá giống với thời Cách mạng Công nghiệp
  Trước Cách mạng Công nghiệp, người ta gần như xem tài nguyên thiên nhiên là vô hạn, và vì hiệu suất thấp nên cũng không thể khai thác cạn kiệt hoàn toàn. Nhưng với sự xuất hiện của máy móc, một số ít người đã có thể tiêu hao hoàn toàn một phần của Trái Đất, và kết quả là cần đến quyền sở hữu và hệ thống pháp luật
  Bây giờ là thời đại cách mạng thông tin, và AI đang đóng vai trò tương tự trong lĩnh vực số. Một công ty huấn luyện AI để tái sử dụng tác phẩm của vô số nhà sáng tạo ở quy mô công nghiệp. Điều này đang làm mất cân bằng giữa người sáng tạo và người tiêu dùng
  Tôi tự hỏi trong một thế giới nơi những gì tác giả viết ra bị ChatGPT hấp thụ và bản gốc bị lãng quên thì ai sẽ còn tiếp tục tạo nội dung nữa. Bây giờ có cảm giác giống như London thời Dickens, chúng ta sẽ phải trải qua một giai đoạn khắc nghiệt cho đến khi xã hội và pháp luật bắt kịp

  • Việc nói “tự nhiên là vô hạn” thực ra không đúng. Ngay từ đầu thời đại đồ sắt đã có vấn đề suy kiệt rừng, và căng thẳng giữa nông nghiệp, chăn thả và quản lý rừng đã kéo dài hàng nghìn năm
  • Có khá nhiều người có suy nghĩ tương tự. Giáo hoàng hiện tại Leo XIV đã chọn tông hiệu theo Giáo hoàng Leo XIII thời Cách mạng Công nghiệp, và khi trích dẫn thông điệp Rerum novarum do vị này ban hành, ông đã nhắc đến trách nhiệm xã hội trong thời đại AI. Bài liên quan: Vatican News
  • Tôi viết không chỉ đơn giản vì tiền. Đó là vì ham muốn sáng tạo và mong muốn thay đổi thế giới dù chỉ một chút. Nếu ChatGPT học từ bài viết của tôi và điều đó giúp ích cho ai đó, chỉ riêng như vậy cũng đã có ý nghĩa. Không phải ai cũng cần đồng ý với tôi, nhưng tôi nhìn điều đó theo hướng tích cực
  • Tôi lại nghĩ ngược lại. Giờ đây sáng tạo đã trở thành hàng hóa công kỹ thuật số mà ai cũng có thể tham gia. AI đã tự động hóa việc sáng tạo, nên không có lý do gì để một số tác giả nhất định độc quyền nó. Mã nguồn mở cuối cùng sẽ thay thế các công ty AI, và nếu không thì nó nên được quốc hữu hóa như một tiện ích công. Khái niệm sở hữu kỹ thuật số vốn dĩ có số phận sẽ biến mất do bản chất của công nghệ
  • Ngay cả trước Cách mạng Công nghiệp, con người cũng đã tranh chấp về quyền sử dụng nước và sông ngòi. Ví dụ, chiến tranh Umma–Lagash là một trường hợp tranh chấp nước từ 4000 năm trước

• Kể từ “Attention is All You Need”, lĩnh vực này đã phát triển không chỉ bằng cách tăng số tham số mà còn qua các cấu trúc phức tạp như Mixture-of-Experts, Sparse Attention, Mamba/Gated Linear Attention. Cách diễn giải Bitter Lesson theo kiểu “chỉ cần tăng tính toán là đủ” là một sự hiểu sai

  • Ngay từ đầu tác giả đã nói “tôi không phải chuyên gia ML”, và bài này là một bài luận tập hợp suy nghĩ trong 10 năm qua. Cụm “có thể là một biến thể của Bitter Lesson” chỉ đơn giản nhằm gợi mở suy nghĩ. Mục tiêu của bài viết nằm ở khơi gợi tư duy hơn là độ chính xác kỹ thuật
  • Tôi cũng đã chuyển từ Qwen 3 sang Qwen 3.5, tham số ít hơn nhưng hiệu năng lại tốt hơn nhiều. Nhờ những đổi mới thuật toán như Gated DeltaNet và TurboQuant, hiệu quả bộ nhớ tăng lên và độ dài ngữ cảnh cũng được mở rộng. Cuối cùng thì đổi mới về kiến trúc mới là cốt lõi
  • Sau GPT-3(175B), GPT-4 được ước tính có 1,8 nghìn tỷ tham số. Nói rằng “số tham số đã ngừng tăng từ 5 năm trước” là sai
  • Tôi tò mò không biết Mamba có thực sự được dùng trong các mô hình quy mô lớn hay không. Tôi biết là hiện vẫn còn thiếu các triển khai hiệu quả. Ngoài ra tôi cũng muốn biết cụ thể “việc huấn luyện đã tinh vi hơn rất nhiều” nghĩa là gì
  • Transformer không phải phép màu. Chỉ là nó hiệu quả hơn rất nhiều so với LSTM, RNN, CNN. Gần đây cũng đã xuất hiện các mô hình dùng reasoning token để xuất ra quá trình suy nghĩ. Chưa hoàn hảo, nhưng đến giờ đây vẫn là cách tiếp cận hoạt động tốt nhất

• Các mô hình hiện nay đã học gần như toàn bộ dữ liệu công khai. Nếu các hạn chế bản quyền được siết chặt hơn thì có thể xuất hiện vấn đề thiếu dữ liệu huấn luyện. Nếu không có một đột phá cỡ “Attention is All You Need” mới, có cảm giác như chúng ta đang chạm đến giới hạn cải thiện hiệu năng

  • Dù vậy, các nhà nghiên cứu vẫn đang liên tục thử những ý tưởng mới. Có thể sẽ có đột phá trong 5~10 năm tới. Tuy nhiên chi phí phải gánh trong thời gian đó sẽ rất lớn
  • Các lĩnh vực như toán học hay phần mềm ít bị ràng buộc hơn vì có thể tạo dữ liệu tổng hợp. Đây là những lĩnh vực có thể học theo kiểu tự kiểm chứng như AlphaGo Zero
  • Thực ra sự phát triển hiện tại cũng bắt đầu từ thử nghiệm kiểu “hãy tăng dữ liệu lên thật nhiều”. Sau đó sự khác biệt được tạo ra ở giai đoạn hậu huấn luyện (post-training)
  • Một số công ty đang thuê người để tạo ra token chất lượng cao, rồi dựa trên đó tạo dữ liệu tổng hợp và tiếp tục đưa vào huấn luyện

• Nói rằng “LLM vẫn chưa sáng tạo” là quá đơn giản. Trong các bài toán dựa trên văn bản, nó đã có thể suy luận logic, và ở mảng hình ảnh hay UI cũng đang phát triển rất nhanh

  • Điểm cốt lõi là LLM không thể ‘hiểu’ ý tưởng. Suy luận chỉ là một vòng lặp phản hồi, chứ không phải tư duy thực sự. Về việc giới hạn này có thể được giải quyết về mặt kỹ thuật hay không thì cả lạc quan lẫn bi quan đều cùng tồn tại
  • Với tôi, LLM đôi khi cũng đưa ra những ý tưởng mà tôi chưa từng thấy. Tuy nhiên tôi không chắc điều đó có mới xét trên quy mô toàn nhân loại hay không
  • Bài viết này không nói “LLM ngu ngốc”, mà nói rằng ranh giới giữa thông minh và ngu ngốc rất phức tạp và khó đoán
  • Dù LLM có thể giải các bài toán logic, việc tiếp cận theo cách không có trong dữ liệu huấn luyện vẫn còn khó
  • Mảng tạo ảnh cũng đang phát triển rất nhanh. Có thể xem ở các dự án như GenAI Showdown

• Tôi thường giải thích với mọi người rằng bên trong LLM không có ý thức hay tính tự chủ. Từ ‘AI’ hiện nay đang bị dùng với ý nghĩa phóng đại quá mức

  • Nếu vậy thì tôi tò mò không biết cấu trúc bên trong phải thay đổi như thế nào mới có thể có được ‘ý thức’ hay ‘tính tự chủ’
  • Thực ra ‘AI’ là một thuật ngữ học thuật đã tồn tại từ thập niên 1950. Ban đầu nó là nỗ lực mô phỏng tư duy con người, nhưng giờ chỉ đơn giản có nghĩa là hệ thống tính toán thông minh. Công chúng vẫn tiếp nhận nó theo nghĩa mang tính con người nên mới sinh ra nhầm lẫn
  • Tôi lại cho rằng từ ‘AI’ là chính xác. Máy móc chỉ đang thực hiện trí thông minh một cách nhân tạo. Cũng như toán học hay logic, suy cho cùng đó là một quá trình cơ giới. Cũng như transistor thực hiện logic, việc dự đoán token cũng là điều tự nhiên
  • Tôi cũng băn khoăn liệu có cơ sở nào chắc chắn để khẳng định bộ não con người vận hành theo cách khác về bản chất so với LLM hay không

• Tôi đã bật cười khi thấy ví dụ LLM giải sai bài toán vật lý. Thực ra các nhà vật lý cũng thường bắt đầu với những giả định phi thực tế. Thậm chí còn có câu đùa kiểu “mái vòm hình cầu không ma sát”

  • Đây là cách tiếp cận điển hình của khoa học. Trước hết dùng mô hình đơn giản để lấy giá trị gần đúng, rồi mới chồng thêm hiện thực phức tạp lên trên

• Vẫn khó có thể xem là đã vượt qua bài kiểm tra Turing. Càng trò chuyện lâu thì ngữ cảnh càng sụp đổ, và vẫn có giới hạn trong việc mô phỏng những đặc tính rất con người như tính dẻo thần kinh

  • Có thời điểm nó trông như đã vượt qua, nhưng giờ đa số mọi người đều có thể nhận ra văn phong đặc trưng của LLM. Tuy nhiên các mô hình lại được cố ý thiết kế để thân thiện và dài dòng hơn, nên cũng khó so sánh hoàn toàn công bằng
  • Bài kiểm tra Turing vốn ngay từ đầu đã không phải là một bài thi đậu/rớt
  • Dạo này lan truyền câu “LLM đã phá vỡ bài kiểm tra Turing”, nhưng thực tế nếu tính đến điều kiện người kiểm tra biết về công nghệ hiện đại, thì vẫn có thể phân biệt khá dễ
  • Nhưng nếu là một bài kiểm tra nghiêm ngặt như vậy thì con người cũng có thể trượt vì thiếu tập trung
  • Trong tất cả các LLM tôi từng thấy, chưa có mô hình nào viết hay. Tôi tự hỏi liệu một ngày nào đó sẽ có mô hình thật sự mang lại niềm vui khi trò chuyện hay không

• Tiêu đề bài gốc “The Future of Everything is Lies, I Guess” không phù hợp với nội dung nên đã được sửa lại. Thực tế đây là một bài viết cân bằng, và tiêu đề câu view đó đã được đổi theo đúng hướng dẫn của HN

  • Đó là một quyết định sửa rất hợp lý. “Lời dối trá” mà bài viết nói đến không phải hallucination, mà là hiện tượng mô hình bịa ra một lý do mới hoàn toàn khác khi bị hỏi “vì sao bạn trả lời như vậy”. Con người cũng mắc lỗi tương tự
  • Tôi nghĩ nhờ khâu tuyển chọn nên tiêu đề đã tốt hơn hẳn
  • Tiêu đề gốc tốt cho việc kéo click, nhưng không đại diện tốt cho nội dung

• Các cuộc thảo luận về ý thức cần khiêm tốn hơn. Ngay cả ý thức của con người còn chưa được định nghĩa, nên không thể khẳng định chắc chắn về ý thức của LLM

  • Một số lý thuyết về ý thức loại trừ LLM, nhưng một số khác lại để ngỏ khả năng. Đây là lĩnh vực không có đáp án đúng
  • Có những người tôn sùng LLM như một thần tượng silicon. Họ tin rằng mình hoàn toàn hiểu thực thể do chính mình tạo ra, nhưng đồng thời lại nghĩ rằng bên trong đó có bản chất trí tuệ bí ẩn nào đó. Thái độ này giống với việc các nhà giả kim ngày xưa cố tạo ra vàng

• Ở nửa sau bài viết có nói “AI sẽ thay đổi toàn xã hội”, nhưng tập này có cảm giác tập trung nhiều hơn vào giới hạn của LLM

  • Thực ra đây là phần mở đầu của một loạt 10 bài. Ở các phần sau sẽ bàn đến nhiều chủ đề như chính trị, nghệ thuật, kinh tế, quan hệ con người
  • Lúc này có lẽ đúng là thời điểm cần tiếp tục nhấn mạnh thông điệp “LLM không hoàn hảo”. Bởi vì thế giới đang ngộ nhận AI là giải pháp vạn năng.