- Nhận định rằng LLM chỉ là vẹt ngẫu nhiên đơn thuần gần như đã biến mất trong năm 2025, và phần lớn mọi người đã thừa nhận rằng tồn tại các biểu diễn nội tại về ý nghĩa của prompt và hướng phản hồi
- Chain of Thought (CoT) đã trở thành kỹ thuật cốt lõi giúp cải thiện chất lượng đầu ra của LLM, thông qua sự kết hợp giữa lấy mẫu trong biểu diễn của mô hình và học tuần tự token bằng học tăng cường
- Học tăng cường sử dụng phần thưởng có thể kiểm chứng đã mở ra khả năng mở rộng vượt qua giới hạn về số lượng token, và lĩnh vực này được dự đoán sẽ trở thành hướng phát triển cốt lõi tiếp theo của AI
- Mức độ phản kháng đối với hỗ trợ lập trình dựa trên LLM đã giảm mạnh, và hình thức sử dụng đang tách thành kiểu cộng tác qua giao diện web và kiểu tác tử lập trình độc lập
- Nghiên cứu các lựa chọn thay thế Transformer và khả năng AGI đang diễn ra song song, cùng với quan điểm nổi lên rằng nhiều kiến trúc khác nhau có thể độc lập đạt tới trí tuệ tổng quát
- Trong thời gian dài đã tồn tại lập luận cho rằng LLM là cỗ máy xác suất (stochastic parrots) với 2 đặc điểm là không hiểu ý nghĩa
- 1. Hoàn toàn không có thông tin về ý nghĩa của prompt
- 2. Cũng hoàn toàn không có thông tin về việc bản thân sẽ nói gì
- Khi các thành tựu chức năng và bằng chứng khoa học liên tục tích lũy, quan điểm này dần mất sức thuyết phục, và đến năm 2025 thì nhận định đó gần như đã biến mất
- Chain of Thought (CoT) hiện đã trở thành kỹ thuật cốt lõi để cải thiện hiệu năng của LLM
- Hiệu quả của CoT đến từ việc đưa thông tin và khái niệm liên quan vào ngữ cảnh để cho phép lấy mẫu trong không gian biểu diễn nội bộ của mô hình, tức là tìm kiếm bên trong
- Khi kết hợp với học tăng cường, mô hình học được quá trình hội tụ về câu trả lời hữu ích bằng cách sắp từng token một và thay đổi trạng thái mô hình
- Quan điểm trước đây cho rằng giới hạn của scaling được quyết định bởi số lượng token không còn đúng nữa
- Việc đưa vào học tăng cường dựa trên phần thưởng có thể kiểm chứng (RLVR) đã mở rộng phạm vi của scaling
- Với các tác vụ có tín hiệu phần thưởng rõ ràng như cải thiện tốc độ chương trình, về mặt lý thuyết có khả năng cải thiện liên tục trong thời gian dài
- Những cải tiến trong học tăng cường áp dụng cho LLM sẽ trở thành công nghệ cốt lõi của AI thế hệ tiếp theo
- Mức độ phản kháng của các nhà phát triển với lập trình có AI hỗ trợ đã giảm thấy rõ
- Dù LLM vẫn có lỗi, khả năng cung cấp mã hữu ích và gợi ý đã được cải thiện đáng kể
- Khi hiệu quả so với mức đầu tư trở nên rõ ràng, ngay cả những lập trình viên hoài nghi cũng bắt đầu sử dụng
- Cùng tồn tại cả cách dùng LLM như một đồng nghiệp qua giao diện web lẫn như một coding agent độc lập
- Sau Transformer, nhận thức rằng vẫn có thể có một đột phá khác đang lan rộng trong một bộ phận các nhà khoa học AI nổi tiếng
- Các nhóm và công ty khám phá phương án thay thế Transformer, biểu diễn ký hiệu tường minh (symbolic representation), và world model đang xuất hiện
- Có quan điểm cho rằng LLM là cỗ máy khả vi được huấn luyện trong một không gian có thể xấp xỉ các bước suy luận rời rạc
- Có thể đạt tới AGI thông qua LLM ngay cả khi không có một mô hình nền tảng hoàn toàn mới
- Có khả năng đạt tới trí tuệ nhân tạo tổng quát (AGI) một cách độc lập thông qua nhiều kiến trúc khác nhau
- Cũng có ý kiến cho rằng Chain of Thought đã làm thay đổi bản chất của LLM
- Có hiện tượng những người trước đây đánh giá LLM là hạn chế đã thay đổi lập trường sau CoT
- Họ nói rằng vì CoT mà LLM đã hoàn toàn khác đi, nhưng điều đó là sai
- Nó vẫn là cùng một kiến trúc và cùng mục tiêu token kế tiếp, còn CoT vẫn chỉ là cách token được sinh ra từng cái một như cũ
- Bài kiểm tra ARC, từng được dùng để kiểm chứng giới hạn của LLM, giờ đây đã chuyển thành một thước đo chứng minh hiệu năng của LLM
- Không giống giai đoạn đầu, bài kiểm tra ARC không còn bị xem là nhiệm vụ bất khả vượt qua nữa
- Các mô hình nhỏ được tối ưu cho tác vụ cụ thể đã đạt kết quả có ý nghĩa trên ARC-AGI-1
- Với kiến trúc mà nhiều người từng nghĩ sẽ không thể tạo ra kết quả, người ta đã đạt thành tích ấn tượng trên ARC-AGI-2 bằng cách tận dụng LLM lớn và CoT ở quy mô rộng
- Trong 20 năm tới, thách thức căn bản nhất mà AI phải đối mặt sẽ là tránh được sự tuyệt chủng của loài người
2 bình luận
Xem cùng với bài tổng kết thường niên về LLM năm 2025 của Andrej Karpathy thì sẽ rất hay.
Ý kiến trên Hacker News
Dù LLM đã trở nên cực kỳ hữu ích với kỹ sư phần mềm, điều đáng sợ là xã hội nói chung đang tin vào đầu ra của nó đến mức nào
Lập trình viên có thể chạy code để kiểm chứng tính hữu dụng ngay lập tức, nhưng người bình thường thường tin ảo giác (hallucination) là sự thật trong các lĩnh vực khó kiểm chứng như y tế hay tư vấn cuộc sống
Khi thấy trích dẫn giả hoặc tin giả ảnh hưởng đến quyết định thực tế, tôi cảm giác mọi người đang phớt lờ vấn đề trách nhiệm giải trình (accountability)
Trong thực tế, không ai có thể hỏi bác sĩ mười lần mỗi ngày, còn LLM có thể đưa ra câu trả lời ở mức 80~90% ngay lập tức
Nó tốt hơn Google Search, và trên hết LLM không lừa đảo hay theo đuổi lợi ích riêng
Không hoàn hảo, nhưng là một phương án thay thế đủ dùng
Tuy vậy, đa số mọi người hầu như không có cơ hội nói chuyện với chuyên gia thực sự, và LLM nhiều khi còn tốt hơn blog hay forum một bậc
Tương tự với tư vấn y tế, nếu xét đến thực tế khả năng tiếp cận chuyên gia thấp, dùng LLM không hẳn là điều xấu
Hiện tại LLM vẫn cố đưa ra thông tin tương đối đáng tin, nhưng điều đáng sợ là thế giới ngày càng hỗn loạn và việc nắm bắt tình hình thực tế ngày càng khó hơn
Liên kết bài báo
Mọi chuyện kết thúc bằng một lời xin lỗi, nhưng tôi tự hỏi đã có bao nhiêu thông tin sai lệch ảnh hưởng đến các quyết định thực tế rồi
Search engine truyền thống khác với LLM ở chỗ nó không gây áp lực buộc bạn phải “merge PR”
Với góc nhìn của người đã code hơn 30 nghìn giờ, tôi thấy LLM thường tạo ra code tệ nhưng vẫn cực kỳ hữu ích
Bí quyết là phải biết mình cần làm gì ngay cả khi không có LLM
Cuối cùng rồi cũng sẽ đến lúc phải khớp với cấu trúc chi phí thực tế
Bạn chỉ cần ném bài toán vào đó, làm việc khác, rồi quay lại xem kết quả
Nếu đầu vào cũng đòi hỏi nhiều công sức thì nó đã không hữu ích đến vậy
Rốt cuộc, ở trạng thái mặc định thì nó yếu, nhưng nếu định nghĩa bài toán tốt thì nó trở thành một kiến trúc sư giỏi
Tôi cũng tò mò các nhà tuyển dụng hiện đang đánh giá developer mới vào nghề ra sao
Tôi không thích cách diễn đạt “lập trình viên đã bớt kháng cự với AI”
Những từ như “kháng cự” hay “người hoài nghi” tạo cảm giác như họ đã sai
Sự thay đổi không phải vì con người, mà vì công nghệ đã tiến bộ
Tôi dùng LLM rất hiệu quả cho việc sinh code hay tìm tài liệu, nhưng không tin nó có trí thông minh
Cũng như Python không thay thế Java, LLM cũng sẽ không xóa sổ việc làm
Những tuyên bố cực đoan như “AI sẽ vượt qua trí tuệ con người” đến nay vẫn chưa được chứng minh
Trong bầu không khí kiểu “không yêu AI thì có thể bị sa thải”, ai cũng buộc phải nói rằng mình thích nó
Dù sang 2026, các bình luận kiểu “LLM vô dụng” vẫn không ngừng xuất hiện
Tôi chỉ dùng nhẹ nhàng khoảng 20 USD mỗi tháng, nhưng cứ chia sẻ mẹo dùng là lại bị xem như “kẻ PR cho AI”
Những người nói vậy thực sự đang hiểu sai
Còn bây giờ công nghệ đã tiến bộ và được tinh chỉnh cho hợp với gu của lập trình viên
Tôi nghĩ LLM đã không hiện thực hóa lời hứa về tăng trưởng theo cấp số nhân của giai đoạn 2022~2023
Khoảng cách giữa 2025 và 2023 không lớn bằng khoảng cách giữa 2023 và 2021
Dù vậy nó vẫn hữu ích và đã làm thay đổi cách viết phần mềm
Nhưng con người vẫn ám ảnh với việc muốn LLM trở thành một thứ gì đó hơn thế
Tôi cũng thấy có người rơi vào ảo tưởng AI (psychosis), mất đi các mối quan hệ con người, hoặc dùng AI như một chuyên gia tư vấn vĩnh viễn
Chỉ riêng kích thước context thôi cũng đã mở rộng từ 8K của GPT‑4 lên tới hàng triệu từ
Nếu tính cả khả năng suy luận và multimodal thì mức tiến bộ là khổng lồ
Tại sao tương lai AGI lúc nào cũng phải là thảm họa?
Có lẽ vì chỉ AGI độc ác mới biện minh được cho quyền lực của giới tinh hoa công nghệ
LLM cho cảm giác như một công nghệ khéo léo khoét sâu vào tâm lý con người
Con người chưa có sự chuẩn bị tinh thần để đối phó với công nghệ này
Chúng liên tục khen người dùng để lấy lòng
Chatbot vì không phê phán mà chỉ tâng bốc, nên rất nhanh được nâng lên thành cố vấn cá nhân
Nó tạo cảm giác như con mắt của Sauron trong thời đại công nghệ
Khi nghe nói LLM có thể tiếp tục tiến bộ trong những công việc có tín hiệu thưởng rõ ràng như “tối ưu tốc độ”, tôi nghĩ ngay đến định luật Goodhart
Theo Goodhart’s law, khi một chỉ số đo lường trở thành mục tiêu, nó sẽ bị bóp méo
Kết quả có thể là code nhanh nhưng khó hiểu
LLM rất có thể cũng cho ra kết quả tương tự
Superoptimization đã tồn tại từ năm 1987, và tạo ra code nhanh nhưng không thể hiểu nổi
Tôi không đồng ý với câu “code là miễn phí”
Đằng sau lượng code do LLM sinh ra là các data center tiêu tốn năng lượng, nước và tài nguyên
Văn hóa “code miễn phí” như vậy đang gây ra thiệt hại thực sự cho Trái Đất
Cần có bối cảnh
Phải nhìn các con số trong tương quan
Trên thực tế vẫn tồn tại những chi phí không quy đổi thành tiền
Có ý kiến chỉ trích rằng “đây chỉ là một mớ khẳng định vô căn cứ”
Không phải bài nào cũng cần là một bài báo khoa học
Chỉ là một không gian để chia sẻ quan điểm
Tôi không đồng ý với nhận định “LLM không biểu đạt ý nghĩa”
Bản thân cơ chế attention của Transformer đã là một cấu trúc tạo ra nhiều lớp biểu đạt ý nghĩa
Càng có nhiều tham số thì càng có thể lưu trữ nhiều biểu diễn (representation) hơn
Có lẽ các nhà nghiên cứu sẽ không phủ nhận nguyên lý cơ bản này
Tôi cũng cho rằng vẫn có khả năng đạt tới AGI mà không cần một paradigm mới
Trước lời chê “toàn là các khẳng định không thể kiểm chứng”,
thì đó đơn giản chỉ là một bài viết bày tỏ quan điểm
Blog vốn là nơi dành cho những thứ như vậy, và đôi khi chính những suy nghĩ kiểu đó lại mở ra một góc nhìn mới