Vì sao AGI có lẽ sẽ không sớm xuất hiện

• Tác giả bài viết không cho rằng AGI (trí tuệ nhân tạo tổng quát) sẽ xuất hiện trong tương lai gần
• LLM (mô hình ngôn ngữ lớn) cho thấy năng lực ấn tượng, nhưng thiếu khả năng học liên tục như con người và cải thiện dần theo thời gian
• Các LLM hiện nay có giới hạn trong việc tùy biến theo phản hồi của người dùng hoặc tích lũy ngữ cảnh, và đây là rào cản lớn đối với tự động hóa công việc văn phòng trong thực tế
• Các bài toán thực tế như sử dụng máy tính và dữ liệu đa phương thức được dự đoán sẽ tiến triển chậm vì thiếu dữ liệu, thời gian tác vụ dài và độ khó kỹ thuật cao
• Về dài hạn, tác giả kỳ vọng rằng khi học trực tuyến trở nên khả thi thì sẽ xuất hiện thay đổi rất đột ngột, nhưng không cho rằng điều đó dễ xảy ra trong vòng 10 năm tới

---

Phần mở đầu và tranh luận về thời điểm AGI xuất hiện

• Tác giả đưa ra quan điểm của mình dựa trên kinh nghiệm thảo luận với nhiều chuyên gia về thời điểm đạt tới AGI
• Dù có người dự đoán AGI sẽ xuất hiện sau 2 năm, hoặc sau 20 năm, bản thân tác giả tại thời điểm tháng 6/2025 không cho rằng AGI sắp đến

Giới hạn của học liên tục (Continual Learning)

• Nhiều người cho rằng chỉ riêng công nghệ AI hiện tại đã mang tính cách mạng về kinh tế còn lớn hơn Internet, nhưng tác giả không đồng ý
• Lý do các công ty trong Fortune 500 chưa thể dùng LLM để đổi mới tận gốc công việc không phải vì ban lãnh đạo quá bảo thủ, mà vì AI hiện nay thiếu khả năng học liên tục
• Trong quá trình trực tiếp xây dựng và sử dụng nhiều công cụ dựa trên LLM, tác giả nhận thấy LLM chỉ đạt khoảng 5/10 trong các công việc lặp lại, nhưng thiếu khả năng cải thiện dần theo thời gian
• Con người nâng cao năng suất nhờ khả năng xây dựng ngữ cảnh, tự phân tích thất bại của mình, học được các cải tiến nhỏ qua lặp lại, trong khi LLM không có đường truyền phản hồi ở mức cao, và không thể “học” theo kiểu con người chỉ bằng cách chỉnh prompt
• Dù có tinh chỉnh RL (RLHF), nó vẫn còn xa mới đạt được kiểu học thích nghi và hữu cơ như con người, và đây là yếu tố hạn chế mang tính quyết định trong tự động hóa công việc thực tế
• Cách để mô hình AI tích lũy ngữ cảnh phong phú, ghi nhớ và phát triển trong khi làm việc như một nhân viên con người vẫn chưa có lời giải rõ ràng
• Dù trong một phiên làm việc vẫn có thể diễn ra một phần học ngữ cảnh, nhưng mọi ngữ cảnh đã học đều biến mất sau khi phiên kết thúc
• Các cách tiếp cận như bộ nhớ dài hạn (rolling context window) đang được thử nghiệm, nhưng việc tóm tắt tri thức kinh nghiệm phong phú là mong manh (brittle), và bên ngoài các miền dựa trên văn bản thì còn hoạt động kém hiệu quả hơn
• Ngay cả khi sự phát triển AI dừng ở mức hiện tại, nhiều công việc văn phòng cũng khó bị thay thế bằng công nghệ này, và năng lực học ngữ cảnh của nhân viên con người vẫn là lợi thế cạnh tranh
• Nói cách khác, chỉ khi công nghệ học liên tục thật sự được hiện thực hóa thì giá trị của AI mới tăng vọt một cách gián đoạn; và rốt cuộc khi công nghệ này khả thi, AI có thể tiến tới siêu trí tuệ nhanh hơn con người nhờ chia sẻ việc học giữa nhiều instance
• Tuy nhiên, vì các phòng thí nghiệm cũng có động lực tung ra phiên bản chưa hoàn thiện trước khi công nghệ được hoàn tất, tác giả kỳ vọng sẽ xuất hiện các dấu hiệu sớm trước khi xảy ra bước nhảy vọt thực sự của học liên tục

Những khó khăn thực tế của việc sử dụng máy tính và tự động hóa

• Trong các cuộc trò chuyện với nhà nghiên cứu của Anthropic, tác giả nghe dự đoán rằng đến cuối năm 2026 sẽ xuất hiện các agent sử dụng máy tính có độ tin cậy cao, nhưng bản thân ông hoài nghi điều này
• Hiện nay cũng đã có các agent sử dụng máy tính, nhưng hiệu quả thực tế khi triển khai còn thấp
• Để tự động hóa một tác vụ thực tế như khai thuế, cần nhiều hệ thống, thời gian chạy agent kéo dài và xử lý nhiều loại dữ liệu đa phương thức, điều này khiến quy trình huấn luyện và kiểm chứng trở nên rất chậm
• Không giống dữ liệu pretraining văn bản sẵn có (tức các tài liệu Internet quy mô lớn dùng cho mô hình ngôn ngữ), dataset đa phương thức cho tác vụ sử dụng máy tính còn thiếu, nên việc phát triển agent đủ tin cậy được dự đoán sẽ mất thời gian
• Ngay cả những thuật toán đột phá mới được đề xuất cũng cần nhiều năm tinh chỉnh kỹ thuật trước khi áp dụng ngoài thực tế, vì vậy tiến bộ trong các bài toán sử dụng máy tính sẽ khá chậm

Sự nâng cao của năng lực suy luận và các giới hạn

• Các mô hình mới nhất như Gemini 2.5 thực sự cho thấy năng lực suy luận trong các mặt như diễn giải ý định của người nói, tự kiểm tra logic và phản ứng theo ngữ cảnh
• Claude Code và các công cụ tương tự có thể nhanh chóng tạo ra mã hoạt động chỉ từ đặc tả được cung cấp, cho thấy rõ dấu hiệu ban đầu của một kiểu “trí tuệ tổng quát” sơ khai trên phạm vi miền rộng
• Ở các miền mà các mô hình LLM hàng đầu thể hiện tốt, chúng đôi khi vẫn đạt được kết quả khá ấn tượng

Dự đoán AI/AGI trong ngắn hạn và dài hạn

• Tác giả nhấn mạnh rằng mình giữ góc nhìn xác suất đối với các dự đoán, và vì thế việc chuẩn bị phương án ứng phó vẫn là điều hợp lý
• Tác giả sẵn sàng đặt cược với xác suất 50% cho các nhận định dưới đây
  • Đến năm 2028: AI có thể đạt mức xử lý trọn vẹn toàn bộ quy trình khai thuế cho doanh nghiệp nhỏ
    • Năng lực sử dụng máy tính hiện vẫn chỉ ở mức GPT-2, đồng thời độ khó tối ưu hóa rất cao do thiếu dữ liệu và chân trời thời gian dài
    • Các bản demo ấn tượng vẫn sẽ xuất hiện trong giai đoạn 2026~2027, nhưng tác giả dự đoán mức có thể tự chủ hoàn toàn để thực hiện các tác vụ phức hợp dài hạn vẫn còn khó
  • Đến năm 2032: AI có thể học một cách tự nhiên và dần dần trong công việc như con người, để sau vài tháng thích nghi thực tế có thể nội hóa ngữ cảnh, sở thích và bí quyết ngang mức con người
    • Dù việc hiện thực hóa học liên tục trực tuyến có thể chưa thấy ở tương lai gần, một đột phá mang tính bản chất vẫn có thể xuất hiện trong khoảng thời gian 7 năm

Các yếu tố hạn chế sự phát triển AI và triển vọng tương lai

• Thời điểm hiện thực hóa AGI có phân bố xác suất rất rộng (lognormal), và sự phát triển AI trong 10 năm qua gắn chặt với mức tăng của lượng tính toán (training compute)
• Mức tăng tính toán này được dự đoán sẽ chạm giới hạn sau năm 2030, khi đó đổi mới thuật toán sẽ trở thành nút thắt cổ chai
• Nếu không có một sự chuyển đổi mô hình mang tính đột phá, xác suất AGI xuất hiện theo từng năm có thể giảm dần theo thời gian
• Nếu kịch bản “kéo dài hơn” là đúng, thì thế giới đời thường có thể không thay đổi quá lớn cho đến giai đoạn 2030~2040; nhưng ngược lại, nếu AI vượt qua được các giới hạn hiện tại thì có thể sẽ xuất hiện thay đổi cực kỳ cấp tiến

[mirea0]

Tôi nghĩ AGI chưa thể thành hiện thực vì có những giới hạn vật lý đối với tính bền vững và việc học.
Nói đúng hơn, là vì tồn tại giới hạn vật lý, chứ không phải vì năng lực công nghệ còn thiếu.
Tôi nghĩ rằng nếu tiến thêm một bước để trở thành AGI bằng cách không đặt ra những giới hạn đó, thì khi ấy sẽ rất khó quay lại, và các nhà phát triển AI cũng biết điều đó nên chỉ phát triển theo hướng tùy biến cho dịch vụ, chứ không cố gỡ bỏ những giới hạn ấy.

[iolothebard]

Tôi hoàn toàn đồng ý với bạn!

[GN⁺]

Ý kiến trên Hacker News

• “Tôi nghĩ điểm rất quan trọng là LLM có một vấn đề căn bản: theo thời gian chúng không dần cải thiện giống con người. Hiệu năng cơ bản của LLM có thể cao hơn mức trung bình của con người ở nhiều tác vụ, nhưng hoàn toàn không có cách nào cung cấp phản hồi cấp cao cho mô hình, nên không thể cải thiện vượt quá trạng thái vừa lấy ra khỏi hộp. Tôi xem đây là một giới hạn thường thấy của mạng nơ-ron. Những hệ thống như Driver của Waymo tránh được vấn đề này. Ví dụ, khi Waymo gặp sự cố trong lúc vận hành, họ chạy nhiều mô phỏng, biến đổi tình huống lỗi thành nhiều dạng khác nhau rồi cho Driver học lại. Cách làm chính xác không được công khai, nhưng họ có nói đây là kiến trúc khác với mạng nơ-ron end-to-end. Waymo từng thử mạng nơ-ron end-to-end trong một dự án nội bộ, nhưng kết quả không tốt bằng hệ thống hiện tại, nên bây giờ họ đang dùng thứ gì đó khác; chỉ có cực ít người biết cụ thể là gì”
  • “Ngay cả khi LLM không phát triển dần như con người, điều quan trọng là ta có thể mở rộng năng lực của chúng bằng các công cụ như Prolog. Tôi nghĩ giai đoạn tiếp theo của AI là giúp LLM sử dụng công cụ hay chiến lược tốt hơn. Ví dụ, một kiến trúc tích hợp các quy tắc logic, thuật toán heuristic và các LLM agent được tinh chỉnh để làm công cụ cho LLM sẽ dần trưởng thành. Cũng cần chú ý rằng áp lực kinh tế đang đặc biệt thúc đẩy phát triển AI quân sự. Nếu dùng hệ thống Prolog, LLM có thể thêm sự kiện vào cơ sở dữ liệu, suy ra các quan hệ mới và liên tục học. Cũng có thể đưa vào các heuristic đề xuất mô hình hay phương pháp mới cho việc tìm kiếm”
  • “Theo tôi biết thì Waymo là hệ thống do con người kết hợp nhiều kỹ thuật như heuristic, luật và mạng nơ-ron. Nó không phải mạng nơ-ron end-to-end hoàn toàn. Từ ‘AIish’ khá hợp, vì về mặt thiết kế nó còn xa AGI”
  • “Tôi thấy lạ là tại sao rất ít người hỏi câu như thế này: có phải AI tiên tiến hiện nay đã giúp con người trở nên vượt trội hơn rất nhiều rồi không? Sự tăng tốc theo cấp số nhân của tự cải thiện theo tôi mới thực sự đáng sợ. Giả sử mọi thứ đều diễn ra tốt đẹp, con người có lẽ sẽ khó còn giữ được vị trí số một về cạnh tranh trí tuệ, và đó sẽ là một bước ngoặt khó chấp nhận. Nếu thực sự muốn có tự cải thiện, con người cần làm quen với việc chính mình trở nên không còn cần thiết”
  • “Nếu bạn tò mò về giới hạn của mạng nơ-ron thì nên xem bài nói chuyện gần đây của John Carmack liên kết YouTube. Ông bàn trực diện về vấn đề này ở khoảng phút 30”
  • “Hầu hết AI được huấn luyện trên các tập dữ liệu khổng lồ, nên một giới hạn là phải mất rất lâu mới có tập dữ liệu lớn tiếp theo sẵn sàng”
• “Những người nói AGI (trí tuệ nhân tạo tổng quát) sắp xuất hiện thường rơi vào một trong các nhóm sau: 1. đang muốn bán thứ gì đó, hoặc 2. đang quá say mê câu chuyện của chính mình, hoặc 3. đang phấn khích vì lý do nào khác, hoặc 4. rất có thể là cả ba. LLM mạnh về ngôn ngữ do thiết kế, tóm tắt văn bản thì ổn, nhưng yếu về logic và rất kém ở suy luận không gian. Vì vậy chúng cũng không giỏi kết nối khái niệm. Nếu hỏi một LLM nổi tiếng rằng ‘bài toán chưa được giải nào là khó nhất, bất kể lĩnh vực’, nó có thể tạo ra kiểu bài viết như tạp chí khoa học đại chúng, nhưng đầy những lỗi tinh vi mà mang tính quyết định; câu trả lời nhìn có vẻ thuyết phục nhưng thực ra là rác”
  • “LLM chẳng qua chỉ là công cụ nén tập dữ liệu huấn luyện rồi cung cấp chức năng truy xuất tương tác dựa trên văn bản”
  • “Tôi nghĩ chữ ‘không rõ ràng’ mới là điểm mấu chốt. LLM nhìn chung khá thông minh nên theo tiêu chuẩn của tôi thì ta đã bước vào kỷ nguyên AGI, nhưng có lẽ nhiều người xem AGI là ‘AI siêu nhân loại’. Nếu lấy tiêu chuẩn đó thì ta vẫn chưa đạt, và về sau có lẽ cũng không dễ. Với tôi thì bây giờ đã là kỷ nguyên AGI rồi”
  • “LLM hoạt động cực tốt trong thế giới văn bản do chúng ta tạo ra, nhưng không phải thực thể đi tìm chân lý. Sinh vật sống có thể chết vì sai lầm chí mạng, còn AI dù sai cũng chỉ tiếp tục tạo ra hàng nghìn token”
  • “Tôi đồng ý rằng thiếu sự theo đuổi chân lý là một vấn đề của LLM, nhưng con người cũng thường như vậy nên tôi không thấy đó là phê phán quá ghê gớm. Nếu theo định nghĩa AGI ban đầu (làm được gần như mọi công việc ở mức từ trung vị con người trở lên) thì hiện tại đã khá gần, và trong vòng 5 năm tới có lẽ có thể cạnh tranh ở mức chuyên gia trong các công việc không đòi hỏi thể chất (công việc thể chất có thể cần 5–10 năm). Đúng là LLM mạnh về ngôn ngữ, nhưng tôi cho rằng điều đó phản ánh luôn mức độ thông minh. Nhận định rằng chúng yếu về tư duy không gian cũng có phần bị phóng đại; chúng đã tốt hơn rất nhiều so với các mô hình chuyên suy luận không gian trước đây. Dù vẫn kém con người, chỉ riêng việc các mô hình mới nhất được áp dụng vào robot và hoạt động thực tế cũng cho thấy AI đang tiến bộ rất nhanh theo tiêu chuẩn của lĩnh vực này”
  • “Định nghĩa AGI của tôi là: nếu AI làm tốt hơn ít nhất 5% lao động chuyên môn trong lĩnh vực đó ở gần như mọi nhiệm vụ thì có thể xem là đã đạt AGI. Tôi cho rằng năng lực trí tuệ ở mức bách phân vị thứ 5 của con người vẫn xứng đáng được gọi là ‘trí thông minh’, nên nếu AI vượt một phần đáng kể nhân loại trên mọi mặt thì phải gọi đó là AGI. Nó phải là AI vượt trội trong mọi nhiệm vụ trí tuệ, không chỉ một lĩnh vực đơn lẻ”
• “Tôi chỉ hy vọng AGI sẽ không đến sớm. Xét về mặt xã hội và chính trị thì chúng ta hoàn toàn chưa sẵn sàng, và nếu lệch hướng thì tương lai loài người có nguy cơ rơi vào phản địa đàng rất lớn. Trong khi đó, chỉ cần AI hiện nay giảm chút tiêu thụ điện và có vài cải tiến nhỏ thôi là đã cực kỳ hữu ích trong nhiều lĩnh vực rồi, nhưng chỉ vậy thôi xã hội loài người cũng chưa sẵn sàng tiếp nhận hết. Vấn đề là các công ty xây foundation model dường như có rất ít cách rõ ràng để thu hồi số tiền đã đổ vào tới nay, nên có vẻ họ hoặc phải tạo ra một cú đột phá lớn, hoặc phải cố ép AI vào hàng loạt lĩnh vực”
  • “Tôi cũng nghĩ vậy, và thật lòng hy vọng bong bóng này sớm vỡ. Có tin Meta đã đầu tư 100 tỷ USD vào augmented reality, và anh chàng ngồi trong hội đồng quản trị kia cứ liều lĩnh lao vào thử thách thay vì đơn giản là cắt chi phí quảng cáo. Những người như Altman giờ cũng đã chọn con đường không thể quay đầu, và sẽ cố vơ càng nhiều tiền càng tốt khi còn cơ hội. Điều chúng ta có thể mong là những người này thất bại giống bong bóng dotcom ngày trước”
  • “Quy mô đầu tư vào AI lớn đến mức chỉ riêng chi phí khấu hao cũng có thể vượt tổng doanh thu của toàn bộ các công ty AI, nhưng nhiều người đang bỏ qua chuyện sẽ thu hồi các chi phí cố định này bằng cách nào”
  • “Nếu một hệ thống AI gần như có thể thay thế hoàn toàn cả ngành mà không cần nhân viên, thì tôi nghĩ việc thu hồi chi phí sẽ rất dễ. Nó có thể tạo ra lợi nhuận khổng lồ”
  • “Nếu bạn thực sự nghĩ vấn đề tỷ lệ sinh thấp là rất nghiêm trọng, thì AGI đến sớm có thể lại là lời giải. Cần xem lại mô hình tư duy cố giải quyết vấn đề kinh tế bằng giả định tăng trưởng dân số vĩnh viễn”
  • “AGI có nhất thiết phải giống hệt trí thông minh con người không? Nếu nó vượt trội ở vài chức năng nhưng thiếu hụt ở vài chức năng khác, liệu vẫn có thể xem là AGI không?”
• “Không những tôi không tin AGI sẽ sớm xuất hiện, mà còn không chắc nó có thực sự khả thi hay không. Ít nhất với phần cứng máy tính truyền thống thì tôi nghĩ là khó. Chỉ khả năng lặp lại thông tin theo cách dễ xem hơn không thể là định nghĩa hay phép đo của trí thông minh. Nếu thật sự triển khai được trí tuệ nhân tạo, thì khi mới ra mắt nó có thể có mức thông minh rất thấp theo tiêu chuẩn con người, nhưng vẫn là AI thực thụ vì có thể tự học mà không cần trợ giúp từ bên ngoài”
  • “Trừ khi bạn tin rằng trí thông minh tổng quát của con người dựa trên thứ gì đó siêu nhiên và không đo được, còn không thì luận điểm AGI bất khả thi sẽ bị bác bỏ. Suy cho cùng con người cũng là máy móc, nên tôi tin bộ não có thể được sao chép theo cách không phải sinh học. Có thể AGI đầu tiên sẽ là một bộ não nuôi trong đĩa petri chỉ gắn thêm Python API, hoặc cũng có thể là hệ silicon”
  • “Cũng nên nghĩ đến mặt khác. Nếu công cụ trở nên thông minh hơn chính tôi, tôi phải ứng phó thế nào? Trên mạng đã có cảnh đồng nghiệp dùng chatgpt để trả lời câu hỏi, mà chính câu hỏi đó cũng do chatgpt tạo ra, thành ra giờ không ai biết thực sự ai đã làm cái gì nữa”
  • “Theo tôi, giới hạn mở rộng của trí thông minh đến từ tài nguyên tính toán. Lượng tính toán cần thiết để mô hình hóa tốt một hệ thống sẽ tăng gần như theo hàm mũ khi hệ thống càng phức tạp hoặc hỗn loạn. Vì vậy hiệu quả của trí thông minh về bản chất chỉ có thể xuất hiện với các hệ thống đơn giản và có trật tự. Cách thực tế và vững chắc nhất là loại bỏ tối đa các yếu tố biến động. Cuối cùng, dù là siêu trí tuệ hay không, đó mới là giới hạn thực sự của trí thông minh”
  • “Tôi muốn biết vì sao bạn nghĩ nó là bất khả thi”
  • “Hiện không có định nghĩa rõ ràng hay đồng thuận nào về AGI. Tôi nghĩ AI rồi sẽ tiếp tục chỉ cải thiện dần trong các lĩnh vực mà nó vốn làm tốt như tạo văn bản, tạo hình ảnh, tạo mã... Còn viễn cảnh AI giải quyết mọi vấn đề cho tất cả mọi người và nhân loại tận hưởng thịnh vượng kiểu không tưởng trên bãi biển thì hoàn toàn không có cơ sở thực tế”
• “Quan điểm của Dwarkesh rất ấn tượng. Tôi luôn thích nghe anh ấy nói mình nghĩ mọi thứ đã tiến xa tới đâu. Theo lập luận cốt lõi của anh ấy, cần có học thích nghi nhưng chưa thấy dấu hiệu của nó. Tôi đoán các frontier lab đang kỳ vọng context dài sẽ giải quyết được vấn đề. Với context dài 10 triệu token, hệ thống có thể duy trì trạng thái nội bộ tốt và xử lý nhiều loại tác vụ; hiện nay hạn chế là mô hình context dài thường có chất lượng dao động lớn theo từng cửa sổ. Nếu đổi cách đặt câu hỏi, thì trong vòng 2 năm nữa liệu ta có thể có cửa sổ context hữu ích trên 10 triệu token không? Tôi nghĩ khả năng là cao”
  • “Đã từng có một công ty tuyên bố giải được vấn đề này, nhưng giờ thì chỉ còn im lặng”
  • “Nếu nói ‘context dài’, thì dài đến mức nào mới đủ vẫn là câu hỏi. Với con người thực tế, context là đầu vào đa phương thức kéo dài qua hàng chục năm”
  • “Tôi tin Demmis khi ông nói AGI sẽ đạt được trong vòng 10 năm. Ông ấy đã mở đường cho lĩnh vực này suốt thời gian dài, và ngay cả OpenAI cũng phần nào được lập ra trong nỗi lo về tốc độ nghiên cứu của Demmis. Tôi tin dự đoán của Demmis rằng vào khoảng năm 2035 sẽ xuất hiện AGI ngang bằng hoặc vượt con người trong gần như mọi công việc”
  • “Tôi tin chắc rằng sắp tới (<5 năm) sẽ có test-time learning thực thụ. Alphaproof (thử thách IMO của Deepmind) đã áp dụng kỹ thuật này rồi”
• “Có thống kê cho thấy 54% người trưởng thành ở Mỹ có năng lực đọc hiểu ở mức lớp 6 trở xuống trên toàn quốc. Có khi AGI đã đạt được rồi cũng nên liên kết Wikipedia”
  • “Tôi không rõ thất bại giáo dục của một quốc gia có liên quan gì đến AGI”
  • “Điểm hay đấy. Vậy tôi cũng muốn xem LLM đi giặt quần áo và rửa bát. Dù có tạo cho nó một cơ thể robot thì chuyện đó chắc cũng không dễ”
  • “Điều đó làm tôi phải nghĩ xem liệu chỉ biết đọc có phải đã đủ điều kiện để gọi là AGI chưa”
  • “Xét từ góc độ kinh tế thì có lẽ so sánh AGI với lao động phổ thông hoặc nhân sự được thuê cho một nhiệm vụ cụ thể như copy editing sẽ thực tế hơn. Thay vì lấy mức trung bình toàn quốc vốn khó phản ánh khả năng được tuyển dụng thực tế, nên tập trung vào độ phù hợp với công việc”
  • “Những người mù chữ cũng có thể giải quyết những thử thách cực kỳ khó mà LLM không làm được”
• “Vấn đề trong thảo luận về tiến bộ AI là giả định rằng AI tương lai sẽ giải quyết vấn đề theo đúng cách con người làm. Theo cách nhìn đó thì việc thiếu học liên tục sẽ trông như một khuyết điểm chí mạng. Nhưng thực tế, trong lịch sử deep learning, học liên tục chưa bao giờ đóng vai trò dẫn dắt; dữ liệu quy mô lớn và mở rộng mới là cách tiếp cận thành công nhất. Nếu muốn lập luận rằng học liên tục là bắt buộc, thì cần chỉ ra cụ thể giới hạn của học xuyên tác vụ và những miền mà AI tuyệt đối không thể đạt được. Tác giả có nhắc đến sự bất định trong RL flywheel (hiệu ứng tăng tốc khi AI lập trình giỏi lặp đi lặp lại RL), nên tôi thấy toàn bộ bài viết nghe hơi quá tự tin”
  • “Alphaproof dùng kiểu test-time training theo phong cách AlphaZero cho từng bài toán, bằng cách sinh ra các bài tương tự”
  • “Lý do học liên tục không quan trọng trong lịch sử phát triển deep learning có thể là vì những người làm deep learning đặt mục tiêu khác. Nếu mục tiêu không phải là AI thông minh nhất mà là AI hữu ích và tạo năng suất cao nhất, thì đôi khi một thực thể có vẻ ngốc hơn nhưng biết học từ thất bại lại giá trị hơn một thiên tài cứng đầu”
• “Theo góc nhìn của tôi, LLM hiện tại là cấu trúc dự đoán những gì con người có thể nói, nên trí thông minh và năng lực suy luận của nó cũng sẽ dừng ở mức con người. Bề rộng tri thức có thể vượt con người, nhưng trí thông minh hay sáng tạo thì có thể chỉ ngang hoặc kém hơn. Các công ty AI dự đoán thế hệ LLM tiếp theo sẽ tạo ra insight mới và giải được các vấn đề chưa có lời giải, nhưng tôi nghĩ insight thực sự đòi hỏi một cấu trúc nội tại có thể tự do tái tạo khái niệm từ các nguyên lý cấp thấp. LLM không thể xây thêm các tầng hiểu biết mới nên có giới hạn. Nếu có cách giống não người, đi từ đầu vào đến hiểu biết trừu tượng bằng cách xếp chồng dần các tầng, thì có thể vượt qua giới hạn đó. Một ngày nào đó có thể sẽ xuất hiện một paradigm AI mới áp đảo LLM; thành thật mà nói, tôi mong mình đoán sai, hoặc ít nhất ASI (siêu trí tuệ nhân tạo) thì hơi đáng sợ”
  • “Ngay cả khi đạt hiệu năng AI ngang người, máy móc khác con người ở chỗ chỉ cần tăng hiệu năng GPU là có thể lập tức có trí tuệ nhân tạo nhanh gấp 10 lần. Chỉ riêng tốc độ cũng đã là năng lực siêu nhân, chưa kể còn có thể chạy cùng một hệ thống nhiều lần để khám phá đồng thời nhiều cách tiếp cận rồi chọn phương án tối ưu. Đây là lợi thế khổng lồ với các tác vụ có thể kiểm chứng”
  • “LLM hiện nay không còn đơn thuần là bộ dự đoán câu chữ của con người, mà đang tiến hóa theo hướng dự đoán các token gắn với đáp án đúng cho các bài toán toán học và lập trình”
• “Phần lớn thảo luận khá bi quan về AI, nhưng chính tác giả lại nói xác suất đạt AGI vào đầu những năm 2030 là 50%, và cũng nói cần chuẩn bị cho khả năng ASI phát triển theo hướng xấu vào năm 2028. Nói cách khác, tác giả thực ra lại khá lạc quan về AI”
  • “Nếu chỉ trong 3 năm nữa ASI đã trục trặc thì tôi nghĩ mọi biện pháp chuẩn bị đều sẽ trở nên vô nghĩa”
• “Tôi nghĩ việc gần đây không còn ai công bố quy mô mô hình nữa là dấu hiệu cho thấy huấn luyện mô hình đã đụng trần (bức tường)”

[kandk]

Đến giờ vẫn lại là câu chuyện đó thôi