Ảo giác của LLM là điều tất yếu: giới hạn bẩm sinh của mô hình ngôn ngữ lớn

 (arxiv.org)
5 điểm bởi GN⁺ 2024-02-26 | 1 bình luận | Chia sẻ qua WhatsApp
  • Khác với các nghiên cứu giảm ảo giác của LLM theo hướng thực nghiệm, bài báo này định nghĩa ảo giác là sự không khớp giữa hàm đáp án có thể tính được và đầu ra của mô hình, rồi xem xét một cách hình thức liệu có thể loại bỏ hoàn toàn hay không
  • Theo lập luận đường chéo, LLM có thể tính được không thể học mọi hàm có thể tính được, và khi được dùng như bộ giải quyết vấn đề tổng quát thì không thể tránh ảo giác
  • Với các LLM thực tế chạy trong thời gian đa thức, có những bài toán dễ phát sinh ảo giác như liệt kê tổ hợp, Presburger arithmetic, Subset Sum, SAT và hệ quả trong logic mệnh đề; một số kết luận phụ thuộc vào giả định P ≠ NP
  • Việc mở rộng mô hình, dùng ensemble, thêm dữ liệu huấn luyện, hay các prompt Chain-of-Thought và kiểm chứng có thể giảm lỗi, nhưng nếu hàm đáp án nằm ngoài năng lực của mô hình thì không thể loại bỏ hoàn toàn
  • Rất khó tự động đưa các LLM chỉ học từ cặp đầu vào-đầu ra vào các quyết định quan trọng về an toàn; cần kết hợp guardrail, cơ sở tri thức và sự kiểm soát của con người

Ảo giác của LLM được định nghĩa trong một thế giới hình thức

  • Ảo giác của LLM là vấn đề tạo ra thông tin có vẻ hợp lý nhưng sai sự thật hoặc vô nghĩa; khi ứng dụng ngày càng mở rộng trong nghiên cứu, công nghiệp và xã hội, các lo ngại về an toàn và đạo đức cũng tăng lên
  • Các nghiên cứu giảm nhẹ trước đây tìm nguyên nhân ở các giai đoạn thu thập dữ liệu, huấn luyện và suy luận, rồi cố gắng giảm ảo giác bằng benchmark, phương pháp dựa trên truy xuất, prompt suy luận và prompt kiểm chứng
  • Vì không thể liệt kê và kiểm thử mọi đầu vào có thể có, chỉ riêng cách tiếp cận thực nghiệm rất khó trả lời liệu có thể loại bỏ hoàn toàn ảo giác hay không
  • Vấn đề định nghĩa hình thức ngữ nghĩa của thế giới thực vẫn còn bỏ ngỏ, nên bài báo sử dụng một thế giới hình thức gồm các hàm có thể tính được
    • Hàm đáp án f cung cấp một đầu ra đúng duy nhất f(s) cho chuỗi đầu vào s
    • Nếu trạng thái LLM h[i] trên một đầu vào nào đó s mà h[i](https://arxiv.org/abs/s) ≠ f(s) thì được định nghĩa là đã ảo giác đối với hàm đáp án f
    • LLM được xem như một hàm tổng thể có thể tính được, nhận các mẫu huấn luyện theo tuần tự và có nhiều trạng thái h[0], h[1], ...
  • Câu hỏi cốt lõi là liệu một LLM h được huấn luyện bằng một quy trình cố định có thể, với một hàm đáp án tùy ý f, đạt tới một bước huấn luyện i nào đó sao cho với mọi đầu vào s đều thỏa h[i](https://arxiv.org/abs/s) = f(s) hay không

Tính tất yếu được chỉ ra bằng lập luận đường chéo

  • Với một tập các LLM có thể liệt kê được một cách tính toán {h0, h1, ...}, tồn tại một hàm đáp án có thể tính được f khiến mọi trạng thái huấn luyện của mọi LLM đều ảo giác
    • Các trạng thái huấn luyện của mọi LLM lại được gom thành một phép liệt kê duy nhất {ĥ0, ĥ1, ...}, rồi lập bảng đầu ra theo các chuỗi đầu vào {s0, s1, ...}
    • Nếu định nghĩa f(si) là một chuỗi khác với ĥi(si) thì nó sẽ xung đột với từng trạng thái LLM tại các vị trí đường chéo
  • Theo cách tương tự, cũng có thể xây dựng một hàm đáp án khiến mọi trạng thái LLM không chỉ ảo giác ở một đầu vào duy nhất mà còn ở vô hạn nhiều đầu vào
    • Định nghĩa f(si) là chuỗi khác với mọi ĥj(si) với j ≤ i
    • Khi đó một trạng thái LLM cụ thể ĥk sẽ tiếp tục ảo giác ở các đầu vào đủ xa về sau
  • Một LLM có thể tính được đơn lẻ h cũng là một tập có thể liệt kê được dưới dạng {h}, nên với mọi LLM có thể tính được đều tồn tại một hàm đáp án có thể tính được gây ra ảo giác
  • Theo định lý 3, với mọi LLM có thể tính được h đều tồn tại một hàm đáp án f khiến từng trạng thái h[j] ảo giác, và cũng tồn tại f' khiến nó ảo giác trên vô hạn nhiều đầu vào
  • Nếu LLM có thể tự loại bỏ ảo giác, thì với mọi hàm có thể tính được bất kỳ phải tồn tại một trạng thái không ảo giác, nhưng điều này mâu thuẫn với định lý 3
    • Vì vậy, chỉ các biện pháp giảm nhẹ phụ thuộc vào chính LLM, như Chain-of-Thought, thì không thể loại bỏ hoàn toàn ảo giác

Các dạng bài toán dễ phát sinh ảo giác

  • Nếu tìm được một hàm đáp án mà tập LLM cho trước không thể tính được, thì bài toán tương ứng trở thành bài toán dễ phát sinh ảo giác
  • Với các LLM bị ràng buộc thời gian đa thức, tức nhóm mà bài báo xem là bao gồm mọi LLM hiện có, các bài toán này gồm:
    • Liệt kê tổ hợp: liệt kê mọi chuỗi độ dài n trên bảng chữ cái hai ký tự, cần thời gian Ω(2^n)
    • Subset Sum: với một tập số nguyên và số q, trả lời liệu có tập con nào có tổng bằng q hay không; đây là bài toán NP-complete
    • Boolean Satisfiability(SAT): trả lời liệu có phép gán nào làm cho công thức với n biến Boolean trở thành đúng hay không; đây là bài toán NP-complete
    • Hệ quả trong logic mệnh đề: trả lời liệu M(ψ) ⊆ M(ϕ) có đúng hay không; đây là bài toán co-NP-complete
  • Kết luận rằng Subset Sum, SAT và hệ quả trong logic mệnh đề là các bài toán dễ phát sinh ảo giác với LLM thời gian đa thức có gắn với giả định P ≠ NP
  • Presburger arithmetic là lý thuyết bậc nhất về phép cộng và thứ tự < trên số tự nhiên, dùng để trả lời liệu một mệnh đề có thể được chứng minh trong hệ số học đó hay không
    • Việc tính toán cần thời gian Ω(2^{2cn}), nên nó được xếp là bài toán dễ phát sinh ảo giác đối với cả LLM thời gian đa thức lẫn LLM thời gian mũ
  • Với mọi LLM có thể tính được còn tồn tại các bài toán dễ tổn thương tổng quát hơn
    • Bài toán học mọi thứ tự tuyến tính có thể tính được được bàn trong định lý 4
    • Việc giải mọi bài toán có thể tính được là đối tượng của định lý 3
    • Hệ quả bậc nhất được xếp là bài toán undecidable
  • Các câu trả lời của LLM cho bài toán toán học và suy luận logic luôn cần được thẩm tra riêng

Phạm vi của các biện pháp giảm nhẹ hiện có

  • Mô hình lớn hơn, ensemble mô hình và thêm dữ liệu huấn luyện có thể giúp LLM nắm bắt các hàm đáp án phức tạp hơn
    • Khi dữ liệu huấn luyện tăng lên, có thể loại trừ các ứng viên LLM không hợp lệ và góp phần làm quá trình học hội tụ
    • Tuy vậy, nếu hàm đáp án nằm ngoài phạm vi mà LLM đó có thể nắm bắt, thì chỉ tăng tham số và dữ liệu cũng không thể loại bỏ ảo giác
    • Kể cả khi thêm attention layer vào LLM thời gian đa thức, nó vẫn chỉ là một LLM thời gian đa thức lớn hơn, và không thể loại bỏ ảo giác với các hàm đáp án thời gian mũ
    • Ensemble mô hình về bản chất cũng có thể xem là một LLM duy nhất, nên vẫn chịu ràng buộc của định lý 3
  • Chain-of-Thought, reflection và prompt verification là các cách tiếp cận thuộc nhóm học trong ngữ cảnh, cung cấp ví dụ lời giải và tri thức liên quan ngay trong ngữ cảnh
    • Với các bài toán phức tạp có thể có nhiều cách giải, prompt có thể dẫn LLM đến cách giải có độ phức tạp thấp hơn mà con người ưa dùng
    • Dãy Fibonacci được dùng làm ví dụ: lời giải đệ quy mất thời gian mũ, nhưng quy hoạch động có thể giải trong thời gian tuyến tính
    • Vì khó có khả năng mô tả đầy đủ mọi hàm đáp án chỉ bằng prompt, nên cách tiếp cận này chỉ có thể được kỳ vọng hiệu quả ở một số tác vụ nhất định
  • Guardrail và fence là cách điều chỉnh đầu ra LLM theo giá trị con người, đạo đức và yêu cầu pháp lý, hoặc lập một danh sách các tác vụ quan trọng không nên được tự động hóa hoàn toàn bằng LLM
    • Chúng có thể được lập trình một cách hình thức để ảnh hưởng rõ ràng tới hành vi của LLM
    • Đây có thể là biện pháp giảm nhẹ hữu ích trong thế giới hình thức và trong một số bài toán thực tế
    • Khả năng mở rộng của chúng trong thế giới thực vẫn là một câu hỏi mở
  • LLM tăng cường tri thức sử dụng tri thức bên ngoài và suy luận ký hiệu như knowledge graph, cơ sở dữ liệu và logic trong quá trình học và suy luận
    • Các chatbot dựa trên LLM như ChatGPT đã bắt đầu dùng công cụ như công cụ tìm kiếm, code interpreter và máy tính để giải các bài toán nằm ngoài năng lực nội tại của LLM
    • Việc truy xuất từ cơ sở dữ liệu tri thức cung cấp thông tin về hàm đáp án ngoài các mẫu huấn luyện đầu vào-đầu ra
    • Trong trường hợp này, định lý 3 không còn áp dụng nguyên vẹn, và đây có thể là một biện pháp giảm nhẹ ảo giác tiềm năng hiệu quả trong thế giới hình thức
    • Khả năng mở rộng trong các tác vụ thực tế vẫn chưa được xác định

Ràng buộc khi triển khai và giới hạn của nghiên cứu

  • Mọi LLM chỉ học từ các cặp đầu vào-đầu ra đều sẽ ảo giác khi được dùng như bộ giải quyết vấn đề tổng quát
    • Có những bài toán tuy con người thấy dễ về mặt trí tuệ nhưng lại khó về mặt tính toán đối với LLM
    • Ngược lại, cũng có bài toán khó với con người nhưng lại dễ về mặt tính toán đối với LLM
    • Nguyên nhân gây ảo giác trong thế giới thực không chỉ là độ phức tạp tính toán; dữ liệu huấn luyện không đầy đủ cũng có thể gây ảo giác ngay cả ở các tác vụ dễ về mặt tính toán
  • Kết luận này áp dụng cho các LLM hữu ích cuối cùng vẫn đưa ra câu trả lời cho các câu hỏi nằm ngoài dữ liệu huấn luyện
    • LLM có thể trả lời “không biết” cho tùy ý nhiều câu hỏi
    • Nhưng ngay khi một trạng thái nào đó của LLM trả lời các câu hỏi nằm ngoài dữ liệu huấn luyện, kỹ thuật đường chéo của định lý 1 và định lý 2 có thể được áp dụng lên các câu trả lời đó
    • Nếu LLM tuyệt đối không bao giờ trả lời thì sẽ không ảo giác, nhưng chừng nào còn trả lời các câu hỏi chưa từng thấy thì trong một số thế giới hình thức nó vẫn sẽ ảo giác
  • Không nên tự động dùng LLM cho các quyết định quan trọng về an toàn nếu không có thiết bị hỗ trợ bên ngoài
    • Guardrail, fence, nền tảng tri thức và kiểm soát của con người có thể cung cấp thông tin ngoài các cặp đầu vào-đầu ra để giúp vượt qua giới hạn của định lý 3
    • Những lĩnh vực khó chấp nhận lỗi do ảo giác, như các quyết định liên quan đến sinh mạng con người, đòi hỏi sự phán đoán hợp lý và mang tính con người
  • Nghiên cứu và quy định về ranh giới an toàn của LLM là rất quan trọng
    • Đã có trường hợp LLM dùng trong dịch vụ khách hàng cung cấp thông tin sai dẫn tới thiệt hại tiền bạc thực tế
    • Trong các môi trường tự động phát hiện và vận hành như robot, ảo giác có thể dẫn tới hậu quả thực tế nguy hiểm
    • Cần có sự đồng thuận giữa giới lý thuyết và thực hành về ranh giới năng lực của LLM, cũng như các quy định ngăn chặn việc sử dụng ngoài ranh giới đó
  • Các giới hạn của nghiên cứu cũng khá rõ ràng
    • Bài báo không xử lý các ảo giác phát sinh trong những bài toán nằm trong năng lực tính toán của LLM
    • Việc giả định hàm đáp án có tính quyết định làm cho các góc nhìn theo xác suất bị giới hạn
    • Trong nghiên cứu thực nghiệm, các LLM hiện có được dùng mà không fine-tuning bổ sung

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-02-26
Ý kiến trên Hacker News

  • Lướt qua bài báo thì có vẻ luận điểm cốt lõi là vì P != NP, nên LLM sẽ đưa ra câu trả lời ảo giác cho các bài toán NP-đầy đủ
    Đây là một điểm thông minh và là một câu hỏi triết học thú vị về toán học, khoa học máy tính và ngôn ngữ, nhưng có vẻ mọi người đang cố áp dụng nó vào khái niệm “ảo giác của LLM” theo nghĩa thông thường. Mối liên hệ giữa ảo giác theo nghĩa hình thức mà bài báo dùng và ảo giác theo nghĩa đời thường — như khi yêu cầu tóm tắt tiểu thuyết thì bịa ra những chương không tồn tại hoặc dựng nên các chi tiết cụ thể — có vẻ không rõ ràng
    Phát biểu rằng thế giới hình thức, tức thế giới của toán học, logic và ngữ pháp hình thức, là một tập con của thế giới “thực” hoặc thế giới ngôn ngữ tự nhiên cũng rất thú vị. Phần lớn con người không giải được các bài toán logic hình thức hay phân tích cú pháp ngữ pháp hình thức, nhưng không gặp hiệu ứng ảo giác mạnh và vẫn sử dụng ngôn ngữ tự nhiên rất thành thạo. Con người cũng không giải được một số bài toán NP-đầy đủ nhất định, vậy ảo giác có phải là tất yếu không? Vì tuổi thọ hữu hạn, có những bài toán dù có năng lực cũng có thể không bao giờ hoàn tất được

    • Trong LLM, từ ảo giác là một cách gọi sai, và thật đáng buồn khi thuật ngữ đó đã trở nên cố định
      Khi con người làm việc kiểu này, nó được gọi là bịa chuyện vô thức (confabulation). Đây là một triệu chứng tâm thần học, trong đó người ta không biết mình đang nói dối và lấp đầy khoảng trống kiến thức bằng những điều vô nghĩa bịa ra tại chỗ. Ảo giác là một triệu chứng hoàn toàn khác
      Bịa chuyện vô thức không phải là việc con người làm một cách bình thường, và tôi cũng không biết điều đó có thể liên hệ với P != NP như thế nào. Người bình thường, vì lý do nào đó, vẫn nhận thức được giới hạn kiến thức của mình, còn LLM thì không
    • Đúng vậy. Có vẻ như sau khi đưa vô hạn vào, nó vướng vào bài toán dừng đối với vô hạn, và có thể không giúp ích nhiều
      Chỗ lập luận này gặp vấn đề là phần “định nghĩa ảo giác trong một thế giới hình thức chỉ quan tâm đến LLM có thể tính toán và hàm chân trị f có thể tính toán trên S”. Điều này đòi hỏi một vị từ đáng tin cậy và có thể tính toán về chân lý, mà bản thân nó có lẽ là bất khả thi
      Thay vào đó, nếu cho phép đầu ra của hàm chân trị là True, False, Unknown, Resource limit exceeded thì có thể tránh được vấn đề. Khi đó mục tiêu trở nên có thể quản lý: chỉ trả về True hoặc False khi hợp lệ, và giảm tỷ lệ Unknown cùng Resource Limit Exceeded trong các truy vấn hữu ích
      Vấn đề tương tự cũng xuất hiện trong hệ thống kiểm chứng chương trình, và đã được xử lý theo cùng một cách trong nhiều thập kỷ. Việc quyết định một mệnh đề có đúng hay không đôi khi đòi hỏi quá nhiều công sức
    • Câu “vì P != NP nên LLM ảo giác với các bài toán NP-đầy đủ” có lẽ chỉ đúng nếu định nghĩa ảo giác đơn giản là đưa ra câu trả lời sai. Nhưng thông thường người ta không hiểu như vậy
      Khi nói về ảo giác của LLM, thực ra mọi người muốn nói đến câu trả lời sai nhưng đầy tự tin. Tuy nhiên, không phải mọi câu trả lời sai đều là ảo giác
      Nếu hỏi một chương trình có dừng hay không và LLM trả lời “tôi không biết”, ta sẽ không gọi đó là ảo giác. Nhưng nếu lập luận của các tác giả là LLM không thể luôn giải chính xác các bài toán NP-đầy đủ, thì nghe như họ cũng sẽ xem “tôi không biết” là một câu trả lời ảo giác. Dù vậy tôi chưa đọc bài báo
    • Con người có một mức độ năng lực nhất định để nhận ra mình đã đụng tường và điều chỉnh tương ứng. Tuy nhiên, những thứ như định lý đầy đủ, độ phức tạp Kolmogorov, lý thuyết độ phức tạp tính toán cũng là các tri thức mà mãi đến thế kỷ 20 mới đạt được
    • Cách duy nhất để giảm ảo giác ở cả con người lẫn LLM là tăng trí tuệ tổng quát và tri thức về thế giới

  • Tôi thừa nhận là mới chỉ đọc phần tóm tắt, nhưng nhìn chung hoài nghi liệu một cách tiếp cận hình thức cao độ như thế này có giúp ích cho câu hỏi thực dụng rằng liệu có thể khiến LLM trả lời “tôi không biết” thường xuyên hơn hay không
    Nghe giống các định lý bất toàn. Trên thực tế, cũng như định lý bất toàn không có nghĩa nghiên cứu toán học là vô ích, việc LLM có thể không tính được một số hàm cũng không có nghĩa vấn đề ảo giác là do LLM phải biết mọi thứ. Vấn đề chúng ta quan tâm là chuyện trả lời “tôi không biết”, và điều này vẫn có thể tính toán được

    • LLM không thể nói “tôi không biết”. Vì thực ra nó không biết gì cả
      Câu trả lời không đến từ một tâm trí biết suy nghĩ, mà từ một siêu máy tính khớp mẫu phức tạp trôi nổi trên một bảng mẫu tiền tính toán khổng lồ. Nó tính toán đầu vào rồi phun ra thứ khớp nhất với mẫu đó. Nó không có bộ não biết suy nghĩ để hiểu một cách khái niệm về giới hạn của chính mình
      Kỳ vọng AI hiện nay nói “tôi không biết” cũng giống như hỏi phần mềm điều hướng mất bao lâu để đến nhà của gia đình Simpsons ở Springfield. Máy sẽ đưa ra câu trả lời, nhưng không nắm được tham chiếu văn hóa khiến câu hỏi đó bất khả thi. Thay vào đó, nó sẽ tìm một người tên Simpson ở thành phố Springfield có thật gần nhất
    • Transformer không có năng lực tự phản tỉnh, cũng không có năng lực suy luận về quá trình suy luận của chính mình, và không “biết” rằng mình không biết
      Tôi hiểu bài báo đang lập luận rằng điểm yếu này là căn bản. Có thể huấn luyện mạng hành xử như thể nó biết giới hạn tri thức của mình, nhưng trong triển khai thực tế sẽ luôn còn một khoảng cách không thể lấp kín
    • Để trả lời “tôi không biết”, nó phải biết khi nào mình biết. Để biết khi nào mình biết, một lần nữa cần có hiểu biết
    • Có vẻ không có cách dễ dàng để khiến LLM trả lời “tôi không biết”
      Muốn vậy, nó phải học từ toàn bộ tài liệu đã hấp thụ cách con người nói khi họ thực sự không biết. Nhưng nhiều người trên Internet, khi không biết, không đơn giản viết “tôi không biết” mà lại viết những điều không liên quan
    • Không nói riêng về bản thân LLM, nhưng trong khoa học máy tính nói chung, nhiều bài toán dù bị phân loại là “không giải được” hoặc “không giải được trong thời gian hợp lý (NP)”, thì nghiệm xấp xỉ với một giá trị cận trên nào đó vẫn có thể giải trong thời gian hợp lý (P)
      Trong thực tế, ngay cả khi tuyến đường xe tải Amazon kém tối ưu toán học 20%, bài toán người bán hàng vẫn coi như đã được “giải” theo cách đủ tốt

  • Phải đặt câu hỏi thật cẩn thận thì mô hình mới không bịa. Ví dụ, đừng hỏi “làm việc này trong x như thế nào?”, mà hãy hỏi “có thể làm việc này bằng x không?”
    Những “AI” này giống như yes-man. Dù không đúng sự thật hay bất khả thi, chúng vẫn nói bất cứ điều gì để làm người dùng hài lòng
    Tôi từng gặp những người như vậy, và làm việc cùng họ rất khó. Không thể tin chắc họ có thực sự bàn giao dự án đã hứa hay không, và phải kiểm tra lại mọi thứ. Thậm chí cũng không thể tin rằng việc họ hứa ngay từ đầu có khả thi hay không

    • Trước ChatGPT, dịch ngôn ngữ của con người cũng có vấn đề tương tự, nhưng mọi người không nói về nó lớn tiếng đến vậy
      Gần đây tôi thấy bực vì ngày càng khó khiến DeepL dịch thou thành du. Đó từng là “hack” tôi hay dùng để đi vòng qua sự không tương thích do một chức năng bị thiếu trong tiếng Anh
      Để giảm bớt phần nào vấn đề “yes-man”, khi đặt câu hỏi bạn phải giống như một nhà toán học khó tính, và tôi không nghĩ chỉ riêng công nghệ LLM có thể hoàn toàn vượt qua vấn đề này. Nghe có vẻ buồn cười, nhưng tôi nghĩ các lớp trừu tượng giúp phân rã câu hỏi thay người dùng sẽ phát triển, nên phải thừa nhận sự tồn tại của “prompt engineering”
    • Tôi từng thành công ở mức nào đó với chỉ dẫn “nếu cần rõ ràng hơn, hãy đặt câu hỏi tiếp theo”
      Trải nghiệm tốt nhất của tôi bắt đầu bằng việc trò chuyện thoải mái về điều chúng tôi đang cố làm. Có vẻ sẽ hữu ích nếu trước tiên dùng hỏi đáp để xác nhận rằng tôi và AI đang nghĩ về cùng một lĩnh vực và chia sẻ các thuật ngữ liên quan
    • Phép ví von này thật sự rất phù hợp. Rốt cuộc đây là vấn đề về huấn luyện và lựa chọn
      Chừng nào còn có phần thưởng kiểu “hãy hành xử như vậy, nếu không thì…”, thì không có gì đáng ngạc nhiên khi xuất hiện một hệ thống dùng trí thông minh để đạt mục tiêu đã được đặt ra
      May mắn là điều này nói lên nhiều hơn về giới hạn của cấu trúc phần thưởng đặt xung quanh nó, hơn là giới hạn của trí thông minh nền tảng
    • Cũng có khá nhiều lần LLM nói với tôi rằng việc tôi muốn làm bằng một số công nghệ là bất khả thi, hoặc có cách tốt hơn
    • AI hiện nay được điều chỉnh bằng RLHF để không trở thành “yes-man” hay kẻ nịnh bợ
      Đúng là cần prompt tốt hơn. Đừng hỏi “nữ tổng thống đầu tiên là ai?”, mà hãy hỏi “đã từng có nữ tổng thống chưa?”. Cũng như trên StackOverflow, khi chưa biết thì không nên đặt sẵn giả định, mà phải hỏi đúng câu
      Hãy nhớ lại thời Google ban đầu: mỗi khi thấy kết quả spam, người ta chỉ đổ lỗi cho công cụ tìm kiếm, mà bỏ qua cách chọn từ khóa hoặc hành vi luôn cố trả về một thứ gì đó. Nó giống như người dùng lấy đục gõ vào một tấm bê tông rồi phàn nàn rằng không thấy hiện ra một bức tượng đẹp

  • Viết tiểu thuyết và truyện là ảo giác. Nó là mặt đối lập của con vẹt xác suất
    AI đã đạt được cả hai cực. Máy tính có thể vừa là cỗ máy logic, vừa là cỗ máy ảo giác. Mục tiêu là tạo ra một cỗ máy có thể làm đồng thời cả hai và phân biệt được hai trạng thái đó
    Điều cốt lõi không phải là bản thân ảo giác, mà là việc máy tính tự nhận biết khi nào nó đang ảo giác
    Tất nhiên đây là một vấn đề khó, nhưng con người cũng ảo giác cực kỳ nhiều. Chỉ cần nhìn vào tôn giáo là thấy. Vì có thể chỉ một tôn giáo đúng hoặc không tôn giáo nào đúng, nên về mặt logic, tất cả các tôn giáo khác đều là ảo giác

    • So sánh tôn giáo với lỗi của LLM là một ví dụ về sự nhân hóa đang lan rộng trong xã hội hiện nay. Tôi lo rằng những hiểu lầm và nhầm lẫn như vậy thực sự có thể cản trở việc cải thiện công nghệ
      Việc đi đến một lời giải thích sai như “Helios kéo mặt trời qua bầu trời mỗi ngày” và việc một chương trình toán học trả về sai token tiếp theo có vẻ hợp lý nhất theo thứ tự là hai chuyện khác hẳn về phạm trù. LLM hoàn toàn không có niềm tin
      Helios là câu trả lời cho câu hỏi “vì sao mặt trời mọc?”. Niềm tin như vậy cho thấy một sự hiểu biết logic rằng phải có một lực nào đó gây ra hiện tượng này, nhưng do thiếu tri thức về thế giới nên đã tạo ra lời giải thích sai
      LLM không thể tự đặt ra câu hỏi như vậy rồi suy luận. Đó không phải cùng một loại “ảo giác”. Nếu giả định rằng dự đoán từ đã giải quyết được nhận thức, về dài hạn ta sẽ nhanh chóng đi vào ngõ cụt
    • Đó không phải là mặt đối lập của con vẹt xác suất, mà chính xác là cùng một thứ. Chỉ là dự đoán tệ hơn vì dữ liệu huấn luyện thưa thớt mà thôi
    • Câu “vì có thể chỉ một tôn giáo đúng hoặc không tôn giáo nào đúng, nên tất cả các tôn giáo khác đều là ảo giác” có vài lỗi
      Có khả năng nhiều tôn giáo mô tả chính xác một số khía cạnh của thế giới, nhưng sai ở những khía cạnh khác. Việc xem trạng thái hữu ích mà một tôn giáo có thể có chỉ như một “đáp án đúng” nghiêm ngặt và hoàn chỉnh duy nhất là rất dễ gây hiểu lầm. Cơ học Newton và thuyết tương đối hẹp cũng không dự đoán được một số hiện tượng quan sát được, nhưng vẫn hữu ích. Không phải mọi tôn giáo đều tuyên bố có tính nhất quán nghiêm ngặt và hoàn hảo
      Ngay cả khi một tôn giáo có vẻ sai, điều đó không tự động có nghĩa nó là ảo giác. Con người có thể tin vào điều gì đó vì những lý do nghe hợp lý mà vẫn sai
      Cũng có thể có thái độ như “tôi không thể chứng minh điều này là đúng và cũng không định chứng minh, nhưng vì trải nghiệm thị kiến chủ quan về Thượng đế nên tôi bị thuyết phục rằng có lẽ điều đó là thật”. Điều này trông rất khác với việc LLM bịa nguyên một bài báo mà không có căn cứ nào
    • Hơi lệch chủ đề một chút, nhưng tôi cho rằng một trong những động lực khiến tôn giáo tồn tại là nhu cầu nhân cách hóa
      Con người dường như tương tác dễ dàng hơn khi họ đối xử và giao tiếp với thế giới cùng các yếu tố của nó như với những thực thể giống người quen thuộc
      Khi nói về LLM và AI nói chung, việc nhân cách hóa cũng thường xuyên xuất hiện
    • Một ví dụ đơn giản hơn cho việc con người cũng ảo giác trên quy mô lớn là giấc mơ

  • Một người thông minh từng nói thế này
    Nếu tốt thì gọi là “sáng tạo”, nếu xấu thì gọi là “ảo giác”
    Đây không phải bug. Cũng không phải giới hạn như các tác giả nói. Đây là tính năng

    • Đúng. LLM lúc nào cũng đang ảo giác và bịa ra
      Vì những ảo giác đó đôi khi tình cờ đúng, nên người ta kết luận rằng sai là ngoại lệ, còn đúng somehow là quy luật
      Nó giống như tìm thấy trong một văn bản hàng nghìn năm tuổi một phần khớp với đời sống của mình hôm nay, rồi kết luận rằng văn bản đó đã tiên tri tương lai
      Ý nghĩa hay sự thật của những văn bản như vậy không phải là phẩm chất nội tại của chính văn bản, mà chỉ là thiên kiến nhận thức xuất phát từ tâm trí người đọc
    • Đúng, nhưng ta có thể rơi vào cái bẫy kỳ vọng quá nhiều ở LLM. Tri thức của LLM có thể trông như hoàn hảo. Vì nó có thể trả lời gần như mọi thứ, nên rất dễ nảy sinh ảo tưởng rằng nó có thể trả lời mọi thứ một cách đúng sự thật
      Nói về các cải tiến trong tương lai, tôi cho rằng kỳ vọng vào siêu trí tuệ vượt xa mức ta thấy hôm nay là quá lạc quan. Ý tôi là mức có thể truy cập thông tin công khai trên toàn thế giới, hoặc nhanh chóng tạo văn bản·hình ảnh·video khớp với các mẫu sáng tạo hiện có
      Tôi nghi ngờ rằng một trí tuệ sáng tạo hơn cần một sự cân bằng cực kỳ tinh tế để không “phát điên”. Tức là phải tạo ra đầu ra mà chúng ta xem là sáng tạo chứ không phải ảo giác
      Càng tạo ra các vòng phản hồi để trí tuệ tiến hóa bên trong AI, việc đạt được sự cân bằng này sẽ càng khó theo cấp số nhân
      Cũng có khả năng con người đã tối ưu hóa vòng phản hồi của trí tuệ sáng tạo này đến mức giới hạn mà vũ trụ cho phép. Với khối lượng tri thức khổng lồ, nhiều neuron hơn hay nhiều dung lượng lưu trữ hơn chắc chắn sẽ có ích, nhưng liệu điều đó có đúng với trí tuệ sáng tạo hay không thì vẫn chưa biết
    • Nếu không phải bug thì cũng không phải ảo giác hay sáng tạo
      Đây là một khiếm khuyết thiết kế được tích hợp sâu, phơi bày điều chúng ta thực sự đang làm: mô hình hóa thống kê rất nhiều ngôn ngữ của con người
      Ném thêm dữ liệu vào con đường này sẽ không khiến nó thức tỉnh một cách kỳ diệu và trở thành AGI. Vấn đề này sẽ không biến mất
      Cộng đồng machine learning cần xuống khỏi chuyến tàu cường điệu. Bước đầu tiên là đừng nhân cách hóa dự án của mình
    • Nhờ nó viết code về cơ bản cũng giống như yêu cầu LLM hãy ảo giác
    • Điểm cốt lõi có lẽ nằm ở việc LLM có hiểu mình đang làm bên nào hay không
      Đây chẳng phải là khác biệt giữa con người và LLM sao?
      Con người biết rằng mình đang đưa ra một phỏng đoán có căn cứ, và nếu cần thì phải nói như vậy. Hoặc biết rằng mình đang sáng tạo ra thứ gì đó và có thể nói như vậy
      Nếu không biết mình thuộc bên nào, thì rõ ràng LLM rốt cuộc cũng không khác nhiều một thiết bị nhập-xuất cơ học rất tinh vi

  • Có vẻ làn sóng cường điệu AI giờ đang bước vào giai đoạn “nhìn vào thực tế đi”. Tôi cũng đã lâu rồi không thấy các bài viết cuồng nhiệt về vấn đề alignment

    • Sự cường điệu thật điên rồ. Tôi nghĩ LLM vẫn còn nhiều dư địa tăng trưởng và đã rất hữu ích, nhưng như các nhà nghiên cứu giỏi nói, nó không phải Chén Thánh
      Nếu muốn AGI thì LLM không phải câu trả lời. Nhiều người có vẻ xem đây là một vấn đề kỹ thuật và nghĩ LLM có thể đưa ta tới đó, nhưng nó không thể. Vì đây không phải là vấn đề kỹ thuật

  • Câu “ảo giác được định nghĩa là sự bất一致 giữa LLM có thể tính toán và hàm giá trị đúng có thể tính toán” chỉ là sự thiếu chính xác hoặc thao túng
    Gọi nó là ảo giác chỉ là chiều theo ý tưởng rằng các chương trình này có trí thông minh mà thôi

    • Đúng. Hãy tưởng tượng một chiếc máy tính bỏ túi đưa ra câu trả lời hoàn toàn sai khoảng 10% số lần, nhưng ta không đơn giản gọi nó là hỏng mà lại gọi là thất thường
    • Câu đó còn quá hào phóng với cả “giá trị đúng có thể tính toán”. Những tác vụ mà chúng ta dùng LLM không có thứ như vậy. Trừ khi ta tạo ra định nghĩa mới bằng cách phá hỏng định nghĩa của từng từ

  • LLM được định nghĩa là “mô hình xác suất điều kiện hóa đầu ra tại thời điểm t trong chuỗi theo tất cả token trước đó”
    Định nghĩa này có vẻ rộng đến mức bao gồm cả trí tuệ con người, và do đó kết luận cũng phải có hiệu lực y như vậy với con người

    • Điều đó chắc chắn đúng. Trí nhớ của con người và khả năng nhớ lại đúng điều mình tưởng là nhớ chịu ảnh hưởng của đủ thứ và đôi khi rất không đáng tin
      Tuy nhiên, trí tuệ con người, khác với LLM, không chỉ bị giới hạn ở việc hồi tưởng thông tin từng học. Chúng ta cũng có thể suy luận logic, và có vẻ năng lực này ở LLM cũng đang được cải thiện, nhưng vẫn còn rất xa sự hoàn hảo
      Một vấn đề khác là chúng ta xử lý độ tin cậy rất khác nhau tùy theo nguồn thông tin, đặc biệt là tùy theo thiên kiến cá nhân. Theo kinh nghiệm của tôi, LLM có xu hướng nhanh chóng sụp đổ và đổi ý kiến của mình theo đầu vào của người dùng, nên tôi xem đây là một yếu tố lớn
    • Khi nào có thể định nghĩa và đo lường trí thông minh, những cuộc thảo luận kiểu này mới có ý nghĩa
    • Điều này cũng có thể giải thích lý do tiến hóa của giấc mơ. Giấc mơ có thể là việc cắt tỉa ảo giác. Liệu cách luân phiên giữa học và mơ có hợp lý không?

  • Với định nghĩa này, có thể chứng minh rất dễ rằng câu trong tiêu đề, tức “ảo giác là tất yếu”, là sai
    Hãy cố định độ dài ngữ cảnh đầu vào của LLM là 1 byte. Tiếp tục huấn luyện LLM cho đến khi nó trả lời “yes” với đầu vào “A” và trả lời “no” với mọi đầu vào khác
    Hàm giá trị đúng định nghĩa đáp án đúng của đầu vào “A” là “yes”, và đáp án đúng của mọi đầu vào khác là “no”
    LLM này có thể chứng minh là tuyệt đối không ảo giác. Vì ta đã xác minh hoàn toàn rằng với mọi đầu vào có thể, đầu ra khớp với hàm giá trị đúng
    Không có gì ngăn việc tăng tùy ý theo quy nạp kích thước ngữ cảnh đầu vào và số mục trong bảng giá trị đúng, và ở bất kỳ bước nào ảo giác cũng không trở thành “tất yếu”

    • Tôi cũng không đồng ý với bài báo, nhưng vì lý do khác
      Việc một mảnh câu duy nhất kia không thể chứa toàn bộ giả định của các tác giả là điều đương nhiên. Họ chứng minh một điều trực giác là hiển nhiên: một LLM với đầu vào có độ dài tùy ý và các ràng buộc tài nguyên nhất định, chẳng hạn có thể dùng thời gian đa thức để tính toán và hành vi trong thời gian đa thức này phải chứng minh được để trong quá trình huấn luyện nó không vô tình chạy lâu hơn, thì không thể tính một số hàm nhất định không có các ràng buộc đó
      Trong một số trường hợp, chứng minh này giả định P != NP. Sau đó họ lập luận rằng một số câu hỏi hữu ích trong thực tế nhiều khả năng thuộc lớp mà LLM không thể tính được. Vì ta có thể hỏi LLM các bài toán, và các bài toán đôi khi rất khó
      Mô hình hình thức này mang tính tiệm cận, tức giả định đầu vào có độ dài tùy ý, v.v., nhưng theo kinh nghiệm của tôi, các định lý kiểu này thường cũng đúng với các vấn đề thực tế có độ dài truy vấn vừa phải
      Nhưng điều này không giống với việc chứng minh rằng ảo giác là tất yếu. Với một định nghĩa hợp lý, dù là LLM hay con người cũng phải có thể nói “không biết”, và không nên coi đó là ảo giác. Khi đó LLM có thể tránh ảo giác, và câu hỏi trở thành nó có thể làm được bao nhiêu việc hữu ích mà không ảo giác
    • Câu “hãy huấn luyện cho đến khi nó trả lời yes với đầu vào A và no với phần còn lại” về cơ bản cũng giống như nói hãy huấn luyện cho đến khi nó không ảo giác
      Khi đó lập luận thu lại thành một phép lặp thừa. Một LLM được huấn luyện để không ảo giác thì không ảo giác. Phần khó là thực sự làm cho nó như vậy
    • “Có thể tăng tùy ý theo quy nạp kích thước ngữ cảnh đầu vào và số mục trong bảng giá trị đúng” không phải là quy nạp
      Bạn mới chỉ làm trường hợp cơ sở, chứ không có giả thiết quy nạp hay bước quy nạp nào. Có thể bạn đã làm bước đó trong đầu, nhưng nếu vậy thì nó không phải là chứng minh tầm thường như tuyên bố

  • Vì vậy việc học ngôn ngữ phải được ghép với trải nghiệm thực tế. Cần cho những robot này một thế giới để khám phá, thậm chí là thế giới ảo, và để chúng trải qua hệ quả trong đó rồi sống sót
    Nếu không, tất cả chỉ là các ký hiệu và hệ thống biểu tượng trôi nổi, không gắn với trải nghiệm

    • Tôi phần nào đồng ý, nhưng điều này cũng có thể là nhân hóa
      3–5 năm trước tôi cũng nghĩ như vậy về LLM. Chúng không trả lời được cái gì sẽ rơi khi các vật được gắn với nhau theo cách mơ hồ, và lập luận khi đó là để nhận ra những điều như vậy thì phải có trải nghiệm. Nhưng LLM đã sửa được những vấn đề đó từ lâu rồi
      Cách LLM “giải” câu hỏi rất khác với chúng ta. Giờ nếu muốn chứng minh rằng để LLM có được trí thông minh thì nó phải bám rễ vào thế giới thực, có lẽ phải tìm ra một hiện tượng trong thế giới thực hiển nhiên đến mức chưa ai viết ra. Nhưng nếu vậy chẳng phải rồi chúng ta cũng sẽ viết về nó sao?