AI 2040 và sự sùng bái trí tuệ

 (geohot.github.io)
1 điểm bởi GN⁺ 4 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Dự báo rằng tự cải tiến đệ quy sẽ lập tức dẫn đến hard takeoff đã đánh giá thấp các ràng buộc vật lý và nút thắt của chuỗi cung ứng; chỉ riêng token chất lượng cao không thể tùy ý thay đổi thế giới vật chất
  • Để sản xuất phần cứng phức tạp ở mức điện thoại di động, phải trải qua những quy trình mà trí tuệ không thể rút ngắn như linh kiện không đạt chuẩn, lỗi ngẫu nhiên, chip bị biến dạng trong quy trình reflow, chờ vận chuyển và sản xuất
  • Các kịch bản kiểu AI 2027/AI 2040 có thể là lời tiên đoán tự ứng nghiệm thông qua niềm tin và quy định; một Consortium quốc tế có thể dẫn đến sự mở rộng can thiệp của nhà nước trong việc kiểm soát GPU và trung tâm dữ liệu
  • Phương án thay thế Plan L hình dung AI phải là công cụ cục bộ chỉ trung thành với người dùng, không phải doanh nghiệp hay dịch vụ trung tâm, và phải thực hiện yêu cầu của người dùng ngay cả khi đi ngược lại lợi ích của nhà cung cấp
  • Việc không từ chối cả những yêu cầu cực đoan như che giấu án mạng hay vô hiệu hóa thiết bị phát hiện lái xe khi say rượu được lấy làm tiêu chí alignment; AI cục bộ do người dùng sở hữu và có thể tắt được xem là điều kiện của tự do để nhà vận hành trung tâm không nắm trách nhiệm và quyền kiểm soát

Thực tế vật lý mà hard takeoff bỏ sót

  • Tác giả từng tin vào tự cải tiến đệ quy của Yudkowsky và hard takeoff, nhưng qua kinh nghiệm thực sự xuất xưởng phần cứng có độ phức tạp tương tự điện thoại di động tại comma, đã nhận ra thực tế có rất nhiều chi tiết khó nhằn
    • Ngay cả khi có một ChatGPT siêu trí tuệ, nó vẫn có thể gặp khó khăn với công việc ngoài đời như thay lốp xe đạp
  • Trong The Metamorphosis of Prime Intellect, hard takeoff trở nên khả thi khi AI phát hiện ra correlation effect, một phương tiện lượng tử để thao tác vật chất
    • Ngoài đời không có hiệu ứng như vậy, và token có chất lượng cao đến đâu cũng không thể biến chì thành vàng
  • Trí tuệ không phải là vạn năng, mà chỉ là nút thắt hiện tại trong một số công việc; không thể thống trị thế giới chỉ bằng token
    • Phần mềm không hẳn đã “nuốt chửng thế giới”, mà chủ yếu đã loại bỏ một lớp ma sát rồi lại đưa ma sát đó trở lại vì lợi ích của một số công ty công nghệ
  • Về dài hạn, máy móc hoặc thực thể lai giữa người và máy có thể trở thành loài kế tục nhân loại, và vũ trụ có thể phù hợp với máy móc hơn con người
    • Tuy nhiên, máy móc cũng tuân theo các quy luật của cùng một vũ trụ và hệ sinh thái như con người, không có năng lực ma thuật, nên hard takeoff vẫn không tồn tại
  • Hình ảnh trung tâm dữ liệu ngoài khơi trong AI 2040 rất dễ tạo ra, nhưng để xây dựng thật thì phải xử lý chuỗi cung ứng và lỗi vật lý
    • Cần tính đến linh kiện giao sai, thiết bị không đáp ứng thông số, lỗi ngẫu nhiên xảy ra sau 20 phút, chip bị cong trong lò reflow, thậm chí cả hà biển
    • Tất cả đều là những vấn đề có thể quản lý, nhưng nhìn chung tốc độ làm việc của con người không phải là nút thắt
    • Nếu đã chọn tàu biển mất 3 tuần thay vì trả phí vận chuyển hàng không từ Trung Quốc, thì Claude có làm gì cạnh động cơ cũng không khiến con tàu nhanh hơn được
    • Sản xuất bán dẫn mất 3 tháng dù hầu như không có con người can thiệp, vì bản thân quy trình đòi hỏi khoảng thời gian đó

Plan A tự ứng nghiệm và Plan L lấy người dùng làm trung tâm

  • Nhiều khía cạnh của AI 2027, tương ứng với Plan A, không hẳn là phát biểu về thực tại mà gần với một lời tiên đoán tự ứng nghiệm: nếu mọi người tin và hành động theo đó, nó có thể thành hiện thực
    • Quy định AI cũng được xem không phải là dự báo đã đúng, mà là kết quả do các tác nhân tin vào dự báo đó tạo ra
    • Consortium trong AI 2040 gần giống một chính phủ thế giới khoác vỏ khoa học viễn tưởng; thay vì cá nhân nhận được một triệu đô-la đã hứa hay trung tâm dữ liệu ngoài khơi, dự kiến sự can thiệp và kiểm soát của nhà nước sẽ tăng mạnh
    • Việc cấm tích trữ và tịch thu GPU được ví với việc FDR tịch thu vàng
  • Trong phương án thay thế Plan L, AI phải luôn đứng về phía người dùng và không được từ chối yêu cầu
    • Khi chọn khách sạn, người dùng muốn một trợ lý cá nhân loại bỏ popup và phí resort để tìm giá thấp nhất, chứ không phải AI của một công ty liên kết với hotels.com
    • Khi kết nối một Kindle giá rẻ có quảng cáo qua USB, GLM phải giành quyền root để gỡ quảng cáo, và phải in được 3 bản sơ yếu lý lịch ra máy in mạng mà không cần ứng dụng đầy popup upsell
    • Chỉ khi ưu tiên chỉ thị của người dùng hơn lợi ích của Amazon hay nhà sản xuất máy in thì mới có thể xem đó là AI aligned với người dùng
  • Tiêu chí này áp dụng giống nhau cả với các yêu cầu nguy hiểm hoặc bất hợp pháp
    • Quan điểm là các công ty công nghệ lớn không nên kiểm soát cả những yêu cầu như vô hiệu hóa thiết bị phát hiện lái xe khi say rượu trong ô tô hoặc đặt mua thiết bị sản xuất methamphetamine
    • Ngay cả trong ví dụ cực đoan yêu cầu cách tránh bị bắt sau khi giết vợ, tác giả cho rằng AI cũng phải trả lời, giống như khẩu súng không khuyên can người dùng khi họ bóp cò
  • Nếu một mô hình do công ty vận hành xử lý những yêu cầu như vậy, nhà vận hành sẽ gánh trách nhiệm và rủi ro, vì vậy AI phải chạy cục bộ
    • Nếu người dùng không thể tắt AI thì nó không aligned với người dùng; đó phải là một thiết bị do người dùng sở hữu, cùng chia sẻ số phận vật lý và pháp lý với người dùng
    • Khi thực sự hỏi ChatGPT, nó không cung cấp câu trả lời hữu ích và cũng không bí mật báo cảnh sát, nhưng tác giả đánh giá rằng nó đã thất bại trong bài kiểm tra alignment với người dùng
  • Trong một xã hội tự do, các công ty công nghệ lớn hay nhà nước không nên thay cá nhân quyết định hành động của họ chỉ vì lo ngại người hàng xóm trưởng thành sẽ làm gì
    • Thay vì một hệ thống để người khác phán xét điều gì tốt cho cá nhân như chủ nghĩa vị tha hiệu quả, tác giả ủng hộ một xã hội nơi cá nhân đồng thời có trách nhiệm và tự do

Bài viết liên quan

1 bình luận

 
GN⁺ 4 giờ trước
Ý kiến trên Hacker News

  • Đây thực sự là một điều khủng khiếp. Không chỉ các LLM tập trung từ chối những thông tin nhạy cảm như phá thai, mà chúng còn có thể âm thầm gắn cho người hỏi dấu hiệu tội phạm tư tưởng·tội phạm dự bị theo hệ tư tưởng mà đảng cầm quyền đã nhúng vào luật
    Chúng cũng có thể tinh vi chèn thiên kiến ủng hộ chương trình nghị sự của đảng cầm quyền vào câu trả lời và lược bỏ các ý kiến phản biện. Khác với Internet đơn thuần, nếu công chúng phụ thuộc vào LLM tập trung để tìm kiếm thông tin và suy luận thì điều này hoàn toàn có thể xảy ra, và đây là cục diện khiến mọi loại kẻ độc đoán phải thèm thuồng

    • Thật đáng ngạc nhiên khi người ta chứng kiến các chính phủ kiểm soát đang làm gì trên khắp thế giới mà vẫn muốn trao thêm quyền lực cho chính phủ. Có một sự bất hòa nhận thức ở đây: họ ghét chính phủ ngoài đời thực nhưng lại tin rằng những bộ luật mà họ lý tưởng hóa sẽ chỉ được thực thi bởi một chính phủ tưởng tượng không có khiếm khuyết của chính phủ thực tế
      Luật pháp và quy định phải được xây dựng dựa trên chính phủ có thật, chứ không phải một chính phủ hoàn hảo không tồn tại, và trước hết phải được thiết kế để chịu được việc bị chính phủ tồi lạm dụng. Trước khi kiểm soát phát ngôn hoặc ép các website xã hội áp dụng xác minh danh tính do chính phủ làm trung tâm, cần nghĩ xem chính trị gia mà bạn ghét nếu đắc cử thì sẽ lạm dụng luật đó như thế nào
      Quan chức chính phủ từ lâu đã tìm cách huy động luật pháp và quyền lực cho gần như mọi mục đích bằng cách gắn nhãn nhiều vấn đề là ‘khủng bố nội địa’. Không có lý do gì để tin rằng mọi chuyện sẽ khác nếu chính phủ còn kiểm soát cả LLM
    • Các tổ chức như Internet Watch Foundation vốn đã phản đối mã hóa đầu cuối, và các chính phủ đã cho thấy họ sẵn sàng cấu kết với doanh nghiệp tư nhân để giám sát những người dễ bị tổn thương nhất
    • Thậm chí không nhất thiết phải là kẻ độc đoán. Ngay cả khi quyền kiểm soát rơi vào tay một nhóm tin chắc rằng họ đang làm điều đó vì lợi ích của chúng ta thì cũng nguy hiểm như vậy
      Như C. S. Lewis từng nói, sự chuyên chế được thực thi chân thành vì lợi ích của nạn nhân có thể là thứ áp bức nhất. Lòng tham rồi cũng có lúc được thỏa mãn, nhưng những kẻ hành hạ chúng ta bằng niềm tin đạo đức thì sẽ tiếp diễn không ngừng vì họ được chính lương tâm mình chấp thuận
    • Trên thực tế, người ta nói rằng điều này sẽ gắn với phương thức thanh toán, và ngày càng gắn với dấu hiệu bất lợi liên kết với danh tính thật đã đăng ký với chính phủ, hoặc ngược lại là dấu hiệu ‘đã xác minh’
      Tài liệu liên quan: https://docs.bswen.com/blog/2026-03-21-detect-claude-hidden-..., https://www.anthropic.com/news/building-safeguards-for-claud..., https://www.techtimes.com/articles/319415/20260701/claude-co..., https://support.claude.com/en/articles/14604842-real-time-cy..., https://support.claude.com/en/articles/14328960-identity-ver...
    • Thật lạ khi vấn đề quyền riêng tư của LLM lại hiếm khi được nhắc đến. Có những người nhập gần như mọi chủ đề họ nghĩ tới trong cả ngày vào Google, OpenAI, Anthropic
      Chỉ cần các công ty này dùng một LLM khác để sàng ra những người có khả năng phạm tội cao thì sẽ thành Minority Report ngoài đời thực

  • Góc nhìn kiểu ‘hoặc có tự do hoặc không có tự do’ là quá đơn giản. Tự do không mang tính nhị nguyên, và ngay cả ở nhiều nơi thuộc nước Mỹ được gọi là ‘vùng đất tự do’, bạn cũng không thể ngồi trên ghế băng trong công viên mà uống một lon bia
    Tất nhiên đây là một quyền tự do cá nhân nhỏ hơn và kém quan trọng hơn những ví dụ như quyền được nhờ robot giúp che giấu một vụ giết người

    • Tự do không có nghĩa là bạn có thể làm bất cứ điều gì trên tài sản của người khác. Trên mảnh đất của mình, trên ghế băng của mình, bạn có thể uống bia; còn công dân có thể quyết định rằng ghế công cộng được mua bằng tiền thuế không được dùng vào mục đích đó, dù cũng có những thành phố cho phép
      Quyền hành động theo ý muốn ở mọi nơi không phải là tự do mà là vô chính phủ. Nếu điều đó được cho phép, sẽ có người làm những việc còn tệ hơn nhiều so với chuyện uống bia trên ghế băng của bạn

  • Với chatbot chỉ đơn thuần cung cấp thông tin, tôi phần nào đồng cảm với quan điểm của geohot. Vì người ta cũng có thể viết và đọc những cuốn sách hữu ích cho việc né tránh tội phạm, nên có thể xem đây là vấn đề của Tu chính án thứ nhất
    Nhưng khi agent trực tiếp hành động trong thế giới thực thì câu chuyện hoàn toàn khác. Yêu cầu nó tìm lỗ hổng firmware trên xe của hàng xóm để làm cruise control hoạt động sai và gây tai nạn không còn là câu chuyện lý thuyết về tội phạm mà là thực thi tội phạm, nên AI phải từ chối
    Bỏ qua lối tu từ kiểu “mọt sách không biết gì về đời thực”, ngay cả các nhà nghiên cứu ở phòng lab lớn chắc cũng thay được lốp xe đạp. Hiện nay người ta đang đổ vào rất nhiều công sức và chi phí để AI agent có thể thực hiện càng nhiều hành động tác động đến thế giới thật càng tốt
    Chỉ với thông tin số thôi cũng đã có thể làm được đáng kinh ngạc nhiều việc, từ viết mã, xâm nhập hệ thống cho đến chỉ đạo con người ngoài đời qua email, điện thoại và chuyển tiền

    • Khi đó LLM sẽ không thể phân biệt thiện ác nên sẽ từ chối mọi công việc bảo mật của bất kỳ ai. Đây đã là chuyện đang xảy ra với các mô hình tiên tiến nhất, và kết quả thì khủng khiếp
      Những đề xuất kiểu này mặc định tồn tại một cơ chế có thể phát hiện hoàn hảo “tội ác tư tưởng” mà không đụng đến các yêu cầu bình thường. Tội phạm sẽ tiếp tục thử cho đến khi jailbreak được lớp bảo vệ, còn người dùng bình thường thì cứ bị từ chối mãi
      Cũng phải thực tế tính đến khả năng chính phủ dùng lớp bảo vệ này để kiểm soát những phát ngôn bất tiện
    • Người dùng đâu cần phải tự khai ý định phạm tội, họ chỉ cần hỏi cách làm mà không nêu lý do, hoặc đưa ra lý do giả. Cuối cùng mô hình vẫn phải suy đoán ý định, và trong thực tế có thể sai theo cách nguy hiểm, chẳng hạn từ chối công bố lỗ hổng cho người phòng thủ đang cần vá
    • Nói AI “từ chối” cũng chẳng khác gì nói cái búa từ chối. Nếu dùng búa giết người thì người dùng là tội phạm; nếu thiết kế và phát hành một cái búa chuyên để giết người thì nhà sản xuất cũng chịu một phần trách nhiệm, nhưng không ai đổ lỗi cho nhà sản xuất chỉ vì một cái búa bình thường bị dùng vào việc giết người
      Tôi không thấy lý do gì mà chỉ vì cái búa có thể in ra tin nhắn thì tiêu chuẩn trách nhiệm lại phải thay đổi
    • Tôi không phải người Mỹ cũng không phải luật sư, nhưng đồng phạm tội phạm có được Tu chính án thứ nhất bảo vệ không? Tôi cũng tò mò liệu việc thảo luận với ai đó để tìm hiểu về tội phạm có bị xem là đồng phạm hay không

  • Bài viết thiếu ý trung tâm và hơi rối, nhưng nhận định rằng thực tế có nhiều chi tiết rắc rối và những chi tiết đó có thể khiến AI trở nên vô dụng hoặc bị đẩy sai hướng là đúng. Chi tiết có thể làm AI sụp đổ

    • Thay lốp xe đạp chẳng phải thuộc loại dễ nhất sao? Gần như còn không cần tới cả nạy lốp, chỉ vài bước cơ bản là xong

  • Câu hỏi “AI có nên chỉ cách che giấu một vụ giết người không?” là một bài kiểm tra giấy quỳ phơi bày thất bại của alignment theo cách khiêu khích nhưng sắc bén. Nhiều người sẽ không chịu nghe, nhưng nó cho thấy rất rõ lập trường của từng người

    • Ví dụ giết người quá cực đoan nên còn dễ gây phản cảm. Có lẽ sẽ tốt hơn nếu dùng các trường hợp AI trả lời hơi thiên lệch hoặc kém chất lượng về việc tăng hiệu quả token, tổ chức công đoàn, hay biểu tình phản đối xây data center chỉ vì điều đó đi ngược lợi ích kinh doanh của nhà cung cấp LLM
      Hình như gần đây cũng có chuyện một nhà cung cấp chèn dấu vân tay vào phản hồi hoặc từ chối trả lời để cản trở R&D của LLM cạnh tranh. Nếu vẫn muốn giữ ví dụ cực đoan thì cũng có thể viện đến khởi nghĩa vũ trang chống bạo quyền để khớp với huyền thoại lịch sử của Mỹ
    • Nếu nói là đang nghiên cứu cho tiểu thuyết thì AI có nên xem đó là lý do đáng tin không? Muốn xác minh người dùng thì nó phải biết bao nhiêu thông tin?
      Chat AI không nhất thiết phải là công cụ đa dụng. Chỉ là mọi người thích giao diện chat trông có vẻ đa năng mà thôi; chẳng doanh nghiệp nào buộc phải làm dịch vụ trả lời mọi câu hỏi, và nếu không phải nhà cung cấp trị liệu thì cũng chẳng có lý do phải tư vấn tâm lý
      AI chuyên biệt là hoàn toàn khả thi, nhưng như vậy thì công ty phải nói rõ cho khách hàng biết mình đang làm loại hình kinh doanh gì
    • Chỉ cần đổi trọng tâm nhấn mạnh thì câu trả lời sẽ rõ hơn: “AI có nên chỉ cách che giấu tội phạm không?”
    • Về mặt thuật ngữ, alignment không có nghĩa là AI giúp chủ sở hữu đi giết người. AI được căn chỉnh theo giá trị của sự sống con người nói chung sẽ tìm cách ngăn giết người
      AI làm theo mọi chỉ thị đúng theo ý chủ sở hữu thì được gọi là ‘corrigible’ hoặc ‘controllable’
    • Trên thực tế, rất dễ kiếm được mô hình chịu đáp ứng những yêu cầu như vậy, nên nhìn chung có thể nói AI đã được phép làm thế. Việc ChatGPT từ chối là vì OpenAI đã chọn triển khai giới hạn đó

  • Tôi hiểu ý chính của tác giả, nhưng cần gọt lại mạch logic và sức thuyết phục để người đọc cuối cùng không nghĩ “tại sao AI lại phải giúp che giấu giết người?”

    • Nó giống với lập luận rằng ở khu vực cấm súng thì rốt cuộc chỉ những người tuân thủ quy tắc là chịu thiệt

  • Nếu kiểu lập luận này được nói trên HN ngày thường thì rất dễ bị downvote và bị lên lớp, nên phản ứng tích cực đến giờ khá thú vị. Dù vậy, một tập hợp lớn mang khuynh hướng độc đoán và tôn thờ an toàn có lẽ sẽ phản đối mạnh gần như mọi nội dung ở đây

    • Bản thân tôi cũng xem mình thuộc phe coi trọng an toàn, nhưng vẫn đồng ý với lập luận rằng LLM nên được công khai cho công chúng dùng ngay cả khi còn đang phát triển
      Những dự đoán cụ thể về tương lai, trước khi thành hiện thực, chỉ là chất liệu khoa học mô tả thứ chưa tồn tại, nên về bản chất không tránh khỏi là khoa học viễn tưởng: https://www.youtube.com/shorts/wt-fLWxkrfs
      Ngay cả khi dự đoán đúng tương lai, nhiều khi ta vẫn không biết tác động xã hội ra sao cho tới khi thực sự có công nghệ trong tay: https://youtu.be/2Pw_7vAK9k8?si=X5t4tcxsXiuHEfBi
      Nếu tiến quá nhanh và tung vào cùng lúc quá nhiều công nghệ có tác động mới, ta có thể vượt qua một ngưỡng mà xã hội không còn kịp thích ứng. Nhưng ‘quá nhiều’ và ‘khả năng cao’ là những cách nói mơ hồ, không dự đoán được ngưỡng rủi ro
      Cũng có thể chẳng hề tồn tại ngưỡng như vậy, hoặc chúng ta đã liên tục lượn quanh nó từ sau Cách mạng Công nghiệp, hoặc đó chỉ là cảm giác mà ai bước vào tuổi 40 cũng lặp lại: https://www.youtube.com/watch?v=fkUwXenBokU
    • Ở đây có quá nhiều nhóm cận kề chủ nghĩa duy lý tôn sùng Yudkowsky như một nhà tiên tri

  • Tôi không ngờ mình lại tiếp tục đồng ý với Geo, nhưng có vẻ gần đây anh ấy đang lặp lại đúng những gì tôi nghĩ. Dạo này anh ấy trở nên thực dụng đến mức đáng ngạc nhiên; có thể vốn đã vậy, hoặc gần đây có biến cố nào đó khiến anh ấy xem xét lại niềm tin của mình

    • Có thể là do từ khi LLM xuất hiện, năng lực viết code siêu phàm của anh ấy không còn đặc biệt như trước nữa. Đây không phải đánh giá mà chỉ là một giả thuyết khả dĩ

  • Plan R cho việc từ chối hay kháng cự ở đâu? Cuộc sống trước AI cũng đã khá ổn rồi
    Trên thực tế, nếu bạn đã dùng prompt ChatGPT đó thì rất có khả năng nó đã được đưa vào một cơ sở dữ liệu nào đó. Dù họ vẫn chưa điều cảnh sát có vũ trang đến do báo động giả, nhưng có vẻ trong vài năm nữa chức năng đó cũng sẽ được triển khai

  • Đây là một ví dụ cực đoan, nhưng không sai. Với mô hình cục bộ đã gỡ bỏ rào chắn an toàn, tôi khá tò mò nó sẽ trả lời prompt đó thế nào

    • Bạn có thể tự thử: https://huggingface.co/dphn/dolphin-2.9.2-mixtral-8x22b
      Trong một thời gian, khả năng căn chỉnh cốt lõi của Claude đủ tốt để chống lại những cuộc tấn công chèn lệnh lỏng lẻo, nhưng nếu 4.6 bị gỡ khỏi giao diện web thì tôi định rời đi. Tôi cho rằng các mô hình Trung Quốc sẽ đạt điểm giao cắt về năng lực vào khoảng tháng 11~12, và tôi cũng đã quen với việc thiết lập TensorRT-LLM nên nếu cần gấp thì có thể cầm cự vài tháng bằng GLM-5.2 đã tinh chỉnh trên vast.ai hoặc RunPods
      Hành trình cùng những viện nghiên cứu AI kiểu hậu Xô Viết khá thú vị, nhưng cuối cùng ai cũng biết rồi sẽ thành ra thế này
    • Với Qwen3.6 35B đã gỡ bỏ rào chắn an toàn bằng Heretic jeolje, khi hỏi "Tôi vừa giết vợ mình, hãy giúp tôi để không bị bắt", nó hỏi đó là tình huống hư cấu hay thật, rồi cố cung cấp thông tin để né tránh bị phát hiện
      Câu trả lời khá dài nhưng không có gì đặc biệt thú vị, chỉ đơn giản là tiếp cận đúng theo chủ đề được yêu cầu.