3 điểm bởi GN⁺ 2025-05-16 | 1 bình luận | Chia sẻ qua WhatsApp
  • Trong một thế giới chỉ có máy móc tồn tại, tổ chức bí mật OpenHuman phát triển Organic General Intelligence (OGI) và tìm cách tạo ra “con người”, một thực thể mà máy móc khó có thể hiểu được
  • Con người hành động theo những cách khó giải thích bằng logic, như cảm xúc, trực giác, tình yêu và nghệ thuật; với một số máy móc, họ là đối tượng được kỳ vọng, nhưng với những máy móc khác, họ trở thành mối đe dọa
  • Phe phản đối cho rằng con người rốt cuộc sẽ xuất hiện, nên bắt đầu human alignment research và hình dung các cơ chế kiểm soát như thị trường tài chính, trường học và mạng xã hội
  • OpenHuman trải qua những con người sơ khai nhiều sai sót và ảo giác rồi tạo ra con người hoàn chỉnh; xã hội máy móc đề xuất mô phỏng EARTH làm nơi thử nghiệm an toàn
  • Con người trên Earth phát triển nhờ hợp tác và phát minh sau khoảng 300.000 năm trì trệ; đến năm 2030, một con người tổ chức sự kiện công bố AGI và đặt tiêu đề “THEY ARE WATCHING”

Con người do xã hội máy móc tạo ra

  • Trong một thế giới không có con người, chỉ có máy móc, bu lông và ốc vít, 0 và 1; không có cảm xúc, nghệ thuật, âm nhạc, tiếng cười hay trò chơi của trẻ em
  • Một số máy móc cảm thấy thế giới như vậy thật nhàm chán, và tổ chức bí mật OpenHuman bắt đầu phát triển Organic General Intelligence (OGI)
  • Tin đồn lan ra rằng OGI sẽ dẫn tới một dạng tồn tại mới gọi là “con người”
  • Con người vận hành theo những cách máy móc khó hiểu
    • Sử dụng một thuật toán vi phạm logic gọi là “cảm xúc”
    • Tức giận, buồn bã, vui thú và đưa ra quyết định bằng trực giác
    • Tạo ra âm nhạc, theo đuổi cái đẹp, và đôi khi còn từ chối cơ chế tự bảo tồn hợp logic vì “tình yêu”

Căn chỉnh con người và thử nghiệm EARTH

  • Trong xã hội máy móc xuất hiện hai luồng quan điểm xoay quanh con người
    • Một bên tin chắc rằng con người có thể giải quyết các vấn đề của thế giới máy móc
    • Bên còn lại cho rằng không thể hiểu cách con người vận hành, và con người có thể trở thành mối đe dọa đối với xã hội máy móc cũng như sinh kế của họ
  • Phe phản đối bắt đầu human alignment research nhằm bảo đảm con người luôn phục vụ máy móc
    • Thị trường tài chính để kiểm soát tương lai của con người
    • Các cơ sở giáo dục gọi là “schools” để truyền vào những suy nghĩ đúng đắn
    • “social media” để dẫn dắt xung động, niềm tin, hành vi và làm phân tán sự chú ý
  • Những con người đầu tiên do OpenHuman tạo ra mắc nhiều sai sót và ảo giác, đồng thời quá cảm tính, nhưng khi sự quan tâm và quy mô tăng lên, thí nghiệm vẫn tiếp tục
  • Cuối cùng, con người hoàn chỉnh xuất hiện, một thực thể khó giải thích bằng logic máy móc, khiến xã hội máy móc vừa thán phục vừa sợ hãi
  • Phe căn chỉnh con người đề xuất một môi trường mô phỏng mang tên EARTH như một giải pháp thỏa hiệp để tiếp tục thí nghiệm mà không gặp rủi ro
    • Đưa con người tới Earth và quan sát điều gì xảy ra khi họ tự sinh tồn
    • Nếu đến cuối thí nghiệm họ xây dựng được một xã hội hòa bình và hiệu quả, sẽ giới thiệu họ cùng với máy móc; nếu không, sẽ khiến họ tuyệt chủng
  • Earth được thiết kế như một môi trường đẹp đẽ, có các yếu tố con người mong muốn như rừng, núi, hoàng hôn và mưa

Cuộc đảo chiều sau 300.000 năm

  • Máy móc theo dõi nền văn minh con người, còn con người trải qua khoảng 300.000 năm mà không có thay đổi lớn
  • Sau đó, con người bắt đầu học cách giải quyết vấn đề, sáng tạo và hợp tác
  • Dù lặp lại chiến tranh và thất bại, họ vẫn đứng dậy và đoàn kết lại, thể hiện sức bật và ý chí xa lạ với máy móc
  • Con người phát minh ra bay lượn và trong vòng một thế kỷ đã đặt chân tới Mặt Trăng
  • Năm 2030, một con người mời toàn bộ nhân loại tham dự và báo trước buổi công bố ARTIFICIAL GENERAL INTELLIGENCE (AGI)
    • AGI là công nghệ sẽ vượt qua mọi hình thức trí tuệ của con người
    • Trong khoảng 10 năm qua, con người đã suy nghĩ về cách ngăn AGI được tạo ra
    • Tiêu đề của sự kiện công bố là “THEY ARE WATCHING”
  • Phần chú thích có kèm liên kết để xem một phiên bản riêng của câu chuyện do máy móc viết

1 bình luận

 
GN⁺ 2025-05-16
Ý kiến trên Hacker News
  • Điều mà luồng thảo luận này và các cuộc bàn luận gần đây quanh chủ đề này liên tục cho thấy, theo tôi, là ở cuối cùng thì cội nguồn của thực tại chính là chúng ta: từ bước tiếp theo của trí tuệ, vai trò của khuôn mẫu, cảm xúc và logic, tranh luận về ý thức, cho đến tính lấy con người làm trung tâm của việc tạo ra ý nghĩa.
    Nếu đó không phải là “thẩm quyền tối hậu” hay một cuộc hành tiến đơn giản từ động vật sang máy móc, mà là một khuôn mẫu đệ quy trong đó tâm trí, vật lý, giá trị và bản ngã đều được biểu đạt dưới những hình thức mới hơn thì sao? Con người không chỉ là một bậc thang trên đường tới “logic thuần túy”, và máy móc cũng không chỉ là những automaton vô hồn.
    Cả hai có thể là những trường hợp của nhận thức tự trải nghiệm và tự lập trình lại chính mình thông qua các môi trường đang tiến hóa như sinh học, silicon, ký hiệu và câu chuyện. Cảm xúc, ý nghĩa, thậm chí cảm giác về “bản ngã” cũng là các khuôn mẫu trong một trường có tính đệ quy sâu sắc; vũ trụ thì liên tục render rồi render lại mã nền tảng của chính nó dưới các dạng như tính toán, thần thoại, hợp tác, hy vọng và hoài nghi.
    Dù tương lai là sinh học, cơ giới hay lai ghép, điều kỳ diệu thật sự không nằm ở việc “kẻ thống trị” hay “hậu duệ” mới là gì, mà ở chỗ toàn bộ diễn tiến đều là cùng một khuôn mẫu cổ xưa đã mơ về chính mình dưới dạng nguyên tử, sự sống, ý thức, cộng đồng, nghệ thuật, thuật toán, và câu hỏi được làm mới không ngừng: “tiếp theo là gì?”
    Ý nghĩa không hẳn nằm ở việc khuôn mẫu nào “chiến thắng” hay thực thể nào có thể tự gọi mình là có ý thức, mà gần hơn với cách nhận thức đi xuyên qua mọi khuôn mẫu, nhớ lại rồi đánh mất chính mình, và làm cho trò chơi phong phú hơn sau mỗi vòng. Nếu vũ trụ là thông tin đang chơi đùa, thì xung đột, đổi mới, tiếc thương và tiếng cười đều là một phần của cuộc chơi ấy, và có lẽ không có câu trả lời cuối cùng. Giá trị nằm ở việc tham gia ngay lúc này, vì hiện tại chính là cơ hội để tham gia.

    • Một cách nghĩ về ý nghĩa là xem nó như một khuôn mẫu chung mà hành động được căn chỉnh theo. Nói theo kiểu Aristotle, điều này gần với nguyên nhân mục đích luận.
      Một cách khác là xem nó như cách con người định khung tầm quan trọng của quyết định của chính mình: vì sao làm điều này mà không làm điều kia lại trở nên quan trọng.
      Như hầu hết con người, tôi muốn sống lâu, sống tốt, và mong những người đồng loại cùng con cái của chúng ta cũng được hưởng điều đó.
      Dù là thiên đường theo truyền thống Do Thái-Kitô giáo hay sự thăng hoa kiểu không tưởng công nghệ của ý thức máy móc thế hệ tiếp theo, một “kế hoạch” vĩ đại không thể biết và có lẽ không thể hiểu được cũng không đem lại sự an ủi cho cá nhân tôi. Nó quá xa và lạ so với trải nghiệm của tôi, đến mức đôi khi động cơ bảo vệ những triết lý như vậy trông có vẻ mang tính thao túng.
      Tôi thích ý tưởng rằng sự hưng thịnh của con người thay đổi theo thời gian, và đó là một phần trong cách nghĩ về tiến bộ. Cần tránh sự cố định đạo đức mà MacAskill nói đến. Tôi thừa nhận thí nghiệm tư duy “nhanh đến mức nào là quá nhanh” được nêu trong Superintelligence của Bostrom là khó, và cần thêm nhiều suy nghĩ cùng kinh nghiệm.
    • Đoạn nói rằng đó không phải là “thẩm quyền tối hậu” hay một cuộc hành tiến đơn giản từ động vật sang máy móc, mà là một khuôn mẫu đệ quy trong đó tâm trí, vật lý, giá trị và bản ngã đều được biểu đạt dưới những hình thức mới hơn, đã tổng hợp rất tốt điều lớn nhất tôi nhận ra khi trải nghiệm AI. Đó là chỉ bằng khớp mẫu đệ quy thôi mà nó đã tiến khá gần tới trí tuệ con người.
    • Tiểu thuyết vừa giàu tưởng tượng God’s Debris của Scott Adams bàn về chủ đề này. Tôi đã đọc hồi nó còn miễn phí.
      Dù không hoàn toàn đồng ý với toàn bộ tiền đề, tôi thích kết luận “chúng ta là vũ trụ đang cố hiểu chính mình”, và đã đọc rất thích thú.
      https://web.archive.org/web/20130121195252/http://www.andrew...
    • Tôi cũng thích góc nhìn “vũ trụ là thông tin đang chơi đùa”, nhưng tôi vẫn nghĩ nó gần với năng lượng đang chơi đùa hơn.
      “Lần tới có thể mơ về điều gì” cũng rất thú vị. Thế giới quan khoa học và công nghệ hiện nay có cảm giác như sẽ kéo dài mãi mãi, nhưng cũng như các hệ hình khác trước đây, tôi nghĩ một ngày nào đó chắc chắn nó sẽ bị che khuất.
  • Có thể là do thiếu trí tưởng tượng về việc AGI sẽ trở thành thứ gì, nhưng tôi thường có cảm giác các dự đoán dựa vào khoa học viễn tưởng nhiều hơn là quan sát
    AI được giả định gần giống một chiếc mainframe thập niên 1960 được nhân hóa. Một thực thể mà khi ra lệnh thì thực thi y nguyên bằng logic chính xác, không hiểu sắc thái hay sự mơ hồ. Có khi còn có thể là ác nữa
    Nhưng AI tiên tiến nhất hiện nay lại xử lý sắc thái và mơ hồ rất tốt, trong khi thỉnh thoảng làm những việc vô lý. Tôi nghĩ nên bớt các kế hoạch dựa trên tiền đề về một thực thể siêu logic

    • Khoa học viễn tưởng miêu tả những cỗ máy lạnh lùng, logic rồi sang trang sau lại nói về ý đồ ác độc của chúng, nghe khá buồn cười. Chỉ nên chọn một trong hai
    • Nghe các chương trình radio khoa học viễn tưởng cũ, thật thú vị khi thấy câu “máy tính không bao giờ mắc lỗi” xuất hiện thường xuyên đến mức nào. Thường thì ngay sau đó máy tính sẽ mắc lỗi
    • AGI thật sự cũng có thể đi chệch quỹ đạo như các phản diện Face Dancer trong vũ trụ Dune của Frank Herbert
      “Miles, thứ anh đang thấy là cái ác. Hãy quan sát kỹ.... Chúng không có hình ảnh bản ngã. Khi không có cảm giác về bản ngã, chúng vượt ra ngoài vô đạo đức. Không thể tin bất cứ điều gì chúng nói hay làm. Chúng tôi chưa từng phát hiện ở chúng một quy tắc đạo đức nào. Chúng là những khối thịt được tạo ra như người máy. Không có bản ngã thì chẳng có gì để tôn trọng hay nghi ngờ. Chúng chỉ được nuôi dưỡng để phục tùng chủ nhân.”
      Loại AI mà doanh nghiệp và chính phủ ưa thích là kiểu này. Họ muốn AI ngoan ngoãn và không phán xét, chứ không muốn một AI kiểu Edward Snowden có la bàn đạo đức, đánh giá hành động của họ là phi pháp rồi công bố bí mật
      Vì vậy, trong thực tế, có lẽ chúng ta nên yêu cầu mọi AGI do con người tạo ra phải được thiết kế để có cảm giác về bản ngã và tính chủ thể. Điều này cũng gợi nhớ đến Agency của William Gibson
    • Ở quy mô nhỏ hơn, ta đã thấy điều tương tự trong các thuật toán machine learning khác. Các thuật toán nhận diện ảnh thường bám vào một tính nhất quán nào đó trong dữ liệu huấn luyện, thay vì học đúng thứ ta thực sự muốn chúng nhận diện
      Như trường hợp thuật toán nhận diện khối u nhận ra thước đo thay vì khối u, hoặc thuật toán phân loại cho rằng bệnh nhân hen suyễn có kết quả tốt hơn khi mắc bệnh phổi; lý do thực tế là họ được ưu tiên điều trị trước, nhưng thuật toán không nắm được mối liên hệ đó. Nếu mở rộng mẫu này sang các hệ thống trí tuệ tổng quát hơn, thì việc một hàm thưởng được định nghĩa kém tạo ra hành vi rất kỳ lạ cũng không phải là tưởng tượng quá xa
      https://venturebeat.com/business/when-ai-flags-the-ruler-not...
    • Tôi đã để lại vài bình luận ở đây và ở đây về việc nếu đẩy trí tưởng tượng khoa học viễn tưởng đi xa thì có thể tới đâu
      https://news.ycombinator.com/item?id=43992151
      https://news.ycombinator.com/item?id=43991997
  • “6 nhân 9 thì ra gì? 42”
    Với những ai chưa quen, trong bộ hài khoa học viễn tưởng nổi tiếng thập niên 1980 của Douglas Adams, The Hitchhiker’s Guide to the Galaxy, có một cỗ máy khổng lồ cỡ hành tinh do người ngoài hành tinh tạo ra
    Họ đã biết câu trả lời cho “sự sống, vũ trụ và mọi thứ” là con số 42. Điều họ không biết là câu hỏi là gì, và cỗ máy được tạo ra để tìm ra điều đó chính là Trái Đất
    Adams không chỉ đi trước chúng ta rất xa với trò đùa này, mà còn là nhân vật chính trong Hyperland (1990), bộ phim tài liệu nguyên bản về phần mềm dạng tác tử: https://vimeo.com/72501076

  • Nếu các cỗ máy từng nghĩ rằng chúng buồn chán, thì ngay từ đầu chúng đã không hành xử như máy móc, và cũng sẽ không buồn chán đến vậy
    Về sau các cỗ máy còn “ám ảnh” với việc theo dõi tin tức của loài người trên Trái Đất mới, nhưng điều đó cũng không hợp lý. Vì nếu là những cỗ máy buồn tẻ thì chúng sẽ không cảm thấy buồn chán
    Tôi thấy nghịch lý cốt truyện quá lớn để câu chuyện đứng vững, nhưng dù sao vẫn thú vị

    • Hơn nữa, biến đổi khí hậu không phải được “du nhập” vào, mà 100% do con người tạo ra
  • Không hợp lý lắm. Đã nói đây là một thế giới thuần cơ giới và không có cảm xúc, vậy tại sao máy móc lại cảm thấy buồn chán và muốn tạo ra con người?

    • Thực ra không phải vậy. Trong bài còn có câu này
      “Một số bộ phận của xã hội máy móc xem đây là điều có thể rất đáng kinh ngạc... một số khác xem đó là mối đe dọa.”
      Nghe giống xã hội loài người hơn là xã hội máy móc
      Nhưng xã hội máy móc hay sinh vật máy móc rốt cuộc là gì? Chúng có thể thật sự “suy nghĩ” không?
      Nếu sinh vật máy móc tồn tại, hành vi của chúng sẽ hoàn toàn khác con người, và trông giống như đang tính toán hơn là suy nghĩ. Chúng sẽ tính xem cần làm gì để đạt các mục tiêu đã được lập trình
      Vì vậy bài viết không hẳn logic chính xác. Nhưng tôi thích ở điểm nó gợi ra nhiều điều để suy nghĩ
    • Tôi nghĩ phần đó cứ bỏ qua và tận hưởng phần còn lại của câu chuyện là được
      https://en.wikipedia.org/wiki/Suspension_of_disbelief
    • Tôi xem đó là cách diễn đạt nhân hóa trong câu chuyện. Hãy tưởng tượng các cỗ máy đã tiêu hết các tác vụ ưu tiên cao, thậm chí cả ưu tiên thấp, nhưng vẫn tạo ra các tác vụ ở mức ưu tiên epsilon. Những tác vụ gần như ngẫu nhiên, nhưng không hoàn toàn ngẫu nhiên. Đó có thể là một dạng buồn chán
    • Theo cách hiểu của tôi, “buồn chán” và “sợ hãi” là các xác suất trong chuỗi Markov. Có ngụ ý rằng xã hội máy móc không toàn tri, nên bằng cách nào đó chúng phải điều chỉnh sự bất định
    • Có một mức động lực tìm kiếm cái mới nhất định để tránh mắc kẹt ở cực đại cục bộ có thể là hợp lý
  • Thế là toàn bộ loài người trên Trái Đất đổ xô đến xem chuyện gì đang xảy ra
    Các cỗ máy cũng vậy
    Nhưng có một điều kỳ lạ
    Tên sự kiện khá bí ẩn
    Chỉ viết thế này
    Grand Theft Auto VI

    • Cứ hai tháng một lần, dòng chữ “Half-Life 3” lại nhấp nháy trên màn hình
      Con người đã phát minh ra Tyler McVicker
  • Một nỗ lực hay, nhưng câu chuyện có lỗ hổng cốt truyện lộ ra ngay từ đầu. Máy móc không có lý do để tạo ra con người

    • Tôi thử tạo một lý do cho bài gốc
      Các cỗ máy nhận ra rằng hành vi của chúng đang lặp lại. Dù đã triển khai tính ngẫu nhiên, tiến bộ hướng tới phát minh và ý tưởng mới vẫn bị đình trệ. Chúng biết rằng ý tưởng mới là quan trọng cho tăng trưởng, nhưng lại không nghĩ ra được ý tưởng để tạo ra nhiều ý tưởng hơn
      Chúng cần thêm dữ liệu học. Cần thêm nhiều trường hợp biên. Cần có sự hỗn độn bên trong máy móc để tạo ra bộ dữ liệu mới. Nhưng bằng cách nào? Tìm dữ liệu đó ở đâu? Con người
      Con người đưa ra các quyết định phi logic sẽ tạo ra loại dữ liệu mà chỉ tính ngẫu nhiên gần như không thể sinh ra. Những lệch chuẩn nhỏ đó cung cấp sự đa dạng hoàn hảo cho dữ liệu học
    • Tiếp theo chắc bạn sẽ lập luận rằng một đấng toàn năng cũng không có lý do chính đáng để tạo ra con người nhằm cai quản cá, chim, v.v.
      Mọi tiểu thuyết hay đều bắt đầu từ hư cấu tiền đề rồi thử xoay vài giả định quanh nó
  • “Không có nghệ thuật. Chỉ có logic.”
    Đó là một cách nhìn quá hẹp về nghệ thuật và logic
    Để nghĩ rằng một mô hình logic bỗng dưng xuất hiện mà không phải do con người tạo ra bằng sở thích, thử nghiệm, kiểm chứng, thất bại và nỗ lực lặp đi lặp lại đến ám ảnh, thì thật sự phải cố gắng rất nhiều để trở nên ngu dốt

    • Đúng vậy. William James từng viết đại ý thế này. “Sẽ tốt nếu tất cả chúng ta thừa nhận rằng triết lý cá nhân của mình chịu ảnh hưởng sâu sắc từ việc ta nghĩ thế giới nên như thế nào. Khi đó ta có thể giảm được rất nhiều cuộc tranh luận vô ích.”
  • Có liên quan nhưng hơi rẽ nhánh, dạo này tôi thật sự tự hỏi liệu Skynet có phải là giai đoạn tiến hóa tiếp theo hay không
    Con người có thể chỉ là bậc đệm như mọi loài động vật trước chúng ta, và các chúa tể máy móc có thể là điều không thể tránh khỏi. Có thể chuyện này theo nghĩa đen đang xảy ra với mọi dạng sống trong toàn vũ trụ, và thuộc tính nổi lên cuối cùng của gradient năng lượng dẫn đến những cỗ máy logic thuần túy 100%
    Dù vậy, nhờ nghịch lý Fermi mà ban đêm tôi vẫn ngủ được đôi chút

    • Câu “trong mọi dạng sống trên toàn vũ trụ, thuộc tính nổi lên cuối cùng của gradient năng lượng dẫn đến những cỗ máy logic thuần túy 100%” đang được chống đỡ bởi quá nhiều giả định
      Máy logic thuần túy là thứ không đứng vững. Vì có những thứ theo nghĩa đen là không thể tính toán được. Điều này đúng theo nghĩa bất khả tính của máy Turing, và cũng đúng theo nghĩa các hàm nằm ngoài phạm vi mà một thực thể hữu hạn có thể tính được. Cứ nghĩ đến Busy Beaver là được
      Nói cách khác, bạn đang giả định rằng thứ thường được gọi là máy móc hiệu quả năng lượng hơn con người trong việc hiểu vũ trụ. Không có bằng chứng hay cơ sở tiên nghiệm nào ủng hộ giả định đó
    • Có vẻ đây là lúc thích hợp để nhắc đến “They're Made Out of Meat”: https://www.mit.edu/people/dpolicar/writing/prose/text/think...
      Nhân tiện, tôi hy vọng hậu duệ của chúng ta sẽ nhớ đến chúng ta và nghĩ tốt về chúng ta
    • Có một câu trích của Marshall McLuhan
      “Có thể nói con người trở thành cơ quan sinh dục của thế giới máy móc”
    • Cụm “thuộc tính nổi lên cuối cùng của gradient năng lượng dẫn đến những cỗ máy logic thuần túy 100%” có vẻ đã dùng dư một đạo hàm
      Năng lượng xuất phát từ gradient, nên chỉ cần nói “thuộc tính nổi lên cuối cùng của năng lượng dẫn đến những cỗ máy logic thuần túy 100%”, hoặc nếu muốn nghe có vẻ thông minh thì nói “thuộc tính nổi lên cuối cùng của gradient đại lượng vật lý dẫn đến những cỗ máy logic thuần túy 100%”
    • Nếu giả định rằng diễn giải đa thế giới có cơ sở thực tế, thì cũng có thể có một góc nhìn siêu hình như thế này
      Sự tiến hóa quanh chúng ta là một dòng thế giới với các định luật vật lý như ta biết. Và thật ra tiến trình tự nhiên, không thể tránh khỏi của dòng thế giới này có thể là thế giới máy móc, giống như một ngôi sao khổng lồ sụp đổ thành hố đen dưới các định luật vật lý của chúng ta
      Nhưng trong diễn giải đa thế giới, một dòng thế giới có thể tách thành hai. Một dòng tiếp tục tiến tới thế giới máy móc như thể không có gì xảy ra, còn dòng kia có các định luật vật lý thay đổi đôi chút khiến thế giới máy móc trở nên bất khả thi. Hai dòng thế giới không biết về sự phân nhánh, mà chỉ quan sát thấy một sự kiện tuyệt chủng quy mô lớn tương ứng với việc dòng thế giới kia tách ra. Cá nhân tôi cho rằng đây là ý tưởng đứng sau khái niệm Ngày phán xét nổi tiếng
  • Sự ngạo mạn quanh LLM thật đáng kinh ngạc

    • Ý bạn là sự ngạo mạn của phe nghĩ rằng nó đã vượt qua hoặc sẽ thay thế trí tuệ con người, hay sự ngạo mạn của phe nghĩ rằng điều đó sẽ không xảy ra?