1 điểm bởi GN⁺ 2023-11-03 | 1 bình luận | Chia sẻ qua WhatsApp
  • Nhà khoa học AI trưởng của Meta, Yann LeCun, cho rằng rủi ro thực sự của AI không phải là sự diệt vong của nhân loại, mà là sự kiểm soát dài hạn của một số ít công ty
  • Trọng tâm chỉ trích là việc Sam Altman, Demis Hassabis và Dario Amodei lấy thảo luận về an toàn AI làm bình phong để gieo rắc nỗi sợ và vận động hành lang cho doanh nghiệp
  • Tháng 3/2023, khi hơn 1.000 lãnh đạo công nghệ ký thư ngỏ kêu gọi tạm dừng phát triển AI trong 6 tháng, cuộc tranh luận về rủi ro AI đã lan sang vấn đề quy định ngành và cấu trúc quyền lực
  • LeCun cho rằng quan điểm hard take-off — “ngay khoảnh khắc bật siêu trí tuệ lên thì nhân loại kết thúc” — đã bị phóng đại, và vấn đề thực sự là AI được phát triển và công bố như thế nào
  • Nếu việc phát triển AI tập trung vào các công ty vì lợi nhuận khép kín, đồng thời AI nguồn mở bị thu hẹp, một số ít công ty có thể chi phối các nền tảng và môi trường số của con người

Mối lo của LeCun: thâu tóm quy định hơn là thuyết tận thế

  • Yann LeCun nhìn thấy mối đe dọa thực tế hơn của AI ở sự tập trung quyền lực
    • Ông lo ngại viễn cảnh một số ít “one-percenters” độc chiếm của cải từ AI và loại phần còn lại của xã hội ra ngoài
  • Trong một bài đăng trên X, ông trực tiếp nhắc đến Sam Altman của OpenAI, Demis Hassabis của Google DeepMind và Dario Amodei của Anthropic
    • Ông chỉ trích rằng họ đang thực hiện vận động hành lang quy mô lớn cho doanh nghiệp trong các cuộc thảo luận về quy định an toàn AI
    • Nếu nỗ lực đó thành công, “một số ít công ty sẽ kiểm soát AI”, và LeCun gọi điều này là một “catastrophe”
  • Altman, Hassabis và Amodei không phản hồi ngay lập tức yêu cầu bình luận của Insider
  • Phát ngôn này được đưa ra để phản hồi một bài đăng trên X của nhà vật lý Max Tegmark
    • Tegmark cho rằng LeCun không xem xét đủ nghiêm túc các rủi ro tận thế của AI
    • Nhắc đến hội nghị thượng đỉnh toàn cầu về an toàn AI tại Anh, Tegmark nói rằng các thảo luận của Turing, Hinton, Bengio, Russell, Altman, Hassabis và Amodei về rủi ro hiện sinh của AI không thể bị bác bỏ chỉ bằng sự hoài nghi hay cáo buộc vận động hành lang doanh nghiệp

Căng thẳng giữa diễn ngôn gieo sợ và AI nguồn mở

  • Sau khi ChatGPT ra mắt, ảnh hưởng đại chúng của các nhân vật chủ chốt trong ngành AI tăng lên, và LeCun cho rằng một số nhà sáng lập đã dành rất nhiều thời gian để làm gia tăng nỗi sợ về chính công nghệ mà họ đang bán
  • Tháng 3/2023, hơn 1.000 lãnh đạo công nghệ, gồm Elon Musk, Altman, Hassabis và Amodei, đã ký thư ngỏ kêu gọi tạm dừng phát triển AI ít nhất 6 tháng
    • Lá thư cảnh báo rằng các hệ thống AI giả định có thể gây ra “rủi ro sâu sắc cho xã hội và nhân loại”
    • Tegmark, một trong những người ký tên, gọi việc phát triển AI là một “suicide race”
  • LeCun và các nhà phê bình khác cho rằng những cảnh báo như vậy có thể củng cố quyền lực và làm lu mờ các rủi ro trước mắt của AI
    • Distributed AI Research Institute nêu bóc lột người lao động và đánh cắp dữ liệu là những rủi ro thực tế, trong khi lợi ích từ đó thuộc về “một số ít thực thể”
  • LeCun cho rằng mọi người đang hoảng loạn quá mức về rủi ro AI vì huyền thoại “hard take-off”
    • hard take-off là ý tưởng rằng ngay khoảnh khắc một hệ thống siêu trí tuệ được bật lên, nhân loại sẽ kết thúc
    • LeCun cho rằng trên thực tế, công nghệ mới sẽ trải qua một quá trình phát triển có trật tự trước khi được triển khai rộng rãi

Vấn đề cốt lõi là AI được phát triển như thế nào

  • Với LeCun, điểm cần tập trung hiện nay không phải là năng lực của AI, mà là cách phát triển
    • Ông xem việc phát triển AI bị khóa trong các công ty vì lợi nhuận không công khai, và kết quả không được công bố, là nguy hiểm
    • Ông cũng lo ngại viễn cảnh cộng đồng AI nguồn mở biến mất
  • Meta đã công bố ở một mức độ nhất định mô hình ngôn ngữ lớn LLaMa 2, đối thủ của GPT, dưới dạng nguồn mở
  • LeCun cho rằng nếu AI nguồn mở biến mất vì quy định, một số ít công ty ở Bờ Tây nước Mỹ và Trung Quốc sẽ kiểm soát các nền tảng AI và toàn bộ chế độ tiêu thụ số của con người
    • Tình huống này dẫn đến các câu hỏi về dân chủ và đa dạng văn hóa

1 bình luận

 
GN⁺ 2023-11-03
Ý kiến trên Hacker News
  • Bộ nhớ đệm Archive.is: https://archive.is/HbRLy

  • Cách các thế lực lớn hiện hữu dùng X-Risk và những tuyên bố phóng đại như sự tuyệt chủng đột ngột của loài người để nắm quyền thông qua regulatory capture có vẻ là một trong những mánh khóe yếm thế nhất trong ngành công nghệ cho đến nay
    Mã nguồn mở là một trong những món quà lớn nhất mà chúng ta có, nên việc cố đóng AI lại bằng các giấy phép lố bịch và nghĩa vụ báo cáo là điều vô lý
    Việc sử dụng phần mềm với mục đích xấu hoặc lạm dụng vốn đã có thể được xử lý bằng luật hiện hành

    • “Dừng lại” không phải là regulatory capture. Một số công ty AI lớn đang bóp méo “dừng lại” thành “chỉ chúng tôi mới có thể làm một cách cẩn trọng”, nhưng cách thực sự để ngăn rủi ro hiện sinh là dừng lại
      https://twitter.com/ESYudkowsky/status/1719777049576128542
      “Dừng lại” không có nghĩa là giấy phép hay nghĩa vụ báo cáo, mà đúng nghĩa là hãy dừng lại
    • Làm sao có thể chắc rằng họ thật sự không tin là có nguy hiểm? Chỉ là chuyện nghe kể lại, nhưng có vẻ một số nhân sự cấp dưới ở OpenAI cũng nghĩ rủi ro này đáng được xem xét nghiêm túc, chứ không chỉ đơn thuần là mánh khóe yếm thế của CEO
      Sam Altman đã nói chuyện nhiều lần với Yudkowsky, và có vẻ ông ấy nghĩ phương án tốt nhất là giải được vấn đề alignment bằng các mô hình công suất thấp, nên trước hết tạo mô hình rồi sau đó làm chậm tốc độ phát triển
      Khả năng thành công trông không cao, nhưng hiện giờ cũng không thấy có lựa chọn nào tốt hơn hẳn
    • Tôi gần như cùng quan điểm. Lập luận về nguy cơ tuyệt chủng về dài hạn thì có phần hợp lý, nhưng vấn đề ở mức đó dường như chưa gần đến mức sắp xảy ra
      Trong khi đó, công nghệ này có những rủi ro thực tế và tức thời theo kiểu một số con người sẽ có quyền lực lớn hơn đối với những người khác
      Các biện pháp mà phe lo ngại nguy cơ tuyệt chủng đề xuất lại làm trầm trọng thêm rủi ro tức thời đó. Với bất kỳ công nghệ nào, cách duy nhất để ngăn một nhóm nhỏ dùng nó để kiểm soát phần còn lại là dân chủ hóa để mọi người đều có thể tiếp cận
      Nếu hạn chế quyền tiếp cận, thì dù phải vi phạm pháp luật đi nữa, quyền lực sẽ tiếp tục tích tụ nhiều hơn ở phía có quyền tiếp cận
      Ngay cả khi lấy cận dưới của khoảng tin cậy 95%, tôi vẫn cho là khoảng 50–100 năm nữa. Tôi biết những người lý trí có thể không đồng ý với ước tính này, nhưng đánh giá thật lòng của tôi là vậy
    • Luật hiện hành là chưa đủ. Nếu đủ thì đã không có những chuyện như profiling chủng tộc tự động, nhận diện khuôn mặt quy mô lớn, chấm điểm tín dụng/xã hội
      AI rất có thể sẽ làm tình hình tệ hơn theo kiểu người ta cho rằng nó không mắc lỗi
      Vì vậy, quy định AI của EU bao gồm việc lập tài liệu kỹ lưỡng về foundation model và công khai dữ liệu huấn luyện, cấm các ứng dụng rủi ro cao như chấm điểm xã hội, khả năng giải thích các quyết định của AI theo cách con người hiểu được, và nghĩa vụ hiển thị rõ rằng người dùng đang tương tác với một hệ thống AI
    • Trong số các nhà khoa học hàng đầu thế giới đồng tác giả bài viết này, không ai làm việc tại các phòng thí nghiệm lớn: https://managing-ai-risks.com/
      Chính xác thì âm mưu này vận hành như thế nào? Ý là họ đang mua chuộc Yoshua Bengio sao?
      Nói thêm, tôi làm về an toàn tại một phòng thí nghiệm lớn, nhưng những người ủng hộ kia thì không
  • Tôi cho rằng cần phải chống lại bầu không khí phản đối quản lý đang xuất hiện trong giới kỹ thuật
    Nói với Yann thì, hiện giờ tôi hoàn toàn ủng hộ các biện pháp mạnh để làm chậm và kiểm soát nghiên cứu AI. Tôi không có lợi ích liên quan ở các công ty trong lĩnh vực này, và cũng không phải kẻ thiếu hiểu biết khi từng sống một năm trong một tòa nhà nơi các sự kiện AI diễn ra nhiều lần mỗi tuần
    Đây gần như là lĩnh vực duy nhất mà nhân loại đang thảo luận về một phản ứng thực tế đủ thận trọng. Chỉ cuộc thảo luận về x-risk này và phản ứng nhanh với Covid mới cho tôi hy vọng rằng nhân loại có khả năng không tự hủy diệt mình
    Ngay cả nếu sau này chứng minh được rủi ro x-risk của AI là 100% vô căn cứ, tôi vẫn sẽ nói như vậy
    Nhân loại, với tư cách tập thể, gần như chưa bao giờ thể hiện khả năng đạp phanh; chỉ riêng việc thử xem “chúng ta có làm được điều này không” cũng đã có giá trị lớn. Đây là việc thật sự cần thiết và đáng mừng

    • Vấn đề không phải là có cần thận trọng hay không, mà là Sam Altman đang lợi dụng sự thận trọng đó một cách hoài nghi để nâng giá trị công ty của mình
      Không có lý do gì để tin một người giàu ở Silicon Valley hơn bất kỳ ai khác. Tại sao ông ta lại được ngồi đó quyết định chúng ta không được làm gì, trong khi bản thân ông ta trở nên giàu hơn? Trọng tâm của bài viết cũng chính là chỗ đó
    • Kết quả có khả năng cao nhất của việc đạp phanh này là một số ít người cực kỳ giàu có hoặc quyền lực sẽ độc quyền AI hiệu năng cao
      Họ có thể dùng nó như bộ khuếch đại trí tuệ của chính mình, cho phần còn lại của nhân loại thuê quyền truy cập vào các phiên bản suy giảm chất lượng, và trở nên giàu có hơn khủng khiếp nữa
      Nếu AI phát triển bùng nổ như một số người dự đoán, chúng ta phải nhìn thẳng vào quy mô của cuộc thâu tóm quyền lực mà có thể mình đang chứng kiến
      Kịch bản “foom” hợp lý nhất là một số ít con người dùng siêu trí tuệ để trở thành những vị thần sống. Tôi cho rằng bản thân foom rất mang tính suy đoán, nhưng phiên bản này thì có vẻ hợp lý. Vì chúng ta đã biết con người hành xử theo cách đó, còn AI thì chưa đến mức có thể nói về ý thức tự thân hay tính độc lập
      Tôi không nghĩ đa số các nhà khoa học thật sự lo về AI muốn điều đó, nhưng trong một chế độ quản lý thì mọi chuyện sẽ thành như vậy. Những người “phù hợp” lúc nào cũng được phép làm điều họ muốn, còn quy định thì áp dụng cho người nghèo và không có quan hệ chính trị
      Sự phát triển AI sẽ tiếp tục, chỉ là bị độc quyền mà thôi. Nếu bất kỳ kịch bản foom nào khả thi, nó vẫn sẽ xảy ra, và sẽ bắt đầu trên nền tảng đặc quyền khổng lồ được thừa hưởng từ tầng lớp đặc quyền đã tạo ra nó
      Khả năng thật sự xảy ra việc “dừng lại” là 0
    • Tôi thừa nhận đầy đủ các rủi ro mà AI đặt ra, và cho rằng nó rất có khả năng dẫn đến kết quả nhìn chung là khủng khiếp cho nhân loại
      Nhưng nhờ khả năng phân tích của mình và tính ẩn danh trên internet, nói thật thì ham muốn mãnh liệt được chứng kiến AI siêu trí tuệ hoàn chỉnh đang làm ô nhiễm nghiêm trọng phán đoán khách quan của tôi
      Tôi quá muốn thấy điều này thành hiện thực, đến mức phản ứng mặc định trong não tôi gần như là “đừng lo về hậu quả, hãy chỉ nghĩ xem nó sẽ điên rồ và tuyệt vời đến mức nào”
      Tôi sẽ không nói như vậy ra ngoài, nhưng trong lòng là thế. Đặc biệt với những người đã lấy việc phát triển AI làm sự nghiệp cả đời, khi đã dâng cả đời để tới được Vườn Địa Đàng, làm sao có thể không cắn một miếng trái cây đó
    • Việc những người theo thuyết diệt vong nói về nguy cơ tử vong cũng giống như nói rằng nếu ra ngoài thế giới thì có nguy cơ chết. Dĩ nhiên là có rủi ro, nhưng vì phần thưởng so với rủi ro nên vẫn phải ra ngoài
      Với AI cũng vậy, điểm tận cùng của rủi ro luôn có thể là cái chết, nhưng phần thưởng lớn hơn nhiều. Có vẻ những người có mức chấp nhận rủi ro thấp bất thường đang đổ dồn vào cuộc thảo luận này
    • Một bên là thứ “rủi ro” hão huyền như bước ra từ văn hóa đại chúng, bên kia là sự xấu xí của bản chất con người đã lộ rõ vô số lần suốt hàng nghìn năm
      Đây là những người có nguồn lực khổng lồ, và như mọi khi, họ bị ám ảnh với việc giành thêm của cải và quyền lực
      Họ đang thao túng diễn ngôn để chuyển sự chú ý khỏi mối nguy thật sự hiện tại là chính họ, sang mối nguy tưởng tượng kiểu “Terminator đang đến”
      Trong phần lớn tác phẩm hư cấu, Terminator được tạo ra trong các phòng thí nghiệm của chính phủ hoặc tập đoàn lớn, chính xác bởi những kẻ như nhóm Altman. Kịch bản luôn là lực lượng nổi dậy tồi tàn chiến đấu với phản diện tỷ phú hoặc một tổ chức vô danh
      Nếu muốn bảo vệ tương lai của nhân loại khỏi AI, cần tập trung vào những kẻ mạnh sẵn có trong loài người. Họ là phản diện của kịch bản này, và xưa nay luôn là như vậy
  • Câu “tạo nguyên mẫu, thử nghiệm ở quy mô nhỏ, triển khai hạn chế, sửa lỗi, làm cho an toàn hơn rồi triển khai rộng rãi” đặt trên giả định rằng công nghệ gây vấn đề là thứ được phát triển có chủ ý
    Nhưng đó cũng có thể là đặc tính phát sinh từ một công nghệ được tạo ra có chủ ý
    Chúng ta đã có tên gọi cho những đặc tính phát sinh như vậy rồi. Đó là “bug”. Không ai triển khai hạn chế Heartbleed, Spectre hay Rowhammer cũng vậy. Chúng ta đã phải gánh hậu quả của chúng, và đến giờ vẫn chưa kết thúc
    Ai có thể đảm bảo rằng rủi ro của công nghệ không thể ẩn mình cho đến khi nó được triển khai phổ biến

    • Lập luận đó đặc biệt giống suy nghĩ wishful thinking. Tôi không biết trong 10 năm qua ngành công nghệ đã cho thấy điều gì để bây giờ lại nghĩ họ sẽ áp dụng chiến lược “đi chậm và triển khai cẩn trọng”
      Hơn nữa, ngay cả bỏ qua luận điểm trong “We have no moat and neither does OpenAI” thì cũng vậy. Dù các bên liên quan chính có cẩn trọng đến đâu, một khi công nghệ tồn tại, chẳng bao lâu các phiên bản mã nguồn mở sẽ được triển khai khắp nơi gần như không xét đến an toàn
    • Đúng vậy. Những virus đã 20 năm tuổi hiện vẫn tự động chạy theo chương trình và gây vấn đề
      Những con người ban đầu tạo ra chúng không còn thu lợi nữa, chúng cũng không còn tương thích với ý định của bất kỳ con người nào, và cũng không thể “tắt” chúng đi
  • Tôi cho rằng Yann có lẽ đã sai
    Ông không cố gắng xử lý một cách nghiêm túc lập luận của những người theo “thuyết diệt vong”. Kiểu suy luận đồng bộ cùng loại cũng có thể áp dụng cho chính Yann và các mục tiêu tài chính của Meta, nên đây không phải là một cách đóng khung thuyết phục
    Ngay cả trong những nỗ lực thảo luận không chỉ là chửi bới, ông cũng đưa ra các ví dụ kiểu như mình biết nhiều người thông minh nhưng họ đâu phải tổng thống, hay con mèo của mình cũng khá thông minh nhưng không thống trị mình. Hàm ý là trí thông minh không phải lúc nào cũng đồng nghĩa với kiểm soát, nhưng đó là bằng chứng khá tốt cho thấy ông không xử lý rủi ro một cách nghiêm túc
    Rủi ro không nằm ở chênh lệch trí tuệ giữa con người thông minh và con người kém thông minh. Trong quốc hội có bao nhiêu con tinh tinh? Trong các cuộc bầu cử sơ bộ thì sao? Hoàn toàn không có
    Trong rủi ro hiện sinh từ AGI, chênh lệch năng lực còn lớn hơn thế, và về cơ bản là kém aligned hơn rất nhiều
    May là những người khác đang nắm quyền không bị Yann thuyết phục

    • Quan điểm của ai là thuyết phục, và cần đọc hoặc xem gì để hiểu quan điểm đó? Tôi đã xem khá nhiều bài trên LessWrong và các bài giảng của Eliezer, nhưng vẫn khó hiểu cơ sở logic, và cả những phần hiểu được cũng trông rất mơ hồ
      Đề xuất duy nhất tôi hiểu được cho đến giờ là phía FEP. Tức là nếu ai đó thiết lập cơ chế tự sinh cho AI, AI đó có thể hành động để tăng khả năng sống sót của chính nó, chứ không phải của con người
      Nhưng tôi không thấy các nhà khai thác lớn có động lực đầu tư tài nguyên vào việc này, nên khả năng xảy ra có vẻ không cao. Tôi đang bỏ sót điều gì?
    • Vẫn chưa có một kịch bản rõ ràng, thực dụng và hợp lý nào trong đó AI khiến con người tuyệt chủng. Xin đừng nói chuyện AI chiếm mã phóng rồi bắn ngẫu nhiên
    • Tôi cũng nghĩ y hệt vậy
      Tôi không đồng ý với các kịch bản tận thế của Eliezer, nhưng rất khó bị thuyết phục bởi một nhà khoa học không thảo luận các rủi ro được nêu ra mà lại chiều theo nỗi sợ về việc kích động hoảng loạn trong công chúng và thâu tóm quyền lực
    • Những người hiểu rõ nhất AGI sẽ ảnh hưởng thế nào đến động lực quyền lực xã hội có lẽ không phải các nhà nghiên cứu AI, mà là những động vật chính trị
      Có thể ngoại lệ nếu trong giới nghiên cứu AI có chính trị gia lão luyện, nhưng có vẻ không có ai như vậy
    • Lập luận của những người theo “thuyết diệt vong” có thể bị bác bỏ tương đối dễ dàng chỉ bằng một cân nhắc logic
      Ở mỗi quốc gia có một nhóm nguy hiểm hơn nhiều so với bất kỳ nhóm nào khác. Họ có “thu nhập” từ hàng tỷ đến hàng trăm tỷ đô la, và dùng số tiền đó chỉ để giết người, phá hủy chính phủ, và tìm cách mới để một quốc gia cưỡng ép quốc gia khác làm theo ý chí của mình. Họ cũng được miễn trách nhiệm pháp lý hoàn toàn
      Và nhóm này chính là nhóm sẽ có quyền truy cập không giới hạn, thậm chí có lẽ là độc quyền, vào công nghệ tiên tiến nhất đối với các mô hình AI “bị hạn chế”, bất kể công khai chúng ta thông qua quy tắc hay hiệp ước nào
      Vậy chính xác là các anh định bảo vệ tôi khỏi ai? Hàng xóm? Tội phạm đường phố? Những kẻ rối loạn nhân cách chống xã hội hay nhóm của chúng?
      Cũng chẳng có mẹo bí mật nào để chế tạo vũ khí hủy diệt hàng loạt bằng vài cây tăm và một tuýp kem đánh răng, ngoài những “mẹo” vốn đã có rộng rãi qua tìm kiếm web hay tra cứu thư viện
      Trong kịch bản bị hạn chế, các nhóm có xác suất áp đảo sẽ đẩy chúng ta vào kịch bản kiểu tận thế vẫn giữ quyền truy cập hoàn toàn không bị hạn chế vào các hệ thống dạng AI. Lập luận rằng làm vậy là để bảo vệ xã hội hoàn toàn yếm thế và lố bịch
  • Tôi mong người ta thôi gắn nhãn AI Godfather cho các nhà nghiên cứu AI nổi tiếng. Quá lố bịch và cũng rất không đúng với thực tế
    Khái niệm AI đã có từ thời Turing, và nếu có ai xứng đáng với danh hiệu kiểu “cha đẻ của AI” thì ông ấy phù hợp hơn
    Chỉ cần gọi LeCun là Chief AI Scientist của Meta là được

    • LeCun không được gọi là AI godfather vì chức vụ ở Meta, mà vì ông đã tiên phong nghiên cứu mạng nơ-ron tích chập vào năm 1989
    • LeCun là tác giả chính của bài báo năm 1989 “Backpropagation Applied to Handwritten Zip Code Recognition”, một trong những ứng dụng thực tế sớm nhất của mạng nơ-ron được học đầu-cuối bằng lan truyền ngược
      Cách gọi “AI godfather” là hoàn toàn có cơ sở
    • Cụm đó thường chỉ ba người nhận Turing Award năm 2018: Geoffrey Hinton, Yoshua Bengio, Yann LeCun
    • Nghiên cứu của LeCun về mạng nơ-ron tích chập đã đóng góp cho AI hiện đại, nên biệt danh đó khá phù hợp. Đó cũng là lý do Facebook muốn chiêu mộ ông
    • Theo từ điển, godfather được định nghĩa là “một người đàn ông có ảnh hưởng hoặc mang tính tiên phong trong một phong trào hay tổ chức”
      Chẳng phải lý do các nhà nghiên cứu AI nổi tiếng được coi là nổi tiếng là vì họ đã ảnh hưởng đến các xu hướng liên quan đến AI sao?
  • Nếu cố biến các mô hình mã nguồn mở thành bất hợp pháp, các thế lực bên lề muốn dùng AI làm công cụ khủng bố sẽ có một môi trường gần như không có cạnh tranh và có rất ít tri thức về cách đối phó
    Tôi không thật sự tin rằng công cụ này, nếu bị lạm dụng, có thể tệ hơn các công cụ khác trong lịch sử từng có thể giết người, nhưng chỉ đẩy nó xuống thế giới ngầm thì nó cũng không biến mất
    Chỉ những người bình thường có tò mò trí tuệ mới vào tù, còn tội phạm sẽ tiếp tục làm việc đó và khai thác chúng ta

    • Chuyện khủng bố gây phá hoại bằng AI chỉ là một cách nói mơ hồ kiểu vung tay. Khủng bố vốn đã có thể lấy đủ nhiều thông tin trên web
      mô hình ngôn ngữ lớn không mang lại lợi thế mới nào, và cũng không có phép màu nào giúp tạo ra một đội quân “killer bot” cùng AutoGPT để gây “phá hoại”
      Hiện giờ điều này gần như chỉ là lặp lại nguyên xi luận điểm của những người nhắc lại chuyện trong phim
    • vật liệu phân hạch đang được kiểm soát và quản lý nghiêm ngặt, và cũng khá thành công
      Bạn có thể không thích các biện pháp cần thiết để ngăn phát triển AI, nhưng việc đó có thể bị chặn lại
  • Mọi người hiện đang tập trung vào mô hình ngôn ngữ lớn và mô hình khuếch tán vốn đã trở nên quá phổ biến, nhưng nếu AI dùng để chọn cổ phiếu và dự báo thực sự vượt lên một tầm khác, liên tục đánh bại các mô hình hiện có, thì nó sẽ hút về một lượng tài sản khổng lồ
    Nếu những người vận hành không quá tham lam trong ngắn hạn đến mức làm sập hệ thống chỉ sau một đêm, họ có thể trên thực tế sở hữu cả xã hội

    • Có thể còn gây tranh cãi, nhưng có thể xem chuyện này đã xảy ra ít nhất hai lần trong quá khứ. Một lần là khi phát hiện ra mô hình Black-Scholes, và lần nữa là khi giao dịch tần suất cao cùng việc gần như có thể đi trước lệnh trở nên khả thi
      Điểm thú vị của thị trường là thông thường chỉ có thể kiếm tiền khi giá bị định sai. Vì vậy, ngay cả một tác nhân có thông tin hoàn hảo cũng bị giới hạn về tổng lợi nhuận tiềm năng
      Ngay cả khi có một mô hình AI dự đoán gần như chắc chắn dòng tiền tương lai của công ty và lãi suất tương lai, ta vẫn có thể dễ dàng tính dòng tiền chiết khấu để xác định giá cổ phiếu công bằng hiện tại hoặc tương lai
      Thị trường có khả năng sẽ ổn định hơn thay vì sụp đổ, và cổ phiếu có thể sẽ vận động giống trái phiếu hơn
    • Dự báo có những giới hạn căn bản. Việc xác định các giới hạn này là một phần cốt lõi của lý thuyết thông tin thuật toán, và đó cũng là ranh giới tác động lên cả việc cải thiện AI
      Việc lý thuyết thông tin thuật toán, vốn chịu ràng buộc bởi vật lý, không mấy cho phép các kịch bản “tăng tốc mạnh” là một trong những phản biện mạnh đối với kịch bản đó
      https://en.wikipedia.org/wiki/Algorithmic_information_theory
    • Tôi không theo kịp lập luận đó lắm. Một hệ thống như vậy có thể hút tài sản từ giao dịch, nhưng chẳng phải nó vẫn rất nhỏ so với giá trị vốn cổ phần được phân bổ cho chủ sở hữu công ty và của cải mà họ tạo ra sao?
    • Tôi cho rằng giới tài chính đã biết các giới hạn của mô hình học máy rồi
      Có giới hạn đối với những gì có thể dự đoán từ dữ liệu tài chính quá khứ
      Nếu có cách tạo ra cỗ máy in tiền bằng học máy thì chuyện đó đã xảy ra rồi
      Đây là không gian bài toán dễ hơn nhiều so với sinh ngôn ngữ hay hình ảnh
    • BlackRock đã “sở hữu” xã hội rồi
      Mọi người ám ảnh với các thuật toán vô tri, nhưng chuyện thật sự lúc nào cũng diễn ra giữa con người với nhau. Dù thuật toán phần mềm có tinh vi đến đâu thì cũng chỉ là quân cờ trên bàn cờ của con người
      Trong tương lai rất xa, sinh vật silicon có thể bước vào bàn cờ đó theo điều kiện của riêng chúng. Việc tận dụng khả năng xa vời đó để kiếm lợi ở đây và bây giờ là một chiến lược kỳ quặc
      Vậy mà chiến lược đó có vẻ đang hiệu quả. Nó cho thấy chúng ta gần giống một bầy lemming trí tuệ thấp, dễ bị lừa nếu câu chuyện đủ hay dù căn cứ rất mỏng
  • Đã quá muộn để độc quyền các mô hình ngôn ngữ lớn. Công nghệ để tạo ra chúng đã được biết đến và chi phí đang tiếp tục giảm
    Có những thứ đáng lo, nhưng chuyện này dường như không phải một trong số đó

    • Có hai điểm
      Giá GPU không cao như thời hoàng kim của đào coin, nhưng để mua một cụm A100 vẫn tốn bằng giá một chiếc ô tô. Hơn nữa, những nơi như Google đang tạo ra thế hệ bộ tăng tốc học máy tiếp theo, và thậm chí không bán các sản phẩm tốt nhất
      Tài nguyên tính toán chỉ là một nửa vấn đề. Quyền truy cập dữ liệu dưới các dạng như email, truy vấn trợ lý thông minh, chuông cửa Ring mới là nửa còn lại bị đánh giá thấp hơn nhiều
    • Đúng là vậy. Công tác nền tảng nhằm hạn chế tính hợp pháp của việc huấn luyện mô hình lớn đã được đặt sẵn. Cứ nhìn sắc lệnh hành pháp gần đây là thấy
      Các ngưỡng cắt khá nhỏ đang được đặt ra làm tiêu chí buộc phải báo cáo các lượt huấn luyện và trung tâm dữ liệu cho chính phủ
      Ngoài ra còn có lệnh phát triển khung kiểm thử rủi ro x-risk và CBRN, cũng như môi trường bảo mật, nhằm áp đặt thành yêu cầu đối với các nhà phát triển mô hình, bao gồm cả khu vực tư nhân
      Có thể nói rằng kiến thức cần thiết để phát triển mô hình ngôn ngữ lớn là mã nguồn mở nên mọi người đều tiếp cận được, và trên thực tế điều đó phần lớn đúng dù không hoàn toàn
      Nhưng chính phủ liên bang hiện đang trong quá trình biến việc này thành thứ chỉ một số người nhất định mới có thể làm hợp pháp
    • Huấn luyện vẫn rất đắt. Dù có rẻ hơn, mô hình thế hệ tiếp theo có hiệu năng tốt hơn rồi sẽ lại đắt
      Có thể sẽ rất khó huấn luyện các mô hình tiên tiến nhất chỉ bằng phần cứng tiêu dùng
    • Tôi không chắc những người ngoài các tổ chức có thể bắt kịp hay không
      OpenAI đang cố thâu tóm quy định đối với các mô hình ngôn ngữ lớn để ngăn Amazon hoặc các kỳ lân dư dả vốn bám theo. Một khi các tay chơi này đã được cố định, những người còn lại coi như xong
      Độc giả HN trung bình không thể cạnh tranh với OpenAI. Họ đang cố ngăn xuất hiện thêm các đối thủ có vốn đầu tư mạo hiểm dồi dào để lấy càng nhiều phần bánh càng tốt
      Chu kỳ quá nhiệt và huy động vốn cho các mô hình ngôn ngữ lớn về cơ bản đã kết thúc. Bạn không phải Anthropic, và có lẽ đã quá muộn để bước vào cuộc chơi này
    • Chi phí công nghệ không quan trọng trong vấn đề này
      Thứ quan trọng không phải cái búa, mà là giấy phép xây dựng
  • Một số người suy đoán nói rằng chúng ta sẽ bước vào thời đại dư dả, nơi tiền sẽ trở nên kém quan trọng hơn nhiều hoặc hoàn toàn không còn quan trọng
    Nhưng nếu vậy, các công ty sẽ chuyển từ trạng thái hiện tại “lợi nhuận là tất cả” sang “tiền không quan trọng” bằng cách nào?
    Tôi thì cho rằng khả năng độc quyền hóa xảy ra cao hơn nhiều

    • Dư dả cho ai? Chỉ với các tư liệu sản xuất hiện nay, toàn bộ loài chúng ta đã có thể sống thoải mái và hưởng những thứ mà vị hoàng đế La Mã cuối cùng cũng không dám mơ tới
      Vậy mà vẫn có người không nuôi nổi con, có người chết vì làm việc quá sức, và có người giết nhau vì đất đai
    • Chúng ta đã ở trong trạng thái dư dả từ lâu rồi. Chỉ là chúng ta chọn không phân phối sự dư dả đó
    • Nhìn vào các thị trường hàng hóa ảo mạnh mẽ và nền kinh tế ảo đáng kể ở những nơi như Roblox hay Second Life, tôi cho rằng dù chúng ta vượt qua hậu khan hiếm xa đến đâu, thị trường vẫn có thể và thực sự sẽ luôn tồn tại
      Điều đó đúng với giả định nhân loại tiếp tục tồn tại dưới hình thức hiện tại và sở thích tiêu dùng ổn định. Tôi kém chắc chắn hơn về chính mô hình tư bản chủ nghĩa, nhưng nó cũng có thể tiếp tục tồn tại. Có lẽ chỉ để cho vui
      https://en.wikipedia.org/wiki/Virtual_economy
    • Có phá sản, quy định, giải thể trust, và phá hoại