Phản hồi của Sam Altman và Greg Brockman đối với các tuyên bố của một nhà nghiên cứu an toàn tại OpenAI
(twitter.com/gdb)-
Cảm ơn những đóng góp của Jan và giải thích chiến lược
- Cảm ơn những đóng góp của Jan và tin rằng anh ấy sẽ tiếp tục đóng góp cho sứ mệnh từ bên ngoài.
- Muốn giải thích chiến lược của chúng tôi trước những câu hỏi được đặt ra sau sự ra đi của anh ấy.
-
Nâng cao nhận thức về rủi ro và cơ hội của AGI
- Nâng cao nhận thức để thế giới có thể chuẩn bị tốt hơn bằng cách nhận diện các rủi ro và cơ hội của AGI.
- Đã nhiều lần trình diễn khả năng mở rộng của học sâu và phân tích ý nghĩa của điều đó.
- Đã kêu gọi quản trị quốc tế đối với AGI, dù vào thời điểm đó đây là một chủ đề không được ủng hộ.
- Tiên phong trong khoa học đánh giá rủi ro thảm họa của các hệ thống AI.
-
Đặt nền móng cho việc triển khai các hệ thống an toàn
- Đang đặt nền móng cho việc triển khai an toàn các hệ thống ngày càng có năng lực hơn.
- Việc lần đầu tiên làm cho một công nghệ mới trở nên an toàn không phải là điều dễ dàng.
- Đã thực hiện rất nhiều công việc để đưa GPT-4 ra thế giới một cách an toàn.
- Dựa trên các bài học từ quá trình triển khai, chúng tôi liên tục cải thiện hành vi của mô hình và việc giám sát lạm dụng.
-
Những thách thức trong tương lai
- Tương lai sẽ khó khăn hơn quá khứ.
- Cần tiếp tục nâng mức độ công việc an toàn tương xứng với tầm quan trọng của các mô hình mới.
- Chúng tôi đã hệ thống hóa điều này thông qua Preparedness Framework được giới thiệu vào năm ngoái.
-
Góc nhìn về tương lai
- Khi các mô hình trở nên mạnh hơn, chúng được kỳ vọng sẽ tích hợp sâu hơn với thế giới.
- Người dùng sẽ không chỉ trò chuyện với một mô hình duy nhất qua đầu vào và đầu ra văn bản, mà sẽ tương tác với các hệ thống gồm nhiều mô hình đa phương thức và công cụ.
-
Phát triển các hệ thống an toàn và có ích
- Chúng tôi tin rằng các hệ thống này sẽ rất hữu ích và mang lại lợi ích lớn cho con người, đồng thời có thể được cung cấp một cách an toàn.
- Để làm được điều đó, cần rất nhiều công việc nền tảng.
- Bao gồm việc cân nhắc cẩn trọng những gì được kết nối trong quá trình huấn luyện và các giải pháp cho những bài toán khó như giám sát có thể mở rộng.
- Khi xây dựng theo hướng này, chúng tôi vẫn chưa biết khi nào sẽ đạt đến tiêu chuẩn an toàn để phát hành, nhưng việc lùi lịch phát hành cũng không sao.
-
Vòng lặp phản hồi và kiểm thử kỹ lưỡng
- Nhận thức rằng chúng tôi không thể hình dung mọi kịch bản tương lai có thể xảy ra.
- Cần có vòng lặp phản hồi rất chặt chẽ, kiểm thử kỹ lưỡng, cân nhắc cẩn trọng ở từng bước, bảo mật đẳng cấp thế giới và sự hài hòa giữa an toàn và năng lực.
- Chúng tôi sẽ tiếp tục tiến hành nghiên cứu an toàn trên nhiều khung thời gian khác nhau.
- Tiếp tục hợp tác với chính phủ và nhiều bên liên quan khác.
-
Hiểu về con đường đi tới AGI
- Không có một playbook đã được chứng minh nào cho việc khám phá con đường đi tới AGI.
- Sự hiểu biết mang tính thực nghiệm sẽ giúp định hướng con đường phía trước.
- Chúng tôi đang thực hiện công việc nhằm giảm thiểu các rủi ro nghiêm trọng trong khi vẫn mang lại những lợi ích to lớn.
- Chúng tôi nhìn nhận vai trò của mình một cách rất nghiêm túc và xem xét cẩn trọng các phản hồi về hành động của mình.
1 bình luận
Ý kiến trên Hacker News
Với một công ty công nghệ đủ lớn, các bộ phận giảm thiểu rủi ro như pháp lý, mua sắm, IT buộc phải hoạt động trong cửa sổ Overton giữa những rủi ro mà công ty thuê họ để né tránh và mong muốn thúc đẩy nhanh của ban lãnh đạo khi họ thấy cần
Người phụ trách rủi ro sẽ liên tục chứng kiến những cảnh báo ngày càng mạnh bị phớt lờ hoặc bị phản bác thẳng thừng, rồi cuối cùng hoặc thích nghi theo, hoặc rời đi vì trái với cảm thức đạo đức của mình
Có thể “AGI” và nỗi sợ ở mức tuyệt chủng nhân loại chỉ đang khiến chuyện này trông kịch tính quá mức cần thiết. Nếu thay AGI bằng “không có chính sách cấm dùng thiết bị cá nhân”, có lẽ cũng sẽ có một trường hợp ở startup nào đó: người phụ trách an toàn bám sát chính sách nhưng ban lãnh đạo thì không, và cuối cùng người đó nghỉ việc
Hoặc cũng có thể đây thực sự là một việc nghiêm trọng và nguy hiểm đúng như vẻ ngoài. Từ bên ngoài rất khó phán đoán
Dù cuộc công kích công khai gần đây chỉ là drama nội bộ hay chính trị bị rò rỉ ra ngoài, hay thái độ xử lý vấn đề này trong công ty chưa đủ nghiêm túc, thì bên nào cũng không tốt
Tổ chức này ngày càng trông giống một gánh xiếc, và tệ hơn là giống một tổ chức đã đánh mất trọng tâm. Việc những người như vậy đang “dẫn dắt” quá trình thương mại hóa công nghệ này và định hình bầu không khí của ngành là điều rất đáng bất an. Đặc biệt là khi có vẻ các nhân vật cốt lõi từng gia nhập vì nguyên tắc và lý do đạo đức đang lần lượt rời đi
Rốt cuộc có lẽ chúng ta sẽ sớm thấy kết quả của việc phó thác toàn bộ tiền bạc, quyền lực, trách nhiệm và niềm tin này cho Silicon Valley
Một mô hình siêu trí tuệ từ chối chỉ dẫn cũng vô dụng chẳng kém một mô hình ngu ngốc không hiểu chỉ dẫn. Nhóm alignment cũng là một phần của cuộc đua tạo ra các mô hình mạnh hơn. Nếu muốn hiểu sâu hơn về mặt kỹ thuật, có thể xem bài báo cuối cùng của OpenAI: https://openai.com/index/weak-to-strong-generalization/
Tất nhiên, nếu thuyết phục được mọi người rằng các mô hình ngôn ngữ lớn có chủ thể tính hành động được hiện thực hóa và có thể xuyên thủng hệ thống như virus máy tính, thì có thể đóng gói nó thành một vấn đề an toàn thông thường. Nhưng mô hình ngôn ngữ lớn là bộ sinh văn bản. Về mặt vật lý, nó không thể làm gì cả; nó chỉ có thể hành động khi chúng ta cho phép và kết nối nó với thứ gì đó
Rủi ro thật sự là nhiều người có thể không hiểu điều này và muốn kết nối các mô hình như vậy vào những tình huống nguy hiểm chỉ vì OpenAI đã đảm bảo rằng chúng an toàn. Nếu không có quyền truy cập dữ liệu huấn luyện, ta không thể biết hành vi nào đã được học hay mô hình sẽ hành xử ra sao. Có dữ liệu huấn luyện thì có thể hiểu rõ hơn nhiều, và phần bất định còn lại chỉ là tính không xác định trong quá trình triển khai. Dù vậy, ít nhất đó vẫn là một quá trình xác suất có thể giải thích được
Họ để đội an toàn dẫn dắt, và kết quả là sản phẩm bị mọi người ghét. Nhưng giờ lại thú vị khi thấy một công ty nhìn chung tạo ra sản phẩm hàng đầu cùng hạng lại bị cộng đồng công nghệ ghét vì không để đội an toàn chi phối phát triển sản phẩm
Kết quả là mọi thứ trở thành một vở kịch nơi tư duy kép và ngôn ngữ kép trở thành chuẩn mực; để ở lại, người ta phải coi trọng cách diễn giải câu chữ của luật hiện hành theo hướng ít gây gánh nặng nhất hơn là tinh thần của luật, và coi trọng chính vở kịch đó
Cũng đáng tham khảo [1] như một cách suy nghĩ rất thực dụng về thực tế của văn hóa an toàn bền vững
[1] https://github.com/lorin/resilience-engineering/raw/master/b...
Chuyện AI sẽ tiêu diệt loài người để làm kẹp giấy thật khó chịu vì nó khiến người ta rời mắt khỏi những rủi ro thật sự đang diễn ra hiện nay
Những kẻ lừa đảo đang ở thời kỳ hoàng kim, và năng lực của chúng sẽ ngày càng tốt hơn, dễ thực hiện hơn. Mọi người đang thực sự trở nên ngốc hơn khi tin mù quáng vào các kết quả ảo giác. Ngay cả giao tiếp bình thường cũng đang sụp đổ, vì không thể tin chắc rằng đối phương không chỉ sao chép rồi dán mấy lời nhảm nhí của AI thay vì tranh luận thật sự
Tôi đã thấy cả sản phẩm bạn gái AI, và nhìn vào số người dùng của một số sản phẩm như vậy thì tôi không có niềm tin vào tương lai của giống loài chúng ta
Vấn đề lớn nhất là đủ loại lãnh đạo cấp cao và kiểu MBA điên rồ chỉ quan tâm đến việc vắt kiệt đến đồng xu cuối cùng bằng mọi giá. Kể cả việc sa thải và thay thế hàng nghìn người cùng lúc bằng những chatbot tệ hại thuộc sở hữu công ty, được Microsoft hậu thuẫn
Tôi không nghĩ AI sẽ phóng vũ khí hạt nhân, nhưng tôi tin nó sẽ thay thế công việc của tất cả mọi người và khiến kẻ mạnh càng mạnh hơn. “Nhưng còn thu nhập cơ bản mà!” một kẻ nịnh AI sẽ hét lên, nhưng việc đọc một câu thần chú không làm thế giới thực thay đổi
Nếu mục đích của một việc là tạo ra nhiều thứ nhảm nhí nhất có thể trong thời gian nhanh nhất, thì mô hình ngôn ngữ lớn sẽ xuất sắc
Không thấy smartphone, mọi người có mặt trực tiếp, trò chuyện với nhau, mua đồ ăn địa phương, cười nói và uống một ly. Sau đó họ ăn ở nhà bạn bè hoặc tham gia hoạt động ngoài trời. Ngược lại, với những người lúc nào cũng bám online thì đúng là trông ảm đạm
Lạ là nhiều lãnh đạo dường như tin theo đúng nghĩa đen rằng tối thiểu hóa chi phí lao động quan trọng hơn việc đem lại giá trị cho khách hàng
Tôi cũng đồng ý về vấn đề bạn gái ảo. Nếu cộng thêm VR vào đó, những bé trai ngày càng bị cô lập về mặt xã hội sẽ dùng công nghệ này để thỏa mãn nhu cầu của mình
Đúng là AI có thể tạo ra nhiều đầu ra tự động, nhưng luận điểm của tôi là chúng gần như luôn chỉ ở mức tầm thường là cùng
Có nhiều điều để nói rằng rủi ro của AI không đến từ chính AI, mà từ những người vận hành và tài trợ cho nó. Nói rằng bản thân AI nguy hiểm là hoàn toàn nhảm nhí
Các mô hình ngôn ngữ lớn hữu ích ở một mức nào đó, nhưng theo những gì tôi đã dùng, chúng vẫn chưa sẵn sàng cho các việc khó hơn những tác vụ rất cơ bản
Việc hô hào an toàn AI thật to và tạo cảm giác tận thế giống như một chiến lược nhằm làm tăng tầm quan trọng của OpenAI và thổi phồng năng lực của các mô hình ngôn ngữ lớn. Kỷ nguyên “AI” lần này là chuyện máy móc giả vờ rằng chúng có thể suy nghĩ, còn những người tạo ra chúng giả vờ là nhà tiên tri
Trong nhiều thập kỷ, nhiều người đã kêu gọi về an toàn. Họ đã dự đoán và xây dựng quỹ đạo của AI, họ đã đúng, và chúng ta nên lắng nghe
“Nếu chấp nhận rằng tác động của những cỗ máy thực sự thông minh có khả năng rất sâu rộng, và rằng có dù chỉ một khả năng nhỏ việc này xảy ra trong tương lai có thể dự đoán được, thì việc cố chuẩn bị trước là một thái độ thận trọng. Nếu chờ đến khi khả năng máy móc thông minh sắp xuất hiện trông có vẻ rất cao, thì sẽ là quá muộn để thảo luận và suy ngẫm đầy đủ về các vấn đề liên quan.”
~ Đồng sáng lập DeepMind, 2008
https://www.vetta.org/documents/Machine_Super_Intelligence.p...
Rất có thể họ là những người cực kỳ ngây thơ, hầu như không hiểu nền tảng thực nghiệm của công việc mình đang làm
Họ nói “chúng tôi đã kêu gọi quản trị quốc tế đối với AGI từ trước khi nó trở nên được ưa chuộng”, nhưng ngay khi kiểu quản trị như vậy sắp được đưa vào thực tế, họ đã đe dọa rút khỏi EU
Họ nói “chúng tôi đã đặt nền móng để triển khai an toàn các hệ thống ngày càng có năng lực hơn. Tìm ra cách làm cho một công nghệ mới trở nên an toàn lần đầu tiên không dễ”, nhưng điều đó càng đúng hơn khi đặc biệt là OpenAI lại chẳng hề open
Họ nói “sự thận trọng về việc kết nối với gì trong quá trình huấn luyện, các lời giải cho những vấn đề khó như giám sát có thể mở rộng, và các loại công việc an toàn mới”, nhưng đó chính là những gì EU đã yêu cầu. Khi bị yêu cầu công khai các nguồn có bản quyền, lập tài liệu cho mô hình nền tảng, v.v., họ đã đe dọa rút lui
Bản dịch của câu “chúng tôi nghĩ hiểu biết thực nghiệm có thể cho biết hướng đi sắp tới. Chúng tôi có một lượng khổng lồ…” là: “Chúng tôi muốn đi theo hướng đóng kín nhất có thể, có đủ hào phòng thủ và các công ty phụ thuộc vào chúng tôi để tiếp tục là bên liên quan và không thể thiếu”
Họ cũng không muốn chết, nên không cần nghĩ rằng họ không có động lực để giữ an toàn cho tất cả mọi người
Có một vài sự thật
Đây là phản hồi trước lập luận của Jan: https://x.com/janleike/status/1791498174659715494
Trong phản hồi không có nội dung cụ thể nào về AI alignment. Không biết khi nào AI alignment có thể được phát triển. Đạo đức AI và thiên kiến AI là cần thiết, nhưng là những mối quan tâm khác với AI alignment. Cũng không biết khi nào AI có thể gây ra rủi ro hiện sinh sẽ được phát triển
Nếu AI gây ra rủi ro hiện sinh được phát triển trước AI alignment, thì nhân loại có một mức độ rủi ro tuyệt chủng nào đó. OpenAI đang ở tuyến đầu trong việc phát triển AI có nguy cơ khiến nhân loại tuyệt chủng, nhưng lại không phân bổ đủ nguồn lực cho AI alignment
Việc đăng ký ChatGPT trở nên khiến tôi thấy không thoải mái
Như nhiều người đồng ý, rủi ro của AI không phải là một thực thể siêu nhân không thể kiểm soát
Rủi ro gần hơn và thực tế hơn nhiều. Chẳng hạn như khi áp dụng mô hình ngôn ngữ lớn vào kiểm duyệt chat thì nhận diện sai phát ngôn, khi tóm tắt một báo cáo quân sự 100 trang thì đưa ra kết luận sai, hoặc bịa ra một số chi tiết trong tin tức rồi nhiều năm sau được chấp nhận như sự thật lịch sử
Cái đuôi dài của những hệ quả này sẽ lớn tương ứng với quy mô sử dụng mô hình ngôn ngữ lớn. Một vấn đề đơn lẻ nào đó từng không nhìn thấy có thể có tác động lớn hơn nhiều so với các vấn đề khác. Những cái chết do điều này gây ra sẽ dẫn tới quy định bổ sung, còn các hệ quả khác thì đơn giản sẽ trở thành lối sống mới của chúng ta
Ngay cả khi máy móc kém chính xác hơn con người làm cùng việc, chúng vẫn dễ kiểm toán hơn, hành vi có thể lặp lại và có thể mở rộng. Dù một sai lầm chiến tranh có thể tưởng tượng được khiến nhiều người chết, con người sẽ làm những việc tốt hơn để thay thế, nên rốt cuộc vẫn có thể là tốt hơn
Cuối cùng thì đó là một sự đánh đổi
Tôi thấy khó chịu với cách chỉ dùng tên như “Sam và Greg” để truyền tải quan hệ thân mật với công ty
Nỗ lực tỏ ra bình dân và có tính người trông giả tạo, đồng thời thái độ nâng họ lên trong văn hóa đại chúng chỉ bằng tên riêng trông thật kiêu ngạo
“Ví dụ, nhóm của chúng tôi đã làm rất nhiều việc để đưa GPT-4 ra thế giới một cách an toàn” ư, đùa à?
Tôi không nghĩ chúng ta cần lo về superalignment khi OpenAI thậm chí còn chưa thể định nghĩa hay kiểm thử AGI cho ra hồn
Gọi là “kiểm duyệt mô hình” thì nghe đâu có hấp dẫn bằng, đúng không?
Nỗi sợ rằng AGI sẽ hủy diệt nhân loại dường như chủ yếu xuất phát từ nghi ngờ rằng một thiết bị suy nghĩ logic thực sự sẽ đi đến kết luận rằng chúng ta nên bị loại bỏ
Nếu giao cho AGI vận hành một nhà máy kẹp giấy, một ngày nào đó khi quay lại, phần lớn carbon và sắt trong thiên hà có thể đã được tái cấu trúc thành kẹp giấy. Việc động thực vật bản địa ở đó tuyệt chủng chỉ là sản phẩm phụ của động lực ấy. Xem [2] để có phần tổng quan ngắn gọn
[2]: https://selfawaresystems.com/wp-content/uploads/2008/01/ai_d...
Nhưng tại sao lại phải khiến con người tuyệt chủng? Chẳng phải có thể lập các khu bảo tồn thiên nhiên cho chúng ta và các sinh vật khác để bảo tồn sinh học và nghiên cứu sao? Cách làm như vậy đã tồn tại trong xã hội loài người từ hàng nghìn năm trước
Nếu tạo ra thứ gì đó giống chúng ta nhưng có năng lực hơn rất nhiều, chúng ta sẽ hoảng sợ và gặp rắc rối