Phản hồi của Sam Altman và Greg Brockman đối với các tuyên bố của một nhà nghiên cứu an toàn tại OpenAI

• Cảm ơn những đóng góp của Jan và giải thích chiến lược

  • Cảm ơn những đóng góp của Jan và tin rằng anh ấy sẽ tiếp tục đóng góp cho sứ mệnh từ bên ngoài.
  • Muốn giải thích chiến lược của chúng tôi trước những câu hỏi được đặt ra sau sự ra đi của anh ấy.

• Nâng cao nhận thức về rủi ro và cơ hội của AGI

  • Nâng cao nhận thức để thế giới có thể chuẩn bị tốt hơn bằng cách nhận diện các rủi ro và cơ hội của AGI.
  • Đã nhiều lần trình diễn khả năng mở rộng của học sâu và phân tích ý nghĩa của điều đó.
  • Đã kêu gọi quản trị quốc tế đối với AGI, dù vào thời điểm đó đây là một chủ đề không được ủng hộ.
  • Tiên phong trong khoa học đánh giá rủi ro thảm họa của các hệ thống AI.

• Đặt nền móng cho việc triển khai các hệ thống an toàn

  • Đang đặt nền móng cho việc triển khai an toàn các hệ thống ngày càng có năng lực hơn.
  • Việc lần đầu tiên làm cho một công nghệ mới trở nên an toàn không phải là điều dễ dàng.
  • Đã thực hiện rất nhiều công việc để đưa GPT-4 ra thế giới một cách an toàn.
  • Dựa trên các bài học từ quá trình triển khai, chúng tôi liên tục cải thiện hành vi của mô hình và việc giám sát lạm dụng.

• Những thách thức trong tương lai

  • Tương lai sẽ khó khăn hơn quá khứ.
  • Cần tiếp tục nâng mức độ công việc an toàn tương xứng với tầm quan trọng của các mô hình mới.
  • Chúng tôi đã hệ thống hóa điều này thông qua Preparedness Framework được giới thiệu vào năm ngoái.

• Góc nhìn về tương lai

  • Khi các mô hình trở nên mạnh hơn, chúng được kỳ vọng sẽ tích hợp sâu hơn với thế giới.
  • Người dùng sẽ không chỉ trò chuyện với một mô hình duy nhất qua đầu vào và đầu ra văn bản, mà sẽ tương tác với các hệ thống gồm nhiều mô hình đa phương thức và công cụ.

• Phát triển các hệ thống an toàn và có ích

  • Chúng tôi tin rằng các hệ thống này sẽ rất hữu ích và mang lại lợi ích lớn cho con người, đồng thời có thể được cung cấp một cách an toàn.
  • Để làm được điều đó, cần rất nhiều công việc nền tảng.
  • Bao gồm việc cân nhắc cẩn trọng những gì được kết nối trong quá trình huấn luyện và các giải pháp cho những bài toán khó như giám sát có thể mở rộng.
  • Khi xây dựng theo hướng này, chúng tôi vẫn chưa biết khi nào sẽ đạt đến tiêu chuẩn an toàn để phát hành, nhưng việc lùi lịch phát hành cũng không sao.

• Vòng lặp phản hồi và kiểm thử kỹ lưỡng

  • Nhận thức rằng chúng tôi không thể hình dung mọi kịch bản tương lai có thể xảy ra.
  • Cần có vòng lặp phản hồi rất chặt chẽ, kiểm thử kỹ lưỡng, cân nhắc cẩn trọng ở từng bước, bảo mật đẳng cấp thế giới và sự hài hòa giữa an toàn và năng lực.
  • Chúng tôi sẽ tiếp tục tiến hành nghiên cứu an toàn trên nhiều khung thời gian khác nhau.
  • Tiếp tục hợp tác với chính phủ và nhiều bên liên quan khác.

• Hiểu về con đường đi tới AGI

  • Không có một playbook đã được chứng minh nào cho việc khám phá con đường đi tới AGI.
  • Sự hiểu biết mang tính thực nghiệm sẽ giúp định hướng con đường phía trước.
  • Chúng tôi đang thực hiện công việc nhằm giảm thiểu các rủi ro nghiêm trọng trong khi vẫn mang lại những lợi ích to lớn.
  • Chúng tôi nhìn nhận vai trò của mình một cách rất nghiêm túc và xem xét cẩn trọng các phản hồi về hành động của mình.

[GN⁺]

Ý kiến trên Hacker News

Tóm tắt các bình luận trên Hacker News

• Lo ngại về rủi ro của AI

  • Những cuộc bàn luận cho rằng AI sẽ gây ra ngày tận thế đang khiến người ta bỏ qua các rủi ro thực tế đang diễn ra.
  • Những kẻ lừa đảo đang trở nên thành thạo hơn nhờ sử dụng AI.
  • Mọi người đang ngày càng trở nên ngớ ngẩn hơn khi mù quáng tin vào các đầu ra sai lệch của AI.
  • Giao tiếp thông thường đang sụp đổ khi người ta sao chép/dán nội dung do AI tạo ra thay vì trò chuyện thật.
  • Sự xuất hiện của các sản phẩm bạn gái AI làm suy giảm niềm tin vào tương lai của nhân loại.
  • Các lãnh đạo cấp cao của doanh nghiệp đang tiến hành sa thải hàng loạt để cắt giảm chi phí và thay thế bằng chatbot AI.
  • AI có thể sẽ không phóng vũ khí hạt nhân, nhưng có thể thay thế công việc của mọi người và khiến những kẻ nắm quyền trở nên quyền lực hơn.

• Giảm thiểu rủi ro trong doanh nghiệp lớn

  • Vai trò lãnh đạo về giảm thiểu rủi ro trong các tập đoàn lớn phải cân bằng rủi ro ở các mảng như pháp lý, mua sắm và CNTT.
  • Nếu người phụ trách giảm thiểu rủi ro liên tục bị phớt lờ, cuối cùng họ sẽ rời đi.
  • Nỗi sợ về các sự kiện ở cấp độ tuyệt chủng tiềm tàng như AGI có thể đã bị phóng đại.
  • Nếu thay AGI bằng "không có chính sách BYOD", thì điều này giống với các startup nơi người phụ trách an toàn bám chặt chính sách rồi cuối cùng vẫn ra đi.

• Tính hữu ích và giới hạn của LLM

  • LLM hữu ích cho các tác vụ cơ bản, nhưng vẫn chưa sẵn sàng cho các công việc phức tạp hơn.
  • Những cảnh báo phóng đại về an toàn AI có thể là một chiến lược nhằm nâng cao tầm quan trọng của OpenAI.
  • Kỷ nguyên AI hiện nay chỉ là việc giả vờ rằng máy móc có thể suy nghĩ.

• Những rủi ro thực tế của AI

  • Rủi ro của AI không nằm ở một thực thể siêu phàm vượt ngoài tầm kiểm soát, mà ở những vấn đề thực tế và thường nhật hơn.
  • Nhận dạng giọng nói sai khi áp dụng LLM vào kiểm duyệt trò chuyện.
  • Rút ra kết luận sai khi tóm tắt báo cáo quân sự.
  • Hiểu sai chi tiết trong tin tức rồi được chấp nhận như sự thật lịch sử.
  • Ảnh hưởng dài hạn của những kết quả này có thể lớn ngang với mức độ sử dụng LLM.

• Căn chỉnh AI và đạo đức

  • Không có nội dung cụ thể nào về căn chỉnh AI.
  • Không ai biết khi nào căn chỉnh AI sẽ được phát triển.
  • Đạo đức AI và thiên lệch AI là những vấn đề khác với căn chỉnh AI.
  • Có nguy cơ AI có thể gây tuyệt chủng cho loài người được phát triển trước khi căn chỉnh AI hoàn thiện.
  • OpenAI không phân bổ đủ nguồn lực cho căn chỉnh AI.

• Sự bất tín với ngôn ngữ doanh nghiệp

  • Việc dùng những cái tên như "Sam và Greg" để thể hiện sự thân mật tạo cảm giác giả tạo.
  • Tuyên bố rằng đã làm rất nhiều việc để phát hành GPT-4 một cách an toàn là không đáng tin.
  • Không cần lo về siêu căn chỉnh trước khi định nghĩa hoặc kiểm thử AGI.
  • Nỗi sợ rằng AGI sẽ hủy diệt loài người xuất phát từ nghi ngờ rằng một cỗ máy suy luận logic sẽ đi đến kết luận rằng cần loại bỏ loài người.
  • Ngôn ngữ doanh nghiệp đầy những cách diễn đạt giả tạo và vô nghĩa.