OpenAI hoãn phát hành mô hình open-weight

• OpenAI ban đầu dự định phát hành mô hình open-weight vào tuần tới, nhưng đã thông báo sẽ hoãn lại để thực hiện thêm các bài kiểm tra an toàn và rà soát các lĩnh vực rủi ro cao
• Sam Altman cho biết ông "chưa thể chắc chắn chính xác sẽ mất bao lâu"
• Ông giải thích rằng cần có cách tiếp cận thận trọng vì một khi trọng số (weights) của mô hình được công khai thì không thể thu hồi lại được
• OpenAI nhấn mạnh rằng họ tin cộng đồng sẽ tạo ra nhiều đổi mới đa dạng với mô hình này, nhưng vì đây là lần đầu tiên đối với OpenAI nên họ muốn bảo đảm thực hiện đúng quy trình
• Cuối cùng, ông nói "xin lỗi vì đây không phải là tin tốt. Chúng tôi thực sự đang làm việc rất chăm chỉ", đồng thời tiếp tục nhấn mạnh sự xin lỗi chân thành cùng thái độ thận trọng

[ng0301]

Lại bị lừa nữa à~

[GN⁺]

Ý kiến trên Hacker News

• Đã chia sẻ liên kết https://nitter.space/sama/status/1943837550369812814

• Tôi không chắc việc OpenAI đột ngột hoãn phát hành mô hình open-weight ngay sau khi xuất hiện một mô hình open-weight xuất sắc như Kimi K2 được công bố hôm nay có phải chỉ là trùng hợp hay không
  Liên kết giới thiệu Kimi K2
  Khi OpenAI phát hành thì họ cần phải nâng mặt bằng của ngành lên thêm một bậc
  Tôi nghĩ một mô hình public weight chất lượng tầm trung sẽ không đủ sức cạnh tranh

  • Tôi cho rằng hiện giờ OpenAI đang dồn mọi nguồn lực để vượt qua Grok 4
    xAI đang dẫn trước khá xa trong việc tích lũy năng lực tính toán và cũng tạo ra khoảng cách lớn trong các bài kiểm tra trí tuệ như ARC, HLE
    Thứ OpenAI theo đuổi không phải là cạnh tranh mã nguồn mở mà là chiến thắng trong cuộc cạnh tranh
  • Nhưng tôi thắc mắc vì sao trên Hacker News gần như không có thảo luận nào về K2
    Tôi nghĩ đây là tin khá lớn
  • Đặc biệt là khi gần đây OpenAI đã báo trước rằng họ sẽ phát hành mô hình mã nguồn mở tốt nhất, nên thời điểm này có cảm giác rất trùng khớp
  • Tôi có cảm giác rằng kể từ GPT-4, mọi mô hình của OpenAI đều tụt lại khá xa so với xu hướng thị trường

• Tôi nghĩ việc nhắc đến "kiểm thử an toàn" của LLM chỉ là câu chữ marketing
  Ô tô, máy bay, thang máy thì có kiểm thử an toàn thật, còn LLM thì khác
  Kể cả khi kết quả do LLM tạo ra không vừa ý nhà sản xuất thì cũng chẳng ai chết vì thế
  Thứ họ gọi là "kiểm thử an toàn" rốt cuộc chỉ là kiểm tra xem LLM sẽ nói ra đến mức nào những điều họ không thích

  • LLM có thể dễ dàng hướng dẫn ai đó dùng thuốc có tương tác xấu
    Nó cũng có thể đẩy một cuộc khủng hoảng sức khỏe tinh thần đến tự sát, hoặc cực đoan hơn là trình bày một cách thuyết phục rằng một chủng tộc hay nhóm người nào đó là nguyên nhân của vấn đề và cần bị loại bỏ
    Lời nói không trực tiếp giết người, nhưng rõ ràng có những trường hợp dẫn người ta đến cái chết
    Ngoài những khả năng đó còn tồn tại rủi ro liên quan đến việc dùng công cụ
  • Trong ngữ cảnh này, "an toàn" thường rốt cuộc chỉ có nghĩa là ngăn những phát ngôn có thể khiến ai đó khó chịu hoặc trở thành vấn đề PR
  • Tôi cũng nghĩ đó là marketing, nhưng lý do lại gần như ngược lại
    Theo tôi, với trình độ công nghệ hiện tại thì không thể thật sự làm cho nó an toàn
  • Đây là để bảo vệ sự an toàn của nhà cung cấp LLM hơn là của người dùng

• Sở thích của tôi là biến sự yếm thế thành tiền
  Tôi vào Polymarket, tìm những sự kiện liên quan đến xã hội và công nghệ mà nếu xảy ra sẽ khiến tôi vui vẻ và lạc quan hơn, rồi đặt cược một khoản nhỏ (shitcoin) vào khả năng chuyện đó sẽ không xảy ra
  Ví dụ có một kèo cược về việc OpenAI có phát hành mô hình trọng số mã nguồn mở trước tháng 9 hay không, hiện đang giao dịch ở mức 81%
  Tháng trước OpenAI cũng không công bố gì, lệnh ngừng bắn cũng không thật sự là ngừng bắn, và các chỉ số khí hậu còn xấu đi, nên tôi kiếm được khoảng 10 đô
  Không thể hedge hoàn toàn sự tuyệt vọng của tồn tại, nhưng có thể giảm bớt phần nào nỗi đau đó

  • Đây là kiểu cá cược mà đằng nào tôi cũng thắng
    Nếu tôi thắng thì kiếm được tiền (lợi), còn nếu thua thì xã hội đã có chuyện tốt xảy ra (cũng lợi)
  • Bạn tôi cũng gọi việc này là "hedge nhân loại"
    Mỗi khi có chuyện chính trị khiến nó buồn bã, nó lại kiếm được vài trăm đô
  • Tôi ngạc nhiên khi vẫn còn người dùng tiền mã hóa
    Tôi cứ nghĩ sau cơn sốt AI thì crypto đã hết thời rồi
  • "Cờ bạc có tính gây nghiện nên cần thực hiện một cách có trách nhiệm, và chỉ dành cho người từ 18 tuổi trở lên
    Nếu cần giúp đỡ, hãy liên hệ trung tâm tư vấn cờ bạc hoặc bác sĩ"

• Tôi tin Deepseek và Qwen (Alibaba) hơn các công ty AI của Mỹ
  Ngành AI Mỹ tạo cho tôi ấn tượng rất mạnh là chỉ biết ngốn tiền và tài nguyên tính toán
  Dù đổ vào hàng chục tỷ thì dường như cũng không có gì đáng để khoe
  Deepseek được phát triển chỉ với 5 triệu đô và còn giới thiệu nhiều phương pháp huấn luyện mới
  Hơn nữa họ còn công khai cả mô hình lẫn mã dưới dạng FLOSS
  Các công ty Mỹ thì đều đóng kín
  Các công ty AI Mỹ trông như những con kền kền đang cố giết lẫn nhau

  • Có rất nhiều tranh cãi quanh chuyện chi phí phát triển Deepseek là 5 triệu đô
    Có ý kiến cho rằng đó là hiểu sai, cũng có ý kiến cho rằng đó là thông tin sai lệch bị lan truyền có chủ đích
    Ngay cả nếu không có ác ý, thì từ góc nhìn của người từng huấn luyện mô hình lớn, tôi muốn nói rằng bàn về tổng chi phí chỉ dựa trên chi phí của một lần huấn luyện là vô nghĩa
    Chi phí cho các thử nghiệm thất bại, các đợt huấn luyện bổ sung và vô số lần thử khác cũng rất đáng kể
    Việc R2 vẫn chưa ra mắt dù đã 6 tháng trôi qua theo tôi là điều rất đáng nói
    Đôi khi có những kết quả rất ấn tượng xuất hiện, nhưng chẳng ai để ý đến cái giá của thất bại
  • Trên thực tế, phần lớn mô hình của Google là mã nguồn mở
    Làm việc trong ngành AI, tôi đã đọc rất nhiều bài báo nghiên cứu của Google; họ đã đóng góp rất lớn cho sự phát triển của ngành, và tôi biết ơn vì họ đã công bố mô hình theo giấy phép thương mại
  • 5 triệu đô là chi phí thời gian cho một lần huấn luyện GPU
  • Bạn nói các công ty AI Mỹ chỉ ngốn tiền và compute, nhưng thật ra họ còn ăn cả sách theo đúng nghĩa đen nữa
  • Chẳng phải con số đó thực ra chỉ phản ánh giá GPU thôi sao?

• Có lẽ là vì kết quả kém hơn mô hình K2 được công bố hôm nay
  Bất kỳ kỹ sư tử tế nào cũng sẽ không nói là vì "an toàn"
  Dùng các phương pháp như ablation thì cả phần huấn luyện an toàn hậu kỳ cũng bị vô hiệu hóa

  • Cá nhân tôi mong mô hình open-weight mà OpenAI công bố sẽ nhỏ hơn K2 rất nhiều
    K2 có 1 nghìn tỷ tham số và riêng dung lượng tải về đã gần 1TB
    Máy tính xách tay của tôi chắc chắn không thể chạy nổi
    Tôi nghĩ kích cỡ hợp lý tối ưu cho mô hình cục bộ là khoảng 20B
    Mistral Small 3.x hay một số mô hình Gemma 3 là ví dụ tiêu biểu
    Chúng chạy tốt với dưới 32GB RAM mà hiệu năng vẫn ổn
    Tôi thật lòng hy vọng OpenAI sẽ tung ra một mô hình cỡ đó

• Cần nhớ rằng như các trường hợp fine-tuning không kiểm duyệt của mô hình Llama đã cho thấy, các ràng buộc an toàn có thể bị gỡ bỏ rất dễ dàng

• Về thực chất thì đây chỉ là một màn trình diễn bảo mật hoàn toàn vô dụng để đối ngoại
  Cộng đồng từ lâu đã biết cách lột bỏ mọi lớp bảo vệ đó một cách dễ dàng

  • Chỉ cần nhìn những nhận định kiểu này là tôi lại nhớ ngay chuyện "Open"AI ngày xưa từng từ chối phát hành GPT2 XL vì cho rằng nó "quá mạnh"

• Câu kiểu như "đây cũng là điều mới với chúng tôi" nghe không giống phong cách của công ty đó

• Tôi thật sự tò mò vì sao OpenAI lại muốn công bố một mô hình public weight