OpenAI, Google và Anthropic đang chật vật để phát triển AI tiên tiến hơn

• Các công ty AI lớn như OpenAI, Google và Anthropic đang ngày càng đạt ít kết quả hơn trong việc phát triển các mô hình mới
• OpenAI đã huấn luyện mô hình AI mới nhất Orion, nhưng không đạt được hiệu năng như kỳ vọng
  • Đặc biệt, mô hình gặp vấn đề khi không thể trả lời đúng các câu hỏi về lập trình
• Gemini của Google cũng cho thấy kết quả không đạt kỳ vọng nội bộ, trong khi Anthropic đang trì hoãn lịch phát hành Claude 3.5 Opus mới

Giới hạn dữ liệu và vấn đề chi phí

• Việc đảm bảo dữ liệu chất lượng cao do con người tạo ra ngày càng trở nên khó khăn hơn
• Hiệu năng của các mô hình AI đang chững lại, và những cải thiện nhỏ khiến rất khó biện minh cho chi phí khổng lồ
• Một trong những nguyên nhân chính được chỉ ra với Orion của OpenAI là chưa đảm bảo được đủ dữ liệu lập trình
• Việc phát triển một mô hình AI mới tiêu tốn hàng triệu USD, và trong tương lai con số này được dự đoán có thể lên tới hàng tỷ USD

Chiến lược cải thiện hiệu năng AI

• OpenAI đang tập trung vào quá trình hậu huấn luyện (post-training) trước khi phát hành Orion. Quá trình này bao gồm cải thiện phản hồi của mô hình thông qua phản hồi người dùng và điều chỉnh giọng điệu tương tác
• Để giải quyết vấn đề thiếu dữ liệu, các công ty đang đảm bảo dữ liệu thông qua các thỏa thuận với nhà xuất bản hoặc sử dụng cách để chuyên gia gắn nhãn dữ liệu
• Việc sử dụng dữ liệu tổng hợp (synthetic data) cũng đang gia tăng, nhưng vẫn còn giới hạn trong việc đảm bảo dữ liệu độc đáo và chất lượng cao

Nghi vấn về các định luật mở rộng của AI

• Ngành AI từ lâu đã dựa vào các định luật mở rộng (scaling laws), tức giả định rằng mô hình lớn hơn và nhiều dữ liệu hơn sẽ mang lại cải thiện hiệu năng, nhưng các kết quả gần đây đang khiến giả định này bị nghi ngờ
• Dario Amodei, CEO của Anthropic, tỏ ra lạc quan rằng tình trạng thiếu dữ liệu có thể gây ra vấn đề, nhưng họ sẽ tìm ra cách vượt qua

Vấn đề cân bằng giữa chi phí và hiệu năng

• Khi chi phí phát triển AI tăng vọt, nếu các mô hình mới không cải thiện hiệu năng như kỳ vọng thì chi phí cao sẽ trở thành vấn đề
• OpenAI và Anthropic đang chuyển trọng tâm sang các trường hợp sử dụng mới như AI agent, thay vì chỉ theo đuổi các mô hình lớn hơn
  • Agent có thể thực hiện các tác vụ như gửi email hoặc đặt vé máy bay thay cho người dùng
• CEO OpenAI Sam Altman cho biết cần đưa ra những quyết định khó khăn trong việc sử dụng tài nguyên tính toán
  • Ông giải thích trong Reddit AMA: "Chúng tôi sẽ tiếp tục phát hành những mô hình mới tuyệt vời, nhưng bước đột phá lớn tiếp theo sẽ là agent"

Kết luận

• Các công ty AI lớn đang sử dụng ngày càng nhiều sức mạnh tính toán và dữ liệu hơn, nhưng thành quả lại đang chững lại
• Họ đang tìm kiếm các cách tiếp cận và trường hợp sử dụng mới để vượt qua những giới hạn kỹ thuật và vấn đề thiếu dữ liệu
• Hướng phát triển AI trong tương lai nhiều khả năng sẽ tập trung vào các ứng dụng thực tế hơn là chỉ vào kích thước mô hình

[kandk]

Rốt cuộc thì ý là chi phí quá đắt.
Cá nhân tôi nghĩ tiềm năng tăng trưởng là lớn đến mức tương đương với số lượng neuron trong não.

[GN⁺]

Ý kiến trên Hacker News

• Có câu hỏi liệu các lựa chọn để tạo ra giá trị dựa trên LLM (mô hình ngôn ngữ lớn) hiện nay đã cạn kiệt hay chưa. Một người đang dẫn dắt một nhóm cho rằng chặng đường phía trước vẫn còn rất dài

  • Chủ yếu sử dụng các mô hình GPT-4o và Claude 3.5; sự kết hợp giữa đầu tư kỹ thuật và LLM tiếp tục mở ra khả năng cho các ứng dụng mới
  • Ví dụ, có thể kết hợp đồ thị tri thức do con người điều phối với LLM để tạo ra một "bot chuyên gia" hiểu bối cảnh kinh doanh và hành xử như một đồng đội trong nhóm
  • Nếu bổ sung khả năng dự báo và mô phỏng, LLM có thể tạo ra các thay đổi mã hợp lý rồi tự động rà soát và lặp lại
  • Họ cho rằng điều quan trọng là tận dụng trí tuệ hiện có hơn là chỉ theo đuổi việc cải thiện mô hình

• Trong lĩnh vực kỹ thuật, 3 năm qua chủ yếu tập trung vào việc mở rộng huấn luyện trước và sau huấn luyện của các mô hình transformer

  • Một mô hình mới đang được chú ý là huấn luyện đa phương thức và các tác tử hiện thân, bao gồm cả robot
  • OpenAI, Google và Anthropic cũng đang đầu tư vào nghiên cứu robot

• Khả năng sinh mã của ChatGPT có thể tìm thấy trên web những thứ tương tự với mã hiện có

  • LLM cung cấp chức năng tìm kiếm và sao chép/dán, và điều này là đủ cho việc giải quyết các vấn đề phổ biến
  • Tuy nhiên, chỉ riêng LLM sẽ không tạo ra trí tuệ nhân tạo tổng quát
  • Cần có chỉ số độ tự tin của LLM, và điều đó sẽ hữu ích hơn rất nhiều so với các LLM hiện tại

• Việc AI chạm tới giới hạn dữ liệu là điều tốt, vì áp lực đang chuyển sang hướng phát triển kiến trúc mô hình tốt hơn

  • Các nhà nghiên cứu AI đang tìm kiếm những mô hình tốt hơn

• Những dòng tiêu đề tiêu cực cho rằng AI đã đụng tường cũng giống như thời Internet mới xuất hiện

  • Họ nghĩ rằng sau 10 năm nữa, AI sẽ gắn kết sâu sắc với mọi khía cạnh của cuộc sống

• Các công nghệ hiện có đã mang lại thay đổi lớn cho ngành, và sẽ cần thời gian để chuyển sang mô hình lai giữa AI và con người

• Mô hình mới nhất của OpenAI chưa đáp ứng kỳ vọng, nhưng vẫn có thể tăng trưởng tuyến tính theo quy mô dữ liệu huấn luyện

• Có ý kiến đặt câu hỏi liệu có thể mua phần mềm AI và bổ sung các tính năng giúp người dùng tự đọc tài liệu rồi viết ra phiên bản mới của ứng dụng hay không