- Dự án AI thế hệ tiếp theo của OpenAI GPT-5 (tên mã Orion) đang bị chậm tiến độ và phát sinh chi phí khổng lồ
- GPT-5 hướng tới những bước tiến lớn của công nghệ đã làm nên ChatGPT, nhưng khả năng thành công và lịch trình vẫn chưa chắc chắn
- Microsoft, nhà đầu tư lớn, từng kỳ vọng công bố vào giữa năm 2024, nhưng nhiều vấn đề đã xuất hiện trong các đợt thử nghiệm nội bộ của OpenAI
Tình hình dự án và chi phí
- GPT-5 đã trải qua hai đợt huấn luyện quy mô lớn, mỗi đợt tiêu tốn hàng trăm triệu USD
- Mô hình chưa đạt hiệu năng kỳ vọng, và hiện chỉ nhỉnh hơn GPT-4 hiện có một chút
- CEO Sam Altman của OpenAI nhấn mạnh rằng GPT-5 sẽ mang lại một bước tiến đột phá
Dữ liệu huấn luyện và các vấn đề kỹ thuật
- Việc huấn luyện LLM cần lượng dữ liệu khổng lồ, nhưng hiện Internet đang thiếu dữ liệu chất lượng cao đủ dùng
- OpenAI đã áp dụng cách tự tạo dữ liệu thông qua việc giải toán, viết mã phần mềm, v.v.
- Dữ liệu tổng hợp (dữ liệu do AI tạo ra) cũng đang được sử dụng, nhưng quá trình tự tạo dữ liệu này có nguy cơ phát sinh lỗi và kết quả phi lý
Vấn đề nội bộ và áp lực cạnh tranh
- Xung đột nội bộ tại OpenAI và các nỗ lực lôi kéo nhân tài từ đối thủ đang gia tăng
- Hơn 24 nhân sự chủ chốt đã rời đi, bao gồm đồng sáng lập Ilya Sutskever và CTO Mira Murati
- Các đối thủ như Anthropic và Google đã tung ra những LLM tốt hơn, khiến cạnh tranh ngày càng gay gắt
Cách tiếp cận mới: mô hình suy luận
- OpenAI đang phát triển mô hình suy luận mới để cải thiện hiệu năng LLM
- Nhận ra giới hạn của cách tiếp cận cũ chỉ đơn thuần mở rộng dữ liệu
- Mô hình o1 tạo ra nhiều câu trả lời cho một câu hỏi, sau đó phân tích để chọn ra câu trả lời tối ưu
- Có thể giải quyết vấn đề phức tạp, giải thích quá trình trả lời và học tập
Sự đánh đổi giữa chi phí và hiệu năng
- Các mô hình dựa trên suy luận có hiệu năng tốt hơn phương pháp cũ, nhưng đi kèm gánh nặng chi phí cao
- Chi phí tính toán tăng lên vì phải tạo nhiều câu trả lời cho một câu hỏi
- Các nhà nghiên cứu đang cố gắng kết hợp mô hình suy luận với cách tiếp cận tập trung vào dữ liệu truyền thống để đặt nền tảng cho GPT-5
Thách thức của ngành và tình trạng thiếu dữ liệu
- Ngành AI ngày càng phải đối mặt với vấn đề thiếu dữ liệu và các giới hạn
- Giống như phép ví von dữ liệu là "nhiên liệu hóa thạch của AI", việc bảo đảm thêm dữ liệu chất lượng cao đang trở nên khó khăn
- Nếu việc phát triển GPT-5 bị đình trệ, cũng có thể dấy lên khả năng tiến bộ AI sẽ chững lại
Kết luận
- OpenAI đang gặp khó khăn trong dự án Orion vì các vấn đề về kỹ thuật, tài chính và nguồn nhân lực
- Công ty đang tìm kiếm khả năng để các mô hình suy luận mới trở thành bước đột phá tiếp theo của AI
- Tuy nhiên, việc phát hành một mô hình đủ để được công nhận là GPT-5 vẫn còn chưa chắc chắn
7 bình luận
Giống như các công ty hóa dầu tinh chế dầu mỏ thành xăng, dầu diesel, v.v.,
thì cũng có thể tồn tại một mô hình kinh doanh trong đó các công ty tinh chế dữ liệu làm đẹp và chuẩn hóa dữ liệu thô.
Ví dụ như tinh chỉnh lại các file Excel, PPT quy trình thao tác chuẩn chất đống trong nội bộ công ty để dùng cho fine-tuning GPT?
Có vẻ đây là bức tường đã được dự đoán trước,
nhưng tôi cũng thấy sẽ khá thú vị nếu chuyển hướng sang việc tự nhận thức và tự suy nghĩ.
Trong tình trạng không hề có lộ trình hay tiêu chuẩn nào được định sẵn rõ ràng, việc nói nào là phát triển bị trì hoãn hay không thì rất có thể đây cũng chỉ là kiểu tung tin mang tính marketing mà thôi.
o1 không phải là mô hình dựa trên MCTS hay search, mà là mô hình mở rộng CoT bằng RL.
Tạo ra nhiều câu trả lời -> ở đoạn này không phải là tạo song song nhiều câu trả lời rồi chọn 1 trong số đó,
như bạn nói, mà là tuần tự tạo câu trả lời bằng CoT cho đến khi được đánh giá là đã có câu trả lời, để đưa ra câu trả lời tối ưu..
Tôi cũng nghĩ có thể đây là lỗi dịch trong quá trình biên dịch, nhưng vì khó kiểm tra bài gốc nên cũng không rõ..
Có vẻ như phóng viên đã hiểu theo hướng tạo nhiều câu trả lời rồi chọn một câu.
Ý kiến trên Hacker News
Khi chi phí huấn luyện mô hình tăng lên, thời gian cần cho việc huấn luyện cũng kéo dài. Một lý do khiến các mô hình nhỏ có thể đổi mới nhanh hơn là vì vòng lặp phản hồi ngắn hơn
Phần mô tả về quá trình phát triển GPT-4 của OpenAI không tạo được nhiều niềm tin cho bài viết
Có ý kiến cho rằng LLMs đã chạm đến giới hạn, nơi chúng không còn có thể tiếp tục tiến bộ chỉ bằng cách tăng dữ liệu và năng lực tính toán. Cần có những ý tưởng mới, và nguồn vốn cho việc này thì đã sẵn sàng đầy đủ
Nếu mức độ hiện tại của LLM có thể cung cấp các chỉ số độ tin cậy mang tính thận trọng thì chúng sẽ hữu ích hơn rất nhiều. Cần có các đầu ra như "không biết" hoặc "không chắc, nhưng..."
Điều quan trọng hơn so với lần phát hành tiếp theo của OpenAI là ngành công nghiệp phần mềm phải tích hợp công nghệ này để hiện thực hóa giá trị của nó
Điều có thể suy ra từ phát biểu của người trong cuộc là họ muốn đạt được mức cải thiện gấp 10 lần thông qua scaling cùng với thay đổi về dữ liệu và thuật toán. Các nguồn dữ liệu công khai gần như đã cạn kiệt, còn thay đổi về thuật toán thì vẫn đang tạo ra cải tiến liên tục thông qua nghiên cứu
GPT-5 không hề bị trì hoãn lịch trình, mà thực tế đã được phát hành từ nửa năm trước dưới tên GPT-4o. Có thể nó không đủ tính đột phá để được đặt tên là 5, và đã bị đổi thương hiệu vào phút chót
Có ý kiến cho rằng báo chí công nghệ đã cường điệu hóa vấn đề, vì dù o3 đã ra mắt, các bài viết chỉ trích vẫn tiếp tục xuất hiện
Theo đánh giá chủ quan, o1-Pro vượt trội hơn GPT-4 rất nhiều, và o3 còn được xem là tốt hơn nữa. Điều này cho thấy công nghệ đang phát triển rất nhanh
Thế giới đang dần tìm ra cách để công nghệ này hoạt động phù hợp, nên việc nói rằng lịch trình bị trì hoãn gần như mang tính hài hước