Opus 4.6: Ý nghĩa của việc giải được bài toán 14,5 giờ theo chuẩn con người (METR Time Horizon)
(metr.org)Tại Mỹ có một tổ chức nghiên cứu phi lợi nhuận tên là METR.
Đây là một viện nghiên cứu phi lợi nhuận đặt tại Berkeley, bang California, chuyên đánh giá năng lực của các mô hình AI frontier trong việc thực hiện các tác vụ dài hạn và tự chủ.
Một số nhà nghiên cứu cảnh báo rằng năng lực như vậy có thể gây ra rủi ro nghiêm trọng cho xã hội, và METR chính là nơi đảm nhận vai trò đo lường mức độ rủi ro đó.
Nghiên cứu của METR gồm ba trục chính.
Thứ nhất, đánh giá rộng về năng lực tự chủ nhằm đo khả năng các tác nhân AI hoàn thành một cách tự động nhiều loại công việc kéo dài hàng giờ.
Thứ hai, đánh giá khả năng AI có thể tăng tốc chính hoạt động AI R&D.
Thứ ba, nghiên cứu các hành vi của AI đe dọa tính toàn vẹn của quá trình đánh giá (ví dụ: sandbagging, reward hacking) và các biện pháp đối phó.
Đặc biệt, nghiên cứu Time Horizon do METR công bố cho thấy độ dài công việc mà tác nhân AI có thể hoàn thành đã tăng gấp đôi khoảng mỗi 7 tháng trong 6 năm qua; nghiên cứu này hiện được dùng như một cơ sở then chốt để dự đoán khi nào AI sẽ tạo ra tác động mang tính biến đổi.
Dưới đây là bản dịch máy của trang xuất hiện khi truy cập URL.
Tổng quan
Task-completion time horizon là thời lượng công việc mà một tác nhân AI được dự đoán có thể hoàn thành ở một mức độ tin cậy nhất định, tính theo thời gian mà chuyên gia con người cần để hoàn thành. Ví dụ, mốc thời gian 50% là độ dài của công việc mà tác nhân được dự đoán có xác suất thành công 50%. Biểu đồ dưới đây cho thấy mốc thời gian 50% và 80% của các tác nhân AI frontier, được tính dựa trên hiệu năng ở hơn 100 tác vụ phần mềm đa dạng.
Chúng tôi định kỳ cập nhật các phép đo time horizon của những mô hình frontier công khai. Do giới hạn năng lực, một số mô hình có thể được đo sau một khoảng thời gian kể từ khi phát hành, hoặc một số đợt phát hành có thể bị bỏ qua hoàn toàn.
Để thảo luận đầy đủ về phương pháp luận và kết quả, hãy xem bài báo và bài viết trên blog.
Chi tiết phương pháp luận
Để ước lượng time horizon của các tác nhân AI frontier, trước tiên chúng tôi ước lượng thời gian mà chuyên gia con người cần để hoàn thành từng tác vụ. Với mỗi tác nhân, chúng tôi fit một đường cong logistic để dự đoán xác suất thành công của tác vụ như một hàm theo thời gian hoàn thành của con người. Để tìm mốc thời gian 50% (hoặc 80%), chúng tôi xác định thời lượng tác vụ tại giao điểm giữa đường cong đã fit và xác suất thành công 50% (hoặc 80%).
Phân bố tác vụ: Các tác vụ được cấu thành từ RE-Bench, HCAST và các tác vụ phần mềm ngắn. Chúng chủ yếu thuộc các lĩnh vực kỹ thuật phần mềm, machine learning và an ninh mạng, có tính độc lập, được định nghĩa rõ ràng và có tiêu chí thành công minh bạch để có thể đánh giá tự động.
Ước lượng thời gian làm việc của con người: Với hầu hết các tác vụ, chúng tôi thuê người thử thực hiện nhiệm vụ và lấy trung bình nhân của thời gian hoàn thành thành công. Những người này được cung cấp cùng chỉ dẫn và môi trường như tác nhân AI, đồng thời được yêu cầu hoàn thành nhiệm vụ nhanh nhất có thể. Ước lượng thời gian làm việc của con người của chúng tôi có thể cao hơn so với chuyên gia thực tế, vì những người này (và cả tác nhân AI) có ít thông tin ngữ cảnh về công việc hơn nhiều so với các chuyên gia thực hiện tác vụ tương đương trong công việc hằng ngày của họ.
Câu hỏi thường gặp (FAQ)
Q. "Time horizon" có nghĩa là khoảng thời gian mà tác nhân AI hiện nay có thể hành động tự chủ không?
Không. Mốc thời gian 50% là độ dài của công việc mà tác nhân AI có thể hoàn thành với độ tin cậy 50%, tính theo chuẩn chuyên gia con người. Đây không phải là thời gian thực tế AI mất để hoàn thành công việc, mà là một chỉ số đo độ khó của công việc.
Q. Trên thực tế, tác nhân AI mất bao lâu để hoàn thành một công việc dài 2 giờ?
Điều này phụ thuộc vào mô hình, loại tác vụ và cách thiết lập tác nhân, nhưng nói chung tác nhân AI thường nhanh hơn con người nhiều lần. Tác nhân AI thường viết mã trong một lần mà không cần lặp đi lặp lại, và cũng cần tìm kiếm ít hơn. Ngoài ra, nhiều tác nhân AI lập trình nhanh hơn đáng kể so với kỹ sư phần mềm con người.
Q. Ước lượng thời gian làm việc được tính theo chuẩn con người nào?
Đó là các chuyên gia lành nghề trong các lĩnh vực kỹ thuật phần mềm, machine learning và an ninh mạng, phần lớn xuất thân từ 100 trường đại học hàng đầu thế giới. Trung bình họ có khoảng 5 năm kinh nghiệm liên quan. Vì vậy, sẽ phù hợp hơn nếu hiểu một tác vụ 2 giờ của chúng tôi là công việc mà "một nhân viên mới hoặc freelancer gần như không có ngữ cảnh trước" có thể hoàn thành trong 2 giờ, chứ không phải là công việc mà "một chuyên gia lành nghề đã quen với dự án" làm trong 2 giờ.
Q. Time horizon 2 giờ có nghĩa là AI có thể thực hiện mọi công việc trí óc mà con người có thể làm trong 2 giờ không?
Không. Phân bố tác vụ của chúng tôi chủ yếu gồm kỹ thuật phần mềm, machine learning và an ninh mạng. Trong nghiên cứu tiếp theo, chúng tôi khảo sát sự khác biệt của time horizon của các hệ thống AI trên nhiều lĩnh vực khác nhau; dù phát hiện xu hướng tăng trưởng theo cấp số nhân tương tự ở các lĩnh vực khác, các giá trị time horizon tuyệt đối vẫn khác nhau. Năng lực AI mang tính "gồ ghề/jagged" so với con người, và time horizon của mọi công việc có giá trị kinh tế được kỳ vọng sẽ phân bố trên nhiều bậc độ lớn.
📊 Diễn giải biểu đồ
Biểu đồ chính (hình 1, 6)
Nhìn vào quỹ đạo từ GPT-2 (2019) đến Claude Opus 4.6 (tháng 2/2026), có thể thấy time horizon của AI đã tăng bùng nổ từ gần như 0 phút lên khoảng 14 giờ 30 phút. Đặc biệt, đoạn 2024–2026 cho thấy đường cong dốc lên mạnh, nghĩa là mức cải thiện năng lực trong 1–2 năm gần đây vượt trội so với nhiều năm trước đó.
Biểu đồ đa lĩnh vực (hình 5)
Ở nhiều benchmark khác nhau như METR-HRS (phần mềm), MATH, GPQA, Mock AIME, SWE-bench, time horizon đều đang tăng theo cấp số nhân. Giá trị tuyệt đối khác nhau giữa các lĩnh vực, nhưng xu hướng đi lên là điểm chung.
🔑 Diễn giải "14 giờ 30 phút" — câu hỏi cốt lõi
> "Claude Opus 4.6 đạt 14,5 giờ cho tác vụ 'Fix complex bug in ML research codebase' nghĩa là gì?"
Đây là phần dễ bị hiểu nhầm nhất. Giải thích chính xác là như sau:
| Hiểu nhầm | Diễn giải đúng |
|---|---|
| "Claude Opus 4.6 đã làm việc trong 14,5 giờ" | ❌ |
| "Claude Opus 4.6 có thể thành công với xác suất 50% trên một công việc có độ khó tương đương 14,5 giờ theo chuẩn con người" | ✅ |
Nói cách khác, 14 giờ 30 phút không phải là thời gian AI đã tiêu tốn, mà là độ khó của công việc theo chuẩn con người.
Cụ thể hơn, có thể hiểu như sau:
- METR chọn một tác vụ là "sửa lỗi phức tạp trong codebase nghiên cứu ML"
- Khi giao tác vụ này cho nhiều chuyên gia con người lành nghề, thời gian trung bình cần thiết là khoảng 14 giờ 30 phút
- Khi giao cùng tác vụ đó cho Claude Opus 4.6 thực hiện lặp lại nhiều lần, mô hình thành công với xác suất một nửa (50%)
- Vì vậy, "50%-time horizon của Claude Opus 4.6 = 14 giờ 30 phút"
Trên thực tế, thời gian Claude Opus 4.6 cần để xử lý tác vụ này có thể ngắn hơn con người rất nhiều (theo FAQ, AI thường nhanh hơn con người nhiều lần).
💡 Tóm tắt hàm ý
Dữ liệu time horizon của METR chứng minh một cách khách quan rằng năng lực thực hiện công việc tự chủ của các tác nhân AI đang mở rộng với tốc độ theo cấp số nhân, và việc Claude Opus 4.6 có thể hoàn thành thành công với xác suất 50% các tác vụ phần mềm, ML và an ninh mạng phức tạp đòi hỏi hơn 14 giờ theo chuẩn chuyên gia con người cho thấy AI đã tiến tới một ngưỡng mà ở đó nó có thể thay thế hoặc tự động hóa trên thực tế một phần đáng kể của lao động tri thức chuyên môn, đồng thời hàm ý mạnh mẽ rằng nếu xu hướng này tiếp tục, việc tái định nghĩa căn bản vai trò và giá trị của lao động con người trong toàn bộ các ngành tri thức kỹ năng cao như phát triển phần mềm, bảo mật và nghiên cứu sẽ là điều khó tránh khỏi.
Opus 4.6 được cập nhật vào tháng 2/2026 được cho là có thể giải các bài toán ở mức chuyên gia con người dài 14,5 giờ
với xác suất thành công 50%.
Tôi thấy đây là một biểu đồ rất đáng kinh ngạc, và đăng lên vì nghĩ rằng trong tương lai, ngày càng nhiều công việc sẽ được tự động hóa và vận hành dựa trên AI.
Chưa có bình luận nào.