Claude Opus 5 đứng đầu bảng xếp hạng trí tuệ của Artificial Analysis

 (artificialanalysis.ai)
1 điểm bởi GN⁺ 2 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Trong số 170 mô hình được đánh giá, Claude Opus 5 Adaptive Reasoning·Max Effort đứng đầu với Intelligence Index 61 điểm; Xhigh Effort và Claude Fable 5 theo sau, mỗi mô hình đạt 60 điểm
  • Intelligence Index v4.1 kết hợp 9 bài đánh giá bao gồm tác vụ agent, lập trình, suy luận khoa học, độ tin cậy kiến thức và suy luận ngữ cảnh dài; đồng thời phản ánh cả thời gian suy nghĩ mở rộng của các mô hình suy luận vào đo lường hiệu năng
  • Về tốc độ xuất, Mercury 2 nhanh nhất với 901,6 tokens/s; độ trễ token đầu tiên của Gemini 2.5 Flash-Lite ngắn nhất ở 0,34 giây; Llama 4 Scout cung cấp cửa sổ ngữ cảnh tối đa 10M token
  • Giá được so sánh không chỉ theo đơn giá token mà còn theo chi phí mỗi tác vụ, có trọng số cho token đầu vào, cache hit, ghi cache, suy luận và token trả lời; chi phí ghi và lưu trữ cache khác nhau tùy nhà cung cấp
  • Trong các mô hình trọng số mở, GLM-5.2 (max) cao nhất với 51 điểm nhưng thấp hơn vị trí số 1 chung 10 điểm, vì vậy khi chọn mô hình cần cân nhắc chi phí, tốc độ, độ trễ và cửa sổ ngữ cảnh cùng với trí tuệ

Thứ hạng trí tuệ của Claude Opus 5

  • Claude Opus 5 (Adaptive Reasoning, Max Effort) đứng đầu trong 170 mô hình được đánh giá với Intelligence Index 61 điểm
  • 5 mô hình dẫn đầu như sau
    • Claude Opus 5 (Adaptive Reasoning, Max Effort): 61 điểm
    • Claude Opus 5 (Adaptive Reasoning, Xhigh Effort): 60 điểm
    • Claude Fable 5 (Adaptive Reasoning, Max Effort, Opus 4.8 Fallback): 60 điểm
    • GPT-5.6 Sol (max): 59 điểm
    • Claude Opus 5 (Adaptive Reasoning, High Effort): 59 điểm
  • Cấu hình Max Effort cũng đứng đầu trong 126 mô hình suy luận; các mô hình suy luận thực hiện suy nghĩ mở rộng để xử lý vấn đề phức tạp trước khi trả lời

Cấu phần đánh giá của Intelligence Index v4.1

  • Intelligence Index v4.1 kết hợp 9 bài đánh giá sau
    • GDPval-AA v2: công việc thực tế dựa trên agent
    • 𝜏³-Banking: sử dụng công cụ của agent
    • Terminal-Bench v2.1: lập trình bằng agent và sử dụng terminal
    • SciCode: lập trình
    • Humanity's Last Exam: suy luận và kiến thức
    • GPQA Diamond: suy luận khoa học
    • CritPt: suy luận vật lý
    • AA-Omniscience: độ chính xác kiến thức và tỷ lệ không ảo giác
    • AA-LCR: suy luận ngữ cảnh dài
  • Tùy mục đích sử dụng, kết quả ở bài đánh giá cụ thể có thể quan trọng hơn điểm trí tuệ tổng hợp
  • Các hạng mục đánh giá riêng còn bao gồm những benchmark sau
    • AA-Briefcase: công việc tri thức của agent
    • AutomationBench-AA: quy trình SaaS của agent
    • Harvey LAB-AA: công việc agent pháp lý
    • EnterpriseOps-Gym-AA: vận hành kinh doanh bằng agent
    • IFBench: tuân thủ chỉ dẫn
    • APEX-Agents-AA: tác vụ agent dài hạn
    • ITBench-AA: phân tích nguyên nhân gốc sự cố Kubernetes
    • MMMU-Pro: suy luận thị giác

Chỉ số công việc tri thức, độ tin cậy và tính mở

  • AA-Briefcase Elo kết hợp Elo chất lượng phân tích, Elo trình bày và tỷ lệ vượt tiêu chí đánh giá
    • Tỷ lệ vượt được chuyển đổi sang Elo thông qua các cuộc đối đầu một-một tổng hợp
    • Elo và biên khoảng tin cậy 95% được giới hạn để không thấp hơn 0
  • AA-Omniscience Index đo độ tin cậy kiến thức và ảo giác trên thang -100 đến 100 điểm
    • Thưởng cho câu trả lời đúng và phạt ảo giác, nhưng không phạt việc từ chối trả lời
    • 0 điểm nghĩa là số câu đúng và sai bằng nhau; điểm âm nghĩa là số câu sai nhiều hơn số câu đúng
  • Openness Index đánh giá tính mở của mô hình bằng điểm chuẩn hóa từ 0 đến 100; càng cao thì càng mở
  • Chỉ số này phân biệt việc trọng số có được công khai hay không; các mô hình có trọng số công khai nhưng cần giấy phép trả phí cho mục đích thương mại được đánh dấu là Commercial Use Restricted

Thứ hạng mô hình trọng số mở

  • Trong 170 mô hình được đánh giá, 94 mô hình là mô hình trọng số mở
  • Nhóm dẫn đầu Intelligence Index trong các mô hình trọng số mở như sau
    • GLM-5.2 (max): 51 điểm
    • MiniMax-M3: 44 điểm
    • DeepSeek V4 Pro (Reasoning, Max Effort): 44 điểm
  • GLM-5.2 (max) ghi nhận điểm số cao nhất trong các mô hình trọng số mở

Tốc độ xuất và thời gian xử lý tác vụ

  • Mercury 2 có tốc độ xuất nhanh nhất với 901,6 tokens/s
    • Gemini 3.5 Flash-Lite: 435,1 tokens/s
    • HyperNova 60B 2605: 427,6 tokens/s
    • Granite 4.0 H Small cũng nằm trong nhóm dẫn đầu
  • Tốc độ xuất là số token mỗi giây nhận được trong khi mô hình tạo token, sau khi nhận chunk đầu tiên ở mô hình streaming
  • Thời gian mỗi tác vụ của Intelligence Index được tính bằng cách chia số token xuất mỗi tác vụ cho tốc độ xuất và áp dụng trọng số tương đối của từng benchmark
    • Không bao gồm thời gian đến token đầu tiên (TTFT) và các overhead khác
  • Nếu có API riêng thì dùng hiệu năng của API đó; nếu không có API riêng như Meta Llama, dùng giá trị trung vị của nhiều nhà cung cấp

Độ trễ và thời gian phản hồi đầu-cuối

  • Mô hình có thời gian đến token trả lời đầu tiên ngắn nhất là Gemini 2.5 Flash-Lite (Non-reasoning) với 0,34 giây
    • Command A+: 0,42 giây
    • North Mini Code: 0,49 giây
    • Gemini 2.5 Flash cũng nằm trong nhóm mô hình có độ trễ thấp
  • Độ trễ token đầu tiên là thời gian từ khi gửi yêu cầu API đến khi nhận token trả lời đầu tiên
    • Với mô hình suy luận, chỉ số này cũng bao gồm thời gian suy nghĩ trước khi trả lời
    • Với mô hình không hỗ trợ streaming, áp dụng thời gian nhận toàn bộ phản hồi
  • Thời gian phản hồi đầu-cuối 500 token là tổng của các yếu tố sau
    • Thời gian đầu vào cho đến khi nhận token phản hồi đầu tiên
    • Thời gian suy nghĩ mà mô hình suy luận dùng trước khi trả lời
    • Thời gian tạo 500 token trả lời dựa trên tốc độ xuất
  • Số token suy nghĩ dùng giá trị trung bình đo được từ 60 prompt khác nhau

Giá và chi phí mỗi tác vụ

  • So sánh giá dùng đơn giá USD trên 1 triệu token cho cache hit, token đầu vào và token đầu ra
  • Trong danh sách, Devstral 2 và North Mini Code được hiển thị là $0.00 trên 1 triệu token; Gemma 3 4B và Gemma 3 27B theo sau
  • Các mô hình rẻ nhất theo đơn giá hỗn hợp như sau
    • Nova Micro: $0.03/1M tokens
    • Sarvam 30B (high): $0.03/1M tokens
    • Gemma 4 E4B (Non-reasoning): $0.03/1M tokens
  • Chi phí mỗi tác vụ của Intelligence Index được tính bằng cách chia giá token đầu vào, cache hit, ghi cache, suy luận và token trả lời của từng bài đánh giá cho số tác vụ, rồi áp dụng trọng số đánh giá trong Index
  • Chi phí chạy toàn bộ Index được tính bằng lượng token sử dụng theo từng bài đánh giá, không bao gồm các lần chạy lặp, và giá của từng loại token
  • Giá cache hỗn hợp được hiển thị chỉ dùng chi phí cache hit; các chi phí cache khác khác nhau tùy nhà cung cấp
    • Anthropic tính riêng chi phí ghi cache; mức phí khác nhau giữa TTL 5 phút và 1 giờ, trong đó 1 giờ đắt hơn
    • Google Vertex/Gemini tính chi phí lưu trữ theo giờ ngoài giá cache hit
    • Một số nhà cung cấp áp dụng giá theo bậc cho prompt vượt quá 200K token
    • OpenAI, DeepSeek và một số bên khác thường chỉ tính giá cache hit, không tính phí ghi/lưu trữ

Lượng token sử dụng và cửa sổ ngữ cảnh

  • Số token xuất mỗi tác vụ được tính bằng cách nhân token đầu ra của từng bài đánh giá với trọng số tương đối trong Intelligence Index, rồi chia cho số tác vụ không bao gồm các lần lặp
  • Các mô hình có cửa sổ ngữ cảnh lớn nhất như sau
    • Llama 4 Scout: 10M token
    • Grok 4.20 0309: 2M token
    • Gemini 1.5 Pro (May)
    • Grok 4.1 Fast
  • Cửa sổ ngữ cảnh là giới hạn tối đa gộp cả token đầu vào và đầu ra; giới hạn token đầu ra thường nhỏ hơn nhiều và khác nhau tùy mô hình
  • Cửa sổ ngữ cảnh lớn liên quan đến quy trình RAG để tìm kiếm thông tin và suy luận trên lượng dữ liệu lớn

Kích thước của mô hình trọng số mở

  • Kích thước mô hình được phân biệt giữa tổng số tham số gồm trọng số và bias có thể học được, và số tham số hoạt động thực sự chạy khi suy luận
  • Mô hình Mixture of Experts có số tham số hoạt động ít hơn tổng số vì cơ chế routing chỉ chọn một số expert cho mỗi token
  • Mô hình Dense sử dụng toàn bộ tham số, nên tham số hoạt động và tổng tham số là như nhau

Phạm vi so sánh và cách sử dụng

  • Các mô hình được so sánh trên nhiều chiều như trí tuệ, giá, tốc độ xuất, độ trễ token đầu tiên, thời gian phản hồi đầu-cuối và kích thước cửa sổ ngữ cảnh
  • Các chỉ số hiệu năng được đo trực tiếp bằng prompt chuẩn hóa trên 586 mô hình
  • Trên trang chi tiết của từng mô hình, có thể xem chỉ số chi tiết và so sánh trực tiếp giữa các mô hình tương tự; cũng có thể dùng bộ chọn mô hình để điều chỉnh các mô hình hiển thị trên biểu đồ

Bài viết liên quan

1 bình luận

 
GN⁺ 2 giờ trước
Ý kiến trên Hacker News

  • Bảng xếp hạng này về cơ bản đã trở nên vô nghĩa trong việc giúp người dùng cuối quyết định nên dùng mô hình nào vào lúc nào
    Mỗi mô hình có điểm mạnh và điểm yếu khác nhau ở từng lĩnh vực và tác vụ, nên xếp hạng theo một chỉ số duy nhất là vô dụng; giờ đây cũng không còn một “mô hình tốt nhất” duy nhất, và tùy độ phức tạp của công việc mà có khi cũng không cần đến mô hình tốt nhất
    Ví dụ, có thể dùng Fable cho thiết kế UI, Sol cho thiết kế hệ thống backend, Kimi K3 cho phát triển khai thác lỗ hổng; những chỉ số kiểu này rốt cuộc gần như chỉ là con số để các hãng mô hình phô trương

    • Một năm trước, khi có “mô hình tốt nhất” mới ra mắt, tôi đã kỳ vọng và giao cho nó một tác vụ lập trình đơn giản là chỉnh sửa nhỏ 3 tệp, và nó xử lý tốt
      Nhưng một mô hình cũ hơn và nhỏ hơn cùng dòng cũng làm tốt, trong khi nhanh gấp 3 lần và chi phí chỉ bằng 1/9, và khoảnh khắc đó đã khiến tôi ngộ ra
    • Sẽ rất tốt nếu có benchmark theo từng tech stack
      Dù có phần chủ quan, như mô hình nào xử lý dự án Elixir/Phoenix theo cách đúng chất nhất vào năm 2026, nhưng trong bối cảnh khó liên tục tự so sánh mọi mô hình và chênh lệch hiệu năng lại lớn, điều đó vẫn có thể hữu ích
    • Cách nói như “hoàn toàn vô nghĩa” hay “mục đích duy nhất” là phóng đại
      Mọi thống kê đều có sai lệch, nhưng vẫn tốt hơn là không biết gì; benchmark cho thấy mức trung bình của nhiều tác vụ, và đó vốn chính là mục đích của thống kê: tóm lược
    • Nếu mở liên kết ra xem, thực tế không chỉ có một chỉ số duy nhất mà có đầy đủ các chỉ số cần thiết để đưa ra đánh giá
    • Các biểu đồ như chi phí mỗi tác vụ hay tần suất xuất hiện ảo giác của Artificial Analysis vẫn có giá trị
      Chỉ là khi gộp tất cả lại thành một kết quả duy nhất thì mọi khác biệt tinh vi đều biến mất, chỉ còn lại bảng xếp hạng để phô trương

  • Nếu là lãnh đạo Google thì tôi nghĩ họ phải ngủ ở văn phòng không chỉ vì quá nhiều việc, mà còn vì xấu hổ khi xuất hiện trước mọi người

    • Vì là công ty duy nhất không bị lỗ dù vẫn đốt tiền trợ giá, nên ngược lại có lẽ họ còn ngủ rất ngon
    • Có vẻ Google coi trọng tốc độ có thể kiếm tiền từ mọi sản phẩm hơn là AI thông minh nhất
      Họ từ lâu đã nói rằng ưu tiên số một là cung cấp câu trả lời chính xác cho truy vấn nhanh nhất có thể
    • Cũng đáng hỏi liệu Google có thực sự muốn cạnh tranh bằng những mô hình tối đa hóa trí tuệ như OpenAI hay Anthropic không
      Trong ba bên, họ có vẻ là công ty duy nhất không khổ tu để tôn thờ AGI
    • Trong benchmark GPQA Diamond thì họ đồng hạng nhất: https://artificialanalysis.ai/evaluations/gpqa-diamond
      Có khi đây mới là mục tiêu duy nhất
    • Các mô hình Gemini cũng đang dẫn đầu hoặc thuộc nhóm dẫn đầu ở nhiều hạng mục, nên kết luận rằng họ tụt hậu đáng xấu hổ có vẻ không đúng

  • Nhóm đầu của chỉ số trí tuệ gồm Claude Opus 5 Max 61 điểm, Opus 5 Xhigh 60 điểm, tổ hợp mô hình thay thế Claude Fable 5 Max và Opus 4.8 60 điểm, GPT-5.6 Sol Max 59 điểm, Opus 5 High 59 điểm
    Vì vậy Opus 5 Xhigh cao hơn Sol Max, còn Opus 5 High ngang Sol Max, nên tôi tò mò về chênh lệch giá và tốc độ giữa hai mô hình này

    • Trên biểu đồ chi phí và thời gian theo trí tuệ trên mỗi tác vụ của Artificial Analysis, Opus 5 High và Sol Max có chi phí và thời gian khá tương đồng
      Trên DeepSwe, Opus 5 thắng Fable nhưng thua Sol; còn ở FrontierCode thì áp đảo tất cả, nhưng nếu tăng mức nỗ lực suy luận lên cao hơn Medium thì lại rơi mạnh xuống mức Sonnet
    • Opus 5 có vẻ không thông minh bằng Sol Max, và ở một số tác vụ thậm chí còn kém cả Opus 4.8
      Đặc biệt, nó tiếp cận hời hợt, bắt đầu bằng những việc ngớ ngẩn như phải dạy lại toàn bộ ứng dụng hoặc framework, rồi thêm vào các tính năng vốn đã được hỗ trợ theo cách khác

  • Trong các thành phần, AA-Omniscience Index khá thú vị
    Nó đo độ tin cậy tri thức và ảo giác, thưởng cho câu trả lời đúng và trừ điểm khi ảo giác nhưng không trừ điểm nếu từ chối trả lời; có vẻ như đây là chỉ số phần nào phản ánh quy mô tham số hoặc mật độ
    Thứ hạng lần lượt là tổ hợp mô hình thay thế Claude Fable 5, Gemini 3.1 Pro Preview, Claude Opus 5 Max, Grok 4.6 High, Gemini 3.6 Flash, GPT-5.6 Sol Max; và từ lâu Gemini 3.x đã mang cảm giác đặc trưng của mô hình cỡ lớn

    • Gemini 3.1 Pro rất xuất sắc ở các tác vụ tri thức, và Google đã làm rất tốt phần này
      Phân tích hình ảnh của Gemini 3.6 Flash cũng vững, nhưng còn thiếu ở mảng coding hay tác vụ agent
    • Việc 3.6 Flash đạt 24 điểm, cao hơn 22 điểm của Sol, khiến khó chắc rằng đây có phải chỉ số đại diện cho quy mô tham số hay không
      Nghe nói 3.x Flash vừa trong một TPU 8i đơn lẻ, và tốc độ xử lý cũng áp đảo ở mức 234.7 token/giây, so với 64.4 của Sol và 56.3 của Opus; 3.1 Pro cũng nhanh hơn nhiều với 113.9 token/giây
      AA-Omniscience Accuracy thì siêu lớn Fable dẫn đầu với 61%, sau đó là các mô hình frontier cỡ lớn như Sol, GPT-5.5, Opus, điều này hợp với dự đoán hơn
      Gemini dường như tập trung vào tri thức phổ thông và hiệu quả chi phí vận hành hơn là điểm số coding cao nhất, còn trong điểm chuẩn hóa theo từng lĩnh vực thì chỉ phần software là kém cạnh tranh
    • Nếu không trừ điểm cho việc từ chối trả lời thì nó không hữu ích lắm
    • So với quy mô mô hình, grounding có thể có ảnh hưởng tương đương hoặc lớn hơn, và Google rõ ràng làm phần này rất tốt vì những lý do dễ hiểu

  • Trước khi kỳ vọng, cần xem ma trận chi phí so với trí tuệ: https://artificialanalysis.ai/models?intelligence-index-toke...

    • Điều đáng ngạc nhiên là khi tính cả chất lượng đầu ra, GPT-5.6 Sol Max rẻ hơn tất cả
    • Max có lượng suy luận bổ sung rất lớn, nên tôi tò mò ở mức High thì số tác vụ giải được sẽ giảm bao nhiêu
      Có lẽ chi phí sẽ giảm đáng kể

  • Tôi đã nhìn Meta Muse Spark bằng con mắt mới
    Nó không đứng đầu ở bất kỳ hạng mục nào, nhưng lại nằm ở vị trí hợp lý trên khắp bảng xếp hạng, với sự cân bằng tốt giữa chi phí và hiệu năng
    Tôi cũng tò mò Poolside Laguna S, vốn không có trong danh sách, sẽ đứng ở đâu; cá nhân tôi rất quan tâm tới những mô hình hoạt động tốt mà vẫn hiệu quả về chi phí

  • Dù là hạng 1 sát nút, nếu phải luôn dè chừng để các “cơ chế an toàn” mang tính kiểm duyệt không từ chối trả lời hoặc hạ xuống model khác thì độ hữu dụng sẽ giảm mạnh
    Vì thế, ngoài một phần quy trình công việc hiện có, tôi gần như đã ngừng dùng Claude, và độ tin cậy quan trọng hơn chênh lệch giữa 61 và 57 điểm
    Nếu tính cả kiểm duyệt và việc xác minh danh tính dù tôi chưa trực tiếp gặp phải, Claude là model bị tổn hại và thiếu ổn định nhất, còn mức tối ưu benchmark rất nhỏ ở bản mới nhất thì không đáng giá

    • Tò mò không biết phải hỏi kiểu gì mà lại thường xuyên bị kiểm duyệt như vậy
    • Theo trải nghiệm trực tiếp của tôi thì đây hoàn toàn không phải model chỉ nhắm vào benchmark
      Tôi áp dụng bài kiểm tra làm game cho mọi model, và Opus 5 cho cảm giác như một cú nhảy vọt đổi thế hệ, nên benchmark không phản ánh đúng và phải tự thử mới biết
    • Mỗi lần thấy trên mạng có người nói giới hạn hay model đã được cải thiện và tôi định xem lại nguyên tắc sẽ không bao giờ trả tiền cho Anthropic, tôi lại xem model card và càng thêm chắc chắn
      Tôi không hiểu vì sao Anthropic lại ám ảnh đến vậy với việc tự động hạ cấp trong im lặng, và tôi cũng nghi ngờ liệu có dù chỉ một người dùng muốn tự động bị giảm hiệu năng thay vì bị từ chối trả lời hay không
    • Tôi bảo Claude Opus 5.0 triển khai web app trên PaaS của môi trường thử nghiệm bằng global API key và lấy dữ liệu, nhưng nó từ chối với lý do đây là vấn đề bảo mật vì quyền quá rộng
      Cùng tác vụ đó, Opus 4.5~4.8, Fable, Codex 5.4·5.5 và Sol 5.6 đều xử lý bình thường
      Opus 5 quá thận trọng nên khó dùng một cách hiệu quả và cần điều chỉnh thêm
    • Có lẽ là vì bạn không làm việc gì có ý nghĩa, còn Terence Tao thì không phàn nàn về các ‘mô hình AI thức tỉnh’

  • Tôi thích việc Opus 5 không giải thích lại mọi thứ như 4.8
    Trong khi GPT-5.6 Sol suy luận quá sâu ngay cả với việc vặt, Opus 5 là một model rất tốt và Anthropic đã làm tốt

    • Khi tôi đưa đặc tả triển khai cho Sol thì nó xử lý rất tốt nên trước đó tôi không nhận ra khác biệt này
      Khi bảo nó tự làm mà không có đặc tả, nó tiêu tốn 30% hạn mức tuần trong 2 giờ 30 phút, nhưng khi có đặc tả thì trong 30 phút chỉ dùng 2%, mà kết quả còn tốt hơn về cấu trúc, độ dài, kiểm chứng, phạm vi và chi phí
      Nếu cứ để Sol tự chạy thì sẽ mất kiểm soát, nên giờ tôi để Sol viết đặc tả còn Terra triển khai, cách này hoạt động tốt và tổng mức sử dụng cũng giảm

  • Kết quả thú vị hơn là Opus 5 là model đắt vượt trội chỉ sau Fable 5
    GPT-5.6 và Kimi K3 cho điểm số tương tự chỉ chênh 1~2% với chi phí bằng một nửa

    • Biểu đồ lấy chuẩn theo mức nỗ lực suy luận Max, chủ yếu được người dùng doanh nghiệp ít nhạy cảm về giá sử dụng
      Ở mức Medium, chi phí giảm xuống gần bằng một nửa K3, và có khả năng là đủ cho 95% tác vụ lập trình

  • Tôi không đứng về bên nào, nhưng trong kết quả này GPT-5.6 Sol Max có vẻ tốt hơn
    Nó cung cấp hiệu năng gần như tương đương với chi phí chỉ khoảng một nửa, và khi ngay cả Opus 5 cũng đắt hơn GPT-5.6 như vậy thì càng cho thấy giá của Fable cao đến mức nào

    • Muốn so sánh đúng thì պետք է so Opus High và Sol Max