Kết quả khi tạo cùng một ứng dụng 4 lần bằng GPT-5.6, Grok 4.5, Claude và Muse Spark

 (tryai.dev)
2 điểm bởi GN⁺ 4 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Kết quả khi yêu cầu 12 mô hình tạo raycaster mê cung, Rubik 3D, máy tính và Conway’s Game of Life cho thấy GPT-5.6 Sol và Claude Fable 5 cùng chia nhau vị trí dẫn đầu ở các bài toán phức tạp
  • Mỗi mô hình được thử 5 lần cho mỗi bài toán, số lần thành công, chi phí, thời gian và toàn bộ sản phẩm đều được công khai, nhưng vẫn có giới hạn là đây không phải đánh giá khoa học mà là so sánh chủ quan dựa trên việc trực tiếp xem sản phẩm tạo ra
  • Ở raycaster, GPT-5.6 Sol đạt 5/5; ở Rubik, Claude Fable 5 đạt 5/5, trong khi Claude Opus 4.8 và GPT-5.6 Luna đều chỉ đạt 0/5 ở bài Rubik, cho thấy độ lệch theo từng mô hình và từng bài toán rất lớn
  • Các mô hình open-weight cho thấy khoảng cách với nhóm dẫn đầu ở các bài toán phức tạp hoặc mới lạ, nhưng với Game of Life — nơi có rất nhiều mã mẫu — Qwen 3.7 Plus và GLM-5.2 lại cho kết quả tốt với chi phí thấp hơn nhiều
  • Grok 4.5 là lựa chọn thay thế rẻ hơn ở một số bài toán, đạt mức gần Claude Opus 4.8; Muse Spark 1.1 cũng nhìn chung tốt hơn các mô hình open-weight, nhưng flagship mới nhất và đắt nhất không tự động thắng ở mọi bài toán

Cách so sánh và 12 mô hình

  • Dựa trên phản hồi từ lần so sánh trước, quy mô đã được mở rộng lên 12 mô hình · 4 ứng dụng · 5 lần thử cho mỗi bài toán
  • Trước phản hồi rằng khó đánh giá chỉ từ một kết quả duy nhất, bài viết ghi riêng số lần thành công và kết quả được ưa thích cho từng bài toán, đồng thời công khai mọi lần thử để có thể kiểm tra độ dao động giữa các lần chạy
  • Đây là so sánh chủ quan dựa trên quan sát sản phẩm được tạo ra, không phải phán định khách quan hay khoa học

Mê cung raycaster phong cách Doom

  • Bài toán yêu cầu tạo mê cung góc nhìn thứ nhất có di chuyển bằng WASD, xoay, đổ bóng tường theo độ sâu, sàn·trần và xử lý va chạm
  • Tiêu chí thành công không dựa vào độ hoàn thiện hình ảnh mà chỉ xét có thể thật sự di chuyển và xoay trong mê cung hay không
  • GPT-5.6 Sol đạt 5/5 với chi phí $1.35, thời gian 120 giây; được đánh giá là cho kết quả tốt nhất nhờ ổn định hơn GPT-5.5 và mô tả chi tiết game phong phú hơn
    • GPT-5.6 Luna cũng đạt 5/5, $0.15, 23 giây, nhưng chất lượng kết quả bị đánh giá thấp hơn GPT-5.5
    • GPT-5.6 Terra đạt 3/5, $0.44, 39 giây; mô tả chi tiết tốt nhưng ở một số kết quả thì không thể đi lại được
  • Grok 4.5 đạt 5/5, $0.27, 62 giây, là phương án thay thế thực dụng nếu xét theo giá; GPT-5.5 đạt 4/5, $1.44, 138 giây
  • Dòng Claude thể hiện kém hơn kỳ vọng
    • Claude Opus 4.8 đạt 4/5 và khá ổn định, nhưng kết quả đơn điệu
    • Claude Fable 5 đạt 3/5, tạo được kết quả tốt nhưng độ ổn định thấp
  • Trong các mô hình open-weight, Qwen 3.7 Plus và Kimi K2.6 đều đạt 2/5, DeepSeek V4 Pro đạt 3/5
    • GLM-5.2 dựng được khung hình chi tiết nhưng nhân vật không di chuyển được lần nào nên chỉ đạt 0/5
  • Muse Spark 1.1 đạt 2/5, nhưng những kết quả hoạt động được lại được đánh giá là tương đương Fable·Sol và tốt hơn Grok·Opus, tạo nên màn thể hiện bất ngờ

Rubik 3D

  • Bài toán yêu cầu tạo khối lập phương 3D có màu cùng hai nút Scramble, Solve, và hiển thị chuyển động xoay bằng animation trên màn hình
  • Chỉ được tính là thành công khi animation trộn và giải đều chạy mượt, không lỗi và không bị đổi màu
  • Claude Fable 5 đạt 5/5, $2.03, 92 giây, là mô hình duy nhất thành công gọn gàng cả năm lần
    • Claude Opus 4.8 có lỗi nhỏ hoặc đổi màu ở mọi kết quả nên chỉ đạt 0/5
  • GPT-5.6 Sol và Terra đều đạt 4/5
    • Sol có chất lượng tốt ở các kết quả chạy được, nhưng có trường hợp animation kỳ lạ và có kết quả render toàn màu đen
    • Terra có animation trộn hơi lạ, nhưng vẫn nhỉnh hơn GPT-5.5 một chút
    • Luna thường trông có vẻ bình thường lúc đầu, nhưng vừa bắt đầu trộn là hỏng ngay nên đạt 0/5
  • GPT-5.5 đạt 4/5 nhưng có hiện tượng nhấp nháy màu và xoay không mượt; Grok 4.5 đạt 3/5 với kết quả đơn giản nhưng tốt
  • Qwen 3.7 Plus, Kimi K2.6, DeepSeek V4 Pro đều đạt 1/5, còn GLM-5.2 đạt 0/5
  • Muse Spark 1.1 đạt 2/5, nhỉnh hơn một bậc so với các mô hình open-weight, nhưng nếu xét giá thì bị đánh giá là không có nhiều lý do để chọn hơn Grok
  • Trong khi dòng GPT dẫn đầu ở bài raycaster lại thể hiện kém hơn dự đoán, Claude với Fable đã kéo thành tích đi lên, cho thấy sự đảo chiều theo từng bài toán

Máy tính

  • Bài toán yêu cầu có các nút số·toán tử·xóa·bằng, xử lý đúng thứ tự ưu tiên toán tử và có giao diện giống máy tính thật
  • Bài viết dùng phép tính cơ bản như (((5 × 5) − 100) / 10) để kiểm tra thứ tự phép toán và cách hiển thị kết quả, chứ không phải bài test chức năng toàn diện
  • Claude Opus 4.8 và Claude Fable 5 đều đạt 5/5
    • Kết quả của Fable được ưa thích nhất về mặt phong cách
  • Grok 4.5 đạt 5/5, đơn giản và ổn định; GPT-5.6 Luna cũng đạt 5/5 và cho trải nghiệm tương tự Grok
  • GPT-5.6 Sol đạt 5/5 nhưng vì cố thêm quá nhiều phong cách và hiệu ứng 3D nên làm trải nghiệm máy tính gọn gàng và nhất quán bị suy giảm
    • GPT-5.6 Terra và GPT-5.5 đều đạt 4/5; GPT-5.5 đôi khi tạo ra các nút không cần thiết hoặc biểu diễn 3D bị cắt cụt
  • Muse Spark 1.1 đạt 5/5, ở mức tương tự Grok 4.5, nhưng ở một số kết quả thứ tự và bố cục nút hơi gượng
  • Trong nhóm open-weight, Qwen 3.7 Plus đạt 4/5 với $0.04, 12 giây, nhưng một kết quả không xử lý được số âm
    • DeepSeek V4 Pro đạt 3/5, có lỗi thứ tự số và không hiển thị kết quả
    • GLM-5.2 đạt 2/5 nhưng chất lượng ở các kết quả thành công khá tốt
    • Kimi K2.6 không xử lý được số âm nên bị tính 0/5
  • Các mô hình GPT đơn giản hoạt động ngay mà không cần chỉnh sửa thêm; so với các kết quả cố thêm hiệu ứng hình ảnh phức tạp, cách triển khai tập trung vào chức năng cơ bản đem lại trải nghiệm tốt hơn

Conway’s Game of Life

  • Bài toán yêu cầu triển khai canvas dạng lưới, các nút Play, Pause, Step, Randomize, Clear, khả năng bật/tắt ô bằng cách nhấp và animation theo thế hệ
  • Với bài toán này, bài viết không áp dụng đánh giá 5 lần thành công riêng mà chỉ so sánh chi phí·thời gian và ấn tượng tổng thể
  • Grok 4.5 cho kết quả tốt; do bản thân bài toán khá đơn giản và cũng có nhiều mã mẫu công khai, các mô hình open-weight cũng làm rất tốt
  • Qwen 3.7 Plus đạt $0.04, 11 giây; GLM-5.2 đạt $0.10, 121 giây, cho kết quả tốt với chi phí thấp nên được đánh giá là phù hợp với kiểu bài toán này
  • Tuy nhiên, vì ở các bài toán phức tạp khác các mô hình open-weight vẫn tiếp tục gặp khó khăn, nên khó mở rộng kết quả của Game of Life thành năng lực tổng quát
  • Một số mức chi phí·thời gian chính khác là Grok 4.5: $0.14·38 giây, GPT-5.6 Luna: $0.13·18 giây, Terra: $0.36·25 giây, Sol: $0.99·62 giây, Muse Spark 1.1: $0.32·98 giây

Tốc độ và chi phí của câu trả lời ngắn

  • Với prompt ngắn, dòng GPT-5.6 ghi nhận thời gian bắt đầu phản hồi nhanh nhất
    • Luna: 1.0 giây · 97 tok/s · $0.001
    • Terra: 1.5 giây · 62 tok/s · $0.001
    • Sol: 1.8 giây · 45 tok/s · $0.003
  • Qwen 3.7 Plus rất rẻ và nhanh với 2.1 giây · 204 tok/s · $0.001; Grok 4.5 là 3.0 giây · 112 tok/s · $0.003, Muse Spark 1.1 là 3.1 giây · 125 tok/s · $0.002
  • Claude Opus 4.8 đạt 2.5 giây · 44 tok/s · $0.004, nhưng Claude Fable 5 chậm và đắt hơn với 6.6 giây · 30 tok/s · $0.01
  • DeepSeek V4 Pro là 9.3 giây · 37 tok/s · $0.001, GLM-5.2 là 7.0 giây · 58 tok/s · $0.001, cho thấy thời gian bắt đầu phản hồi chậm
  • Một số mô hình open-weight xuất toàn bộ câu trả lời gần như trong một lần và chạm trần 400 token, nên tok/s hiển thị ở đây là giá trị trần, không phải tốc độ giải mã thực tế

Bài toán SVG bonus

  • Bài toán yêu cầu tạo SVG một lần không dùng thư viện, ưu tiên SVG hợp lệ trong 5 kết quả rồi chọn kết quả chi tiết nhất
  • Ở cảnh con ngựa chở một phi hành gia, Claude Fable 5 cho kết quả tốt về cả chất lượng lẫn độ hài hước
    • Dòng GPT-5.6 thể hiện dưới kỳ vọng vì không render được ngựa và phi hành gia một cách gọn gàng
    • Grok 4.5 cũng tạo được kết quả tốt
  • Ở cảnh khó hơn, nơi Elon Musk và Jeff Bezos nhìn booster Blue Origin hạ xuống bệ đáp trên biển, Claude Fable 5 tiếp tục dẫn đầu
    • Mô hình này dựng chi tiết cả phần trán lấp lánh của Bezos lẫn làn khói quanh bệ đáp, đồng thời render gọn gàng
    • Dòng GPT tạo ra kết quả thiên về hoạt hình và vẫn để lại lỗi nhỏ trong từng sản phẩm
    • GLM-5.2 và Qwen 3.7 cũng cho kết quả tốt ở bài toán SVG này

Chọn mô hình tùy theo bài toán

  • Ở các bài toán phức tạp và mới như raycaster và Rubik, ưu thế của các mô hình top-tier thể hiện rõ; GPT-5.6 Sol và Claude Fable 5 mỗi bên đều cho thấy điểm mạnh riêng
  • Với các bài toán đơn giản và đã được triển khai rộng rãi, Qwen 3.7 Plus và GLM-5.2 có thể tạo ra kết quả cạnh tranh với chi phí thấp hơn rất nhiều
  • Grok 4.5 đạt mức gần Claude Opus 4.8 ở một số bài toán, nên có thể dùng như mô hình chạy phụ khi ưu tiên chi phí
  • Muse Spark 1.1 thấp hơn Grok 4.5 một bậc nhưng nhìn chung vẫn tốt hơn các mô hình open-weight; tuy vậy, vẫn chưa tới mức trở thành lựa chọn ưu tiên ngay lúc này
  • Thứ hạng giữa Sol, Fable, Grok và các mô hình open-weight giá rẻ thay đổi theo từng bài toán, cho thấy flagship mới nhất và đắt nhất không phải lúc nào cũng chiến thắng

Bài viết liên quan

1 bình luận

 
GN⁺ 4 giờ trước
Ý kiến trên Hacker News

  • Những cách diễn đạt như “một điểm cần nói thẳng” hay “không có lỗi và cũng không có thay đổi màu sắc” là tiêu chí nhận biết tốt. Tôi vẫn đọc đến hết, nhưng sẽ tốt hơn nếu đây là bài do con người tự viết

    • Có vẻ tôi nghe từ “Honestly” từ Anthropic còn nhiều hơn từ tất cả mọi người cộng lại
    • Không thể đưa thứ ngôn ngữ mới đặc trưng của LLM vào một transformer khác để loại bỏ mấy câu khó chịu đó sao? Chẳng có gì khó, và ai cũng được lợi

  • Tôi công nhận đây là một bài được đầu tư và làm tốt, nhưng khi đọc những đoạn như sau thì mất hết thiện cảm với toàn bộ bài viết
    “Tôi dùng một bảng riêng cho mỗi câu hỏi. Đây không phải là một tác vụ build mà là một công cụ kiểm thử độ trễ tiêu chuẩn…”, “Do đó số token mỗi giây là giới hạn trên, không phải tốc độ giải mã thực tế…”
    Việc tự viết hai câu này bằng giọng văn vốn có của mình thật sự khó đến vậy sao?

    • Tôi không biết kiểu văn phong đặc trưng này xuất phát từ đâu, và nó gần như không thể loại bỏ nên rất khó chịu
    • Quá lộ liễu và gây khó chịu. Nên tự viết điều mình muốn nói như một người bình thường
      Dùng AI để tạo bài viết không chỉ lười biếng mà còn nhạt nhẽo, nhàm chán, và là hành động không tôn trọng thời gian của độc giả
    • Hỏi để thảo luận thôi: nếu đó thật sự là giọng văn tự nhiên của tác giả thì sao?
    • Từ rất lâu trước khi LLM xuất hiện, thỉnh thoảng tôi cũng viết kiểu như vậy. Tôi cũng phát chán khi đọc những lời chỉ trích kiểu này rồi
    • Sau khi AI xuất hiện, mọi người trở nên quá nhạy cảm. Như thể đang bắt bẻ vì một lập trình viên không viết văn xuôi đúng gu của mình

  • Có thể tôi có xu hướng muốn kiểm soát quá mức, nhưng cách để agent hoàn thành trong một lần một ứng dụng ngẫu nhiên hoàn toàn khác với cách dùng AI trong kỹ nghệ phần mềm thực tế

    • Với nhà sáng tạo độc lập, benchmark one-shot khá hữu ích. Vì nó có phần tương quan với việc các mô hình tối tân hơn, trong trường hợp của tôi là Opus và Fable, có đưa ra quyết định tốt hơn ở những phần không được chỉ rõ hay đưa ra đề xuất tốt hơn ngay từ đầu hay không
    • Xét theo thang thời gian của LLM, các mô hình đã giỏi tạo ứng dụng mới từ khá lâu rồi
      Cách tạo ứng dụng mới tốt hơn cũng thú vị, nhưng tôi tò mò hơn nhiều về việc chúng giải quyết các vấn đề khó trong những codebase hiện hữu, phức tạp và chằng chịt như thế nào
    • Có vẻ một cách rõ ràng để đánh giá kiến trúc và khả năng bảo trì là tạo một ứng dụng cơ bản trong một lần, rồi yêu cầu thêm từng tính năng một
    • Khác với cách sử dụng thực tế, nhưng như vậy mới nổi tiếng được trên Twitter/X
    • Dù không giống sử dụng thực tế, đây vẫn là một nỗ lực đưa ít nhất một chút thước đo khách quan vào lĩnh vực này thay vì chỉ dựa vào cảm giác

  • (LM)Arena về cơ bản đang đóng vai trò này, và tôi cho rằng đây là một trong những phép thử tốt nhất để tránh việc tối ưu quá mức chỉ cho điểm benchmark
    Agent: https://arena.ai/leaderboard/agent
    Phát triển web: https://arena.ai/leaderboard/code/webdev
    Hiện tại trong phát triển web, Fable và 5.6 đang ngang ngửa nhau, gần như đúng với kết quả của bài viết này

    • Nếu muốn, cũng có thể tối ưu để khớp điểm số ở Arena ở một mức độ nào đó. Phân bố prompt ở đó khá khác với cách sử dụng thực tế của lập trình viên thông thường, đặc biệt có nhiều yêu cầu tạo game từ đầu trong một lần
      Nếu tinh chỉnh chuyên để tạo game thú vị trong một lần từ các prompt thiếu chi tiết, hiệu năng của mô hình lập trình có thể trông tốt hơn năng lực làm việc thông thường. Tôi làm ở OpenAI, nhưng chúng tôi không cố thổi phồng điểm số, vì làm vậy sẽ khiến Arena trở thành chỉ số tệ hơn cho tất cả mọi người
    • Đặc biệt quanh Facebook có khá nhiều tối ưu để khớp điểm Arena, nhưng tôi vẫn đồng ý rằng nó thuộc nhóm benchmark thực tế tốt hơn
      Thử tái hiện các hiệu ứng demoscene cổ điển lúc nào cũng vui. Tạo nhạc thì vẫn còn tệ, nhưng Claude ít nhất có vẻ tạo được một bộ synthesizer ổn. Ngay cả khi đưa bài viết giải thích cách triển khai cùng ảnh chụp màn hình để tái hiện hiệu ứng chất lưu và hạt của Agenda Circling Forth, nó vẫn làm chưa tốt
    • Tôi tò mò vì sao Grok 4.5 vẫn chưa có trong danh sách. 5.6 ra muộn hơn thì đã có rồi

  • Những benchmark trực quan kiểu này có khả năng phản ánh kiến thức, tức độ bao quát của dữ liệu huấn luyện và mức độ mô hình truy xuất được chúng, nhiều hơn là năng lực suy luận
    Tôi không biết mô hình có thể xây dựng chuỗi suy nghĩ (CoT) ánh xạ cấu trúc hình học và hoạt ảnh của khối lập phương vào biểu diễn trong không gian tiềm ẩn như thế nào nếu không có lượng thông tin có sẵn đáng kể

    • Có bằng chứng nào cho thấy LLM thật sự có năng lực suy luận mới không? Tôi đã thử đủ cách mà vẫn không làm cho nó hoạt động được, và tôi nghĩ bài báo trước đây của Apple cũng là bằng chứng mạnh rằng năng lực đó không tồn tại
      Theo kinh nghiệm của tôi, khi không gian tiềm ẩn thưa thớt, suy luận thất bại hoàn toàn, đến mức buồn cười
    • Anthropic có khả năng đang có lợi thế trong các phép thử này nhờ dữ liệu thu được từ Canva

  • Hôm nay chúng tôi cũng đã thêm GPT 5.6 Sol, Terra, Luna vào model Arena của mình, nơi 26 mô hình mỗi mô hình tạo 52 ứng dụng
    https://arena.logic.inc/
    So sánh ứng dụng của ba mô hình cạnh nhau rất thú vị. Vẫn cần thêm thống kê vào UI, nhưng thời gian thực tế đã trôi qua của Terra chỉ bằng một nửa Sol, còn Luna lại mất lâu hơn Sol khoảng 23%
    Dù Luna rẻ hơn nhiều, với phần lớn mục đích sử dụng thì Terra có vẻ cân bằng thời gian và chi phí tốt hơn. Chất lượng của Terra nhìn chung gần như tương đương Sol, trong khi nhanh và rẻ hơn nhiều. Tuy vậy, tôi đánh giá cao gu thiết kế của Sol trong những thứ như audio sequencer. Trong một thời gian, kết quả trực quan của mọi mô hình đã trở nên khá giống nhau, nên đây là mô hình đầu tiên sau lâu rồi có sự khác biệt rõ rệt ở khía cạnh này

    • Con số đáng chú ý là GPT-5.6 Sol có 1.264 dòng code, file 35,5KB, gzip 10,0KB, trong khi GPT-5.6 Terra là 827 dòng, 20,0KB, gzip 6,7KB

  • Kết quả này có vẻ ủng hộ nhận định rằng các mô hình như GLM đã tối ưu quá mức cho benchmark, và không gần với các mô hình tối tân như người ta tưởng nếu chỉ nhìn vào các con số

  • Tôi thích phương pháp đánh giá AI kiểu này hơn nhiều so với các benchmark khác
    Thế giới thực rất phức tạp, còn các benchmark khác rõ ràng là dễ bị các mô hình mở của Trung Quốc khai thác. Văn phong của bài cũng không làm tôi bận tâm và đủ dễ đọc

  • Bài liên quan gần đây: So sánh việc yêu cầu Grok 4.5, GPT-5.5, Claude tạo cùng một ứng dụng
    https://news.ycombinator.com/item?id=48838772 — tháng 7 năm 2026, 92 bình luận

  • Thiếu prompt chính xác, nên rất khó nếu muốn tái hiện
    Tôi cũng tò mò họ đã viết prompt như thế nào. Đây có thể là nguyên nhân lớn khiến một số mô hình, như GLM 5.2, thất bại hoàn toàn trong việc render SVG