- Vấn đề của các benchmark lập trình công khai là không hoàn toàn phù hợp với bối cảnh của từng công ty và có thể bị gian lận
- Databricks đã tạo và đánh giá benchmark dựa trên các nhiệm vụ và ngôn ngữ mà họ thực sự thực hiện
- GLM 5.2 giải được cả những nhiệm vụ khó nhất ở mức ngang với Opus 4.8, nhưng chi phí chỉ bằng khoảng 66% của Opus
- Sonnet 5 rẻ hơn Opus 4.8 1,7 lần, nhưng lại kém hiệu quả vì cần dùng nhiều token hơn 1,9 lần để hoàn thành công việc thực tế
- Ngay cả khi dùng cùng một mô hình, chi phí và thời gian thực hiện có thể được tiết kiệm đáng kể tùy theo harness
Chưa có bình luận nào.