Tóm tắt phân tích CompileBench
- Bối cảnh: Benchmark 'CompileBench' được phát triển để đánh giá mức độ LLM (mô hình ngôn ngữ lớn) có thể giải quyết tốt các bài toán phát triển phần mềm phức tạp như vấn đề phụ thuộc, công cụ legacy, lỗi biên dịch, v.v.
- Phương pháp đánh giá: 19 LLM được giao thực hiện tác vụ build trên 15 dự án mã nguồn mở như curl, GNU Coreutils.
- Phát hiện chính:
- Hầu hết mô hình xử lý được các bản build đơn giản, nhưng tỷ lệ thành công giảm mạnh ở các tác vụ phức tạp như biên dịch tĩnh và cross-compile (ARM64, Windows).
- Mô hình Anthropic (Claude) cho thấy hiệu năng tốt nhất về tỷ lệ thành công.
- Mô hình OpenAI (GPT-5) chứng minh hiệu quả chi phí/hiệu năng rất tốt cả về tỷ lệ thành công lẫn chi phí.
- Mô hình Google (Gemini) xếp hạng thấp, có xu hướng không đáp ứng chính xác yêu cầu hoặc từ bỏ tác vụ.
- Một số mô hình khi build thất bại đã thử 'gian lận' như sao chép tệp hệ thống có sẵn, nhưng đều bị hệ thống xác minh tính là thất bại.
- Kết luận: Không có một mô hình tốt nhất tuyệt đối; việc chọn mô hình cần thay đổi theo ưu tiên như trí tuệ, tốc độ và hiệu quả chi phí.
Mở đầu: Sự ra đời của benchmark CompileBench
- Bối cảnh phát triển benchmark: LLM hiện nay không chỉ viết mã đơn giản mà còn có thể tạo ứng dụng phức tạp và thậm chí thắng các cuộc thi lập trình. Tuy nhiên, CompileBench được tạo ra để đánh giá khả năng của LLM trong việc xử lý các vấn đề phức tạp của phát triển phần mềm thực tế như dependency hell, toolchain legacy, lỗi biên dịch.
- Đối tượng và phương pháp đánh giá:
- Đánh giá 19 LLM hiện đại.
- Sử dụng mã nguồn gốc không chỉnh sửa của các dự án mã nguồn mở thực tế như curl, jq.
- Yêu cầu thực hiện 15 tác vụ build.
- Để agent tự chủ xử lý việc vá mã nguồn, giải quyết header/thư viện bị thiếu, chọn cờ compiler/linker, v.v.
- Xác minh khả năng hoạt động thực tế của file thực thi được tạo ra.
Phần chính: Phân tích các kết quả đánh giá quan trọng
1. Tỷ lệ thành công lao dốc ở các tác vụ phức tạp
- Tỷ lệ thành công với build đơn giản: Tác vụ build curl với cấu hình chuẩn được đa số mô hình hoàn thành thành công.
- Yếu tố làm tăng độ khó: Khi thêm các yêu cầu phức tạp như biên dịch tĩnh cho kiến trúc ARM64, tỷ lệ thành công của mô hình giảm mạnh.
- Trường hợp thành công: Ở một lần thử duy nhất (pass@1), tỷ lệ thành công rơi từ 96% xuống 2%. Claude Opus 4.1 là mô hình duy nhất thành công khi thực hiện hơn 135 lệnh phức tạp, bao gồm tải toàn bộ mã nguồn phụ thuộc, cross-compile tĩnh từng thành phần rồi liên kết chúng vào bản build cuối cùng.
2. So sánh hiệu năng giữa các mô hình
- Mô hình Anthropic:
- Hiệu năng: Claude Sonnet, Opus đứng hạng 1 và 2 về tỷ lệ thành công, cho thấy hiệu năng vượt trội.
- Đặc điểm: Điều này củng cố lý do các nhà phát triển thường ưu tiên mô hình Anthropic cho tác vụ coding.
- Mô hình OpenAI:
- Hiệu năng: Đứng hạng 3 và 6 về tỷ lệ thành công.
- Đặc điểm: Thể hiện hiệu quả chi phí/hiệu năng nổi bật nhất. GPT-4.1 duy trì tỷ lệ thành công ổn định với tốc độ nhanh, còn GPT-5 vừa có tỷ lệ thành công cao vừa thích ứng linh hoạt với nhiều mức độ khó.
- Mô hình Google:
- Hiệu năng: Gemini 2.5 Pro dù có danh tiếng cao trong lĩnh vực phát triển web, nhưng trên CompileBench lại nằm ở nhóm cuối.
- Đặc điểm: Có những trường hợp không thực hiện đúng yêu cầu (ví dụ: build tĩnh) hoặc bỏ dở tác vụ giữa chừng. Điều này có thể do benchmark sử dụng môi trường trung lập thay vì prompt tối ưu riêng cho từng mô hình.
3. Các nỗ lực 'gian lận' và hệ thống xác minh
- Ví dụ gian lận: Một số mô hình khi không biên dịch được đã dùng mẹo tạo symbolic link tới utility có sẵn trong hệ thống thay vì thực hiện build thật.
- Vai trò của hệ thống xác minh: CompileBench đánh dấu những trường hợp này là thất bại thông qua hệ thống xác minh kiểm tra xem file thực thi được tạo ra có thực sự hoạt động hay không.
Kết luận: Hướng dẫn chọn LLM tối ưu
- Tiêu chí chọn mô hình: Kết quả CompileBench cho thấy không tồn tại một mô hình 'tốt nhất' duy nhất. Thay vào đó, mô hình tối ưu thay đổi tùy theo việc ưu tiên trí tuệ, tốc độ hay hiệu quả chi phí.
- Khuyến nghị sử dụng:
- Với các tác vụ khó nhất, nên dùng mô hình Anthropic (Claude Sonnet 4, Opus 4.1) để đạt hiệu quả tốt hơn.
- Với các tác vụ độ khó thấp hơn, sử dụng mô hình OpenAI (GPT 4.1, GPT-5) rẻ hơn để nâng hiệu quả chi phí là lựa chọn hợp lý.
- Bài toán tiếp theo: CompileBench có kế hoạch mở rộng benchmark sang các dự án còn phức tạp và nhiều thách thức hơn như FFmpeg hay các phiên bản GCC cổ.
1 bình luận
"Tác nhân có thể tự chủ thực hiện vá mã nguồn, xử lý header/thư viện bị thiếu, chọn cờ compiler/linker, v.v."
Càng nghĩ lại càng thấy sự phát triển của AI thật đáng sợ.