Kimi K3 và những điều vẫn có thể học được từ benchmark chim bồ nông

 (simonwillison.net)
1 điểm bởi GN⁺ 3 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Kimi K3 do Moonshot AI công bố là mô hình có hiệu năng cao nhất của hãng, với 2,8 nghìn tỷ tham số; hiện được cung cấp qua website và API, còn trọng số mở dự kiến sẽ được công bố trước ngày 27/7/2026
  • Trong benchmark nội bộ, mô hình này nhìn chung vượt Claude Opus 4.8 max và GPT-5.5 high, nhưng kém Claude Fable 5 và GPT-5.6 Sol; trong Arena.ai Frontend Code arena, nó vươn lên vị trí số 1
  • Giá $3 cho mỗi 1 triệu token đầu vào và $15 cho mỗi 1 triệu token đầu ra, đắt nhất trong các mô hình từ phòng thí nghiệm AI Trung Quốc; để tạo một SVG chim bồ nông, mô hình dùng 16.658 token đầu ra, gồm 13.241 token suy luận, với chi phí $0.25
  • Bài kiểm tra SVG chim bồ nông đi xe đạp không đo được agent tool calling quan trọng hiện nay, hay độ tin cậy khi vận hành công cụ trong hội thoại dài, nên không phù hợp để so sánh hiệu năng tổng thể giữa các mô hình
  • Dù vậy, việc trực tiếp chạy cùng một prompt đơn giản vẫn giúp nhanh chóng xem xét khả năng truy cập API và chi phí, lượng suy luận, tính hợp lệ của SVG, nhận thức không gian, hiệu năng thị giác, và cải tiến theo thế hệ trong cùng một dòng sản phẩm

Kimi K3 được công bố và hiệu năng

  • Moonshot AI đã công bố Kimi K3 là mô hình có hiệu năng cao nhất của hãng với 2,8 nghìn tỷ tham số
    • Có thể sử dụng qua website và API
    • Trọng số mở dự kiến được công bố trước ngày 27/7/2026
  • Hãng gọi K3 là “mô hình mở cấp 3T” đầu tiên, phân loại bằng cách làm tròn 2,8 nghìn tỷ lên 3 nghìn tỷ
    • DeepSeek V4 Pro, từng được nhắc đến là mô hình quy mô lớn nhất trước đó, có 1,6 nghìn tỷ tham số
    • K3 lớn hơn hơn hai lần so với Kimi K2.6, vốn có 1 nghìn tỷ tham số
  • Trong benchmark nội bộ, mô hình này nhìn chung vượt Claude Opus 4.8 max và GPT-5.5 high, nhưng kém Claude Fable 5 và GPT-5.6 Sol

Đánh giá bên ngoài và giá

  • Trong tác vụ tri thức dài không công khai thuộc đánh giá của Artificial Analysis, mô hình đạt Elo 1.547 tổng hợp
    • Cao hơn Kimi K2.6 732 điểm
    • Đứng thứ 2 sau Claude Fable 5
  • Chi phí mỗi tác vụ là $0.94, tương tự mức $1.04 của GPT-5.6 Sol
    • Khoảng một nửa so với $1.80 của Claude Opus 4.8
    • Đắt hơn các mô hình trọng số mở khác
  • Trên Artificial Analysis Intelligence Index, lượng token đầu ra sử dụng giảm 21% so với K2.6
  • Trong Arena.ai Frontend Code arena, mô hình vượt Claude Fable 5 để lên vị trí số 1
  • Giá API là $3 cho mỗi 1 triệu token đầu vào và $15 cho mỗi 1 triệu token đầu ra
    • Cùng mức với dòng Anthropic Claude Sonnet
    • Đây là mô hình đắt nhất trong số các mô hình do phòng thí nghiệm AI Trung Quốc công bố
    • Tăng mạnh so với mức $0.95/$4 của Kimi K2.6

Thử nghiệm tạo SVG chim bồ nông

  • Tác giả dùng OpenRouter và plugin llm-openrouter để chạy prompt Generate an SVG of a pelican riding a bicycle
  • Quá trình tạo dùng 95 token đầu vào và 16.658 token đầu ra
    • Trong phần đầu ra, 13.241 token là token suy luận
    • Tổng chi phí là $0.25
  • Vì mô hình cũng hỗ trợ đầu vào hình ảnh, tác giả áp dụng prompt văn bản thay thế cho SVG được tạo ra
    • Kết quả phân tích nhận diện chính xác một con bồ nông trắng quàng khăn đỏ, chiếc xe đạp đỏ, vạch đường và ký hiệu chuyển động, bầu trời, mây, mặt trời, chim, cỏ và hoa
    • Phân tích hình ảnh dùng 822 token đầu vào và 243 token đầu ra, tốn $0.006

Hạn chế khi dùng làm benchmark tổng hợp

  • Bài kiểm tra SVG chim bồ nông đi xe đạp bắt đầu như một trò đùa châm biếm khó khăn trong việc so sánh mô hình 21 tháng trước, nhưng trong năm đầu tiên nó có mức tương quan cao bất ngờ với chất lượng mô hình thực tế
  • Hiện nay, mối tương quan đó phần lớn đã biến mất
    • Chim bồ nông do GPT-5.6 và Claude Fable 5 tạo ra kém hơn kết quả của GLM-5.2
    • Tuy nhiên khó có thể xem GLM-5.2 là mô hình cùng cấp Claude Fable
  • Không có cơ sở chắc chắn rằng các phòng thí nghiệm đã huấn luyện mô hình để phù hợp với bài kiểm tra này
    • Nếu thực sự đã tối ưu, kết quả đáng lẽ phải tốt hơn nhiều
    • Vẫn còn khả năng Gemini đã được tối ưu hóa rộng hơn cho các tổ hợp “động vật cưỡi phương tiện”
  • Hạn chế lớn nhất là bài kiểm tra hoàn toàn không đánh giá agent tool calling, năng lực quan trọng ở các mô hình ngày nay
    • Nó cũng không đo được khả năng vận hành công cụ ổn định khi hội thoại trở nên dài
    • Vì vậy không nên dùng kết quả chim bồ nông để so sánh hiệu năng tổng thể giữa các mô hình

Một thử nghiệm buộc bạn phải chạy trực tiếp

  • Bài kiểm tra chim bồ nông hoạt động như một cơ chế bắt buộc khiến tác giả thực sự gọi mô hình mới
    • Việc có kết quả đầu ra đồng nghĩa tối thiểu là đã chạy prompt thành công
    • Nếu có API chính thức thì dùng API đó
    • Với các mô hình trọng số mở đủ nhỏ để chạy trên MacBook Pro M5 128GB, tác giả chạy cục bộ bằng llama.cpp, LM Studio, Ollama
    • Tác giả thường dùng OpenRouter vì có thể dùng proxy API chính thức mà không cần khóa API mới
  • Phần lớn kết quả được tạo bằng công cụ LLM CLI, qua đó cũng kiểm tra được plugin đã hỗ trợ mô hình mới nhất hay chưa
  • Chỉ một prompt SVG đơn lẻ cũng có thể bộc lộ đặc điểm của mô hình về chi phí, cách suy luận và xử lý đầu vào

Những đặc điểm lộ ra ở Kimi K3

  • Hiện K3 chỉ có một mức nỗ lực suy luận là max, và đã tiêu tốn 13.241 token suy luận để tạo phản hồi 3.417 token
    • Chi phí tạo một chim bồ nông đơn giản lên tới $0.25, khá nặng
  • Việc một prompt ngắn được tính thành 95 token đầu vào cho thấy có khả năng tồn tại đầu vào ẩn
    • Tokenizer của OpenAI tính cùng prompt này là 10 token
    • Bộ tính token của Anthropic tính 10 token với Opus 4.6, 30 token với Opus 4.7, và 25 token với Sonnet 5/Fable 5
    • Khi gửi hi cho K3, kết quả vẫn được tính là 86 token, cho thấy có thể có system prompt ẩn khoảng 85 token
    • K3 từ chối yêu cầu công khai system prompt đó
  • Chất lượng văn bản thay thế khi phân tích SVG được tạo cho thấy khả năng thị giác hoạt động tốt
  • K3 chỉ có một mức nỗ lực suy luận, nhưng với các mô hình khác, có thể chạy cùng prompt ở nhiều mức nỗ lực để nhanh chóng so sánh tác động

Bài kiểm tra chim bồ nông vẫn cho biết điều gì

  • Có thể dùng như một bài thực hành “Hello World” để gửi prompt cho mô hình mới
  • Có thể ước lượng sơ bộ chi phí và lượng suy luận cần cho một tác vụ đơn giản
  • Có thể xem mô hình có xuất SVG hợp lệ hay không, cũng như nhận thức hình học và không gian cơ bản
    • Khả năng này đặc biệt quan trọng hơn ở các mô hình nhỏ chạy trên laptop
  • Giữa các bản phát hành trong cùng một dòng mô hình, việc so sánh vẫn có giá trị
    • Chim bồ nông của K3 cải thiện rõ rệt so với Kimi 2.5
  • Có thể chia sẻ việc đã thực sự dùng thử mô hình, và trên Hacker News, việc đăng kết quả chim bồ nông trong bình luận về mô hình mới đã trở thành một kiểu truyền thống

Bài viết liên quan

1 bình luận

 
GN⁺ 3 giờ trước
Ý kiến trên Hacker News

  • Benchmark pelican phản ánh nguyên vẹn vấn đề trong tuyển dụng của ngành công nghệ. Nó chẳng khác gì một buổi phỏng vấn bắt ứng viên vẽ pelican rồi đánh giá năng lực, dù không liên quan gì tới công việc thực tế

    • Đúng là phát ngôn của người không có 9 năm kinh nghiệm lập trình viên 10x vẽ pelican

  • Lý do prompt “hãy tạo SVG một con pelican đang đi xe đạp” bị tính là 95 token đầu vào có thể là vì khi đặt cường độ suy luận tùy chỉnh, một prompt dành cho mức suy luận được chèn vào trước token mở đầu. Có thể tham khảo cả trường hợp chế độ tối đa của DeepSeek-V4: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main...

  • Tôi nghiêm túc đề xuất SWE-bench-adversarial-pelican-gen. Nó giống SWE-bench, nhưng cứ sau mỗi 5 lượt hội thoại hoặc gọi công cụ thì dừng lại, tạo một SVG động vật ngẫu nhiên rồi tiếp tục công việc, đồng thời chèn cả chú thích liên quan tới SVG pelican rải rác trong đầu ra của công cụ
    Khi ngữ cảnh chạm mốc 800 nghìn token thì lại bắt tạo SVG pelican, rồi đánh giá đồng thời chất lượng pelican và mức độ hoàn thành, hiệu quả của công việc gốc. Chỉ khi vẫn giải được vấn đề giữa cuộc tập kích của pelican SVG thì mới là thực lực thật sự

    • Chạy bằng Codex chắc chỉ tốn khoảng 5 đô, nên cũng đáng nghĩ xem vì sao không ai muốn thử làm

  • Như kết luận của Simon, công dụng chính của benchmark này không phải để khẳng định model nào tốt hơn mà là để xem mối quan hệ giữa chất lượng, chi phí và tốc độ. Gần đây thử so sánh nhanh Opus, Fable và Kimi thì Kimi rẻ hơn 5 lần nhưng chậm hơn 2 lần
    https://9gpyw4uxr2.evvl.io/

    • Ba kết quả ở giữa có vẻ là kiểu thất bại phong cách Gemini/Google điển hình, khi tạo ra nhiều thứ hơn những gì prompt yêu cầu. K2.6 cũng dùng HTML+CSS+SVG thay vì SVG thuần, nên gần như là một ca thất bại sát ranh giới
      Dòng “Expires in 6 days” ở góc trên bên phải website cũng kỳ lạ. Khó hiểu vì sao một trang chỉ chứa vài KB dữ liệu lại phải hết hạn

  • Dù đã có hàng trăm pelican đi xe đạp trên blog, forum và GitHub, tôi vẫn ngạc nhiên vì Simon tin rằng chúng không có trong dữ liệu huấn luyện. Blog công ty chúng tôi có traffic thấp hơn site của Simon 1.000 lần, nhưng bài đăng sau 6 tháng là LLM đã biết tới

    • Mấy hình pelican hiện có vẫn rất tệ. Dù có nằm trong dữ liệu huấn luyện thì cũng không giúp tạo pelican tốt hơn, thậm chí còn có thể làm giảm hiệu năng
    • Simon cũng nhiều lần thừa nhận pelican có thể đã nằm trong dữ liệu huấn luyện, và còn có các bài test khác không công khai. Chỉ là anh ấy thích pelican thôi
    • Dù pelican và xe đạp đều có trong dữ liệu huấn luyện, điều đó cũng không có nghĩa là benchmark cụ thể này đã được học
    • Bản thân pelican đi xe đạp cũng không phải đề tài gì đặc biệt. Với bất kỳ model nào, bạn cũng có thể bắt nó tạo SVG cho bất kỳ tổ hợp nào như giun đất và chim cổ đỏ đấm bốc, và sẽ thấy tương quan rất mạnh là model càng thông minh thì kết quả càng tốt, bất kể có phải model thị giác hay không
      Lúc đầu tôi thấy cách đánh giá này rất ngớ ngẩn, nhưng sau khi thử các tổ hợp chắc chắn không thể có trong dữ liệu huấn luyện thì đã xác nhận được tính hiệu quả của nó
    • Nó làm tôi nhớ tới làn sóng tin tức năm ngoái về chuyện dữ liệu huấn luyện đang cạn kiệt, và mức độ buồn cười của tuyên bố đó

  • Câu trả lời của chúng tôi cho benchmark pelican là benchmark SVG MacBook: https://playcode.io/blog/macbook-svg-benchmark

    • Kết quả của Terra xhigh thực sự rất tốt
    • Đoạn Fable 5 suy luận quá lâu nên cạn ngân sách đầu ra trước cả khi vẽ xong nhìn rất buồn cười

  • Tôi vẫn luôn lấn cấn chuyện mỗi model chỉ tạo pelican đúng một lần. Cùng một model nhưng mỗi lần chạy có thể cho kết quả khác nhau, nên việc chọn kết quả nào có thể ảnh hưởng tới nhận định “model này tốt hơn”
    Tôi muốn xem kết quả của 8 lần chạy cho từng model đặt cạnh nhau. Nếu là hai model tương tự nhau, tôi nghĩ độ lệch giữa các lần chạy riêng lẻ có thể lớn không kém gì khác biệt giữa hai model

    • Trước đây người ta chạy ba lần rồi chọn kết quả tốt nhất. Một ngày nào đó tôi muốn tự động hóa việc để LLM giám khảo cùng họ model chọn ra kết quả tốt nhất rồi đưa sang vòng thi tiếp theo
      Trước đây tôi cũng đã làm hệ thống tính điểm ELO: https://simonwillison.net/2025/Jun/6/six-months-in-llms/#ai-...
      Bản thân benchmark có vẻ hơi cũ, nhưng vì nhu cầu với gallery kết quả khá cao nên vẫn đáng bỏ thời gian làm lại

  • Khoảng cách đang thu hẹp. Kimi 3 chỉ chậm hơn các model Mỹ khoảng 3 tháng, có vẻ ngang tầm một model cỡ GPT 5.5 ra mắt cuối tháng 4

  • Tôi tò mò các viện nghiên cứu Trung Quốc đã huấn luyện model 3 nghìn tỷ tham số như thế nào với lượng tài nguyên tính toán hẳn phải ít hơn rất nhiều. Nếu ưu thế về tài nguyên tính toán của Mỹ tiếp tục duy trì, về mặt vật lý Trung Quốc sẽ rất khó theo kịp mãi mãi, nhưng cho tới giờ họ vẫn đang làm khá tốt

    • Thực ra có thể không hề có hạn chế đáng kể nào về việc tiếp cận tài nguyên tính toán. Các công ty Trung Quốc có thể dùng GPU ở các nước lân cận không bị hạn chế xuất khẩu như Malaysia, và ByteDance cũng đã công khai làm vậy: https://www.tomshardware.com/pc-components/gpus/chinas-byted...
      Cũng có tin đồn Tencent tiếp cận qua Nhật Bản: https://wccftech.com/china-tencent-gains-access-to-nvidia-bl...
      Cũng có cách mua ở Singapore rồi buôn lậu vào, và chip chuyên cho AI tương đối dễ thiết kế, sản xuất hơn CPU·GPU hiệu năng cao, nên cũng không có lý do gì để cho rằng thiết kế nội địa của Trung Quốc sẽ mãi tụt hậu. Cuối cùng thì họ vẫn có thể dùng cùng một foundry
    • Có một video rất hay của Gamers Nexus, họ sang tận Trung Quốc để đưa tin: https://www.youtube.com/watch?v=1H3xQaf7BFI
      5090 dựa trên GB202 và RTX 6000 Pro Blackwell, vốn thuộc diện bị hạn chế xuất khẩu, được sản xuất ở TSMC rồi đóng gói và hoàn thiện tại Trung Quốc, nên ngay từ đầu đã có lỗ hổng lớn. NVIDIA và các đối tác phân phối cũng bán ở những nước như Singapore mà hầu như không xác minh gì thêm, và kể cả người vận chuyển cá nhân tự mang vào thì hải quan Trung Quốc cũng không có lý do gì để thực thi luật Mỹ trên lãnh thổ Trung Quốc
    • Chip Huawei Ascend đã được dùng để huấn luyện DeepSeek v4 từ hơn 4 tháng trước, và Huawei đã chia sẻ kernel với các viện nghiên cứu Trung Quốc khác. Trung Quốc cũng có foundry DDR5 riêng
    • Cùng số lượng tham số không có nghĩa là model giống nhau, nên con số đó không có vẻ là chỉ báo cho chất lượng hay nhu cầu tính toán. Để làm ra model tốt thì cần nhiều hơn việc chỉ tăng số lượng tham số
    • Trung Quốc từng cứu kinh tế thế giới bằng cách tung ra lượng dự trữ dầu mỏ khổng lồ mà không ai biết tới, nên nếu họ cũng có nhiều tài nguyên tính toán ẩn giấu thì cũng chẳng có gì đáng ngạc nhiên

  • Điều thú vị là chất lượng pelican và chất lượng tổng thể của model không biến động cùng nhau. Năng lực chung được hình thành trong giai đoạn pre-training, nên tôi từng nghĩ pre-training chất lượng cao sẽ tạo ra pelican tốt hơn, còn reinforcement learning thì gần như không ảnh hưởng tới chất lượng pelican
    Nhưng GLM 5.2 vượt GPT 5.6 và Claude Fable lại không khớp với giả thuyết này. Khả năng duy nhất tôi nghĩ tới là GLM 5.2 đã được reinforcement learning riêng cho việc tạo SVG nên mới đạt hiệu năng tốt như vậy