Kimi K2 Thinking, mô hình suy luận nghìn tỷ tham số mã nguồn mở SOTA

 (moonshotai.github.io)
2 điểm bởi GN⁺ 2025-11-07 | 1 bình luận | Chia sẻ qua WhatsApp
  • Kimi K2 Thinking là mô hình suy luận mã nguồn mở biết tận dụng công cụ và suy nghĩ theo từng bước, tái hiện quy trình tư duy ở mức con người khi giải các vấn đề phức tạp
  • Đạt hiệu năng tốt nhất hiện tại (SOTA) trên các benchmark quan trọng như Humanity’s Last Exam(HLE), BrowseComp, SWE-Bench Verified
  • Thực hiện tối đa 200~300 lần gọi công cụ liên tiếp, đồng thời mở rộng cả token suy nghĩ lẫn các bước gọi công cụ thông qua test-time scaling
  • Thể hiện năng lực nổi bật trong các lĩnh vực suy luận·tìm kiếm·lập trình tác tử (Agentic), giải các bài toán toán học·lập trình·duyệt web phức tạp bằng kế hoạch dài hạn
  • Tối ưu hiệu quả suy luận dựa trên lượng tử hóa INT4, đạt tốc độ nhanh gấp 2 và giảm bộ nhớ GPU, qua đó có được hiệu quả thuộc hàng cao nhất trong các mô hình mã nguồn mở quy mô lớn

Giới thiệu Kimi K2 Thinking

  • Kimi K2 Thinking là mô hình tư duy mã nguồn mở có hiệu năng hàng đầu do Moonshot AI công bố
    • Kiến trúc “thinking agent” thực hiện suy luận từng bước ngay cả trong lúc sử dụng công cụ
    • Ghi nhận hiệu năng tốt nhất hiện tại trên HLE, BrowseComp và các benchmark khác
  • Thông qua test-time scaling, mô hình đồng thời mở rộng số lượng token suy nghĩ và số bước gọi công cụ
  • Hiện có thể sử dụng trong chế độ chat trên kimi.com, và chế độ agentic đầy đủ sẽ sớm được công bố
  • Có thể tích hợp bên ngoài thông qua API

Kết quả đánh giá

  • Đạt HLE(dùng công cụ) 44.9%, BrowseComp 60.2%, SWE-Bench Verified 71.3%
  • Chứng minh khả năng khái quát hóa nhất quán trong việc giải quyết các bài toán trình độ chuyên gia ở nhiều lĩnh vực
  • Cải thiện hiệu năng so với các mô hình trước đó trên toàn bộ các mảng suy luận·tìm kiếm·lập trình tác tử

Suy luận tác tử (Agentic Reasoning)

  • Đạt kỷ lục cao nhất 44.9% trên Humanity’s Last Exam(HLE)
    • Benchmark đóng gồm các bài toán cấp độ chuyên gia trải rộng trên hơn 100 lĩnh vực học thuật
    • Đồng thời sử dụng các công cụ tìm kiếm, Python và duyệt web
  • Trình bày ví dụ giải bài toán toán học cấp độ tiến sĩ bằng cách xen kẽ 23 bước suy luận và gọi công cụ
  • Có thể giải các bài toán học thuật phức tạp thông qua hàng trăm bước lập kế hoạch·suy luận·thực thi·thích nghi

Lập trình tác tử (Agentic Coding)

  • Ghi nhận SWE-Multilingual 61.1%, SWE-Bench Verified 71.3%, Terminal-Bench 47.1%
  • Đạt độ hoàn thiện cao trong các tác vụ tập trung vào thành phần frontend như HTML·React
  • Thực hiện quy trình phát triển nhiều bước thông qua gọi công cụ, hỗ trợ tạo mã chính xác và linh hoạt
  • Đưa ra ví dụ tạo ứng dụng phức hợp như website·trình soạn thảo tài liệu chỉ với một prompt duy nhất

Tìm kiếm và duyệt web tác tử (Agentic Search and Browsing)

  • Đạt BrowseComp 60.2%, vượt xa mức chuẩn của con người (29.2%)
    • Chứng minh khả năng thu thập và suy luận thông tin web theo thời gian thực
  • Thực hiện 200~300 lần gọi công cụ liên tiếp, triển khai lập kế hoạch dài hạn·suy luận thích ứng
  • Thông qua vòng lặp lặp lại “suy nghĩ → tìm kiếm → dùng trình duyệt → suy nghĩ → lập trình”, mô hình
    phân rã các bài toán mở phức tạp thành các tác vụ con có cấu trúc

Năng lực tổng quát (General Capabilities)

  • Viết sáng tạo: tạo ra tự sự với cách diễn đạt phong phú và chiều sâu cảm xúc
  • Viết thực dụng: cải thiện cấu trúc logic và độ chính xác khi làm theo chỉ dẫn, phù hợp với nội dung học thuật·nghiên cứu
  • Phản hồi cảm xúc: đưa ra lời khuyên cụ thể và giàu đồng cảm, tăng cường sự cân bằng mang tính con người

Hiệu quả suy luận (Inference Efficiency)

  • Áp dụng lượng tử hóa chỉ trọng số INT4(QAT) để đạt tăng tốc 2 lần và giảm bộ nhớ
  • Ngay cả khi suy luận ở quy mô lớn vẫn duy trì quy trình tư duy chính xác mà không suy giảm hiệu năng
  • Tất cả kết quả benchmark đều được báo cáo theo độ chính xác INT4

So sánh hiệu năng tổng hợp

  • Trên các benchmark chính, mô hình cho hiệu năng tương đương hoặc vượt trội so với GPT‑5, Claude Sonnet 4.5, DeepSeek‑V3.2
  • Đạt đẳng cấp mã nguồn mở hàng đầu trên toàn bộ các lĩnh vực Reasoning·Coding·Agentic Search

Tóm tắt:
Kimi K2 Thinking là mô hình suy luận mã nguồn mở cấp nghìn tỷ tham số thực hiện tư duy từng bước dựa trên công cụ,
đồng thời đạt hiệu năng và hiệu quả ở mức SOTA trong giải quyết vấn đề phức tạp và thực thi kế hoạch dài hạn của các hệ thống AI mới nhất.

Bài viết liên quan

1 bình luận

 
GN⁺ 2025-11-07
Ý kiến trên Hacker News

  • Đã cài mô hình Moonshot Kimi-K2-Thinking bằng uv tool install llm, rồi tạo SVG bằng lệnh llm -m moonshot/kimi-k2-thinking 'Generate an SVG of a pelican riding a bicycle'
    Có thể xem kết quả tại liên kết này
    Kết quả chạy bằng moonshotai/kimi-k2-thinking trên OpenRouter cho ra phiên bản tinh xảo hơn nhiều như bản này

    • Kết quả từ OpenRouter có vẻ đến từ nhà cung cấp hosting đã lượng tử hóa (quantized)
      So với gọi trực tiếp API của Moonshot thì khác biệt gần như một trời một vực
      Việc OpenRouter chỉ áp giới hạn lượng tử hóa theo API chứ không theo tài khoản khiến trải nghiệm người dùng hơi khó hiểu
    • Thật thú vị khi benchmark này ngày càng mang tính biểu tượng mỗi khi có mô hình mới ra mắt
      Hiệu năng của dòng GPT-5 vẫn khó tin, nhưng thật đáng mừng khi các mô hình mã nguồn mở ngày càng có những thử nghiệm đầy tham vọng
    • Không rõ khi chạy có cố định temperature về 0 để giữ tính nhất quán hay không
    • Không hiểu người ta chạy mô hình 1 nghìn tỷ tham số ở đâu nữa

  • Cạnh tranh nhiều hơn và có thêm mã nguồn mở là điều tốt, nhưng tôi hứng thú với việc LLM nhỏ + tác tử có thể code và suy luận tốt đến mức nào hơn là các mô hình khổng lồ
    Lý tưởng nhất là có thể chạy trên máy local hoặc cụm giá rẻ
    Mục tiêu ban đầu của OpenAI là vì lợi ích của toàn nhân loại, nhưng giờ đã chuyển sang cấu trúc xoay quanh trả phí, nên thật đáng tiếc khi lợi ích dần nghiêng về phía người giàu

    • Những thử nghiệm với mô hình nhỏ như vậy thực ra đã có rất nhiều
      Nhưng kết quả vẫn chưa đủ tốt, và nếu thực sự có thể tạo ra mô hình nhỏ hiệu quả thì đã chẳng có lý do gì để tồn tại các mô hình lớn
      Dĩ nhiên, nếu xuất hiện ý tưởng mới thì cục diện này có thể thay đổi
    • Trước đây tôi cũng ám ảnh với “mô hình thông minh nhất”, nhưng khi dùng thực tế thì thấy mô hình nhỏ xử lý cùng công việc nhanh hơn nhiều
      Vì vậy giờ mục tiêu của tôi là tìm ra “mô hình nhỏ nhất có thể giải quyết công việc của tôi”
      Điểm benchmark cao giờ lại giống một chỉ dấu của thông số thừa thãi và lãng phí hơn
    • Nếu gọi là “mã nguồn mở” thì phải có dữ liệu huấn luyện để tải về và script có thể huấn luyện lại end-to-end
      Chỉ phát hành binary cho suy luận mà vẫn gọi là mã nguồn mở là cách dùng sai khái niệm
    • Tôi không hiểu vì sao chưa có mô hình siêu nhỏ theo từng chuyên gia
      Ví dụ, với người chỉ dùng Go thì chỉ cần một mô hình Go là đủ
      Nếu dùng cấu trúc thay đổi nhiều mô hình chuyên biệt trong bộ nhớ thì có vẻ sẽ hiệu quả hơn nhiều
      Nhưng phần lớn vẫn đang theo đuổi mô hình đa dụng khổng lồ
      Tôi mới chỉ dùng CoPilot subscription và Ollama, nhưng nghĩ rằng sau này tổ hợp nhiều mô hình cỡ 1~2B sẽ trở thành xu hướng chính
    • Thực ra phần lớn tiến bộ của mô hình lớn đến từ tối ưu hóa và scale
      Nhưng các kỹ thuật này cuối cùng cũng dẫn tới cải thiện hiệu năng của mô hình nhỏ
      DeepSeek là ví dụ điển hình; đổi mới ở mô hình lớn cũng mang lại lợi ích cho mô hình nhỏ
      Nhân tiện, mô hình lần này là kiến trúc MoE, nên mỗi lần chỉ kích hoạt 32 tỷ tham số

  • Trong vài tháng gần đây, bốn công ty Trung Quốc (DeepSeek, Qwen/Alibaba, Kimi/Moonshot, GLM/Z.ai) đã tung ra những mô hình mã nguồn mở rất xuất sắc
    Các công ty Mỹ hay châu Âu, thậm chí cả Meta, lại không có động thái như vậy. Vì sao nhỉ?

    • Dĩ nhiên OpenAI cũng đã công bố GPT-OSS vào tháng 8
      Qwen 235 cũng rất tốt, nhưng định nghĩa “mã nguồn mở” là open-weight hay công khai toàn bộ thì vẫn còn chưa rõ ràng
    • Các công ty Trung Quốc bị hạn chế tiếp cận GPU thế hệ mới nên chọn chiến lược công bố mã nguồn mở
      Trong khi đó các công ty Mỹ ngại công khai vì phải thu hồi khoản đầu tư GPU khổng lồ
    • Một lý do khác là vì lo ngại về quyền riêng tư nên họ có ít khách hàng trả phí
      Cuối cùng ngoài việc công bố miễn phí ra thì hầu như không còn lựa chọn nào khác
    • Có vẻ Meta đã từ bỏ chiến lược open-weight sau DeepSeek

  • Dù ví dụ này có phần hơi cherry-picked, nhưng vẫn rất ấn tượng
    Với người đã từng đưa mô hình OSS vào workflow và hiểu rõ giới hạn của chúng, kết quả này là thứ ngay cả các frontier model cũng khó làm được
    Rất mong chờ những bước tiến tiếp theo

    • Cá nhân tôi thấy Kimi là một mô hình cho cảm giác “thông minh” hơn nhiều so với benchmark
      Có lẽ vì họ ít tinh chỉnh kiểu chạy theo điểm số như các lab ở Mỹ

  • Theo bảng giá OpenRouter, giá là $0.60 cho mỗi 1 triệu token đầu vào và $2.50 cho đầu ra
    Với mức hiệu năng này thì rẻ hơn khoảng 4 lần so với các mô hình cùng hạng, nên tôi tò mò liệu họ đang host lỗ hay là các mô hình khác có biên lợi nhuận quá cao

    • Nếu không tính chi phí huấn luyện thì các mô hình khác đang để lại biên lợi nhuận rất lớn
      Xem thêm bài viết này để biết chi tiết
    • Các mô hình mã nguồn mở trên OpenRouter được tính phí gần như ở mức giá vốn phần cứng
      Một số còn chạy trên hạ tầng có trợ giá, nên thực tế vẫn có thể có lãi

  • Đây là mô hình duy nhất gần đây giải được “bài toán xếp chồng” theo cách giống con người
    Bài viết liên quan cho rằng điểm then chốt là nó hiểu được khái niệm phân tán tải trọng bằng 9 quả trứng

    • Nhưng cũng có người chỉ ra rằng “bài toán đó có thể đã nằm trong dữ liệu huấn luyện”
    • Một người dùng khác chia sẻ ví dụ hội thoại thực tế, cho thấy sau nhiều lượt phản hồi, mô hình dần tìm ra cấu hình xếp chồng khả thi về mặt vật lý
      Cuối cùng nó đưa ra câu trả lời thực tế với thứ tự “sách → chai → laptop → đinh”

  • Tôi thắc mắc “Reasoning model” là gì
    Có phải chỉ là mô hình dùng scratchpad token một cách động trong system prompt, hay là mô hình đã được fine-tune theo kiểu đó thì mới được gọi như vậy?

    • Là vế sau. Tức là mô hình được fine-tune để học quá trình suy nghĩ trung gian
      Cách này hiệu quả hơn nhiều so với chỉ bắt chước bằng prompt
    • Thường đó là mô hình trả lời sau khi thực hiện suy nghĩ nội bộ bên trong các token như <think></think>
      Kiểu định dạng này được huấn luyện bằng RL hoặc học thưởng dựa trên định dạng

  • Bản non-thinking có chất lượng viết tốt nhất
    Có vẻ họ đang thử một hướng tiếp cận mới khác với các lab frontier khác nên khá đáng mong đợi

    • Tôi lại thấy ngược lại. Tôi thích vì đây là mô hình lớn nhất có thể chạy ở nhà, nhưng đầu ra quá có cấu trúc lại tạo cảm giác nhân tạo
      Nó không khác bản trước quá nhiều nên hơi tiếc
    • Dù vậy, Kimi K2 vẫn cho cảm giác trau chuốt và hoàn thiện tốt

  • Sẽ rất tốt nếu có thể dùng trên AWS Bedrock hoặc Google Vertex mà vẫn đảm bảo data residency

    • Vì giống model trước, trọng số đã được công bố, nên có lẽ sớm muộn cũng sẽ xuất hiện trên các dịch vụ host bên thứ ba
      Liên kết Hugging Face
    • Bản non-thinking đã được đăng ký trên Vertex AI
      Model lần này nhấn mạnh khả năng dùng công cụ tuần tự và hiệu năng needle-in-a-haystack RAG, đây chính là những thứ cần nhất trong môi trường làm việc thực tế
      Nhân tiện, Thoughtworks gần đây đã chuyển text-to-sql sang trạng thái Hold

  • Đã có thể dùng ngay trên OpenRouter

    • Chỉ là hiện tại độ trễ (latency) vẫn khá nặng