Kimi K2 - Mô hình ngôn ngữ Mixture-of-Experts (MoE) tiên tiến nhất

 (github.com/MoonshotAI)
4 điểm bởi GN⁺ 2025-07-13 | 1 bình luận | Chia sẻ qua WhatsApp
  • Kimi K2 của Moonshot AI là một mô hình ngôn ngữ Mixture-of-Experts (MoE) tiên tiến nhất với 1 nghìn tỷ tham số
  • Trong quá trình huấn luyện, mô hình áp dụng kỹ thuật tối ưu hóa Muon để giải quyết các vấn đề ổn định ở quy mô lớn
  • Tập trung vào trí tuệ tác tử cho sử dụng công cụ, suy luận và giải quyết vấn đề tự chủ
  • Chứng minh hiệu năng hàng đầu trên nhiều benchmark ở các tác vụ lập trình, toán học và tác vụ tổng quát
  • Triển khai và sử dụng thuận tiện, cung cấp API tương thích OpenAI/Anthropic và hỗ trợ môi trường engine linh hoạt

Vì sao Kimi K2 quan trọng

  • Kimi K2 là mô hình ngôn ngữ Mixture-of-Experts (MoE) mới nhất do Moonshot AI phát triển
  • Với quy mô 1 nghìn tỷ tham số và phương pháp tối ưu hóa đổi mới (Muon), mô hình mang lại hiệu năng và độ ổn định cao trong lĩnh vực mô hình ngôn ngữ lớn
  • So với các mô hình mã nguồn mở hiệu năng cao hiện có, Kimi K2 đạt trình độ tiên tiến toàn cầu (SOTA) và thuộc nhóm tốt nhất trong giới mã nguồn mở ở nhiều lĩnh vực ứng dụng thực tế như lập trình, toán học và sử dụng công cụ
  • Mô hình có thế mạnh ở khả năng huấn luyện nhanh và ổn định cho mô hình lớn, cũng như tính linh hoạt để hỗ trợ nhiều kịch bản ứng dụng AI khác nhau

1. Giới thiệu mô hình

  • Kimi K2 là mô hình ngôn ngữ MoE tiên tiến nhất với 1 nghìn tỷ (1T) tham số tổng và 32 tỷ (32B) tham số hoạt động
  • Sử dụng optimizer Muon để giải quyết hiệu quả tình trạng bất ổn trong huấn luyện mô hình quy mô lớn
  • Được tối ưu cho các năng lực cấp cao như khai thác công cụ, suy luận phức tạp và tác tử tự chủ

Đặc điểm chính

  • Huấn luyện quy mô lớn: tiền huấn luyện mô hình 1 nghìn tỷ tham số trên 15,5 nghìn tỷ token mà không gặp tình trạng mất ổn định trong huấn luyện
  • Optimizer MuonClip: kết hợp thuật toán Muon chuyên cho mô hình quy mô lớn với các kỹ thuật tối ưu hóa mới để đảm bảo độ ổn định
  • Agentic Intelligence: được thiết kế với mục tiêu sử dụng công cụ, suy luận phức tạp và giải quyết vấn đề tự chủ

Các phiên bản mô hình

  • Kimi-K2-Base: mô hình nền tảng phù hợp cho fine-tuning tùy chỉnh và nhu cầu của nhà nghiên cứu
  • Kimi-K2-Instruct: mô hình post-training được tối ưu cho trò chuyện và vận hành tác tử tổng quát

2. Tóm tắt mô hình

  • Kiến trúc: Mixture-of-Experts (MoE)
  • Tổng số tham số: 1 nghìn tỷ (1,000,000,000,000)
  • Tham số hoạt động: 32 tỷ (32B)
  • Số lớp: 61 (bao gồm Dense layer)
  • Số Dense Layer: 1
  • Attention hidden dimension: 7168
  • MoE hidden dimension (mỗi expert): 2048
  • Attention Head: 64
  • Số lượng expert: 384
  • Số expert được chọn trên mỗi token: 8
  • Số expert chia sẻ: 1
  • Kích thước từ vựng: 160K
  • Độ dài ngữ cảnh: 128K
  • Cơ chế Attention: MLA
  • Hàm kích hoạt: SwiGLU

3. Kết quả đánh giá

Hiệu năng của mô hình Instruction

  • Đạt hiệu năng hàng đầu trên nhiều benchmark ở các hạng mục như bài toán lập trình, sử dụng công cụ, toán học/STEM và tác vụ tổng quát
  • Trên các benchmark như SWE-bench, LiveCodeBench, OJBench, MultiPL-E, TerminalBench, AceBench, Tau2, AIME, MATH-500, mô hình cho thấy hiệu năng SOTA hoặc tốt nhất cùng hạng ở các nhóm mã, công cụ, toán học, logic và tác vụ tổng quát
  • Ghi nhận pass@1 65.8% trên SWE-bench Verified và 47.3% trên SWE-bench Multilingual, đồng thời thể hiện kết quả nổi bật trong môi trường Agentic Coding
  • Đạt độ chính xác xuất sắc trong các bài kiểm tra STEM như MATH-500, AIME, HMMT và CNMO
  • Cũng đạt hiệu năng cao hơn nhiều mô hình mã nguồn mở/thương mại cạnh tranh ở các tác vụ tổng quát như MMLU (kiến thức tổng quát) và SimpleQA

Hiệu năng của mô hình Base

  • Ghi nhận kết quả thuộc nhóm cao nhất trong các mô hình mã nguồn mở cùng hạng trên những benchmark tiêu biểu như MMLU, TriviaQA và GPQA-Diamond
  • Thể hiện ưu thế toàn diện so với các mô hình nền tảng mã nguồn mở lớn ở các bài đánh giá về lập trình, toán học và tiếng Trung

4. Triển khai và vận hành engine

5. Ví dụ sử dụng mô hình

Giao diện trò chuyện

  • Sau khi chạy dịch vụ suy luận cục bộ, có thể tương tác trực tiếp qua client tương thích OpenAI như Chat Completions API
  • Temperature được khuyến nghị: 0.6, đồng thời cũng nên dùng System prompt ở dạng mặc định

Chức năng gọi công cụ

  • Kimi-K2-Instruct có năng lực gọi công cụ (tool-calling) mạnh mẽ
  • Người dùng chỉ cần truyền danh sách công cụ khả dụng cho từng yêu cầu, mô hình sẽ tự chủ quyết định việc sử dụng công cụ và thời điểm thực thi
  • Có thể trình diễn ví dụ và thông điệp kết quả xuyên suốt toàn bộ pipeline
  • Cần có hỗ trợ logic phân tích công cụ Kimi-K2 từ phía engine

6. Giấy phép

  • Cả mã nguồn và trọng số mô hình đều được phát hành mã nguồn mở theo Modified MIT License

Bài viết liên quan

1 bình luận

 
GN⁺ 2025-07-13
Ý kiến trên Hacker News
  • Tôi đã thử dùng Kimi cho một vài bài toán lập trình, và nó hoạt động khá tốt ở những chỗ Claude trả lời sai hoặc đi vòng vo. Mô hình này quá lớn nên không phù hợp làm mô hình “cục bộ”, tôi nghĩ sẽ cần khoảng 16 GPU H200 để chạy. Nó có cảm giác cá tính hơi khác các mô hình khác, và tôi khá hài lòng; ít nhất thì có vẻ sẽ hữu ích trong môi trường dùng ensemble.
    • Nếu dùng lượng tử hóa 4-bit thì có thể đạt tốc độ thực dụng với hai máy Mac Studio 512GB (theo kiểu MLX TB4 Ring, xem liên kết tại đây) hoặc một hệ thống Epyc có hơn 1TB RAM. Có thể thử nghiệm với chi phí khoảng 20.000 USD, nhưng nếu muốn tốc độ thật sự ở mức production thì sẽ cần phần cứng mạnh hơn rất nhiều. Có lẽ nên xem đây là “mô hình đóng dấu cá nhân” hơn là “cục bộ”.
    • Tôi đã thử vài lần khi so trực tiếp với Claude. Kimi tạo ra mã đơn giản hơn và dễ đọc hơn, còn Claude thì mang cảm giác over-engineered hơn nhiều. Tuy vậy, Kimi cũng bỏ sót vài edge case tinh vi mà Claude có xử lý.
    • Bạn nói Claude, nhưng là Sonnet? 3.7? 3.5? Opus? 4? Tôi tò mò không biết là bản nào.
    • Câu hỏi đầu tiên tôi đưa cho Kimi là một bài toán đố toán học khá đơn giản, và câu trả lời sai khủng khiếp. Nói công bằng thì các mô hình OpenAI cũng thất bại với câu này. Nó có cải thiện chút nhờ prompt bổ sung, nhưng vẫn khá bất ngờ.
  • Giống như GPT 4o và dòng DeepSeek-V3, mô hình này (Kimi K2) là một LLM đa dụng cực kỳ ấn tượng, hơn nữa còn là mã nguồn mở. Tôi nghĩ lý do nó ít được chú ý hơn dạo này là vì tuyến đầu đã chuyển sang các mô hình suy luận và đa phương thức. Nếu nhìn benchmark độ chính xác thì các mô hình top đầu đều là loại tối ưu cho suy luận (liên kết tham khảo). Nếu ai đó huấn luyện một mô hình chuyên suy luận từ Kimi K2 thì tôi thật sự rất muốn biết hiệu năng sẽ ra sao.
    • Bạn nói “nếu huấn luyện một mô hình chuyên suy luận từ Kimi K2”, nhưng có lẽ MoonshotAI đang làm đúng việc đó rồi.
    • Tôi thắc mắc vì sao các mô hình hiện tại hay trước đây của Kimi vẫn chưa được thêm vào benchmark của Artificial analysis.
  • Ngoài các ưu điểm kỹ thuật, Kimi K2 còn khiến tôi ấn tượng vì bớt cảm giác máy móc hơn. Giống như các mô hình cao cấp nhất của Anthropic, nó có cá tính tươi sáng, thông minh và lưu loát. Đây là một chiến thắng nhỏ khi không phải nhìn những câu trả lời kiểu bot cứng nhắc.
  • Theo tôi, việc OpenAI trì hoãn phát hành mô hình mã nguồn mở của họ là vì Kimi K2 đã chiếm sóng trước và vượt qua các con số benchmark.
    • Phía OpenAI cũng từng nói kiểu như “nó quá lớn nên khó tự host tại nhà”, nên có thể đúng là vậy. Chắc giờ này ở OpenAI họ đang chạy benchmark để tìm ra hạng mục đánh giá mà mình có thể “thắng”.
    • Xét theo benchmark thì Kimi K2 đánh bại GPT-4.1 ở nhiều hạng mục. Nếu OpenAI muốn cạnh tranh nghiêm túc thì họ sẽ phải công bố trọng số GPT-4.1 hoặc một mô hình ngang tầm, nhưng có lẽ khả năng đó không cao.
  • Nó không phải mã nguồn mở mà là “giấy phép MIT đã chỉnh sửa”. Nếu dùng trong dịch vụ thương mại có 100 triệu người dùng hoạt động hằng tháng hoặc doanh thu hằng tháng 20 triệu USD trở lên, thì phải hiển thị rõ “Kimi K2” trong UI của dịch vụ.
    • Điều kiện này trông giống như kết hợp yêu cầu hiển thị “Built with Llama” của Llama với điều khoản “700 triệu người dùng hoạt động hằng tháng”, rồi gói nó lại như thể là một kiểu “MIT biến thể”.
    • Tôi không cho rằng điều này vi phạm OSD (Định nghĩa nguồn mở), hay Định nghĩa phần mềm tự do của FSF, hay các tiêu chí của Debian. GPLv2, GPLv3 và BSD 4-clause cũng có các nghĩa vụ công bố tương tự, chỉ là không có ngưỡng theo số người dùng hay doanh thu. Hơn nữa, mạng nơ-ron cũng không được build từ mã nguồn theo cách thông thường, nên bản thân khái niệm “mã nguồn mở” ở đây cũng khá mơ hồ. Nếu ví với mã nguồn mở thật sự thì phải công khai cả dữ liệu và quy trình huấn luyện mới gần hơn, nhưng việc đó tốn hàng triệu USD nên cũng không giống biên dịch. Vì vậy đây là câu chuyện tách biệt với vấn đề giấy phép.
    • Tôi muốn biết cụ thể điều kiện này xâm phạm điểm nào trong bốn quyền tự do cơ bản của phần mềm tự do, bạn có thể chỉ ra rõ hơn không?
    • Nó thậm chí còn ít hạn chế hơn điều kiện của OpenStreetMap.
    • Có vẻ điều kiện này được thêm vào để ngăn Google tạo ra một “bản phái sinh” rồi tung ra dưới tên Gemini-3.0-pro.
  • Với tôi, K2 là tên một ngọn núi, còn SOTA là “summits on the air”, nên lúc đọc tiêu đề tôi đã giật mình.
  • Tôi thích việc một LLM mới, vững vàng nhưng không phải mô hình suy luận, vẫn đang mở rộng biên giới. Những mô hình kiểu này vẫn có chỗ dùng rất tốt (ở các lĩnh vực không phải STEM hay câu đố logic), và hữu ích khi bạn không muốn tốn chi phí cho token suy luận.
  • “Mã nguồn mở” nghe hay đấy, nhưng thực chất chỉ là open weights, như mọi khi thôi: không cung cấp dataset, script huấn luyện, v.v.
    • Thậm chí hiện giờ còn chưa hẳn là open weights, vì việc công bố weights đi kèm điều kiện “giấy phép MIT đã chỉnh sửa” đó (như nói ở trên).
    • Với hệ thống bản quyền hiện nay, việc phát triển mô hình SOTA mà không dùng văn bản có bản quyền là điều gần như bất khả thi về mặt thực tế. Tôi tò mò không biết người ta sẽ phân phối chuyện này như thế nào.
  • Tôi thích chất lượng và tông giọng câu trả lời của nó hơn (ít lịch sự quá mức và thẳng hơn so với ChatGPT hay DeepSeek), nhưng có vẻ nó hay làm rối hoặc bỏ sót định dạng trả lời hơn các mô hình SOTA hiện tại, bao gồm cả DeepSeek.
  • Dạo này mọi mô hình AI đều lạm dụng em-dash (—). Tôi đã bảo ChatGPT đừng dùng em-dash mà nó vẫn cứ dùng; có ai biết vì sao không?
    • Với tư cách là người thích dùng em-dash, giờ tôi lại thấy nó bị gắn với sự cẩu thả đặc trưng của LLM, nên cũng hơi tiếc.