- Kimi Linear là cấu trúc lai bố trí KDA và MLA theo tỷ lệ 3:1, đạt hiệu năng cao hơn MLA toàn phần trên cả ngữ cảnh ngắn, ngữ cảnh dài và các đánh giá học tăng cường trong cùng điều kiện huấn luyện
- Mô-đun cốt lõi Kimi Delta Attention(KDA) tinh chỉnh cổng quên theo từng head của Gated DeltaNet thành mức theo kênh, để mỗi chiều đặc trưng trong bộ nhớ RNN hữu hạn có tốc độ quên độc lập
- Ma trận chuyển tiếp Diagonal-Plus-Low-Rank(DPLR) chuyên biệt và thuật toán song song theo từng chunk giúp giảm lượng tính toán so với DPLR tổng quát, với hiệu suất toán tử tăng khoảng 100%
- Mô hình 3B tham số kích hoạt, 48B tổng tham số được huấn luyện trên 1.4T token, đạt 51.0 điểm trên MMLU-Pro 4K, 84.3 điểm trên RULER 128K cùng mức tăng tốc 3.98 lần, và ở 1M token thì thời gian trên mỗi token đầu ra nhanh hơn MLA 6.3 lần
- Khi sinh văn bản dài, có thể giảm tối đa 75% KV cache mà không cần thay đổi giao diện cache hay scheduling của pipeline attention toàn phần hiện có; kernel KDA, triển khai vLLM và checkpoint mô hình cũng đã được công bố
Nút thắt mà attention toàn phần tạo ra trong suy luận dài hạn
- LLM dạng agent và mở rộng thời gian suy luận dựa trên học tăng cường cần xử lý các quỹ đạo dài, tương tác dùng công cụ và không gian ra quyết định phức tạp trong quá trình suy luận
- Attention softmax tiêu chuẩn có độ phức tạp thời gian tăng theo bình phương và KV cache tăng tỷ lệ với độ dài ngữ cảnh, nên hạn chế thông lượng, mở rộng ngữ cảnh và tương tác thời gian thực
- Attention tuyến tính có thể giảm độ phức tạp tính toán, nhưng khả năng biểu đạt bị hạn chế nên ngay cả trong mô hình ngôn ngữ với chuỗi ngắn cũng cho kết quả kém hơn attention softmax
- Các cơ chế gating, suy hao và delta rule gần đây đã thu hẹp khoảng cách chất lượng ở chuỗi độ dài trung bình, nhưng cấu trúc tuyến tính thuần túy vẫn bị giới hạn trong mô hình hóa chuỗi dài và truy xuất trong ngữ cảnh do dung lượng trạng thái hữu hạn
- Cấu trúc lai kết hợp một số lớp attention toàn cục với nhiều lớp tuyến tính đã nổi lên như điểm cân bằng giữa chất lượng và hiệu quả, nhưng các mô hình trước đây hoặc bị giới hạn về quy mô, hoặc thiếu đánh giá đa dạng trên benchmark
Từ linear attention đến Gated DeltaNet
- Linear attention cơ bản liên tục tích lũy các liên kết key-value trong trạng thái hồi quy dạng ma trận, và dùng nó như fast weight, một dạng bộ nhớ liên kết tạm thời
- Không có tiêu chí quyết định nên xóa ký ức nào, nên trạng thái tích lũy vô hạn và gây nhiễu ở ngữ cảnh dài
- DeltaNet thực hiện gradient descent trực tuyến trên mất mát tái tạo để trạng thái khôi phục key thành value
- Nó dùng delta rule cổ điển để liên tục hiệu chỉnh trạng thái hiện có
- Cập nhật hạng 1 tương đương với phép biến đổi Householder tổng quát và có thể song song hóa theo chunk
- Gated DeltaNet(GDN) thêm cổng quên vô hướng
αtđể làm suy giảm các liên kết cũ- Cổng này hoạt động như weight decay đối với fast weight và hiện thực cơ chế quên tương tự chuẩn hóa L2 phụ thuộc dữ liệu
- Nó kiểm soát tuổi thọ bộ nhớ, giảm nhiễu và vẫn giữ cấu trúc song song hóa của DeltaNet
- GDN có thể được diễn giải như mã hóa vị trí kiểu nhân, nới lỏng ràng buộc trực giao của RoPE, ở chỗ ma trận chuyển tiếp vừa phụ thuộc dữ liệu vừa có thể học được
Điều khiển bộ nhớ tinh vi của Kimi Delta Attention
- KDA thay suy hao vô hướng đơn của GDN bằng cổng theo kênh đã được chéo hóa, cho phép điều khiển độc lập suy hao bộ nhớ và thông tin vị trí của từng chiều đặc trưng
- Tốc độ quên theo từng kênh điều chỉnh chính xác hơn bộ nhớ RNN hữu hạn bị giới hạn, mang lại mức độ chi tiết tương tự Gated Linear Attention(GLA)
- Động học chuyển tiếp được tham số hóa bằng ma trận DPLR chuyên biệt mà vẫn giữ tính nhất quán với delta rule cổ điển
- Chuỗi phép biến đổi ma trận hạng 1 được nén thành biểu diễn đặc, hỗ trợ xử lý song song ổn định theo chunk ngay cả dưới cơ chế gating đường chéo
Thuật toán song song theo từng chunk
- Chuỗi được chia thành các chunk độ dài cố định và dùng trạng thái cuối của chunk trước làm trạng thái đầu cho chunk sau
- Với biểu diễn WY, nhiều cập nhật hạng 1 được gộp thành một biểu diễn nén duy nhất, và theo khai triển của Comba, các phép tính tiếp theo không còn cần nghịch đảo ma trận bổ sung
- Biến đổi UT giảm FLOP của các phép toán không phải nhân ma trận, giúp tăng mức sử dụng phần cứng trong huấn luyện
- Nghịch đảo ma trận tam giác dưới được tính theo từng hàng bằng phép thế tiến của khử Gauss
- Cập nhật trạng thái được thực hiện dưới dạng ma trận theo chunk, còn ở bước đầu ra thì kết hợp xử lý hồi quy giữa các chunk với xử lý song song bên trong từng chunk
- Phần tính toán bên trong chunk được tổ chức xoay quanh nhân ma trận để tận dụng thông lượng của Tensor Core
Lượng tính toán giảm so với DPLR tổng quát
- KDA và DPLR tổng quát đều hỗ trợ suy hao tinh vi nên tương đương về mặt dung lượng biểu đạt
- Suy hao tinh vi có thể gây vấn đề độ chính xác số trong phép chia bên trong chunk
- GLA dùng tính toán trong miền log và chia chunk bậc hai với độ chính xác đầy đủ, nhưng bị hạn chế trong việc tận dụng phép nhân ma trận bán chính xác nên tốc độ toán tử thấp
- KDA gắn cả hai biến của phép chuyển tiếp DPLR vào key
k- Giảm số phép tính ma trận chunk bậc hai từ 4 xuống 2
- Loại bỏ thêm 3 phép nhân ma trận
- Trong đo đạc kernel theo độ dài đầu vào, hiệu suất toán tử của KDA tăng khoảng 100% so với DPLR tổng quát
Cấu hình mô hình Kimi Linear
- Backbone của mô hình theo Moonlight, đặt lớp trộn kênh MoE phía sau lớp trộn token
- Query, key và value của mỗi head KDA được tính qua ShortConv và Swish
- Query và key được bổ sung chuẩn hóa L2 để ổn định trị riêng
- Kích thước head của key và value được đặt là 128 trong mọi thí nghiệm
- Cổng suy hao theo từng kênh được tham số hóa bằng phép chiếu hạng thấp có rank bằng kích thước head, và dùng hàm suy hao tương tự GDN và Mamba
- Trước phép chiếu đầu ra, áp dụng RMSNorm theo từng head cùng cổng đầu ra phụ thuộc dữ liệu
- Cổng đầu ra cũng được thiết kế hạng thấp để giữ hiệu năng tương đương cổng toàn rank, đồng thời hỗ trợ so sánh tham số công bằng
- Cổng này giúp giảm Attention Sink
Lai 3:1 giữa KDA và MLA
- Để bù lại giới hạn truy xuất ngữ cảnh dài của attention tuyến tính thuần túy, các lớp Full MLA attention toàn cục được chèn giữa các lớp KDA
- Thay vì trộn head trong cùng một lớp, mô hình luân phiên theo cả lớp
- Cấu hình theo đơn vị lớp giúp hạ tầng đơn giản hơn và độ ổn định huấn luyện cao hơn
- Trong thí nghiệm, tỷ lệ 3:1 lặp lại 3 lớp KDA rồi 1 lớp MLA cho cân bằng tốt nhất giữa chất lượng và thông lượng
- Khi sinh văn bản dài, chỉ các lớp attention toàn phần mới giữ KV cache, nhờ đó giảm tới 75% bộ nhớ và KV cache mà vẫn bảo toàn luồng thông tin toàn cục
Áp dụng NoPE và kết quả đánh giá
- Tất cả các lớp MLA đều dùng NoPE, tức không dùng mã hóa vị trí, còn thông tin vị trí và thiên lệch ưu tiên token mới do KDA đảm nhiệm
- KDA đóng vai trò tương đương hoặc mạnh hơn các thành phần hỗ trợ nhận biết vị trí như tích chập ngắn hoặc sliding window attention
- Dùng NoPE cho phép chuyển MLA thành Multi-Query Attention(MQA) thuần túy, hiệu quả trong suy luận
- Không cần các kỹ thuật như điều chỉnh theo tần số của RoPE hay YaRN, nên việc học ngữ cảnh dài trở nên đơn giản hơn
- Trong so sánh cùng huấn luyện 1.4T token theo một cách giống nhau, Kimi Linear ghi nhận các kết quả sau
- Đạt 51.0 điểm trên MMLU-Pro 4K, vượt MLA 47.2 điểm và GDN-H 47.9 điểm
- Đạt 84.3 điểm trên RULER 128K cùng mức tăng tốc 3.98 lần, vượt MLA 81.3 điểm và GDN-H 80.5 điểm
- Ở 1M token, thời gian trên mỗi token đầu ra (TPOT) là 1.84ms, nhanh hơn 6.3 lần so với 11.48ms của MLA
- Giữ TPOT thấp ngay cả với chuỗi dài, cho phép dùng batch lớn hơn
- Mô hình pretrain có 3B tham số kích hoạt và 48B tổng tham số, liên tục vượt MLA toàn phần ở ngữ cảnh ngắn, ngữ cảnh dài và các tác vụ hậu huấn luyện kiểu học tăng cường
- Kernel KDA, tích hợp vLLM và checkpoint Kimi-Linear-48B-A3B-Instruct đã được công bố
- Có thể thay thế mà không cần sửa đổi giao diện cache hoặc scheduling của pipeline attention toàn phần hiện có
1 bình luận
Ý kiến trên Hacker News
Nhìn vào bài báo Kimi K3 mới công bố gần đây thì đây là kiến trúc mở rộng Kimi Linear ở quy mô lớn, đồng thời bổ sung native vision và các cải tiến cho học tăng cường
https://arxiv.org/abs/2607.24653
Tôi tò mò liệu trí thông minh thấy ở các mô hình tối tân có thật sự là một hiện tượng trồi sinh chỉ xuất hiện khi mở rộng kiến trúc hay không
Một mô hình 1 triệu tham số với cùng kiến trúc thì không giải nổi cả câu đố cơ bản, trong khi mô hình 1 nghìn tỷ tham số lại tạo ra được phản ví dụ cho giả thuyết Jacobian, điều này có vẻ trái với trực giác. Chỉ cho thêm phép tính vào một thuật toán sắp xếp đơn giản thì cũng không thể đánh bại quicksort, nhưng nghiên cứu LLM hiện đại trông giống một cuộc đua cứ tiếp tục phóng to cùng một thuật toán và kiến trúc rồi hy vọng lời giải sẽ xuất hiện
Bản gốc ngắn cũng rất đáng đọc: http://www.incompleteideas.net/IncIdeas/BitterLesson.html
Mô hình lớn dễ tạo được chỗ đứng hơn trong không gian biểu diễn nội bộ đó, và sau khi tối ưu hóa xong thì có thể phần lớn trọng số cũng chẳng làm gì nhiều. Mức độ năng lực biểu diễn cần thiết để học không gian này vẫn chưa rõ, nhưng cho đến nay có vẻ cần tới hàng chục tỷ tham số
Câu hỏi thú vị hơn là mô hình cần bất biến với dữ liệu đến mức nào. Tôi cho rằng lý do suy luận toán học và lập trình đã nâng mạnh hiệu năng tổng thể là vì chúng là những kỹ năng có thể lặp lại trên một dải nhiệm vụ rộng. Việc huấn luyện tập trung vào logic lập trình không phụ thuộc ngôn ngữ hay tác vụ có thể là con đường đi tới các mô hình nhỏ hơn
Ví von thì mô hình nhỏ bị kẹt ở mức bubble sort trong nội bộ vì giới hạn dung lượng và tín hiệu huấn luyện, còn mô hình lớn có thể tìm kiếm sâu hơn để tìm ra cách làm gần với quicksort hơn
Trí thông minh không phải thứ nhị phân, và cả mô hình 1 tỷ lẫn 10 nghìn tỷ tham số đều có một mức độ trí thông minh nào đó. Loại đầu quá phụ thuộc vào tính quy luật thống kê nên dễ bị gạt đi, còn loại sau chỉ đơn giản là đã tiến đủ xa để tìm được phản ví dụ mới cho một giả thuyết chưa được giải. Giữa hai đầu đó cũng gần với việc các cải thiện nhỏ tích lại thành tuyết lở hơn là một cú nhảy đột ngột
Những thành quả cụ thể như năng lực toán học có thể trông như tăng vọt, nhưng bên dưới là năng lực tổng quát trong việc giảm sai sót và phục hồi sau sai sót đang tích lũy dần. Khi năng lực này đủ tốt, mô hình bắt đầu giải được cả những loại bài toán logic hoàn toàn mới
Phòng thí nghiệm của Marcus Hutter đã diễn đạt điều này bằng quy nạp Solomonoff và cho thấy thiên lệch đó có hiệu quả phổ quát. Một thiên lệch hiệu quả có thể tận dụng ngược lại lời nguyền chiều, tương tự như việc càng nhiều dữ liệu thì càng có câu trả lời tốt hơn, để tiếp tục nâng hiệu năng ở các mô hình lớn
Tuy vậy, lớp mô hình có những đặc tính như thế là cực kỳ hẹp, và gần như là chúng ta may mắn chạm đúng điểm đó. Đó cũng là lý do các nguyên lý thống kê nói chung vẫn dạy rằng không nên kỳ vọng kiểu hành vi này trong đa số trường hợp
Tăng từ 1 triệu lên 1 nghìn tỷ tham số là mở rộng gấp 1 triệu lần. Nó tương tự như thu nhỏ não người xuống còn 1% theo mỗi chiều, tức chỉ còn cỡ vài mm
Tôi đã bắt đầu xây dựng mô hình nội bộ bằng Kimi Linear, nhưng Gated Deltanet 2 xuất hiện sau đó lại trông như một phiên bản tiến hóa hơn về mặt năng lực biểu diễn, và trong các thử nghiệm nội bộ của tôi nó thực sự tốt hơn
https://arxiv.org/abs/2605.22791
Thật tuyệt khi họ open-source kernel KDA và phần triển khai vLLM cho nghiên cứu, đồng thời còn phát hành cả checkpoint mô hình pretraining và instruction tuning
Nếu bạn chỉ muốn tin rằng thành công của Kimi đơn thuần là một cuộc tấn công chưng cất, thì cứ bỏ qua nghiên cứu này
Tôi tò mò so với mô hình full-attention cùng kích thước thì hiệu năng truy hồi ngữ cảnh dài, đặc biệt là needle-in-a-haystack hay RULER, sẽ ra sao. Tăng hiệu quả là rất tốt, nhưng các mô hình lai attention tuyến tính thường hay sụp ở điểm này
Tôi tự hỏi nếu các Transformer phi tiêu chuẩn kiểu này bắt đầu được dùng rộng rãi thì các công ty như Etched có gặp rắc rối không
Bài báo này là tài liệu năm 2025, và đã 9 tháng trôi qua, trong thời gian đó các mô hình lớn mới đã được phát hành
Đóng góp cốt lõi của bài K3 là Stable LatentMoE. Nó nén dữ liệu được truyền giữa các tầng như một số mô hình khác, nên đòi hỏi những điều kiện nhất định ở router, và K3 cải thiện hiệu năng bằng chiến lược chọn expert cân bằng hơn