Bonsai 27B - Mô hình cấp 27B chạy trên điện thoại

 (prismml.com)
4 điểm bởi GN⁺ 4 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Các mô hình 27B hiện có dù giảm xuống 4-bit vẫn lên tới 18GB, nhưng PrismML đã điều chỉnh Bonsai 27B, dựa trên Qwen3.6 27B và hỗ trợ suy luận, gọi công cụ, thị giác, sử dụng máy tính, để phù hợp với giới hạn bộ nhớ của iPhone
  • Mô hình Ternary tập trung vào chất lượng có 5,9GB ở mức 1,71 bit trên mỗi trọng số, còn mô hình 1-bit tập trung vào dung lượng có 3,9GB ở mức 1,125 bit, áp dụng biểu diễn bit thấp cho toàn bộ mạng ngôn ngữ
  • Trên 15 benchmark ở chế độ tư duy, mô hình Ternary giữ được 95% hiệu năng so với bản độ chính xác đầy đủ, mô hình 1-bit giữ được 90%, với điểm tổng hợp lần lượt là 80,5 và 76,1
  • Đạt tối đa 163 tok/s trên NVIDIA GeForce RTX 5090 và tối đa 87 tok/s trên M5 Max, đồng thời hỗ trợ ngữ cảnh 262K token, vision tower 4-bit và speculative decoding
  • Chạy cục bộ loại bỏ chi phí API theo từng bước và truyền dữ liệu của các tác vụ agent lặp lại, đồng thời cho phép triển khai hybrid, xử lý các tác vụ nhạy cảm trên thiết bị và chỉ gửi các bước khó lên cloud

Cách đưa một mô hình cấp 27B vào điện thoại

  • Các mô hình 27B hiện có chiếm khoảng 54GB ở độ chính xác 16-bit và 18GB ngay cả trong các bản build 4-bit thông thường, nên khó triển khai cục bộ trên điện thoại và phần lớn laptop
  • Bonsai 27B dựa trên Qwen3.6 27B hỗ trợ suy luận nhiều bước, gọi công cụ có cấu trúc, tác vụ thị giác, cùng vòng lặp agent sử dụng máy tính duy trì tính nhất quán qua nhiều bước
  • Hai cấu hình bit thấp nhắm đến các môi trường triển khai khác nhau
    • Ternary Bonsai 27B dùng trọng số {−1, 0, +1} và scaling theo nhóm FP16 để đạt mức hiệu dụng 1,71 bit trên mỗi trọng số và kích thước 5,9GB
    • Nhắm tới chất lượng cấp laptop và cung cấp đầy đủ khả năng suy luận, gọi công cụ và agent
    • 1-bit Bonsai 27B dùng trọng số {−1, +1} và cùng cơ chế scaling theo nhóm để đạt mức hiệu dụng 1,125 bit trên mỗi trọng số và kích thước 3,9GB
    • Tập trung vào dung lượng cấp điện thoại, vừa trong ngân sách bộ nhớ của iPhone 17 Pro

Cấu hình bit thấp end-to-end và đa phương thức

  • Biểu diễn bit thấp được áp dụng cho toàn bộ mạng ngôn ngữ, bao gồm embedding, attention, MLP và LM head, không bỏ qua một số đoạn để dùng độ chính xác cao hơn
  • Cả hai mô hình đều đa phương thức, vision tower được cung cấp ở định dạng 4-bit đã nén, cho phép xử lý ảnh chụp màn hình, tài liệu và đầu vào camera ngay trên thiết bị
  • Hỗ trợ tối đa ngữ cảnh 262K token
  • Có thể dùng speculative decoding, một phương thức tăng tốc không mất mát bằng cách tạo bản nháp rồi xác minh
  • Trọng số mô hình được cung cấp theo Apache 2.0 License

Hiệu năng duy trì trên 15 benchmark

  • Ở chế độ tư duy, vốn sử dụng toàn bộ năng lực suy luận của mô hình, nhóm đánh giá 15 benchmark bao quát kiến thức, suy luận, toán, lập trình, tuân thủ chỉ dẫn, gọi công cụ và thị giác
  • Qwen3.6 27B độ chính xác đầy đủ đạt điểm tổng hợp 85,0; Ternary Bonsai 27B đạt 80,5; 1-bit Bonsai 27B đạt 76,1
    • Mô hình Ternary giữ được 95% hiệu năng so với bản độ chính xác đầy đủ
    • Mô hình 1-bit giữ được 90% hiệu năng chuẩn
  • Điểm theo từng lĩnh vực như sau
    • Toán — GSM8K, MATH-500, AIME25, AIME26: độ chính xác đầy đủ 95,3, Ternary 93,4, 1-bit 91,7
    • Lập trình — HumanEval+, MBPP+, LiveCodeBench: độ chính xác đầy đủ 88,7, Ternary 86,0, 1-bit 81,9
    • Agent·gọi công cụ — BFCL v3, TauBench: độ chính xác đầy đủ 80,0, Ternary 74,0, 1-bit 66,0
    • Tuân thủ chỉ dẫn — IFEval, IFBench: độ chính xác đầy đủ 78,4, Ternary 71,8, 1-bit 65,8
    • Kiến thức·STEM — MMLU-Redux, MuSR: độ chính xác đầy đủ 83,1, Ternary 77,0, 1-bit 73,4
    • Thị giác — MMMU Pro, OCRBench: độ chính xác đầy đủ 72,6, Ternary 65,2, 1-bit 59,6
  • Toán và lập trình có mức suy giảm hiệu năng tương đối nhỏ, còn hiệu năng gọi công cụ của mô hình Ternary cũng duy trì gần mức độ chính xác đầy đủ
  • Bản build bit thấp phổ thông mạnh tay nhất áp dụng cho cùng mô hình nền dùng nhiều bộ nhớ hơn 1-bit Bonsai 27B 2,5 lần nhưng lại có điểm thấp hơn

Mật độ trí tuệ trên mỗi gigabyte

  • 1-bit Bonsai 27B cung cấp hiệu năng cấp 27B với dung lượng nhỏ hơn một mô hình 2B độ chính xác đầy đủ
  • Theo thước đo mật độ trí tuệ mà PrismML đã giới thiệu với 1-bit Bonsai 8B, 1-bit Bonsai 27B đạt 0,53 trên mỗi GB
    • Cao hơn hơn 10 lần so với chuẩn độ chính xác đầy đủ
    • Cao hơn khoảng 2,7 lần so với lựa chọn bit thấp tốt nhất hiện có
  • Theo cách phân loại này, năng lực tuyệt đối của mô hình quyết định những tác vụ có thể thực hiện, còn mật độ trí tuệ chi phối thiết bị và môi trường có thể chạy các tác vụ đó

Đưa các tác vụ agent kéo dài về chạy cục bộ

  • Tác vụ AI đang chuyển từ phản hồi đơn lẻ sang tác vụ kéo dài, như trợ lý dùng công cụ thật, workflow tự vận hành, hoặc nghiên cứu tổng hợp hàng chục tài liệu
  • Agent gọi mô hình không chỉ một lần mà hàng trăm lần, truyền ngữ cảnh ở mỗi bước, tạo đầu ra có cấu trúc rồi dùng làm đầu vào cho bước tiếp theo
  • Cloud API vẫn phù hợp với nhiều sản phẩm, nhưng nếu chỉ chạy tác vụ agent trên cloud sẽ tạo ra các ràng buộc mang tính cấu trúc
    • Mọi bước đều được xử lý như yêu cầu từ xa
    • Chi phí token tích lũy qua mỗi vòng lặp
    • Không chỉ kế hoạch, lời gọi công cụ và kết quả trung gian, mà cả file cá nhân, màn hình và dữ liệu của người dùng cũng đi qua mạng
  • Khi chạy một mô hình đủ năng lực trên thiết bị, có thể đặt agent bên trong sản phẩm
    • Không phát sinh chi phí gọi mô hình bổ sung ngay cả với vòng lặp 100 bước
    • Dữ liệu người dùng không rời khỏi thiết bị
    • Có thể triển khai agent on-device kéo dài, trợ lý offline và trợ lý trực tiếp xử lý dữ liệu cục bộ riêng tư
  • Bằng kiến trúc hybrid, gửi các tác vụ nhạy cảm hoặc không cần hiệu năng frontier cho mô hình cục bộ và chỉ giao các bước khó nhất cho mô hình cloud, có thể giảm chi phí trên mỗi tác vụ của hệ thống agent

Tốc độ chạy và giới hạn bộ nhớ trên điện thoại

  • Tốc độ sinh tối đa đo trên NVIDIA GeForce RTX 5090 như sau
    • Mô hình 1-bit: 163 tok/s
    • Mô hình Ternary: 134 tok/s
  • Tốc độ sinh tối đa đo trên M5 Max như sau
    • Mô hình 1-bit: 87 tok/s
    • Mô hình Ternary: 58 tok/s
  • Ứng dụng điện thoại không thể dùng toàn bộ bộ nhớ của thiết bị; ngay cả trên iPhone 12GB, bộ nhớ mà mô hình có thể sử dụng chỉ khoảng 6GB
  • Ngân sách này phải chứa không chỉ trọng số mô hình mà cả KV cache và activation, nên chỉ giảm kích thước file lưu trữ là chưa đủ
  • 1-bit Bonsai 27B khoảng 4GB đáp ứng giới hạn bộ nhớ này trong khi vẫn chừa khoảng trống cần thiết cho tác vụ
  • Demo agent đa phương thức trên iPhone 17 Pro Max chạy ở chế độ demo dùng cache và ngữ cảnh hình ảnh được nạp sẵn

Nền tảng hỗ trợ và cách triển khai

  • Trên thiết bị Apple, mô hình chạy native trên Mac, iPhone và iPad thông qua MLX
  • Trên GPU NVIDIA, mô hình dùng CUDA
  • Cả hai nền tảng đều tận dụng các kernel bit thấp tùy chỉnh được xây dựng cho kiến trúc attention hybrid
  • Trong thời gian giới hạn, cung cấp API developer preview miễn phí để nhà phát triển thử nghiệm mô hình
  • Chi tiết kỹ thuật đầy đủ về quá trình nén, đánh giá và benchmarking có trong whitepaper Bonsai 27B

Mô hình lớn hơn và kiến trúc mới

  • Bonsai 27B thu nhỏ các khả năng của mô hình hiện đại, bao gồm tư duy, hiểu đa phương thức, thị giác và dùng công cụ, xuống kích thước có thể chạy trên thiết bị mà người dùng phổ thông sở hữu
  • Phương pháp nén không phụ thuộc vào một kiến trúc cụ thể, và PrismML đang phát triển các mô hình lớn hơn và kiến trúc mới
  • Khi mật độ trí tuệ tăng lên, phạm vi thiết bị, sản phẩm và môi trường có thể chạy AI nâng cao sẽ mở rộng từ điện thoại tới máy chủ một GPU

Bài viết liên quan

1 bình luận

 
GN⁺ 4 giờ trước
Ý kiến trên Hacker News

  • Đối tượng mình muốn so sánh nhất là phiên bản QAT 4-bit của Gemma 4 12B. Nó chưa tới 7GB, chỉ lớn hơn mô hình này một chút, chạy được trên hầu hết thiết bị hiện đại và thông minh đáng kinh ngạc so với kích thước
    Khả năng sử dụng công cụ rất tốt, hiệu năng thị giác cũng ấn tượng so với kích thước. Vẫn đang tìm hiểu xem khi hạ độ chính xác từng nấc thì mất bao nhiêu hiệu năng, nhưng các phiên bản QAT của Google dường như cho thấy mức suy giảm ở 4-bit là rất nhỏ

    • Nếu đối chiếu chéo các số liệu đã công bố với kết quả của Gemma, mô hình này vượt xa Gemma 4 12B ở toán học và lập trình, hơi kém hơn về kiến thức và gọi công cụ, còn các tác vụ thị giác thì kém khá nhiều
    • Giá mà họ cũng làm một phiên bản nhị phân 1-bit của Gemma 4 12B ;)
    • Với nhiều họ mô hình, 4-bit là điểm ranh giới, nhưng còn tùy vào việc lượng tử hóa 4-bit cái gì: trọng số–trọng số, giá trị kích hoạt hay KV cache. Nó cũng phụ thuộc vào kích thước mô hình và tác vụ, nên lượng tử hóa có nhiều điểm tinh tế hơn người ta tưởng
      Một tài liệu đánh giá tốt từ năm 2024 là https://arxiv.org/pdf/2402.18158. Mình không phải tác giả gốc nhưng hiện đang chuẩn bị bản cập nhật, và vì chưa thực sự khảo sát tài liệu nghiêm túc nên muốn biết liệu có ai biết các khảo sát tương tự không

  • Nhìn từ góc độ nhà đầu tư, đây là một chuyển dịch mô hình thực sự. Hàng loạt startup châu Âu cung cấp lớp bọc quanh các mô hình lớn được hosting, quảng bá bằng quyền riêng tư, có thể biến mất
    Nếu có thể chạy mọi thứ trực tiếp trên laptop, chẳng còn lý do gì để dùng các công ty kiểu “Privacy GPT™”. Ngân hàng hay các ngành chịu quản lý khác cũng có thể tự hosting mức trí tuệ này, nên không còn cần phụ thuộc vào các công ty đó

  • Cần ai đó giúp mình hiểu. Mình hiểu điểm cốt lõi ở đây là nhờ lượng tử hóa, họ giảm 50GB xuống 4GB trong khi vẫn giữ lại phần lớn trí tuệ trong vùng tối ưu Pareto, rồi so sánh trí tuệ theo kích thước với các mô hình lượng tử hóa khác. Tuy nhiên, có vẻ hiệu năng gọi công cụ, vốn cũng là vấn đề ở các mô hình nhỏ khác, bị tổn hại nặng nhất
    Mô hình này so với các mô hình 4GB gần đây khác thì thế nào? Làm sao biết nó thực sự giữ lại trí tuệ của mô hình cha, hay chỉ được tinh chỉnh theo benchmark?
    Mình không có ý chê bai, thật sự mong đây là một kết quả đáng kinh ngạc, nhưng với hiểu biết hạn chế của mình thì có vẻ thiếu biểu đồ so sánh công bằng, còn biểu đồ hiện có cũng dễ gây hiểu lầm. Mong ai đó giải thích chỗ mình hiểu sai

    • Mình hiểu PrismML không lượng tử hóa theo kiểu thông thường là cắt bớt bit của một mô hình được huấn luyện FP16 để giảm VRAM, mà là huấn luyện với trọng số 1-bit ngay từ đầu
      Bài viết có nói chi tiết hơn, chẳng hạn dùng các kỹ thuật như đặt một trọng số FP16 cho mỗi khối 128 trọng số 1-bit để chứa nhiều thông tin hơn

  • Có tin Apple đang đàm phán với PrismML: https://www.cnbc.com/2026/07/14/apple-prismml-ai-compression...

    • Nội dung này do chính CEO PrismML Babak Hassibi nói trực tiếp với CNBC, nên hoặc là nói dối, hoặc là đã tự tay chấm dứt khả năng đạt được quan hệ hợp tác bằng cách rò rỉ tin đàm phán

  • Có thể là bắt bẻ nhỏ, nhưng món ăn mà mô hình đề xuất trong bản demo trông không ngon lắm, và tính toán dinh dưỡng đa lượng dường như cũng sai hoàn toàn. “Mì spaghetti, cà rốt, ớt chuông, tỏi, thảo mộc” mà có 25g protein sao?

    • Spaghetti ngon có tỷ lệ protein 15%, tức 15g trên 100g, và ngay cả sản phẩm chất lượng thấp nhất cũng có ít nhất 12g trên 100g
    • Cá nhân mình không thích cà rốt lắm nhưng cũng không đến mức trông dở. Nếu có sốt cà chua thì sẽ ngon hơn nhiều, nhưng có vẻ trong ảnh được cung cấp không có lựa chọn đó
      25g protein có thể là giả định đó là pasta giàu protein như làm từ đậu gà, nhưng rõ ràng con số này có vẻ sai
    • 200g spaghetti thực ra có khoảng 25g protein
    • Mình không hiểu vì sao phải xử lý một câu hỏi bình thường như vậy bằng AI trên điện thoại. Việc này không cần AI, chứ đừng nói AI cục bộ; từ lâu chỉ cần tìm Google cơ bản là đủ
      Để AI kích thước điện thoại trở nên hữu ích, nó phải xử lý được những việc chỉ AI mới làm được. Nó có nhận tài liệu được quét bằng camera điện thoại không? Có dịch theo thời gian thực không? Lời khuyên công thức nấu ăn đã được giải quyết dư thừa bằng các cách khác rồi, chẳng có lý do gì phải hỏi nó

  • Mô hình đang được đăng lên Hugging Face tại https://huggingface.co/prism-ml/models
    Tôi đã thử lần lượt các mô hình GGUF và MLX trong LM Studio nhưng cả hai đều không chạy. Có thể LM Studio cần nâng cấp llama.cpp hoặc engine MLX trước; không biết đã có ai chạy thành công chưa

    • Mô hình trước đó chạy trên https://github.com/PrismML-Eng/llama.cpp, custom fork của llama.cpp từ PrismML. Tôi chưa thử mô hình lần này, nhưng dự định sẽ dành thời gian benchmark trong tuần này
      Nghe nói mainline llama.cpp cũng đã có patch cho backend Metal và CPU, nên nếu có Mac hoặc CPU đủ nhanh cùng đủ bộ nhớ thì có lẽ chỉ cần dùng llama.cpp bản mới nhất là được
    • Tùy mô hình muốn chạy, có thể cần custom fork; chi tiết có tại https://github.com/PrismML-Eng/Bonsai-demo/blob/main/README....
    • Tôi không biết có cách nào chạy fork llama.cpp của PrismML bên trong LM Studio hay không
      Bản fork tự thân chạy tốt, nhưng trong một bài test đơn giản, mô hình bị sa vào vòng lặp suy luận rất nặng. Cũng có thể là cùng vấn đề xảy ra khi đặt reasoning effort quá cao
      Trên M1 Max, MoE Qwen 3.6 và Gemma 4 vẫn có vẻ là lựa chọn tốt nhất. Tôi cũng không chắc về tuyên bố rằng 35B thực sự tệ hơn; trong môi trường sử dụng của tôi, nó ít bị rơi vào vòng lặp suy luận hơn 27B rất nhiều
    • Tôi đã tải hai mô hình chính thức trong LM Studio, cả hai đều 3,6GB, nhưng không mô hình nào load được
    • Trên Unsloth cũng chưa chạy được, nhưng khi loạt cập nhật tiếp theo ra mắt thì khả năng cao sẽ được sửa trong vòng một hoặc hai ngày

  • Tuyệt! Tôi đã chờ việc mở rộng quy mô các mô hình ternary hơn một năm rồi[1]. Qwen 27B thông thường quá nặng để chạy ở tốc độ hợp lý trên phần cứng local, nên tôi rất háo hức muốn tự dùng thử
    [1] https://jackson.dev/post/dont-sleep-on-bitnet/

    • Tôi cũng vậy. Rất kỳ vọng vì đây có thể là mô hình dùng ổn trên laptop 16GB

  • Đạt được 90% hiệu năng bằng mô hình 1-bit trước hết là một kết quả đáng kinh ngạc
    Nhưng trong 2 tuần qua, đây đã là lần công bố sản phẩm thứ năm, và lần nào cũng tuyên bố rằng cách sử dụng AI đang thay đổi, còn sự đánh đổi của riêng họ là lời giải hoàn hảo. Chuyển dịch mô hình không diễn ra trong các bài thông cáo ra mắt sản phẩm
    Tôi tự hỏi liệu việc làm cho mọi bài viết ra mắt nghe như một cuộc chuyển dịch mô hình có phải là một kiểu văn phong đặc trưng của AI hay không

    • Mọi thông báo công nghệ đều như vậy. Bất kể thực tế ra sao, người làm marketing vẫn cứ marketing thôi

  • Ngay cả ở độ dài ngữ cảnh đầy đủ, mức dùng bộ nhớ KV cache trông cũng thấp đáng kinh ngạc. Nhờ vậy, nó có thể đặc biệt hữu ích cho quy trình coding đa tác nhân
    Mong rằng các bài công bố và demo mô hình mới sẽ đề cập rõ hơn đến mức dùng bộ nhớ KV cache và các tối ưu hóa liên quan

    • Nếu lượng tử hóa KV cache thì attention và khả năng nhớ lại sẽ kém đi, kéo theo các tác vụ văn bản dài cũng bị ảnh hưởng. Mỗi dòng mô hình và kích thước chịu được lượng tử hóa ở từng phần khác nhau ở mức khác nhau, và điều đó cũng phụ thuộc vào tác vụ mục tiêu

  • Điều tôi biết hôm nay: mô hình 1-bit thực ra là mô hình 1,58-bit dùng ba giá trị +1, 0, -1

    • Ở đây có hai biến thể. Nói đùa thì tức là họ đặt giá trị của bit rất lớn
      Ternary Bonsai 27B dùng trọng số tam phân {-1, 0, +1} và scaling theo nhóm FP16, nên số bit hiệu dụng trên mỗi trọng số là 1,71 bit. 1-bit Bonsai 27B dùng trọng số nhị phân {-1, +1} và cùng kiểu scaling theo nhóm, nên số bit hiệu dụng trên mỗi trọng số là 1,125 bit
    • Nếu tính theo cách thực dụng nhất là nhét 5 chữ số 3 trạng thái vào 1 byte thì là 1,6 bit. Nhưng trên thực tế thường gom 4 chữ số 4 trạng thái lại với nhau
    • Đây là một quy ước đáng tiếc bắt đầu từ mô hình ‘1-bit’ đầu tiên. Tuy vậy Bonsai có cả phiên bản tam phân lẫn phiên bản 1-bit thực sự