Microsoft phát triển BitNet, mô hình AI siêu hiệu quả có thể chạy trên CPU

• Các nhà nghiên cứu Microsoft đã phát triển BitNet b1.58 2B4T, một mô hình AI siêu hiệu quả
• Thông qua lượng tử hóa 1 bit, mô hình đạt được tốc độ cao và mức dùng bộ nhớ thấp, nên có thể chạy cả trên CPU, đồng thời được phát hành theo giấy phép MIT
• Mô hình có thể chạy trên cả CPU như Apple M2 và hoạt động không cần GPU
• Với 2 tỷ tham số, BitNet b1.58 2B4T cho hiệu năng vượt trội hơn các mô hình của Meta, Google, Alibaba
• Tuy vậy, mô hình phải dùng framework bitnet.cpp của Microsoft, và vấn đề tương thích với GPU vẫn còn tồn tại

---

BitNet b1.58 2B4T, mô hình AI 1 bit siêu nhẹ của Microsoft

Khái niệm về mô hình siêu nhẹ BitNet

• BitNet là mô hình AI áp dụng lượng tử hóa 1 bit, biểu diễn tham số chỉ bằng ba giá trị -1, 0, 1
• Các mô hình lượng tử hóa hiện nay thường được biểu diễn bằng 8 bit hoặc 4 bit, nhưng BitNet chỉ dùng 1 bit nên có hiệu quả bộ nhớ vượt trội
• Cách tiếp cận này mang lại lợi thế lớn trên phần cứng cấu hình thấp, đặc biệt là môi trường CPU không có GPU

Đặc điểm của BitNet b1.58 2B4T

• Số lượng tham số: 2 tỷ
• Dữ liệu huấn luyện: 4 nghìn tỷ token (xấp xỉ 33 triệu cuốn sách)
• Được mã nguồn mở theo giấy phép MIT
• Có thể chạy trên các CPU phổ thông như Apple M2 CPU

So sánh hiệu năng và kết quả benchmark

• BitNet b1.58 2B4T cho thấy hiệu năng tốt hơn trong một số benchmark so với các mô hình sau:
  • Meta Llama 3.2 1B
  • Google Gemma 3 1B
  • Alibaba Qwen 2.5 1.5B
• Các benchmark chính được sử dụng:
  • GSM8K: đánh giá bài toán toán học ở cấp tiểu học
  • PIQA: đánh giá năng lực suy luận thường thức vật lý
• Tốc độ nhanh gấp đôi trong một số bài test, trong khi mức dùng bộ nhớ thấp hơn rõ rệt

Hạn chế và vấn đề tương thích

• Hiệu năng của BitNet phụ thuộc vào bitnet.cpp, framework chuyên dụng của Microsoft
• bitnet.cpp hiện chỉ hỗ trợ một số CPU nhất định và chưa hỗ trợ GPU
• Vì vậy, thiếu khả năng tương thích với môi trường GPU, vốn là tiêu chuẩn trong hạ tầng AI, được xem là một nhược điểm

[cartwheel8815]

> BitNet là mô hình AI áp dụng lượng tử hóa 1 bit, biểu diễn tham số chỉ bằng ba giá trị -1, 0, 1.

Có 3 giá trị mà lại là 1 bit? Thấy lạ nên tôi đọc thử vài bình luận trên HN,

> https://compilade.net/blog/ternary-packing

Thay vì dùng 8 bit để biểu diễn 2 giá trị trong mỗi byte, nó dùng 5 chữ số ternary để biểu diễn 3 giá trị, nên nói chính xác thì đây không phải là mô hình 1 bit mà là mô hình log(3) / log(2) = 1.5849... bit. Nhìn vào việc tên mô hình có b1.58 thì có vẻ cách hiểu này là đúng.

[cartwheel8815]

Có vẻ cần sửa ở dòng thứ 4: 2억 개의 파라미터를 -> 20억 개의 파라미터를.

[GN⁺]

Ý kiến trên Hacker News

• BitNet của Microsoft tiết kiệm chi phí hơn về độ trễ, bộ nhớ, thông lượng và mức tiêu thụ năng lượng, trong khi vẫn dùng cùng kích thước mô hình và số token huấn luyện như các Transformer LLM có độ chính xác như FP16 hoặc BF16
  • Có thể tìm thêm thông tin qua liên kết GitHub và bài báo trên arXiv
• "Số lượng tham số" của mô hình AI giống như "GHz" của mô hình AI
  • Tất cả các mô hình được so sánh đều có 1-2 tỷ tham số, nhưng kích thước thực tế có thể chênh lệch hơn 10 lần
• Hầu hết các LLM miễn phí đều có thể chạy trên CPU
  • Ở đây người ta đang tuyên bố rằng mô hình này chạy trên CPU đủ nhanh để hữu ích
  • Không rõ tốc độ chạy trên GPU nên khó chắc chắn mức độ chính xác của tuyên bố này
• Mô hình BitNet b1.58 2B4T nhanh hơn các mô hình khác cùng cỡ và dùng ít bộ nhớ hơn
  • Kích thước mô hình là hơn 1GB, và có nhiều mô hình 1-2GB cũng chạy tốt trên CPU hiện đại
• NVidia đang gấp rút khóa chặt ở tầng phần mềm thông qua CUDA
  • Nếu không, cổ phiếu của hãng có thể đi theo con đường của Zoom
• Họ gọi là "1-bit" nhưng thực tế lại dùng {-1, 0, 1}
  • Điểm này có thể gây nhầm lẫn
• Có người thắc mắc liệu đã có thư viện nào để chưng cất các mô hình lớn hơn sang BitNet hay chưa
• Mô hình được phát hành công khai theo giấy phép MIT và có thể chạy trên CPU, bao gồm cả Apple M2
  • M2 vốn đã có thể dễ dàng chạy các mô hình LLama và Mistral 7GB hoặc 13GB
• Dòng chip M và MacBook quá phổ biến nên có thể khiến người ta quên mất CPU phổ thông (i3 hoặc i5) thực sự yếu đến mức nào
• Cuộc chiến giá cả sẽ còn tiếp tục chạm đáy
• Đây là công nghệ đã hơn 1 năm tuổi, nhưng không phải ai cũng chuyển sang nó
  • Nếu xem xét lý do, có thể thấy công nghệ này thực sự ảnh hưởng đến các chỉ số, và một số chỉ số bị ảnh hưởng nhiều hơn những chỉ số khác
  • Đây không phải là lời giải vạn năng

[cartwheel8815]

Dòng 4 비교된 모든 모델은 1-2억 개의 -> Tất cả các mô hình được so sánh đều có 1-2 tỷ tham số
Bản dịch của billion đang bị sai.