Gemma 2: Cải tiến mô hình ngôn ngữ mở với quy mô thực tiễn

Điểm chính:

Gemma 2 là một họ mô hình ngôn ngữ mở mới, nhẹ, tiên tiến hàng đầu với quy mô từ 2 tỷ đến 27 tỷ tham số.
Các mô hình 9 tỷ và 27 tỷ tham số hiện đã có sẵn, còn mô hình 2 tỷ sẽ sớm ra mắt.

Các cải tiến kỹ thuật chính:

• Kết hợp xen kẽ attention cục bộ - toàn cục
• Grouped-Query Attention
• Huấn luyện chưng cất tri thức cho các mô hình nhỏ
  Các mô hình đạt hiệu năng hàng đầu so với kích thước của mình và có sức cạnh tranh với các mô hình lớn hơn 2-3 lần.

Kiến trúc mô hình:

• Kiến trúc transformer chỉ giải mã
• Độ dài ngữ cảnh 8192 token
• Xen kẽ cửa sổ trượt cục bộ (4096 token) với các lớp attention toàn cục
• Grouped-Query Attention (GQA)
• RMSNorm để chuẩn hóa lớp

Huấn luyện:

• Mô hình 27 tỷ được huấn luyện trên 13 nghìn tỷ token
• Mô hình 9 tỷ được huấn luyện trên 8 nghìn tỷ token
• Mô hình 2,6 tỷ được huấn luyện trên 2 nghìn tỷ token
• Nguồn dữ liệu: tài liệu web, mã nguồn, bài báo khoa học
• Sử dụng chưng cất tri thức cho các mô hình 2,6 tỷ và 9 tỷ

Hiệu năng:

• Vượt qua các mô hình mở tương đương trên benchmark
• Có tính cạnh tranh với một số mô hình lớn hơn
• Kết quả mạnh trong các tác vụ hỏi đáp, suy luận, toán học, khoa học và lập trình

An toàn & trách nhiệm:

• Thực hiện kiểm thử an toàn diện rộng và quy trình triển khai có trách nhiệm
• Áp dụng chính sách an toàn và các biện pháp giảm thiểu trong quá trình huấn luyện
• Cung cấp bộ công cụ AI tạo sinh có trách nhiệm cho nhà phát triển

[savvykang]

Liệu sẽ đến lúc có thể chạy LLM chỉ bằng CPU?

[haebom]

Nếu ở mức quanh 20B thì có thể chạy khá ổn chỉ với CPU. Từ 60B trở lên thì sẽ bắt đầu đuối hoặc chạy không tốt. (Huấn luyện lại là một câu chuyện khác.) Hãy thử dùng ollama một lần nhé.

[savvykang]

Tôi hoàn toàn chưa hình dung được yêu cầu cấu hình như thế nào, cảm ơn bạn đã tư vấn. Có vẻ laptop Intel thế hệ 11 vẫn còn quá sức, chắc tôi sẽ phải đưa nó lên máy chủ ảo hóa hoặc làm theo cách nào đó tương tự.

[hhkkkk]

Cài LM Studio là được.

[savvykang]

Lý do tôi nói là hơi quá sức với laptop là vì mức sử dụng CPU chạm 100% trên tất cả các nhân và máy tỏa nhiệt rất nhiều, nên tôi cảm thấy không thoải mái khi dùng. LM Studio có giao diện prompt nên khả năng sử dụng đúng là khá tốt, nhưng có lẽ vẫn không thể đáp ứng được sự mượt mà, dễ chịu khi sử dụng.

[hhkkkk]

Ơ..? Cái đó làm rồi mà;;