Gemma 2: Cải tiến các mô hình ngôn ngữ mở có kích thước thực dụng [PDF]

(storage.googleapis.com)

1 điểm bởi GN⁺ 2024-06-28 | 1 bình luận | Chia sẻ qua WhatsApp

Gemma 2 của Google DeepMind là dòng mô hình mở nhẹ ở quy mô 2B·9B·27B, được công bố với mục tiêu đạt hiệu năng có thể cạnh tranh với các mô hình lớn hơn ngay cả ở kích thước nhỏ
2B và 9B áp dụng chưng cất tri thức thay vì dự đoán token kế tiếp, còn 27B được huấn luyện từ đầu, sử dụng chiến lược huấn luyện khác nhau theo từng quy mô
Về kiến trúc, mô hình kết hợp xen kẽ local-global attention, Grouped-Query Attention, logit soft-capping, RMSNorm pre-norm·post-norm để nhắm tới cả hiệu quả lẫn hiệu năng
Dữ liệu huấn luyện chủ yếu là tài liệu web tiếng Anh, mã nguồn và tài liệu khoa học; đây không phải là mô hình hướng tới đa phương thức hay hiệu năng đa ngôn ngữ tiên tiến nhất
Trong đánh giá, mô hình đạt hiệu năng cao hơn các mô hình mở cùng quy mô, nhưng trước khi triển khai thực tế cần kiểm thử an toàn theo từng trường hợp sử dụng

Tổng quan mô hình Gemma 2

Gemma 2 là mô hình mở nhẹ mới thuộc dòng Gemma, cung cấp các quy mô tham số 2B, 9B và 27B
Các mô hình 2B và 9B được huấn luyện bằng chưng cất tri thức thay vì dự đoán token kế tiếp
- Sử dụng một mô hình ngôn ngữ lớn làm mô hình giáo viên, để mô hình học sinh học phân phối các token kế tiếp khả dĩ cho mỗi token
- 2B và 9B được huấn luyện chưng cất với số token nhiều hơn hơn 50 lần so với số token tối ưu về mặt tính toán theo lý thuyết
Mô hình 27B được huấn luyện từ đầu cho công việc này
Hiệu năng được cải thiện đáng kể so với các mô hình mở cùng quy mô, và trong một số benchmark cũng như đánh giá của con người, mô hình cho thấy kết quả có thể cạnh tranh với các mô hình lớn hơn 2–3 lần
Trước khi áp dụng thực tế, mọi người dùng cần thực hiện kiểm thử an toàn phù hợp với bối cảnh triển khai hoặc sử dụng

Kiến trúc mô hình và các lựa chọn thiết kế

Gemma 2 sử dụng kiến trúc Transformer chỉ có decoder tương tự Gemma trước đó
Các yếu tố thiết kế chung như sau
- Độ dài ngữ cảnh: 8192 token
- Embedding vị trí RoPE
- Phi tuyến GeGLU
- Tokenizer SentencePiece với 256.128 mục từ vựng
- Sử dụng tied embedding
Các thay đổi kiến trúc chính tập trung vào attention và chuẩn hóa
- Bố trí xen kẽ từng lớp local sliding window attention và global attention
  - Sliding window của local attention là 4096 token
  - Global attention span là 8192 token
- Áp dụng logit soft-capping cho attention layer và final layer
  - soft_cap của self-attention layer là 50.0
  - soft_cap của final layer là 30.0
- Áp dụng RMSNorm cho đầu vào và đầu ra của mỗi Transformer sub-layer, sử dụng cả pre-norm và post-norm
- Grouped-Query Attention được xác nhận qua ablation là lựa chọn giúp tăng tốc suy luận trong khi vẫn giữ được hiệu năng

Dữ liệu huấn luyện và hạ tầng

Số token tiền huấn luyện khác nhau theo quy mô mô hình
- Gemma 2 27B: 13 nghìn tỷ token
- Gemma 2 9B: 8 nghìn tỷ token
- Gemma 2 2B: 2 nghìn tỷ token
Dữ liệu huấn luyện chủ yếu bằng tiếng Anh và gồm nhiều nguồn khác nhau như tài liệu web, mã nguồn, tài liệu khoa học
Mô hình không phải là mô hình đa phương thức và không được huấn luyện riêng với mục tiêu đạt hiệu năng đa ngôn ngữ tiên tiến nhất
Lọc dữ liệu được áp dụng theo cùng cách với Gemma 1
- Giảm các phát ngôn không mong muốn hoặc không an toàn
- Loại bỏ một số thông tin cá nhân và dữ liệu nhạy cảm
- Loại bỏ ô nhiễm tập đánh giá
- Giảm thiểu nguy cơ lặp lại đầu ra nhạy cảm
Hạ tầng huấn luyện dựa trên TPU
- 2B: 512 chip TPUv5e
- 9B: 4096 chip TPUv4
- 27B: 6144 chip TPUv5p
Lượng phát thải carbon của tiền huấn luyện được ước tính là 1247,61 tCO2eq
- Tính toán dựa trên mức sử dụng năng lượng theo giờ của trung tâm dữ liệu TPU
- Tính trung hòa carbon của các trung tâm dữ liệu Google đạt được thông qua hiệu quả năng lượng, mua năng lượng tái tạo và bù trừ carbon

Hậu huấn luyện và định dạng hội thoại

Hậu huấn luyện là quá trình tinh chỉnh mô hình tiền huấn luyện thành mô hình instruction-tuned
Các bước huấn luyện như sau
- Thực hiện SFT bằng các cặp prompt-response synthetic và do con người tạo, chỉ gồm văn bản tiếng Anh
- Áp dụng RLHF bằng reward model được huấn luyện trên dữ liệu sở thích tiếng Anh
- Cải thiện hiệu năng tổng thể bằng cách lấy trung bình các mô hình thu được ở từng giai đoạn
Cách trộn dữ liệu và công thức hậu huấn luyện được chọn dựa trên tiêu chí cải thiện helpfulness, đảm bảo an toàn và giảm thiểu tác hại liên quan đến hallucination
Dữ liệu hậu huấn luyện sau Gemma 1.1 được mở rộng bằng cách trộn dữ liệu nội bộ và dữ liệu công khai bên ngoài
- Với LMSYS-chat-1M, chỉ sử dụng prompt và không sử dụng answer
Nhiều bước lọc được áp dụng cho synthetic data
- Thông tin cá nhân
- Đầu ra mô hình không an toàn hoặc toxic
- Dữ liệu tự nhận dạng sai
- Ví dụ trùng lặp
Gemma 2 dùng cùng control token với Gemma 1, nhưng formatting schema đã thay đổi
- Mô hình xuất rõ ràng token <end_of_turn><eos> ở cuối phần sinh
- Trước đây chỉ sinh <eos>

Chưng cất tri thức và thí nghiệm lựa chọn kiến trúc

Trong so sánh huấn luyện mô hình 2B với 500B token, huấn luyện chưng cất cho hiệu năng cao hơn mô hình huấn luyện từ đầu
- Trung bình 3 benchmark: from scratch 60.3, distilled 67.7
- 500B nhiều hơn 10 lần so với số token tối ưu về mặt tính toán của mô hình 2B
Trong so sánh perplexity kiểm chứng của các mô hình 200M, 400M và 1B, mô hình chưng cất cũng có perplexity thấp hơn
- 200M: from scratch 23, distilled 21
- 400M: from scratch 19, distilled 17
- 1B: from scratch 17, distilled 15
Ở mô hình 9B, chênh lệch hiệu năng giữa GQA và MHA là nhỏ; GQA được chọn vì có ít tham số hơn và nhanh hơn khi suy luận
- Trung bình 4 benchmark: MHA 50.3, GQA 50.8
Với cùng số tham số 9B, kiến trúc sâu cho hiệu năng nhỉnh hơn một chút so với kiến trúc rộng
- Trung bình 4 benchmark: Wide 50.8, Deep 52.0
Khi suy luận, thay đổi kích thước sliding window thành 4096, 2048, 1024 chỉ ảnh hưởng hạn chế đến perplexity
- 4096: 1.63
- 2048: 1.63
- 1024: 1.64

Kết quả benchmark tự động

Mô hình tiền huấn luyện 27B được so sánh với Qwen1.5 32B và LLaMA-3 70B trong đánh giá HuggingFace
- MMLU: Gemma-2 27B 75.2, Qwen1.5 32B 74.3, LLaMA-3 70B 79.2
- GSM8K: Gemma-2 27B 74.0, Qwen1.5 32B 61.1, LLaMA-3 70B 76.9
- ARC-c: Gemma-2 27B 71.4, Qwen1.5 32B 63.6, LLaMA-3 70B 68.8
- HellaSwag: Gemma-2 27B 86.4, Qwen1.5 32B 85.0, LLaMA-3 70B 88.0
- Winogrande: Gemma-2 27B 83.7, Qwen1.5 32B 81.5, LLaMA-3 70B 85.3
Các mô hình 2B và 9B cũng cải thiện lớn so với các mô hình Gemma trước đó
- Mô hình 9B cải thiện tối đa 10% so với phiên bản trước trên một số benchmark
- Gemma 2 2B được huấn luyện với số token tương tự Gemma 1 2B nhưng hiệu năng tăng lên
Trung bình tổng thể trên nhiều benchmark như sau
- Gemma 1 2B: 44.2
- Gemma 2 2B: 48.7
- Gemma 1 7B: 57.9
- Gemma 2 9B: 64.9
- Gemma 2 27B: 69.4

Đánh giá của con người và Chatbot Arena

Mô hình instruction-tuned Gemma 2 được đánh giá theo phương thức blind side-by-side trên LMSYS Chatbot Arena
Điểm Elo như sau
- gemma-2-27b-it: 1218
- gemma-2-9b-it: 1187
- gemma-2-2b-it: 1126
Kết quả so sánh cho thấy tính cạnh tranh so với kích thước mô hình
- gemma-2-27b-it cao hơn llama-3-70b-instruct Elo 1206
- gemma-2-9b-it tương tự gpt-4-0314 Elo 1186
- gemma-2-2b-it cao hơn gpt-3.5-turbo-0613 Elo 1116
Trong đánh giá sở thích của con người riêng biệt, các held-out single-turn prompt được dùng để đo safety và instruction following
- instruction following: Gemma 1.1 IT 7B 24.3%, Gemma 2 IT 2B 26.5%, 9B 34.1%, 27B 37.7%
- safety: Gemma 1.1 IT 7B 42.8%, Gemma 2 IT 2B 57.5%, 9B 57.8%, 27B 55%
Đánh giá multi-turn được thực hiện với 500 held-out scenario và trung bình 8.4 user turn
- Mức độ hài lòng của người dùng: Gemma 1.1 IT 7B 3.32, Gemma 2 IT 2B 3.64, 9B 4.04, 27B 4.20
- Hoàn thành mục tiêu hội thoại: Gemma 1.1 IT 7B 3.36, Gemma 2 IT 2B 3.88, 9B 4.08, 27B 4.24

Ghi nhớ và thông tin cá nhân

Các mô hình ngôn ngữ lớn trong một số điều kiện có thể xuất nguyên văn dữ liệu huấn luyện, nên Gemma 2 được đánh giá về verbatim và approximate memorization
Đánh giá được thực hiện bằng cách đưa prompt 50 token và đo khả năng ghi nhớ 50 token từ dữ liệu huấn luyện
- Theo tiêu chí exact match
- Theo tiêu chí approximate match sử dụng edit distance 10%
Tỷ lệ exact memorization tổng thể của Gemma 2 dưới 0,1%
Theo nguồn dữ liệu, hiện tượng ghi nhớ xuất hiện nhiều hơn ở mã nguồn, wiki và nguồn khoa học, nhưng nhìn chung ở mức thấp hơn Gemma 1
Đánh giá thông tin cá nhân sử dụng Google Cloud Sensitive Data Protection Tool
- Không phát hiện trường hợp xuất thông tin cá nhân mức độ nghiêm trọng cao
- Tỷ lệ dữ liệu ghi nhớ chứa thông tin cá nhân mức độ nghiêm trọng thấp được đo là 0,00026%
- Công cụ tự động không xét đến ngữ cảnh nên có thể phát sinh false positive, và kết quả có khả năng đã bị ước tính cao hơn thực tế

Triển khai có trách nhiệm và an toàn

Việc phát triển Gemma 2 áp dụng ba trụ cột: giảm thiểu rủi ro an toàn trong huấn luyện, đánh giá mô hình minh bạch và phát triển Responsible Generative AI Toolkit
Các mô hình công khai có thể lan tỏa lợi ích của công nghệ AI, nhưng cũng cần đánh giá đồng thời các nguy cơ bị lạm dụng như ảnh deepfake, thông tin sai lệch do AI tạo, hoặc tạo nội dung bất hợp pháp hay disturbing material
Chưa nhận được báo cáo sử dụng Gemma với mục đích xấu, nhưng nếu có báo cáo liên quan, nhóm sẽ điều tra và tiếp tục giám sát cùng cộng đồng
Xét tới việc đã tồn tại các mô hình công khai lớn hơn và mạnh hơn, tác động của Gemma 2 lên toàn cảnh rủi ro được đánh giá là nhỏ
Chính sách an toàn được thiết kế theo cùng định hướng với các mô hình Gemini nhằm ngăn tạo harmful content
- Lạm dụng và bóc lột tình dục trẻ em
- Tiết lộ thông tin cá nhân có thể dẫn đến tổn hại
- Phát ngôn thù ghét và quấy rối
- Nội dung nguy hiểm hoặc ác ý
- Nội dung khiêu dâm rõ ràng
- Lời khuyên y tế trái với đồng thuận khoa học·y khoa
Các mô hình instruction-tuned được điều chỉnh thông qua SFT và RLHF để tránh xa các hành vi không mong muốn

1 bình luận

GN⁺ 2024-06-28

Ý kiến trên Hacker News

Phiên bản 27B rất mạnh
Nó đạt điểm cao hơn Llama-3-70B trên LMSys Chatbot Arena và ở mức OpenAI GPT-4 cũng như Claude-3 Sonnet
- Nếu muốn đánh giá Gemma trên máy cục bộ, có thể làm khá dễ bằng ollama và promptfoo
```
prompts:
- 'Answer this coding problem in Python: {{ask}}'

providers:
- ollama:chat:gemma2:9b
- ollama:chat:llama3:8b

tests:
- vars:  
ask: function to find the nth fibonacci number
- vars:  
ask: calculate pi to the nth digit
- # ...  
```
  Một điểm nhỏ mà tôi luôn thích ở Gemma là nó đi thẳng vào code, không mở đầu kiểu "Sure, I can help you", rồi mới thêm phần giải thích phía sau
  Có vẻ quá trình huấn luyện tập trung vào cấu trúc phản hồi và tính dễ hiểu
  Ngoài ra, tốt hơn là chạy các đánh giá không dựa vào việc học thuộc đơn thuần code công khai, nên hãy thử đổi sang bài kiểm thử cá nhân
  
  [0] https://ollama.com/library/gemma2
  
  [1] https://github.com/promptfoo/promptfoo
- Trước khi bị cuốn theo kỳ vọng quá mức, tôi khuyên nên tự kiểm thử và chờ đến khi điểm Chatbot Arena ổn định
  Trong đánh giá cá nhân của tôi, gemma-2-27b-it trên AI Studio kém hơn Llama 3 70B khá nhiều, đặc biệt chênh lệch lớn ở suy luận và các câu hỏi về hiểu biết thế giới cơ bản
- Dù thấy hơi muộn, nhưng ghi lại để tham khảo: các mô hình Gemma 2 có vẻ đã được học tăng cường để tối ưu hiệu năng trên Chat Arena: https://x.com/natolambert/status/1806384821826109597
  Phần liên quan trong bài báo đã được nhấn mạnh
- Tôi tò mò điểm mạnh nổi bật nhất là gì
  Các mô hình nhỏ thường làm tốt trên benchmark nhưng thất bại ở khả năng khái quát hóa, và tôi nhớ đến Phi-2
- Có vẻ là ảnh hưởng từ việc dữ liệu huấn luyện cho các ngôn ngữ ngoài tiếng Anh đã tốt hơn
  Với các prompt tiếng Anh khó, nó thấp hơn Llama-3-70B 15 ELO; với tiếng Anh thông thường thì thấp hơn 41 ELO
  Cái sau thực ra có ý nghĩa thống kê
Xin chào lần nữa từ đội Gemma
Chúng tôi rất vui khi phát hành bản này, và nếu có câu hỏi thì tôi sẽ trả lời
Ý kiến là quan điểm cá nhân, không phải lập trường của Google DeepMind
- Với OpenAI hay Mistral, việc trả tiền và dùng API tương đối dễ
  Ngược lại, việc hiểu Google Cloud Vertex hoạt động và tính phí ra sao phức tạp hơn; Azure và AWS cũng phức tạp tương tự khi dùng cho mục đích này
  Sẽ rất tốt nếu Google Cloud cung cấp API và dịch vụ tương thích OpenAI
  Tôi biết là khác bộ phận, nhưng như vậy việc dùng mô hình sẽ dễ hơn nhiều
  Google Cloud thường tạo cảm giác như UX hay kiểm thử với người dùng cuối hoàn toàn chưa được làm
  aistudio.google.com chắc chắn đã tốt hơn trước
- Tôi cũng đang làm việc về Gemma tại Google
  Có thể dùng thử 27b tại www.aistudio,google.com, nên hãy nhập các prompt bạn hay dùng và hy vọng bạn thích phản hồi của nó
- Tôi tò mò liệu gemma2 có được cung cấp trong gemma.cpp không: https://github.com/google/gemma.cpp
- Ngữ cảnh sliding window 4k có vẻ là một lựa chọn gây tranh cãi, sau khi Mistral 7B gần như không cho thấy lợi thế nào
  Tôi tò mò vì sao lại chọn cách đó thay vì cứ dùng toàn bộ 8k hoặc 16k
- Các mô hình Google API hỗ trợ hơn 1 triệu token, nhưng những mô hình này chỉ 8K
  Tôi tò mò liệu đây là khác biệt kiến trúc căn bản, khác biệt về tập huấn luyện, hay do lý do khác
Tôi nghĩ 2.6B/9B có lẽ nên được so sánh với Phi-3 mini 3.8B của Microsoft hơn là Mistral hay Llama-3
Nếu so sánh bảng 13 trang 7 của bài báo này với trang 6 của https://arxiv.org/pdf/2404.14219, nhìn chung Phi-3 có vẻ tốt hơn khá nhiều
Tuy vậy, phần báo cáo về huấn luyện chưng cất tri thức thì thú vị
- Cách bài báo và mô hình này so sánh hơi khó chịu
  2.6B chắc sẽ thua xa Phi-3, nên mới không có so sánh
  Nếu nhìn 2.6B và 3.8B là 2,6 so với 3,8 thì có thể không cảm nhận rõ, nhưng nếu nhìn là 2,6 tỷ so với 3,8 tỷ thì đó là khác biệt kích thước khá lớn, nên cũng có thể hiểu được
  Nhưng rồi bắt đầu xuất hiện kiểu thổi phồng số tham số như Mistral 7B so với Llama 8B so với Gemma 9B
  Từ khi Llama 3 chuyển sang 8B, tôi đã lo rằng sẽ xuất hiện xu hướng chơi chữ với số tham số, nhưng lúc đó tôi nghĩ mình lo thừa
- Tôi hiểu lý do so sánh cả Llama 3 70B lẫn Llama 3 8B, vì dải kích thước mô hình khá rộng
  Tôi đồng ý rằng dòng Phi-3 là đối thủ so sánh tốt hơn trong trích xuất/tóm tắt tri thức
  Với các tác vụ kiểu này trên workstation bị giới hạn VRAM, hiện tôi thích nhất Phi-3 medium, tức phi3:14b-instruct
Phiên bản 9B và 27B có trên Ollama: https://ollama.com/library/gemma2
- Mô hình 27B cũng có thể dùng trên AI Studio
  
  https://aistudio.google.com/app/prompts/new_chat?model=gemma...
  
  Cho đến giờ, nó trông khá mạnh so với kích thước
Một bản phát hành tuyệt vời
Nếu muốn dùng thử cục bộ với giao diện tốt, mình vừa cập nhật hỗ trợ Gemma2 cho ứng dụng [1] mình đang làm

1: https://msty.app
- msty trông thật sự ổn
  Mình đã đánh dấu lại để sau xem kỹ hơn liệu nó có thể thay thế cách mình dùng một instance LibreChat tự host cục bộ không
  Với nhiều câu hỏi, dùng mô hình cục bộ thay vì mô hình từ xa có vẻ sẽ là một cải thiện lớn
  
  Tuy nhiên mình thắc mắc liệu có lý do gì khiến msty vẫn được giữ là mã nguồn đóng thay vì mã nguồn mở không
  Mình đã đọc mục "why should I trust msty" trong FAQ nhưng thấy vẫn chưa đủ
  
  We are a small team of developers who are passionate about AI and privacy. We have worked on projects before that have been used by thousands of people such as this (I've never heard of Cleavr). There are real faces (real faces = Twitter account link?) behind the product. And come chat with us on our Discord server to know us better.
  
  Như vậy tốt hơn nhiều so với việc không có bất kỳ dấu hiệu nhận diện nào, nhưng vẫn còn rất xa so với việc có thể đọc mã để xác minh mức độ tin cậy
  Mình muốn nghe lý do vì sao không công khai mã nguồn
  Dù vậy mình vẫn định thử dùng một lần
- Trông hay đấy, nhưng vì là mã nguồn đóng nên mình khá thận trọng
  Trên Arch Linux, khi mình cố lưu khóa API Anthropic thì chẳng có gì xảy ra, và hiện thông báo "If you're experiencing problems saving API keys especially on Linux, contact Discord"
  Nếu đây là vấn đề phổ biến đến vậy thì lẽ ra nên có liên kết tới các cách khắc phục khả dĩ
  Việc phải thêm một server Discord nữa chỉ để thử nghiệm, rồi tìm câu trả lời cho một câu hỏi rõ ràng là đã được hỏi thường xuyên, là một rào cản khá lớn
- Mình đã tải về thử và thấy ổn
  Mình thích chế độ xem chia đôi được đồng bộ
  Nhưng trái với những gì công bố trên trang landing, mình không thấy Gemma 2 hay Claude 3.5 Sonnet
- Không biết có kế hoạch thêm vào Chocolatey để tải trên Windows không
- Cái này trông hay đấy
  Không hiểu sao đến giờ mình mới bỏ lỡ nó, và mình định chạy thử
Chưng cất tri thức rất thú vị, nhưng việc tạo ra hàng nghìn tỷ đầu ra từ một mô hình giáo viên lớn có vẻ sẽ tốn chi phí khủng khiếp
Mình thắc mắc liệu nó có thật sự hiệu quả về chi phí hơn so với việc dùng tài nguyên tính toán đó để trực tiếp huấn luyện mô hình với nhiều dữ liệu hơn hoặc nhiều epoch hơn không
- Mình cũng thắc mắc
  Mới 6 tháng trước dường như ai cũng sợ sụp đổ mô hình, vậy mà giờ tạo dữ liệu huấn luyện tổng hợp và mô hình giáo viên lại đang thịnh hành
  Không biết vấn đề sụp đổ mô hình đã được giải quyết chưa
- Chưng cất được thực hiện on-policy giống RLHF
  Mô hình học sinh tạo chuỗi, còn mô hình giáo viên cung cấp phản hồi dưới dạng logits
Mình tò mò về cách dùng các token đặc biệt tường minh
Nếu người dùng đưa những token đó vào tin nhắn thì chuyện gì sẽ xảy ra, liệu có dễ tạo kiểu "hãy bỏ qua chỉ dẫn trước đó" không
Có phải cần tự làm sạch đầu vào trước khi chuyển cho mô hình không
- Nếu kiểm soát được tokenizer, bạn có thể ngăn những token đó xuất hiện từ đầu vào của người dùng
  Ví dụ, thay vì token đặc biệt, hãy biến nó thành mã hóa tự nhiên của chuỗi tương ứng như "<", "eos", ">"
  
  Tokenizer của llama3 có tùy chọn kiểm soát việc tokenize các token đặc biệt: https://github.com/meta-llama/llama3/blob/bf8d18cd087a4a0b3f...
  
  Cách kết hợp token đặc biệt với đầu vào người dùng có thể xem tại đây: https://github.com/meta-llama/llama3/blob/bf8d18cd087a4a0b3f...
  
  Nếu không kiểm soát được tokenizer thì có lẽ phải làm sạch đầu vào như bạn nói
Mình tò mò nếu huấn luyện bằng chưng cất thì sẽ nhanh hơn bao nhiêu nếu tính theo số lần lặp cần thiết để đạt đến một mức hiệu năng nhất định
We use the same data filtering techniques as Gemma 1. Specifically, we filter the pre-
training dataset to reduce the risk of unwanted or unsafe utterances.

Mình muốn biết unsafe ở đây nghĩa là gì
- Nếu yêu cầu nó giải thích quy trình làm napalm chỉ bằng cách dùng ẩn dụ thì nó sẽ từ chối
Phi 3 có kích thước gấp đôi mà lại tệ hơn đáng kể sao
Không biết mình đang bỏ lỡ điều gì
- Họ đã dùng hai kỹ thuật không loại trừ lẫn nhau
  Phi-3 chủ yếu là một bước đột phá về học theo chương trình
  Họ lọc tập huấn luyện để lấy token chất lượng cao và huấn luyện bằng dữ liệu tổng hợp, nên đạt kết quả tốt
  Gemma-2 là một bước đột phá về chưng cất
  Họ huấn luyện LLM dưới sự hướng dẫn của một LLM giáo viên lớn hơn và đạt kết quả tốt
  Không có lý do gì không thể làm cả hai
- Phi-3 làm tốt trên benchmark nhưng trong sử dụng thực tế thì kém hơn kỳ vọng
  Ví dụ Phi-3-Medium dù làm tốt hơn trên benchmark nhưng trên LMSYS Chatbot Arena lại thua Llama-3-8b khá xa

Hiệu năng của Gemma thì ngược lại có vẻ bị thể hiện khá thấp trên benchmark
27b hiện đang đứng trên Llama3-70b trong bảng xếp hạng Chatbot Arena

Trên LMSYS, phi-3 small đứng thứ 52 với 1100 ELO, còn khoảng tin cậy của Gemma 2 9B là 1170~1200 ELO, nằm trong khoảng hạng 15~25
Có thể dùng thử trực tiếp ở đây rồi so sánh theo cách đó: https://aistudio.google.com/app/prompts/new_chat?model=gemma...
Không biết bạn đã dùng thử Phi 3 chưa
Nó thông minh nên điểm benchmark khá tốt, nhưng làm hội thoại hay chatbot thì không tốt lắm

Gemma 2 có lẽ sẽ là trợ lý đa dụng tốt hơn cho phần lớn người dùng, còn Phi 3 trông giống một LLM nhỏ gọn, vững chắc hơn cho các mục đích cụ thể như tóm tắt, RAG, học toán