Gemma - mô hình mở tiên tiến nhất của Google

xguru · 2024-02-22T09:52:20+09:00

Google tin tưởng vào việc tạo ra AI hữu ích cho mọi người và đã đóng góp nhiều đổi mới cho cộng đồng mở như Transformers, TensorFlow, BERT, T5, JAX, AlphaFold, AlphaCode, v.v. Gemma là một họ mô hình mở, nhẹ và tiên tiến hàng đầu, được xây dựng dựa trên cùng nghiên cứu và công nghệ đã được dùng để tạo ra các mô hình Gemini Được phát triển bởi Google DeepMind và các nhóm khác, lấy cảm hứng từ gemma, từ tiếng Latin có nghĩa là “viên ngọc” Từ hôm nay, có sẵn trên toàn cầu, cùng với trọng số mô hình, các công cụ hỗ trợ đổi mới cho nhà phát triển, thúc đẩy cộng tác và hướng dẫn sử dụng có trách nhiệm các mô hình Gemma Chia sẻ các thành phần công nghệ và hạ tầng với Gemini, nên Gemma 2B và 7B đạt hiệu năng tốt nhất trong tầm kích thước khi so với các mô hình mở khác Có thể chạy trực tiếp trên laptop hoặc máy tính để bàn của nhà phát triển, vượt qua các mô hình lớn hơn nhiều trên những benchmark chính, đồng thời tuân thủ các tiêu chuẩn nghiêm ngặt để cung cấp đầu ra an toàn và có trách nhiệm Cung cấp toolchain cho suy luận và SFT (tinh chỉnh có giám sát) trên mọi framework lớn như JAX, PyTorch, TensorFlow thông qua Native Keras 3.0 Có thể dễ dàng bắt đầu với Gemma nhờ tích hợp với notebook Colab và Kaggle cùng các công cụ phổ biến như Hugging Face, MaxText, NVIDIA NeMo và TensorRT-LLM Các mô hình Gemma đã được pretrain và instruction-tuned có thể được triển khai dễ dàng trên Vertex AI và Google Kubernetes Engine (GKE) để chạy trên notebook, workstation hoặc Google Cloud Đảm bảo hiệu năng hàng đầu ngành nhờ tối ưu hóa cho nhiều nền tảng phần cứng AI, bao gồm NVIDIA GPU và Google Cloud TPU Theo điều khoản sử dụng, cho phép sử dụng và phân phối thương mại cho mọi tổ chức ở mọi quy mô Có trách nhiệm ngay từ khâu thiết kế Gemma được thiết kế với các nguyên tắc AI được ưu tiên hàng đầu, đồng thời sử dụng các kỹ thuật tự động để lọc thông tin cá nhân và dữ liệu nhạy cảm khác khỏi tập huấn luyện Ngoài ra, mô hình còn sử dụng rộng rãi học tăng cường từ phản hồi của con người (RLHF) cho các mô hình đã được tinh chỉnh theo chỉ dẫn để phù hợp với hành vi có trách nhiệm Đã thực hiện các đánh giá mạnh mẽ như red team thủ công, kiểm thử đối kháng tự động và đánh giá năng lực của mô hình đối với các hoạt động nguy hiểm để hiểu và giảm hồ sơ rủi ro của các mô hình Gemma Tối ưu trên nhiều framework, công cụ và phần cứng Các mô hình Gemma có thể được tinh chỉnh trên dữ liệu riêng để phù hợp với yêu cầu ứng dụng cụ thể, đồng thời hỗ trợ nhiều công cụ và hệ thống khác nhau Công cụ đa framework: có thể sử dụng framework ưa thích như Keras 3.0, PyTorch native, JAX và Hugging Face Transformers. Cung cấp implementation tham chiếu Khả năng tương thích đa thiết bị: có thể chạy trên các thiết bị phổ biến, bao gồm laptop, desktop, IoT, di động và cloud Nền tảng phần cứng tiên tiến hàng đầu: thông qua hợp tác với NVIDIA, tối ưu cho NVIDIA GPU từ data center đến cloud và cả máy RTX AI PC cục bộ, bảo đảm hiệu năng hàng đầu ngành và tích hợp với công nghệ tiên tiến Tối ưu trên Google Cloud: sử dụng Vertex AI để cung cấp bộ công cụ MLOps toàn diện và nhiều tùy chọn tuning, đồng thời hỗ trợ triển khai một cú nhấp chuột với tối ưu hóa suy luận tích hợp sẵn Credit miễn phí cho nghiên cứu và phát triển Gemma được xây dựng cho cộng đồng nhà phát triển và nhà nghiên cứu đang thúc đẩy đổi mới AI; bạn có thể bắt đầu làm việc ngay từ hôm nay với quyền truy cập miễn phí trên Kaggle, tầng miễn phí của notebook Colab và khoản credit $300 cho người dùng Google Cloud lần đầu Các nhà nghiên cứu có thể đăng ký tới $500,000 credit Google Cloud để tăng tốc các dự án của mình

(blog.google)

17 điểm bởi xguru 2024-02-22 | 2 bình luận | Chia sẻ qua WhatsApp

Google tin tưởng vào việc tạo ra AI hữu ích cho mọi người và đã đóng góp nhiều đổi mới cho cộng đồng mở như Transformers, TensorFlow, BERT, T5, JAX, AlphaFold, AlphaCode, v.v.
Gemma là một họ mô hình mở, nhẹ và tiên tiến hàng đầu, được xây dựng dựa trên cùng nghiên cứu và công nghệ đã được dùng để tạo ra các mô hình Gemini
- Được phát triển bởi Google DeepMind và các nhóm khác, lấy cảm hứng từ gemma, từ tiếng Latin có nghĩa là “viên ngọc”
Từ hôm nay, có sẵn trên toàn cầu, cùng với trọng số mô hình, các công cụ hỗ trợ đổi mới cho nhà phát triển, thúc đẩy cộng tác và hướng dẫn sử dụng có trách nhiệm các mô hình Gemma
Chia sẻ các thành phần công nghệ và hạ tầng với Gemini, nên Gemma 2B và 7B đạt hiệu năng tốt nhất trong tầm kích thước khi so với các mô hình mở khác
Có thể chạy trực tiếp trên laptop hoặc máy tính để bàn của nhà phát triển, vượt qua các mô hình lớn hơn nhiều trên những benchmark chính, đồng thời tuân thủ các tiêu chuẩn nghiêm ngặt để cung cấp đầu ra an toàn và có trách nhiệm
Cung cấp toolchain cho suy luận và SFT (tinh chỉnh có giám sát) trên mọi framework lớn như JAX, PyTorch, TensorFlow thông qua Native Keras 3.0
Có thể dễ dàng bắt đầu với Gemma nhờ tích hợp với notebook Colab và Kaggle cùng các công cụ phổ biến như Hugging Face, MaxText, NVIDIA NeMo và TensorRT-LLM
Các mô hình Gemma đã được pretrain và instruction-tuned có thể được triển khai dễ dàng trên Vertex AI và Google Kubernetes Engine (GKE) để chạy trên notebook, workstation hoặc Google Cloud
Đảm bảo hiệu năng hàng đầu ngành nhờ tối ưu hóa cho nhiều nền tảng phần cứng AI, bao gồm NVIDIA GPU và Google Cloud TPU
Theo điều khoản sử dụng, cho phép sử dụng và phân phối thương mại cho mọi tổ chức ở mọi quy mô

Có trách nhiệm ngay từ khâu thiết kế

Gemma được thiết kế với các nguyên tắc AI được ưu tiên hàng đầu, đồng thời sử dụng các kỹ thuật tự động để lọc thông tin cá nhân và dữ liệu nhạy cảm khác khỏi tập huấn luyện
Ngoài ra, mô hình còn sử dụng rộng rãi học tăng cường từ phản hồi của con người (RLHF) cho các mô hình đã được tinh chỉnh theo chỉ dẫn để phù hợp với hành vi có trách nhiệm
Đã thực hiện các đánh giá mạnh mẽ như red team thủ công, kiểm thử đối kháng tự động và đánh giá năng lực của mô hình đối với các hoạt động nguy hiểm để hiểu và giảm hồ sơ rủi ro của các mô hình Gemma

Tối ưu trên nhiều framework, công cụ và phần cứng

Các mô hình Gemma có thể được tinh chỉnh trên dữ liệu riêng để phù hợp với yêu cầu ứng dụng cụ thể, đồng thời hỗ trợ nhiều công cụ và hệ thống khác nhau
Công cụ đa framework: có thể sử dụng framework ưa thích như Keras 3.0, PyTorch native, JAX và Hugging Face Transformers. Cung cấp implementation tham chiếu
Khả năng tương thích đa thiết bị: có thể chạy trên các thiết bị phổ biến, bao gồm laptop, desktop, IoT, di động và cloud
Nền tảng phần cứng tiên tiến hàng đầu: thông qua hợp tác với NVIDIA, tối ưu cho NVIDIA GPU từ data center đến cloud và cả máy RTX AI PC cục bộ, bảo đảm hiệu năng hàng đầu ngành và tích hợp với công nghệ tiên tiến
Tối ưu trên Google Cloud: sử dụng Vertex AI để cung cấp bộ công cụ MLOps toàn diện và nhiều tùy chọn tuning, đồng thời hỗ trợ triển khai một cú nhấp chuột với tối ưu hóa suy luận tích hợp sẵn

Credit miễn phí cho nghiên cứu và phát triển

Gemma được xây dựng cho cộng đồng nhà phát triển và nhà nghiên cứu đang thúc đẩy đổi mới AI; bạn có thể bắt đầu làm việc ngay từ hôm nay với quyền truy cập miễn phí trên Kaggle, tầng miễn phí của notebook Colab và khoản credit $300 cho người dùng Google Cloud lần đầu
Các nhà nghiên cứu có thể đăng ký tới $500,000 credit Google Cloud để tăng tốc các dự án của mình

2 bình luận

dodok8 2024-02-22

Giờ thì chỉ có OpenAI là vẫn đóng mà thôi.

xguru 2024-02-22

Ý kiến trên Hacker News

Điểm đáng chú ý trong điều khoản sử dụng Gemma của Google là có một điều khoản yêu cầu người dùng phải nỗ lực hợp lý để sử dụng phiên bản mới nhất của Gemma. Điều này có thể vô hiệu hóa một lợi thế lớn của việc tự vận hành mô hình, đó là được bảo vệ khỏi rủi ro các prompt đã được kiểm thử cẩn thận bị hỏng do cập nhật mô hình, nên đặc biệt không hài lòng với điều khoản này.
Kết quả benchmark của Gemma 7B cho thấy mức độ tương đương với Mistral 7B. Trong các bài kiểm tra như MMLU, HellaSwag, HumanEval, Gemma 7B cho thấy hiệu năng cạnh tranh khi so với Mistral 7B.
Mô hình Gemma có một số điểm khác thường:
- Kích thước hidden của feedforward gấp 16 lần d_model, khác với đa số mô hình thường chỉ gấp 4 lần.
- Kích thước từ vựng là 256K, nhiều gấp 10 lần so với 32K của Mistral.
- Số token huấn luyện là 6T, gấp 3 lần so với 2T của Llama2.
- Ngoài ra còn sử dụng các biến thể transformer kinh điển như MQA, RoPE, RMSNorm.
- Có câu hỏi về kích thước batch là bao nhiêu để mô hình có thể được huấn luyện nhanh như vậy.
Đặt ra nghi vấn liệu có thể nhận được mô hình mà không có "alignment" (dường như ám chỉ tinh chỉnh mang tính ý thức hệ) hay không. Chỉ ra rằng các câu trả lời của Gemini nhiều khi trở nên vô dụng vì kiểu tinh chỉnh mang tính ý thức hệ này.
Ý kiến cá nhân rằng không thể tin cậy các mô hình của Google. Khi được hỏi về thời Heian của Nhật Bản, mô hình đã cung cấp thông tin hoàn toàn vô nghĩa, với sai sót quá rõ ràng đến mức giống như một trò đùa hay bản nhại. Có nhắc rằng mô hình Llama cho kết quả tốt hơn nhiều.
Bày tỏ ý kiến tích cực rằng việc đội ngũ Gemma tham gia phần bình luận để trả lời câu hỏi là điều đáng khen.
Mô hình Gemma đã đưa ra thông tin sai về công trình nhân tạo cao nhất thế giới, quốc gia giàu nhất thế giới và số centimet trên mỗi foot. Những lỗi này làm dấy lên nghi ngờ về độ chính xác của mô hình.
Mô hình Gemma-7B đã được đưa lên bảng xếp hạng Vectara HHEM, ghi nhận tỷ lệ trả lời 100% và tỷ lệ hallucination 7,5%. Đây là hiệu năng khá tốt đối với một mô hình chỉ có 7B tham số.
Nhắc đến các benchmark ấn tượng của Gemma và đánh giá rằng ngay cả mô hình 2B cũng trông khá ổn. Bày tỏ sự háo hức sẽ dành cả cuối tuần để khám phá mô hình này.
Nhắc rằng nếu 5 năm trước hỏi ai trong OpenAI, Meta, Google sẽ là bên cởi mở nhất về AI, có lẽ đa số sẽ chọn OpenAI. Tuy nhiên hiện tại, việc những công ty nghìn tỷ đô như Meta và Google phát hành các mô hình mở mạnh mẽ có thể dùng cho mục đích thương mại là một điều khá nghịch lý.