Apple phát hành 8 mô hình ngôn ngữ AI cỡ nhỏ hướng đến sử dụng trực tiếp trên thiết bị

• Apple công bố OpenELM, một mô hình ngôn ngữ AI có kích thước đủ nhỏ để chạy trực tiếp trên điện thoại thông minh
• OpenELM là viết tắt của "Open-source Efficient Language Models", có thể sử dụng trên Hugging Face theo giấy phép Apple Sample Code License
• Mã nguồn đã được công khai, nhưng giấy phép vẫn có một số hạn chế nên có thể không phù hợp với định nghĩa "mã nguồn mở" theo nghĩa thông thường

Đặc điểm của các mô hình OpenELM

• OpenELM gồm 8 mô hình có từ 270 triệu đến 3 tỷ tham số
• Nghiên cứu gần đây đang tập trung vào việc tạo ra các mô hình ngôn ngữ AI nhỏ nhưng có năng lực tương đương những mô hình ngôn ngữ AI lớn của vài năm trước
• Các mô hình OpenELM được cung cấp dưới hai loại: bản pretrained và bản instruction-tuned
  • OpenELM-270M, OpenELM-450M, OpenELM-1_1B, OpenELM-3B
  • OpenELM-270M-Instruct, OpenELM-450M-Instruct, OpenELM-1_1B-Instruct, OpenELM-3B-Instruct

Dữ liệu huấn luyện và hiệu năng của OpenELM

• OpenELM có context window tối đa 2048 token
• Mô hình được huấn luyện trên khoảng 1,8 nghìn tỷ token dữ liệu, bao gồm RefinedWeb công khai, phiên bản đã loại trùng lặp của PILE, tập con của RedPajama và tập con của bộ dữ liệu Dolma v1.6
• Thông qua "layer-wise scaling strategy" của Apple, tham số được phân bổ hiệu quả hơn cho từng layer để tiết kiệm tài nguyên tính toán và cải thiện hiệu năng mô hình
• OpenELM cho độ chính xác cao hơn 2,36% so với OLMo 1B của Allen AI dù chỉ dùng một nửa số token pretraining

Tài liệu được công bố thêm và mục tiêu của Apple

• Apple công bố mã của thư viện CoreNet được dùng để huấn luyện OpenELM cùng với quy trình huấn luyện có thể tái lập
• Khác thường đối với một tập đoàn công nghệ lớn, hãng còn công khai cả trọng số để nhấn mạnh tính minh bạch
• Mục tiêu của việc công bố mã nguồn, trọng số mô hình và tài liệu huấn luyện là "củng cố và làm phong phú cộng đồng nghiên cứu mở"
• Tuy nhiên, Apple cũng cảnh báo rằng do được huấn luyện bằng các bộ dữ liệu công khai, mô hình có thể tạo ra đầu ra thiếu chính xác, độc hại, thiên lệch hoặc gây khó chịu

Triển vọng sắp tới

• Apple hiện vẫn chưa tích hợp các tính năng mô hình ngôn ngữ AI mới vào thiết bị dành cho người dùng
• Tuy vậy, có suy đoán rằng bản cập nhật iOS 18 dự kiến được công bố tại WWDC vào tháng 6 sẽ bao gồm các tính năng AI mới tận dụng xử lý trên thiết bị để bảo vệ quyền riêng tư của người dùng
• Cũng có khả năng Apple sẽ thuê Google hoặc OpenAI để nâng cấp Siri cho các tác vụ AI phức tạp cần xử lý ngoài thiết bị

[tsboard]

Mình rất tò mò không biết bản cập nhật iOS 18 sẽ thay đổi lớn đến mức nào. Cũng rất mong chờ M4 được tăng cường các tính năng AI!