- OpenAI đã công bố hai mô hình ngôn ngữ lớn mã nguồn mở
gpt-oss-120b và gpt-oss-20b; chúng thể hiện chất lượng nổi bật trên một số benchmark nhưng vẫn có giới hạn trong ứng dụng thực tế
- Các mô hình này có kiến thức tổng quát nhưng bị đánh giá là thiếu hụt kiến thức ở một số lĩnh vực cụ thể như văn hóa đại chúng
- Tương tự như chuỗi Phi của Microsoft, việc học chủ yếu từ dữ liệu tổng hợp giúp nâng điểm benchmark nhưng lại có xu hướng làm giảm hiệu quả sử dụng thực tế
- Học từ dữ liệu tổng hợp có lợi thế là tăng độ an toàn và giảm rủi ro lạm dụng có thể phát sinh khi mô hình được phát hành mã nguồn mở
- OpenAI dường như chọn hướng tiếp cận theo kiểu Phi để vừa giành lợi thế benchmark so với mô hình mã nguồn mở của Trung Quốc, vừa duy trì mức an toàn
Công bố LLM mã nguồn mở đầu tiên của OpenAI
- OpenAI đã công bố
gpt-oss-120b và gpt-oss-20b, đánh dấu mô hình ngôn ngữ lớn mã nguồn mở đầu tiên của họ, và cho phép trò chuyện trực tiếp trên web
- Chúng thể hiện hiệu suất tốt trên một số benchmark, nhưng mức độ suy giảm thể hiện trong các bài kiểm tra cụ thể như SimpleQA
- Các mô hình có kiến thức khái quát tốt trong các lĩnh vực như khoa học, nhưng thiếu hụt kiến thức về văn hóa đại chúng
- Hiệu quả ứng dụng thực tế dự kiến sẽ rõ ràng hơn sau khoảng 6 tháng, và khả năng hiệu năng ngoài thực tế thấp hơn benchmark là khá lớn
Mô hình Phi và việc huấn luyện dữ liệu tổng hợp
- Năm 2024, chuỗi Phi do Sebastien Bubeck của Microsoft dẫn dắt là các mô hình được huấn luyện hoàn toàn bằng dữ liệu tổng hợp
- Dữ liệu tổng hợp là văn bản dựa trên tài liệu được tạo bởi mô hình ngôn ngữ khác hoặc do con người chọn lọc, dễ kiểm soát chất lượng hơn nhưng tốn chi phí tạo dữ liệu lớn
- Cách tiếp cận này giúp nâng hiệu suất benchmark, nhưng thường cho kết quả dưới mong đợi trong môi trường thực
- Do có thể tạo dữ liệu phù hợp với từng loại bài test benchmark, nó cho phép kiểu huấn luyện thiên về thi cử, song làm giảm tính tổng quát
Sự gia nhập của Sebastien Bubeck tại OpenAI và gpt-oss
- Cuối năm 2024, Bubeck rời Microsoft để gia nhập OpenAI
- Chi tiết dữ liệu tiền huấn luyện của mô hình
gpt-oss chưa được công bố, nhưng rất có khả năng đã sử dụng dữ liệu được lọc chặt hoặc tổng hợp
- Cách tiếp cận này có thể mang tính chất tương tự Phi-5 và Phi-5-mini
Lợi ích an toàn của dữ liệu tổng hợp
- Mô hình mã nguồn mở có thể được fine-tuning không giới hạn sau khi mở, dẫn đến các rủi ro an toàn tiềm ẩn
- Đặc biệt, do một trong những sử dụng không chính thức phổ biến của mô hình ngôn ngữ nhỏ là diễn cảnh người lớn, nên quản lý an toàn có vai trò quan trọng
- Huấn luyện trên dữ liệu tổng hợp hoặc dữ liệu dựa trên giáo trình giúp tăng an toàn vì không chứa nội dung nguy hiểm
- Có vẻ OpenAI chọn chiến lược vừa giữ vững lợi thế benchmark trước các mô hình mã nguồn mở đến từ Trung Quốc, vừa duy trì an toàn
Kết luận: Thực chất là dòng Phi-5
- Các mô hình
gpt-oss có thiết kế lấy an toàn làm trung tâm dựa trên dữ liệu tổng hợp, và được cho là ưu tiên điểm benchmark cũng như an toàn hơn là hiệu năng thực chiến
- Do đó, bản chất các mô hình này gần giống Phi-5 và Phi-5-mini
Chưa có bình luận nào.