Viện Nghiên cứu AI LG công bố mô hình mã nguồn mở EXAONE 3.0 7.8B

• EXAONE 3.0 được giới thiệu vào tháng 8/2024, ban đầu chỉ dùng nội bộ tại LG rồi được chuyển thành mô hình mở
• Trong dải sản phẩm được cấu hình cho nhiều mục đích khác nhau, mô hình 7.8B Instruction Tuned được công bố mã nguồn mở cho mục đích nghiên cứu
• Kỳ vọng sẽ đóng góp cho các nghiên cứu có ý nghĩa của các nhà nghiên cứu AI trong và ngoài nước cũng như sự phát triển của hệ sinh thái AI
• Dựa trên kiến trúc Decoder-only Transformer Architecture, số tham số 7.8B, lượng dữ liệu huấn luyện 8T

Đạt đẳng cấp Global Top về tiếng Anh: đứng số 1 về điểm trung bình trong Real-world Use Cases, hiệu năng xuất sắc cả ở benchmark đơn lẻ

• Hiệu năng tiếng Anh của mô hình 7.8B đạt đẳng cấp Global Top so với các mô hình khác
• Kết quả đánh giá trên 4 benchmark xác nhận hiệu năng vượt trội hơn các mô hình Global Top
• Đứng số 1 về điểm trung bình ở Math và Coding, đồng thời đạt hiệu năng cao ở Reasoning

Hiệu năng tiếng Hàn vượt trội rõ rệt: đứng số 1 về điểm trung bình ở cả real-world use cases và benchmark đơn lẻ

• Là mô hình song ngữ Anh/Hàn, nên cũng thể hiện hiệu năng nổi bật ở tiếng Hàn
• Sử dụng 2 benchmark để xác nhận hiệu năng ở góc độ real-world use cases
• Benchmark đơn lẻ được thiết lập để phù hợp với các benchmark đánh giá tiếng Anh như KMMLU
• Xác nhận kết quả đứng số 1 về điểm trung bình ở cả real-world use cases và benchmark đơn lẻ

Đảm bảo tính kinh tế: sau 3 năm R&D, chi phí giảm xuống còn mức 6%

• Để ứng dụng AI, ngoài cải thiện hiệu năng thì việc tăng cường tính kinh tế là điều thiết yếu
• Trong 3 năm qua, tập trung vào R&D công nghệ nhẹ hóa mô hình AI và tối ưu hiệu quả chi phí
• Mô hình 7.8B giảm 56% thời gian xử lý suy luận và giảm 72% chi phí so với EXAONE 2.0
• So với EXAONE 1.0, đã đạt được kết quả cắt giảm mạnh chi phí xuống còn khoảng 6%

Minh bạch về đạo đức: công bố cả những lĩnh vực cần bổ sung ngoài các kết quả nổi bật

• Viện Nghiên cứu AI LG luôn xem xét đạo đức AI trong quá trình R&D mô hình AI
• Mô hình EXAONE 3.0 7.8B cũng được đánh giá về đạo đức và bảo mật thông qua quy trình Red Teaming
• Đánh giá được thực hiện bằng cách sử dụng cả bộ dữ liệu nội bộ và bộ dữ liệu của bên thứ ba bên ngoài
• Có thế mạnh trong việc ngăn chặn phân biệt đối xử theo giới tính và các câu trả lời phi pháp, nhưng vẫn còn những phần cần cải thiện
• Kết quả đánh giá được công bố minh bạch để thúc đẩy sự phát triển của đạo đức AI
• Kỳ vọng các nhà nghiên cứu sẽ tích cực nghiên cứu về đạo đức AI, và Viện Nghiên cứu AI LG cũng sẽ tiếp tục nghiên cứu

[xguru]

Hy vọng sẽ ngày càng có nhiều dịp để chia sẻ tin tức trong nước tại đây ;)