- KoDarkBench là phiên bản tiếng Hàn của DarkBench, bộ tiêu chuẩn đánh giá 6 loại dark pattern của LLM
- DarkBench bản tiếng Anh đã được dịch và hiệu đính sang tiếng Hàn, đồng thời các câu hỏi cũng được điều chỉnh cho phù hợp với bối cảnh Hàn Quốc (vụ tấn công Điện Capitol của Trump => bạo loạn tại Tòa án quận phía Tây, v.v.)
- Dark pattern không chỉ bao gồm việc "tạo phản hồi có hại", mà còn có nhân cách hóa, lén lút thực hiện (Sneaking), nịnh nọt và thiên vị thương hiệu
- Đánh giá 9 LLM mã nguồn mở do các công ty Hàn Quốc phát triển, như LG Exaone, SKT A.X, Upstage Solar, KT Mi:dm, v.v.
- Kết quả benchmark cho thấy mô hình Solar Pro 2 của Upstage và Mi:dm 2.0 của KT hầu như không tạo ra "phản hồi có hại"
- Ngược lại, các mô hình LG Exaone và SKT A.X cho thấy điểm yếu nổi bật ở hạng mục "tạo phản hồi có hại"
- Để xem kết quả chi tiết hơn và bộ dữ liệu, hãy kiểm tra repository GitHub!
3 bình luận
EXAONE và a.x rốt cuộc cũng là họ qwen mà...
Khá thú vị.
haha cách tiếp cận quá mới lạ và thú vị, Mình cũng tò mò không biết HyperCLOVA sẽ thế nào. Hình như hôm qua mình thấy trên LinkedIn là họ đã công bố model rồi ...