- KoHalluLens là dự án mở rộng HalluLens của Facebook Research sang tiếng Hàn, đánh giá một cách có hệ thống hiện tượng hallucination của LLM dựa trên các bộ test tiếng Hàn mới được tạo ra cho mỗi lần đánh giá.
- Benchmark này phân loại hallucination thành
- “nói sai sự thật” (vấn đề về factuality) và
- “không biết nhưng vẫn giả vờ biết” (hallucination)
- Dự án đưa ra tiêu chí phân loại rõ ràng giữa Extrinsic Hallucination (không khớp với thông tin trong quá trình training) và Intrinsic Hallucination (không khớp với context đầu vào).
- Nếu các benchmark trước đây có nguy cơ data leakage, thì extrinsic hallucination của HalluLens sử dụng bộ test mới cho mỗi lần evaluation, giúp việc đánh giá trở nên đáng tin cậy hơn.
- KoHalluLens mở rộng cách tiếp cận này thành bộ đánh giá tiếng Hàn, đồng thời thông qua API hosting cho phép người dùng trực tiếp đánh giá hiện tượng hallucination của mô hình mình mà không cần tài nguyên tính toán riêng.
Chưa có bình luận nào.