So sánh mức độ VLM có thể dự đoán ánh nhìn của người dùng bằng dữ liệu eye-tracking thực tế

Xin chào. Có những người luôn đăng các tin khác nhanh hơn tôi, nên thành ra Show GN này lại là bài đầu tiên của tôi.
Tôi tò mò liệu có thể dùng VLM để dự đoán người dùng sẽ nhìn vào đâu trên UI hay không, nên đã tự mình thử nghiệm và tổng hợp thành bài báo.
Tôi đã dùng bộ dữ liệu UEyes để so sánh kết quả dự đoán ánh nhìn của VLM với dữ liệu eye-tracking thực tế.

Tôi cũng đã liên hệ với tác giả thứ nhất của UEyes (cs.HC) để xin endorsement trên arXiv, và họ đã vui vẻ chấp nhận.

paper: https://arxiv.org/abs/2604.26352
github: https://github.com/dunward/uigaze