Phương pháp đánh giá để xây dựng thuật toán tìm kiếm thông minh hơn

• Khi Shopify chuyển đổi thuật toán dùng cho tìm kiếm sản phẩm, họ đã đánh giá xem chất lượng kết quả tìm kiếm có thực sự được cải thiện hay không bằng cách nào

→ Vanilla PageRank cũ: tính thứ hạng dựa trên PV phát sinh từ tìm kiếm

→ Query-specific PageRank mới: tính trọng số dựa trên lịch sử nhấp chuột cho từng truy vấn tìm kiếm

• Đánh giá theo 3 giai đoạn

1. Thu thập dữ liệu: sự kiện Kafka và bộ dữ liệu đã gắn nhãn

2. Đánh giá chỉ số offline: dùng các truy vấn tìm kiếm hiện có để đánh giá thuật toán mới

→ Mean Average Precision (MAP): áp dụng phạt nếu trong top N kết quả mà truy vấn trả về có chứa các tài liệu không liên quan

→ Normalized Discounted Cumulative Gain (NDCG): tính điểm cutoff cho việc tính MAP, và áp dụng phạt nếu các mục có điểm tốt (Great/Good) xuất hiện ở thứ tự thấp

3. Đánh giá chỉ số online: dùng log tìm kiếm để đánh giá cách tìm kiếm thực sự vận hành

→ Các chỉ số quyết định thành công: người dùng tìm kiếm thường xuyên đến mức nào, họ phải cuộn bao nhiêu để tìm kết quả mong muốn, và họ có cần liên hệ đội hỗ trợ để giải quyết vấn đề hay không, v.v.

→ Click-through rate (CTR): tỷ lệ nhấp vào kết quả tìm kiếm. Càng cao càng tốt

→ Average rank: thứ hạng trung bình của kết quả được nhấp. Càng thấp càng tốt

→ Abandonment: tỷ lệ bỏ cuộc do không tìm thấy kết quả mong muốn; tất nhiên vẫn có ảnh hưởng từ bot/spam, nhưng nhìn chung càng thấp vừa phải càng tốt

→ Thu thập bằng Kafka

→ Thực hiện A/B test với phương thức hiện có

• Kết quả là thuật toán tìm kiếm mới vượt trội hơn cách cũ nên đã được triển khai thay thế

• Các điểm chính

→ Bộ dữ liệu gắn nhãn chất lượng cao, đáng tin cậy là cốt lõi của việc đánh giá

→ Các chỉ số online cung cấp insight rất tốt về hành vi người dùng

→ Các chỉ số offline giúp lặp lại việc thử nghiệm thuật toán mới nhanh chóng và giảm rủi ro