- Dựa trên dữ liệu bình luận thực tế của Hacker News, nghiên cứu đã dùng 1.903 persona AI để dự đoán liệu tiêu đề bài đăng có lan truyền hay không, và đạt độ chính xác 60%
- Đây là kết quả cao hơn 20% so với dự đoán ngẫu nhiên, mở ra khả năng thay thế nghiên cứu thị trường truyền thống, nhưng cũng cho thấy động lực lan truyền xã hội là nguyên nhân chính khiến việc dự đoán trở nên khó khăn
- Qua phân tích các trường hợp dự đoán thất bại, nghiên cứu xác nhận ảnh hưởng của may mắn và thời điểm, khi chỉ vài lượt upvote ban đầu cũng có thể thay đổi toàn bộ kết quả
- Kết quả này cho thấy AI có thể mô hình hóa khá tốt sở thích cá nhân, nhưng sẽ chạm đến giới hạn khi dự đoán thành công lan truyền
- Tác giả khuyên rằng nghiên cứu thị trường bằng AI hữu ích hơn cho việc khám phá định hướng thay vì dự đoán chính xác, và nên tận dụng theo hướng đánh giá tương đối cùng mô phỏng lặp lại
Tổng quan thí nghiệm và kết quả
Phương pháp thí nghiệm: cộng đồng Hacker News giả lập bằng AI
- Thu thập 1.147 tiêu đề bài đăng trên Hacker News được đăng vào ngày 12/3/2025
- Tạo 1.903 persona AI dựa trên bình luận của người dùng thật, rồi hỏi từng persona xem họ có upvote tiêu đề đó hay không
- Trộn lẫn các bài đăng thực tế thuộc nhóm top và nhóm cuối, sau đó đo độ chính xác dự đoán
- Tỷ lệ dự đoán thành công là 60%, cho thấy kết quả có ý nghĩa rõ rệt so với ngẫu nhiên (50%)
Các trường hợp dự đoán thất bại và giới hạn
- “Gemma 3: Google’s new multimodal models” được AI dự đoán là sẽ lan truyền, nhưng thực tế chỉ dừng ở 4 upvote
- Trong khi đó, “Gemma 3 Technical Report [pdf]” nói về cùng chủ đề lại đạt 1.324 upvote
- Tương tự, những tiêu đề giật gân như “TSA finds live turtle in man’s pants” cũng được AI dự đoán là sẽ thành công, nhưng thực tế lại thất bại
Phân tích nguyên nhân
- Việc một bài có lan truyền hay không phụ thuộc mạnh vào bối cảnh xã hội như mức độ hiển thị ban đầu, số upvote và thời điểm, hơn là chất lượng nội dung riêng lẻ
- Nghiên cứu của Princeton: khi cùng một danh sách bài hát được hiển thị khác nhau cho các nhóm khác nhau, có bài lặp đi lặp lại hoặc trở thành đại thành công, hoặc thất bại hoàn toàn
- Kết luận: hiệu ứng mạng chi phối theo hướng không phải “nội dung tốt sẽ thành công” mà là “nội dung may mắn được nhìn thấy sẽ thành công hơn”
Hàm ý thực tiễn: cách sử dụng nghiên cứu thị trường bằng AI
- Dự đoán bằng persona AI không hoàn hảo, nhưng vẫn cho mức 'đủ dùng' là 60%
- Mức chính xác hơn 90% mà các công cụ nghiên cứu thị trường AI khác quảng bá thường dựa trên dữ liệu khảo sát, nên rất khác với dự đoán khả năng lan truyền ngoài thực tế
Chiến lược áp dụng thực tế
- Hãy dùng như công cụ thử nghiệm lặp lại và khám phá hướng đi, thay vì công cụ dự đoán
- Ví dụ: thử 10 tiêu đề để loại bỏ các ứng viên không đáng giữ lại
- Kiểm chứng bằng mô phỏng lặp lại
- Ví dụ: nội dung nào được đánh giá cao từ 6 lần trở lên trong 8 lần thử thì đáng để tiếp tục thử nghiệm
- Tập trung vào so sánh thứ hạng tương đối thay vì giá trị tuyệt đối
- AI phân biệt khá tốt nội dung mạnh/yếu rõ rệt, nhưng khó dự đoán giữa những nội dung tương tự nhau
Tự thử nghiệm: prompt sao chép người dùng HN
- Bạn có thể sao chép văn bản từ trang bình luận của một người dùng Hacker News rồi nhập vào ChatGPT hoặc Claude với prompt dưới đây để tạo persona giả lập.
> You are a helpful assistant that creates detailed personas representing a specific HackerNews user from a list of HackerNews comments they have made. Create a unique persona who would give identical answers to the user we are replicating based on their comments. Give them a relevant background and experience based on your best inference from their HackerNews comments...
- Sau đó có thể dùng persona đã tạo để thử nhiều ý tưởng nội dung khác nhau
- Cách này không phải là dự đoán đã được hiệu chỉnh thống kê, nhưng vẫn có thể là một công cụ hữu ích để khám phá định hướng mà không tốn chi phí
Kết luận
- AI có thể mô hình hóa phản ứng của từng người dùng khá tốt, nhưng thành công lan truyền lại chịu ảnh hưởng của sự “hỗn loạn” trong quá trình khuếch tán xã hội
- Vì vậy, trong dự đoán nội dung, AI rốt cuộc chỉ có thể đóng vai trò người dẫn hướng, chứ không phải nhà tiên tri
- Dù vậy, thí nghiệm này vẫn mở ra khả năng để cả nhóm nhỏ lẫn cá nhân có thể làm nghiên cứu thị trường chi phí thấp bằng AI
Chưa có bình luận nào.