- Gần đây, để kiểm chứng tác động của mô hình ngôn ngữ lớn (LLM) và chatbot AI lên hành trình khách hàng, một phân tích đã được thực hiện nhằm so sánh tỷ lệ chuyển đổi giữa lưu lượng truy cập do LLM đề xuất và tìm kiếm Organic (organic/tự nhiên)
- Nghiên cứu dựa trên dữ liệu của 54 website trong 6 tháng, và chỉ bao gồm các chuyển đổi vĩ mô như yêu cầu demo, mua hàng để tăng độ tin cậy của kết quả
- Kết quả cho thấy tỷ lệ chuyển đổi trung bình của lưu lượng truy cập từ LLM (4,87%) cao hơn nhẹ so với tìm kiếm tự nhiên (4,60%), nhưng được xác nhận là không có ý nghĩa thống kê
- Ngay cả khi phân tách theo B2B, B2C và theo ngành, cũng không xuất hiện ưu thế nhất quán; đồng thời tỷ trọng lưu lượng LLM ở phần lớn website đều dưới 1%
- Nhìn chung, LLM có thể mang lại cơ hội mới, nhưng ở thời điểm hiện tại, kết quả cho thấy tìm kiếm organic vẫn là kênh cốt lõi
Mục tiêu nghiên cứu
- Đây là phân tích nhằm kiểm chứng liệu lưu lượng truy cập từ LLM có tỷ lệ chuyển đổi cao hơn tìm kiếm organic hay không
- Trong ngành từng có giả thuyết rằng LLM mang lại “lưu lượng chất lượng cao hơn”, và mục tiêu là kiểm chứng điều đó bằng dữ liệu gốc
Phương pháp và dữ liệu
- Nghiên cứu khảo sát website ở nhiều ngành khác nhau, nhưng chỉ đưa vào những website có chuyển đổi vĩ mô có thể đo lường được
- B2B: yêu cầu demo, gửi biểu mẫu
- e-commerce: mua hàng
- Tổng cộng 54 website được chọn làm mẫu cuối cùng
- Nguồn dữ liệu là GA4, với khoảng thời gian là 6 tháng gần đây
- Sử dụng tỷ lệ chuyển đổi theo session để giảm thiểu khác biệt giữa B2B và B2C
- Trong quá trình thu thập dữ liệu, việc mapping event và xác minh theo dõi được thực hiện thủ công để đảm bảo độ tin cậy
Cách tiếp cận thống kê
- So sánh trung bình và trung vị, đo độ lệch chuẩn và khoảng tứ phân vị
- Thực hiện paired t-test để kiểm định chênh lệch tỷ lệ chuyển đổi giữa organic và LLM theo từng website
- Sử dụng Welch’s test cho so sánh giữa B2B và B2C
Kết quả chính
- Tỷ lệ chuyển đổi trung bình: organic 4,60% vs. LLM 4,87%
- Chênh lệch trung bình theo website là +0,27 điểm phần trăm, chênh lệch trung vị là +0,09 điểm phần trăm
- p-value 0,794 → không có ý nghĩa thống kê
- 56% website có tỷ lệ chuyển đổi LLM cao hơn, nhưng 41% thấp hơn → không có ưu thế nhất quán
Phân tích các website có lưu lượng cao
- Điều kiện: ≥100.000 session, ≥50 session từ LLM, ≥5 chuyển đổi từ LLM
- Mẫu giảm từ 54 xuống còn 33 website
- Chênh lệch trung bình tăng lên +1,24 điểm phần trăm nhưng vẫn không có ý nghĩa thống kê (p=0,376)
Kết quả B2B vs. B2C
- Toàn bộ dữ liệu:
- B2B → LLM(2,17%) > organic(1,16%)
- B2C → LLM(6,58%) < organic(6,78%)
- Ngay cả sau khi áp dụng điều kiện về lưu lượng, chênh lệch vẫn không có ý nghĩa thống kê
- Kết quả Welch’s test cũng cho thấy không có khác biệt (p=0,546)
Quy mô lưu lượng LLM
- Hơn 90% website có tỷ lệ đóng góp từ LLM dưới 0,6% tổng lưu lượng
- Trung bình chỉ chiếm 0,24% session và 0,42% chuyển đổi
- Trong khi đó, tìm kiếm organic chiếm khoảng 32% tổng session và 34% chuyển đổi, cho thấy tỷ trọng áp đảo
Phân tích theo ngành
- Trong các ngành tài chính, du lịch và lữ hành, LLM cho tỷ lệ chuyển đổi cao hơn
- Trong e-commerce và dịch vụ tiêu dùng, tìm kiếm organic chiếm ưu thế
- Do cỡ mẫu nhỏ, việc diễn giải còn hạn chế
Kết luận và hàm ý
- Theo dữ liệu hiện tại, không có bằng chứng cho thấy lưu lượng từ LLM mang lại tỷ lệ chuyển đổi cao hơn tìm kiếm organic
- Ngược lại, lưu lượng LLM có quy mô rất nhỏ → tác động không đáng kể so với tìm kiếm organic
- Hành trình khách hàng đang trở nên phức tạp hơn, và xu hướng kết hợp song song tìm kiếm và LLM đang gia tăng
- Theo một báo cáo gần đây, 46% chỉ dùng tìm kiếm truyền thống, 44% dùng song song tìm kiếm + AI, và chỉ 2% lấy AI làm trung tâm
- Vì vậy, doanh nghiệp nên song song theo dõi và giám sát tối ưu hóa cho LLM, nhưng vẫn cần xem tìm kiếm organic là kênh ưu tiên số một
Chưa có bình luận nào.