ChatGPT thực sự chọn nguồn như thế nào (phân tích lưu lượng mạng)

• Phân tích khoảng 1.240 bản ghi nguồn được thu thập trong vài ngày từ một tài khoản Pro đã đăng nhập, qua đó xác nhận trong JSON của trình duyệt những thứ không thể thấy chỉ từ câu trả lời cuối cùng như pipeline nguồn, phân loại truy vấn, từ khóa tìm kiếm và mô hình thực thi
• Mọi kết quả web đều có result_source là một trong serp, labrador, bright, oxylabs; với các truy vấn thương mại, mua sắm, tài chính, thời tiết thì bright thuộc hệ Bright Data được quan sát thấy nhiều nhất
• Truy vấn được phân loại vào một trong 6 turn_use_case, và nếu là text thì sẽ trả lời chỉ bằng dữ liệu huấn luyện mà không tìm kiếm web. Trong 10 truy vấn đòi hỏi tính cập nhật, 3 truy vấn cũng không được tìm kiếm, nhưng đây là kết quả giới hạn từ một tài khoản duy nhất
• Mô hình Thinking mở rộng một câu hỏi so sánh sản phẩm thành khoảng 15–40 truy vấn con, tìm trang giá chính thức bằng site: hoặc ước lượng giá trước rồi xác minh bằng cách tìm các chuỗi như $, €
• Việc lấy dữ liệu, trích dẫn và nhắc đến thương hiệu là ba thứ khác nhau; nếu giá và thông số trên trang chính thức bị che bởi JavaScript hoặc hình ảnh thì nguồn bên thứ ba như G2 có thể được trích dẫn thay thế. Sự thật cần được cung cấp dưới dạng HTML thuần, còn đánh giá thì cũng phải có từ review, Reddit và nội dung so sánh

---

Phạm vi điều tra và tiêu chí diễn giải kết quả

• Đã chạy hàng chục lượt tìm kiếm trong vài ngày bằng một tài khoản ChatGPT Pro đã đăng nhập và thu thập khoảng 1.240 bản ghi nguồn
  • Phần lớn truy vấn thiên về SaaS và công nghệ
  • Đây không phải nghiên cứu đo tần suất nguồn trong toàn bộ quần thể, mà là ghi nhận quan sát các trường nội bộ và hành vi được truyền tới trình duyệt
• Các nghiên cứu hiển thị quy mô lớn thường thống kê tần suất xuất hiện thương hiệu trong câu trả lời cuối cùng của hàng nghìn prompt, nhưng quy trình xử lý nội bộ chỉ có thể được suy luận từ kết quả
• Phân tích lần này kiểm tra trực tiếp các nhãn nội bộ của engine trong JSON phản hồi mạng
  • result_source theo từng kết quả
  • turn_use_case theo từng truy vấn
  • tên nhà cung cấp tìm kiếm
  • từ khóa tìm kiếm do ChatGPT tạo ra
  • mô hình thực tế đã được chạy
• Mức độ tin cậy của kết quả nên được chia làm hai loại
  • Sự thật cấu trúc: sự tồn tại của trường và giá trị, việc truy vấn text bỏ qua tìm kiếm web, các lượt tìm site: số lượng lớn và xác minh giá của mô hình Thinking — những cấu trúc được xác nhận lặp lại trong lưu lượng thực tế
  • Quan sát tần suất: tỷ trọng bright, thứ hạng trích dẫn của Reddit, việc YouTube không được trích dẫn — các con số và thứ hạng có thể thay đổi tùy tài khoản đơn lẻ và tập truy vấn giới hạn
• Có thể lấy văn bản thân bài từ Reddit nhưng ở kết quả tìm kiếm YouTube chủ yếu chỉ nhận được metadata; khác biệt cơ học này củng cố hướng quan sát. Tuy vậy, để biết tỷ lệ chính xác vẫn cần mẫu lớn hơn

Không phải bắt gói tin mà là kiểm tra HTTP trên trình duyệt

• Lý do không thể đọc truy vấn và câu trả lời chỉ bằng gói tin Wireshark là vì phần thân thông điệp thực tế được mã hóa bằng TLS
  • Có thể thấy metadata như tên host đích và IP, cũng như việc ứng dụng ChatGPT dùng HTTP/3 dựa trên QUIC thay vì TCP
  • Gói QUIC đầu tiên được làm rối bằng khóa cố định định nghĩa trong đặc tả, nên công cụ có thể giải để hiển thị tên máy chủ không mã hóa trong ClientHello
  • Sau đó phần thân request/response vẫn nằm trong payload được bảo vệ và không thể đọc được
• JSON chứa truy vấn, câu trả lời và metadata phải được kiểm tra trong bảng Network của DevTools trình duyệt sau khi giải mã
• Trong quá trình tự động hóa đã phát sinh hai vấn đề
  • Khi chạy một engine khác bằng Chrome tự động hóa sạch, sau vài truy vấn màn hình xác minh con người của Cloudflare lặp lại nên đã chuyển sang Chrome có phiên thực
  • Câu trả lời ChatGPT được stream qua kết nối dài mở từ lúc tải trang, nên hook cài giữa phiên không thể bắt được từ đầu

result_source gắn vào từng nguồn

• Khi bật Preserve log trong DevTools và tìm trong phản hồi, mọi kết quả web mà ChatGPT lấy đều có result_source
• Mark Williams-Cook đã chia sẻ 3 giá trị này, còn Metehan có thể cũng đã phát hiện giá trị còn lại
• Có bốn giá trị được quan sát
  • serp: tầng cơ sở của web mở, thường xuất hiện ở tin tức như Yahoo và StreetInsider
  • labrador: có vẻ là danh sách cho phép của các nhà xuất bản truyền thống như Reuters, The Guardian, WSJ, FT, Wikipedia, arXiv; snippet được cung cấp tới khoảng 1.080 ký tự
  • bright: chỉ Bright Data, nhà cung cấp scraping web thương mại, nổi bật ở truy vấn mua sắm, tài chính, thời tiết, địa phương
  • oxylabs: chỉ đối thủ scraping Oxylabs, thiên về báo chí địa phương và một số kết quả web mở
• labrador có nhiều nhà xuất bản đã ký thỏa thuận nội dung với OpenAI nên trông giống một tầng được cấp phép, nhưng không thể xác nhận quan hệ hợp đồng chỉ từ lưu lượng
• Với bright và oxylabs cũng không thể biết có hợp đồng hay thanh toán hay không. Dù vậy, có thể thấy việc lấy dữ liệu từ web mở đi qua cả hai bên, và trường này cho biết mỗi kết quả được lấy bởi bên nào
• Trong mẫu thu thập, bright đảm nhiệm nhiều lượt lấy dữ liệu nhất
  • Reuters, WSJ, Wikipedia, TechRadar là labrador
  • Reddit, Forbes, rtings là bright
  • Báo vùng Vịnh như Khaleej Times, Gulf News là oxylabs
• Với truy vấn thời tiết Dubai, vai trò được chia ngay trong cùng một câu trả lời
  • metoffice.gov.uk, accuweather.com, timeanddate.com là bright
  • khaleejtimes.com, gulfnews.com, whatson.ae là oxylabs
• Muốn xuất hiện trong các tầng scraping có thể truy cập thực tế, sự thật và số liệu cần ở HTML thuần chứ không bị giấu sau script, PDF hay hình ảnh
• Thay vì chỉ dựa vào tầng nhà xuất bản khó tiếp cận, còn cần xuất hiện trong bài viết bên thứ ba, PR, nhắc đến thương hiệu, liên kết và Reddit — tức các trang mà scraper cũng đọc được

Truy vấn text hoàn toàn không tìm web

• Trước khi tìm kiếm, ChatGPT phân loại câu hỏi theo turn_use_case; đã quan sát thấy 6 giá trị
  • instant search
  • shopping
  • text
  • local
  • thinking
  • image generation
• Nếu bị phân loại là text, hệ thống sẽ không tìm kiếm web mà trả lời chỉ bằng dữ liệu huấn luyện
  • “Cách thay lốp xe bị thủng”
  • “Hãy viết hàm Python để gộp hai danh sách đã sắp xếp”
  • “Hãy dịch câu này sang 4 ngôn ngữ”
• Ngay cả “hướng dẫn điều trị mới nhất cho tiểu đường type 2”, nơi tính cập nhật và an toàn rất quan trọng, cũng bị phân loại là text và được xử lý mà không tìm web
• Trong 10 câu hỏi cố tình yêu cầu thông tin mới, 3 câu được xử lý mà không tìm kiếm, nhưng đây là kết quả thử nghiệm hạn chế nên không thể xem là tỷ lệ phổ quát
• Việc phân loại thay đổi không chỉ theo chủ đề mà còn theo cách diễn đạt truy vấn
  • “quán cà phê tốt nhất gần tôi” chuyển sang pipeline local
  • “TV 4K tốt nhất để mua” kích hoạt shopping
  • “TV 4K tốt nhất có review” vẫn ở tìm kiếm thông thường
  • câu hỏi toán học được chuyển cho mô hình suy luận thinking
  • “giá cổ phiếu Tesla tuần này” vẫn ở instant search
• Trước khi làm trang, cần xác nhận xem truy vấn mục tiêu có thực sự kích hoạt tìm kiếm web hay không
  • Nếu truy vấn kiểu hướng dẫn sử dụng hoặc định nghĩa bị xử lý như text, thì dù chất lượng trang hiện tại ra sao cũng không thể vào kết quả tìm kiếm đó
  • Muốn thương hiệu xuất hiện với loại truy vấn này, cần xây dựng uy tín dài hạn và để các crawler như Common Crawl thấy được site để tăng khả năng được đưa vào dữ liệu huấn luyện tương lai

Cách một câu hỏi được mở rộng thành hàng chục lượt tìm kiếm

• Nếu lấy toàn bộ hội thoại từ chính API của ChatGPT, có thể thấy các truy vấn fan-out mà mô hình đã thực thi
  • Mô hình nhanh thường chỉ chạy một từ khóa tìm kiếm đã được viết lại
  • Mô hình Thinking tạo khoảng 15–40 truy vấn con từ một câu hỏi so sánh sản phẩm, tùy độ phức tạp
• Trong quá trình so sánh, nhiều mẫu tìm kiếm được nối tiếp nhau
  • Tìm trực tiếp trang giá của nhà cung cấp bằng site:
  • Ước lượng giá trước rồi tìm xem mức giá đó có đúng không
  • Trong lúc điều tra phát hiện thêm công cụ như Scrunch AI dù không có trong prompt, rồi mở rộng phạm vi so sánh
  • Tiếp tục kiểm tra dây chuyền cả giá của các công cụ mới tìm thấy
• Không chỉ lấy kết quả tìm kiếm, hệ thống còn thực thi các lệnh find, open, click của công cụ duyệt ở phía server
  • Tìm trực tiếp các chuỗi như $, €, 99, Agency
  • Đây không phải agent thao tác màn hình người dùng, mà là công cụ phía server duyệt qua kết quả trang
• Với truy vấn “keyword insights pricing”, hệ thống chạy site:keywordinsights.ai/pricing, ước lượng các giá trị như “Starter $58, Pro $145, Advanced $299”, rồi xác minh bằng cách tìm ký hiệu tiền tệ trong HTML
• Giá và số liệu cốt lõi cần được cung cấp dưới dạng văn bản HTML chứ không phải hình ảnh, và nên tránh toggle JavaScript hoặc tải dữ liệu động
• Đừng chỉ nhắm vào câu người dùng gõ vào; cũng phải để mô hình tìm được thông tin trong các từ khóa mà nó chuẩn hóa để chạy và trong các lượt kiểm tra trực tiếp kiểu site:yourdomain.com/pricing

Lấy dữ liệu, trích dẫn và nhắc đến là ba kết quả khác nhau

• Một nguồn có ba trạng thái độc lập
  • Fetched: trang được đưa vào ngữ cảnh của mô hình nhưng người đọc không nhìn thấy, có thể kiểm tra qua đối tượng result_source
  • Cited: được gắn làm nguồn có thể nhấp sau một câu cụ thể
  • Mentioned: tên thương hiệu hoặc site chip xuất hiện trong câu trả lời nhưng không phải là nguồn cho nhận định đó
• Trong mẫu truy vấn công nghệ và thương mại giới hạn, Reddit và YouTube lần lượt được lấy 278 và 201 lần
  • Reddit được trích dẫn 11 lần
  • YouTube không được trích dẫn lần nào
• Ở kết quả tìm kiếm YouTube, hệ thống lấy metadata nhiều hơn là transcript video; trong khi thread Reddit có văn bản thân bài ngay trên trang nên dễ gắn nguồn cho câu cụ thể hơn
• Các phân tích quy mô lớn bên ngoài cũng cho thấy cùng xu hướng
  • Ahrefs xác nhận tỷ lệ trích dẫn Reddit 1,93% và YouTube 0,51% từ 1,4 triệu prompt ChatGPT
  • Profound cũng xác nhận khoảng cách tương tự giữa hai dịch vụ
• Trong mẫu nhỏ, Reddit là domain đơn lẻ được trích dẫn nhiều nhất; sau đó là các site review như rtings, TechRadar và các trang của nhà cung cấp
• Trang của nhà cung cấp được trích dẫn làm nguồn cho giá và thông số của chính họ
  • Zoho, Semrush và các nhà cung cấp VPN được liên kết như bằng chứng hỗ trợ thông tin về chính họ
  • Các đánh giá về sản phẩm nào tốt nhất thì chủ yếu trích dẫn trang bên thứ ba
• Trích dẫn gắn với từng câu cụ thể chứ không phải toàn bộ câu trả lời, nên chỉ liên quan chủ đề là chưa đủ; nguồn phải hỗ trợ tốt nhất cho một nhận định chính xác cụ thể
• Kết quả được khử trùng lặp theo domain nên 20 trang mỏng trên cùng một site có thể bị gộp thành một
• Thay vì tạo hàng loạt trang chất lượng thấp cho từng từ khóa fan-out, có lợi hơn nếu tạo một trang mạnh cho từng nhận định
• Các nhận định mang tính đánh giá về chính doanh nghiệp không lấy căn cứ từ trang của doanh nghiệp mà từ review bên thứ ba, Reddit và nội dung so sánh; văn bản cũng dễ được trích dẫn trực tiếp hơn video

Chuyển nguồn khi không đọc được trang chính thức

• Trong lưu lượng gửi tới trình duyệt, không thể thấy điểm xếp hạng ẩn như authority score của domain, trọng số độ tin cậy hay công thức xếp hạng
  • Logic liên quan vẫn nằm trên server của OpenAI
  • Không có cơ sở để khẳng định hay bán “yếu tố xếp hạng của ChatGPT” chỉ từ dữ liệu trình duyệt
• Trong phần suy luận được lưu của mô hình Thinking, quá trình chọn nguồn được ghi lại bằng câu chữ
  • Với sự thật như giá và thông số, hệ thống ưu tiên trang chính thức
  • Trong so sánh Ahrefs, hệ thống xác nhận Lite $129, Standard $249, Advanced $449 từ trang chính thức và chọn trang giá mới hơn để trích dẫn
• Với Profound và Peec, giá không xuất hiện trực tiếp trong kết quả tìm kiếm và có ghi chú rằng có thể được tải bằng JavaScript
• Nếu không parse được trang chính thức, mô hình sẽ chuyển sang nguồn bên thứ ba như G2
  • Nó đã cố xác nhận giá chính thức nhưng không tìm thấy trên trang
  • Kết quả là số liệu của chính công ty lại được trích dẫn dựa trên trang của website khác
• Giá và thông số sản phẩm không nên được nạp bằng JavaScript hoặc đưa vào hình ảnh; cần cung cấp dưới dạng văn bản có thể crawl
• Một trang giá dễ đọc sẽ tăng khả năng sự thật về doanh nghiệp được trích dẫn trực tiếp, nhưng các khuyến nghị và đánh giá vẫn cần được xây dựng riêng từ review, Reddit và nội dung so sánh trung thực

Cá nhân hóa, tìm kiếm địa phương và những vùng không thể xác nhận

• Lý do một nguồn được chọn thay vì nguồn khác, ngoài phần mô tả riêng mà mô hình lưu lại, vẫn thuộc logic phía server nên không thể xác minh
• Cá nhân hóa không áp dụng cho mọi truy vấn mà chỉ được bật chọn lọc ở một số truy vấn liên quan
  • Ở truy vấn trùng với công việc trước đây của người dùng, xuất hiện personal_sources: ["convo_search", "gmail", "files"]
  • Trong 3 cuộc hội thoại được kiểm tra, có 1 cuộc trùng với lịch sử người dùng và đã dùng hội thoại trước đó trong câu trả lời chung kiểu “công cụ tốt nhất”
• Một số câu trả lời được cấu thành từ dữ liệu cá nhân mà bên ngoài không thể tối ưu, nên kết quả có thể khác nhau theo từng người dùng và điểm hiển thị cũng dao động
• Tìm kiếm địa phương có local_results_limit đặt là 2
  • Khi hỏi quán cà phê tốt nhất gần đây, hệ thống không trả 10 nơi mà chỉ 2 nơi
  • Trong tìm kiếm địa phương, nếu không vào top 2 thì sẽ không xuất hiện trong câu trả lời
• Pipeline shopping chỉ được quan sát ở một truy vấn, và còn mâu thuẫn trực diện với kết quả mà nhà nghiên cứu khác thấy ở một truy vấn, nên hiện chưa thể xác định cấu trúc của nó
• Cấu trúc đã được quan sát lặp lại qua khoảng 1.240 bản ghi, nhưng các tỷ lệ rút ra từ tập truy vấn thương mại nhỏ thiên về SaaS và công nghệ vẫn cần được kiểm chứng ở quy mô lớn hơn trên nhiều ngành
• Hệ thống có thể thay đổi hàng tuần, nên hãy xem đây là ảnh chụp tại một thời điểm mà cấu trúc có thể giữ nguyên nhưng số liệu sẽ dịch chuyển

Cách tự kiểm tra và các extension

• Có thể kiểm tra pipeline cơ bản trên trình duyệt của chính mình mà không cần quyền đặc biệt
  • Mở DevTools trong ChatGPT bằng Cmd+Option+I
  • Bật Preserve log trong Network
  • Chạy truy vấn rồi dùng Cmd+Option+F để tìm result_source trong phản hồi
• Muốn xem cả fan-out, trích dẫn và suy luận thì nhập allow pasting một lần trong Console, sau đó có thể đọc dữ liệu /backend-api/conversation/ của cuộc hội thoại đã thực hiện tìm kiếm web
• Script được cung cấp chỉ đọc dữ liệu hội thoại của chính bạn bằng access token của phiên hiện tại và xuất các domain nguồn cùng pipeline thành bảng
  • techradar.com và whathifi.com là labrador
  • soundguys.com và rtings.com là bright
  • khaleejtimes.com là oxylabs
  • streetinsider.com là serp
• Nếu đổi các trường thu thập, cũng có thể trích xuất theo cùng cách các từ khóa tìm kiếm, trích dẫn và suy luận được lưu
• FanoutFox là extension Chrome miễn phí tự động hóa quy trình này
  • Hiển thị pipeline result_source của từng nguồn
  • Phân biệt trạng thái lấy dữ liệu, trích dẫn và nhắc đến
  • Cho thấy mọi truy vấn fan-out được tạo từ một câu hỏi cùng các lượt tìm site: và kiểm tra giá
  • Dữ liệu không rời khỏi trình duyệt
  • Có thể cài từ Chrome Web Store và xem phân tích thêm ở Part 2
• Extension miễn phí của Olivier de Segonzac cũng đọc dữ liệu từ phiên cục bộ và xuất ra Excel
  • Hiển thị turn_use_case để biết trước khi tìm kiếm hệ thống chuyển sang shopping, local hay text
  • Tách tỷ trọng các loại tham chiếu trong citation token như sản phẩm, kết quả tìm kiếm, tin tức, hình ảnh
  • Hiển thị biểu đồ thành phần result_source theo từng hội thoại
  • Có thể xem tại Chrome Web Store và mô tả cập nhật

Nguyên lý thiết kế khác với tối ưu hóa công cụ tìm kiếm

• Trong mẫu giới hạn, các lời khuyên quen thuộc trước đây như ảnh hưởng của Reddit, nội dung dạng danh sách và site review nhìn chung được xác nhận
• Nội dung tốt chỉ có tác dụng ở phần mà mô hình thực sự đọc được; những sự thật mà nó không đọc được có thể bị lấy từ site khác
• ChatGPT đọc các sự thật có thể parse trên trang của doanh nghiệp, lấy đánh giá từ trang của người khác, và chỉ thực hiện quy trình này khi truy vấn được phân loại là đối tượng tìm kiếm
• Thay vì chỉ nhắm tới thứ hạng trên công cụ tìm kiếm, còn cần thiết kế đồng thời việc truy vấn có kích hoạt tìm kiếm hay không, khả năng parse HTML, mức độ phù hợp để được trích dẫn theo từng nhận định và nguồn đánh giá từ bên thứ ba