Google cập nhật sản phẩm tìm kiếm web và tính năng Programmable Search Engine

• Google đã cải tổ Programmable Search Engine (công cụ tìm kiếm lập trình được), đơn giản hóa thành ba giải pháp theo từng trường hợp sử dụng: tìm kiếm theo website, doanh nghiệp và toàn bộ web
• Tìm kiếm chỉ trong site được hợp nhất thành ‘Programmable Search Element’, cho phép chỉ định miễn phí tối đa 50 domain
• Khách hàng doanh nghiệp cần tính năng nâng cao có thể sử dụng tìm kiếm hội thoại dựa trên AI và các tính năng cấp doanh nghiệp thông qua Vertex AI Search
• Các đối tác cần tìm kiếm trên toàn bộ web có thể dùng giải pháp full web search cho phép truy cập toàn bộ chỉ mục của Google thông qua quy trình đăng ký riêng
• Mọi chuyển đổi phải hoàn tất trước ngày 1 tháng 1 năm 2027, và thay đổi này nhằm mang lại trải nghiệm tìm kiếm tập trung hơn cho các đối tác phát triển

---

Sự phát triển của Programmable Search Engine

• Programmable Search Engine hỗ trợ nhiều đối tác, từ tổ chức học thuật đến website bán lẻ, cung cấp chức năng tìm kiếm trong chính website của họ
• Google dự định trong tương lai sẽ cung cấp các giải pháp nâng cao phù hợp với từng trường hợp sử dụng, để đảm bảo trải nghiệm tìm kiếm chất lượng cao hơn cho cả người dùng lẫn đối tác
• Lần cải tổ này hướng tới đơn giản hóa và hiện đại hóa sản phẩm, đồng thời tái cấu trúc để người dùng có thể chọn công cụ tối ưu theo mục đích sử dụng

Lộ trình rõ ràng theo từng nhu cầu tìm kiếm

• Tìm kiếm chỉ trong site: Programmable Search Element (‘Search Element’) tiếp tục là công cụ tối ưu để xây dựng trải nghiệm tìm kiếm tập trung vào nội dung cụ thể
  • Có thể chỉ định tối đa 50 domain, phù hợp với nội dung dành cho nhóm người dùng mục tiêu cụ thể
• Tìm kiếm cấp doanh nghiệp: Google tiếp tục cung cấp Google Vertex AI Search, mang đến tìm kiếm hội thoại dựa trên AI và các tính năng grounding cấp doanh nghiệp
• Tìm kiếm toàn bộ web: Google cung cấp giải pháp full web search cho các đối tác cần tìm kiếm trên toàn bộ chỉ mục web ngoài các domain được chỉ định
  • Nếu muốn sử dụng tính năng này, có thể đăng ký quan tâm và yêu cầu thêm thông tin thông qua biểu mẫu của Google

Kế hoạch chuyển đổi sang công cụ mạnh hơn

• Google đặt thời hạn chuyển đổi đến ngày 1 tháng 1 năm 2027 để các đối tác có thể tận dụng tối đa tiềm năng của các giải pháp mới
• Với người dùng Search Element đang tìm kiếm trên 50 domain trở xuống, có thể tiếp tục giữ nguyên tính năng hiện tại
• Nếu dùng trên hơn 50 domain hoặc sử dụng tùy chọn ‘Search the entire web’, cần chuyển sang giải pháp full web search
  • Hạn chót hoàn tất chuyển đổi là ngày 1 tháng 1 năm 2027
• Người dùng Custom Search JSON API có thể chuyển sang Vertex AI Search nếu dùng 50 domain trở xuống, hoặc sang giải pháp full web search nếu cần tìm kiếm toàn bộ web

Thay đổi trong việc thiết lập engine mới

• Từ sau ngày 20 tháng 1 năm 2026, mọi engine mới được tạo đều bắt buộc phải dùng tính năng ‘Sites to search’
• Các engine hiện có không bị ảnh hưởng, và vẫn có thể dùng tùy chọn ‘Search the entire web’ đến ngày 1 tháng 1 năm 2027
• Thay đổi này tạo nền tảng cho phát triển sản phẩm tập trung hơn và mang lại trải nghiệm tìm kiếm được cải thiện

Định hướng sắp tới

• Thông qua lần phát triển này, Google dự định mang đến trải nghiệm tìm kiếm tốt hơn và các công cụ tùy biến hơn cho các đối tác phát triển
• Nhóm Programmable Search Engine bày tỏ quyết tâm cùng các đối tác xây dựng hệ sinh thái tìm kiếm của tương lai

[GN⁺]

Ý kiến trên Hacker News

• Google đã âm thầm thay đổi chính sách của Programmable Search (trước đây là Custom Search)
  Giờ đây, các công cụ tìm kiếm mới chỉ có thể tìm trong tối đa 50 domain, và tính năng tìm kiếm trên toàn bộ web hiện tại sẽ bị ngừng vào ngày 1 tháng 1 năm 2027
  Nếu cần tìm kiếm trên toàn bộ web, giờ họ sẽ được dẫn tới “biểu mẫu đăng ký quan tâm” dành cho các giải pháp doanh nghiệp như Vertex AI Search
  Không công khai giá, cũng không có đảm bảo phản hồi
  Có vẻ đây thực chất là dấu chấm hết cho kỷ nguyên công cụ tìm kiếm indie/ngách
  Link thông báo liên quan: Tài liệu hỗ trợ của Google

  • DuckDuckGo đang dùng Microsoft Bing Custom Search, và tôi nghĩ đó là một hệ thống ổn định hơn nhiều
    Không phải lo dịch vụ bị đóng bất cứ lúc nào như Google
    customsearch.ai
  • Nếu Google thua đơn kháng cáo hoặc yêu cầu Partial Stay bị bác, thì theo phán quyết của tòa, Google sẽ có nghĩa vụ cung cấp tìm kiếm trên toàn bộ web cho các “Qualified Competitors”
    Tài liệu liên quan: PDF phán quyết của tòa
  • Tôi đã tự xây dựng web index của riêng mình. Hiện đang lập chỉ mục 34 triệu tài liệu
    greppr.org
    Phụ thuộc vào hạ tầng của người khác là rất rủi ro. Google Graveyard là có thật
  • Hôm nay tôi mới biết là từng có tính năng “search the entire web”
    Khá bất ngờ vì về cơ bản Google đã đóng gói công cụ tìm kiếm của mình để người khác gắn quảng cáo rồi bán lại
  • Tôi tò mò những công cụ tìm kiếm ngách nào sẽ bị ảnh hưởng bởi thay đổi này

• Trường hợp này cho thấy rất rõ rủi ro khi phụ thuộc vào API độc quyền
  Cũng là mô típ quen thuộc như việc hạn chế Twitter API, khi nền tảng ngày càng đóng hệ sinh thái của mình
  Các lựa chọn thay thế gồm

  1. Tự xây dựng hạ tầng bằng các công cụ như Meilisearch, Typesense
  2. Dùng các dịch vụ trung gian như SerpAPI (dù Google đang có hành động pháp lý)
  3. Chuyển sang công cụ tìm kiếm chuyên biệt có thể tự kiểm soát nguồn dữ liệu
     Bài học cốt lõi là “phải tự sở hữu giá trị cốt lõi”
     Thông điệp của Google rất rõ — “tìm kiếm indie đã hết thời, hoặc trả giá doanh nghiệp, hoặc rời đi”

• Thảo luận liên quan: Kagi và tác động của phán quyết với Google

  • Theo bài viết của Kagi, Google phải cung cấp dữ liệu web index (metadata crawl, điểm spam, v.v.) với mức giá gần bằng chi phí
    Nhưng động thái lần này có vẻ như mâu thuẫn với phán quyết đó
    Có lẽ Google đang muốn loại bỏ cách tích hợp cũ, rồi buộc Kagi, Ecosia và các bên khác phải mua dữ liệu theo cách bất tiện hơn

• Ở châu Âu, Qwant và Ecosia đang hợp tác để xây dựng search index riêng
  Dự án EUSP

  • Đây là một nỗ lực tốt, nhưng bắt đầu quá muộn nên có lẽ tác động sẽ hạn chế
    Dù vậy, họ vẫn đặt mục tiêu đạt 30% truy vấn tìm kiếm tại Pháp vào cuối năm 2025
    Chi tiết dự án

• Thay đổi này về thực chất sẽ giáng đòn mạnh vào các công cụ tìm kiếm white-label dựa trên Google như Startpage và Ecosia
  Ngoài Bing gần như không còn phương án thay thế nào, còn các công ty AI như Perplexity, Anthropic có vẻ đã tự xây dựng index riêng

  • Để tham khảo, Mojeek cung cấp web search API riêng với hơn 9 tỷ trang đã được lập chỉ mục
    Mojeek API

• Tôi đang làm một dự án đồ chơi tên là “Google Search in a TUI”, nhưng với chính sách này thì tôi phải đổi hướng hoàn toàn
  Ban đầu tôi định thêm Brave Search làm tùy chọn backend, giờ có lẽ sẽ chuyển nó thành mặc định
  Thay đổi lần này là yếu tố quyết định

• Tôi cũng muốn tự làm một công cụ tìm kiếm đồ chơi, nên khá tò mò không biết có ai đã thực sự thử chưa

  • Tôi bắt đầu từ năm 2021 và giờ đang lập chỉ mục 1,1 tỷ tài liệu
    Chạy trên một server duy nhất, nhưng mở rộng quy mô và duy trì chất lượng là phần khó nhất
    Lên tới vài triệu tài liệu thì dễ, nhưng khi sang quy mô hàng tỷ thì đó là một bài toán hoàn toàn khác
    Nhật ký phát triển: Marginalia Devlog
    Công cụ tìm kiếm thực tế: Marginalia Search
    Hiện đang nén lại index nên hiệu năng có phần giảm đi
  • Cũng có YaCy, một công cụ tìm kiếm phân tán
    Người dùng sẽ crawl web và chia sẻ index của nhau theo mô hình kiểu torrent
    Có thể chưa đủ tốt để làm công cụ tìm kiếm thực tế, nhưng ý tưởng thì khá thú vị
  • Nhưng nếu không phải Google thì rất dễ vấp phải việc bị chặn crawl web

• Nghe nói gần đây AI crawler bùng nổ, vậy thì tưởng như đã có nhiều bộ dữ liệu toàn bộ web mới xuất hiện
  Tôi tò mò vì sao những bộ dữ liệu đó không thể được cung cấp dưới dạng API — là do vấn đề chất lượng, hay do chu kỳ cập nhật
  Về bản chất, đây thậm chí có thể là một cơ hội kinh doanh mới

  • Câu “AI crawler làm sập server” là phóng đại
    Ngay cả phần cứng từ thập niên 1990 cũng có thể xử lý hàng tỷ request
    Chỉ cần không tạo trang lại mỗi lần và chỉ cập nhật khi có thay đổi là đủ

• Tôi tò mò liệu các index cạnh tranh như Bing, Ecosia, Qwant có thực sự kém hơn một cách khách quan hay chỉ là do quán tính của Google
  Liệu thay đổi lần này có thể lại trở thành cú hích thúc đẩy cạnh tranh hay không

  • Bing gần đây đã đóng API, mà vốn dĩ chi phí cũng rất cao
    Giờ gần như không còn cách nào để lấy kết quả tìm kiếm theo kiểu lập trình
  • Điểm mạnh của Google Programmable Search là miễn phí, và còn có thể kiếm tiền nhờ tích hợp AdSense
    Trong khi đó Bing tính phí theo mỗi truy vấn
    Ecosia và Qwant có hợp đồng cấp phép với Bing nên được dùng với chi phí thấp hơn người dùng thông thường
  • Với tìm kiếm tiếng Anh thì các index khác cũng dùng được khá ổn, nhưng với các ngôn ngữ thiểu số thì Google gần như là lựa chọn duy nhất
    Các engine khác rất khó đạt tới quy mô đó
  • Index của Bing nhỏ hơn Google, và các site như Reddit có thỏa thuận tìm kiếm độc quyền với Google, nên chất lượng kết quả kém hơn
  • Với các ngôn ngữ ngoài tiếng Anh thì phần lớn chất lượng rất tệ, nên hàng tỷ người dùng vẫn gần như buộc phải phụ thuộc vào Google