Chờ đợi bình minh mới của tìm kiếm: chỉ mục tìm kiếm, phán quyết với Google và tác động tới Kagi

• Google nắm hơn 90% thị trường tìm kiếm toàn cầu, dẫn đến một cấu trúc trong đó hạ tầng cốt lõi của sự phát triển AI và quyền tiếp cận thông tin bị một doanh nghiệp duy nhất kiểm soát
• Tháng 8/2024, tòa án Mỹ phán quyết rằng Google đã lạm dụng vị thế độc quyền trong dịch vụ tìm kiếm tổng quát, sau đó DOJ (Bộ Tư pháp Mỹ) công bố các biện pháp khắc phục, bao gồm mở chỉ mục và chia sẻ dữ liệu
• Kagi là dịch vụ tìm kiếm trả phí không có quảng cáo, đã thất bại trong việc đàm phán cấp phép trực tiếp với Google và Bing, và hiện đang sử dụng cách tiếp cận truy cập tạm thời thông qua API của bên thứ ba
• Nếu biện pháp khắc phục của DOJ được thực thi, Google sẽ phải cung cấp chỉ mục tìm kiếm và kết quả dựa trên truy vấn cho đối thủ theo điều kiện công bằng, qua đó mở rộng cơ hội đổi mới cho các công ty tìm kiếm độc lập như Kagi
• Kagi hướng tới một hệ sinh thái đa tầng nơi tìm kiếm công cộng, tìm kiếm có quảng cáo và tìm kiếm trả phí cùng tồn tại, nhằm khôi phục quyền tiếp cận thông tin như một hàng hóa công

---

Thực tế của độc quyền tìm kiếm

• Theo dữ liệu StatCounter tính đến tháng 10/2025, thị phần tìm kiếm toàn cầu của Google là 90.06%, còn tại Mỹ là 85%
  • Bing 4.31%, Yandex 1.84%, Yahoo 1.45%, DuckDuckGo 0.89%, Baidu 0.73%
• Đây không phải là một thị trường cạnh tranh mà là một cấu trúc độc quyền trên thực tế, trong đó chỉ mục tìm kiếm vận hành như hạ tầng cốt lõi không thể thay thế
• Dù Microsoft đã đầu tư khoảng 100 tỷ USD vào Bing trong suốt 20 năm, thị phần vẫn chỉ dừng ở mức một chữ số
• Sherman Act được nhắc đến như đạo luật nhằm điều tiết kiểu độc quyền hạ tầng cốt lõi này, và là cơ sở để buộc quyền truy cập công bằng
• Bài viết cũng cảnh báo rằng nếu một gatekeeper duy nhất dựa trên quảng cáo kiểm soát quyền tiếp cận thông tin, thì khả năng ra quyết định dân chủ và năng lực học hỏi của xã hội sẽ bị tổn hại

Cách tiếp cận và giới hạn của Kagi

• Kagi là dịch vụ tìm kiếm thuê bao không có quảng cáo, cung cấp kết quả chất lượng cao bằng cách tích hợp nhiều nguồn dữ liệu khác nhau
• Kagi đã đàm phán với các nhà cung cấp chỉ mục lớn theo điều kiện FRAND (công bằng, hợp lý, không phân biệt đối xử) và ký cấp phép trực tiếp với Mojeek, Brave, Yandex, Wikipedia, TripAdvisor, Yelp, Apple, Wolfram Alpha...
• Tuy nhiên, đàm phán với Google và Bing đều thất bại
  • Bing cấm việc sắp xếp lại hoặc hợp nhất kết quả, đồng thời đóng Bing Search API vào tháng 8/2025
  • Google không cung cấp public search API, và chỉ cho phép hợp tác dưới dạng gói kèm quảng cáo
• Vì vậy, Kagi hiện phải lấy kết quả thông qua các nhà cung cấp SERP API bên thứ ba, nhưng đây chỉ là biện pháp tạm thời

Vụ kiện chống độc quyền với Google và biện pháp khắc phục của DOJ

• Trong vụ kiện giữa Bộ Tư pháp Mỹ (DoJ) và Google bắt đầu từ năm 2020, tháng 8/2024 tòa án phán quyết rằng Google đã vi phạm Mục 2 của Sherman Act bằng hành vi duy trì độc quyền
• Tháng 9/2025, DOJ công bố các biện pháp khắc phục sau
  • Hạn chế hợp đồng độc quyền: cấm các thỏa thuận độc quyền liên quan đến Search, Chrome, Assistant, Gemini
  • Chia sẻ dữ liệu: cung cấp chỉ mục tìm kiếm và dữ liệu tương tác cho đối thủ
  • Cấm gắn kèm quảng cáo: không được ràng buộc quyền truy cập kết quả tìm kiếm với việc sử dụng Google Ads
  • Truy cập dữ liệu chỉ mục: cung cấp URL, metadata thu thập dữ liệu, điểm spam... ở mức chi phí cận biên
  • Thời hạn hiệu lực: có hiệu lực trong 6 năm, với thời hạn cấp phép được bảo đảm 5 năm
• Kagi kỳ vọng rằng nếu các biện pháp này được thực thi, việc truy cập chỉ mục một cách công bằng sẽ trở nên khả thi

Tầm quan trọng của việc triển khai và thực thi

• Tháng 12/2025, Google đệ đơn kiện SerpApi về hành vi scraping quy mô lớn
• Kagi chỉ ra rằng đây là “vấn đề mang tính cấu trúc phát sinh vì Google không cung cấp quyền truy cập chỉ mục hợp pháp”
• Trước đây, Google từng tự do crawl web và xây dựng chỉ mục trong giai đoạn trước khi chuẩn mực robots.txt được thiết lập, nhưng hiện nay lại dùng vị thế độc quyền của mình để hạn chế truy cập của bên khác
• Kagi tiếp tục giữ lập trường rằng họ “muốn có cấp phép trực tiếp và quyền truy cập hợp pháp”, đồng thời nhấn mạnh biện pháp khắc phục của DOJ phải dẫn tới quyền truy cập thực chất được bảo đảm

Tầm nhìn về hệ sinh thái tìm kiếm đa tầng

• Phán quyết của DOJ không ngay lập tức tạo ra một thị trường lành mạnh, nhưng đặt nền tảng cho cạnh tranh công bằng
• Kagi đề xuất cấu trúc tìm kiếm 3 tầng
  • Tầng 1: dịch vụ tìm kiếm công cộng do chính phủ vận hành (search.org) — truy cập thông tin phi lợi nhuận, không quảng cáo, không trung gian
  • Tầng 2: tìm kiếm miễn phí dựa trên quảng cáo — tập trung vào chức năng thương mại
  • Tầng 3: tìm kiếm thuê bao trả phí — tập trung vào chất lượng, quyền riêng tư và tính năng nâng cao (lĩnh vực của Kagi)
• Mô hình này cho phép quyền tiếp cận thông tin công cộng, sự tiện lợi thương mại và cạnh tranh về chất lượng cao cấp cùng tồn tại, phù hợp với tinh thần của Sherman Act

Kết luận

• Biện pháp của DOJ là bước đầu tiên để chuyển một hạ tầng độc quyền khép kín thành hạ tầng công cộng mở
• Nếu Google cung cấp quyền truy cập chỉ mục theo điều kiện công bằng, cạnh tranh đổi mới trong hệ sinh thái tìm kiếm và AI sẽ trở nên khả thi
• Kagi đang tiếp tục mở rộng tìm kiếm dựa trên đa nguồn và Small Web Index riêng, đồng thời chuẩn bị một cơ chế truy cập hợp pháp và minh bạch
• Mục tiêu là xây dựng “một hệ sinh thái tìm kiếm khôi phục quyền tiếp cận thông tin như hàng hóa công”, và điều này được kỳ vọng sẽ dẫn đến sự phục hồi đa dạng của AI và tìm kiếm trong 10 năm tới

[GN⁺]

Ý kiến trên Hacker News

• Việc xây dựng lại chỉ mục tìm kiếm của Google là một công việc khổng lồ, giống như làm lại cả mạng lưới đường sắt quốc gia
  Tôi có hai điều thắc mắc. Thứ nhất, tại sao các công ty Big Tech khác không tự xây chỉ mục để phá thế độc quyền của Google. Nếu nó được cung cấp như một tài sản công tương tự bộ dữ liệu huấn luyện LLM, thì có thể tạo ra thay đổi mới mẻ cho toàn bộ UX. Thứ hai, Bộ Tư pháp đã đưa ra hướng dẫn liên quan đến độc quyền, nhưng tôi thắc mắc vì sao các bang lại không thể cưỡng chế thực thi

  • Google ban đầu đã xây dựng chỉ mục bằng cách tự do crawl toàn bộ web trước khi robots.txt trở nên phổ biến. Giờ đây họ đang dùng thị phần 90% để hạn chế các crawler khác. Nói cách khác, những quy tắc mà Google đang áp dụng hiện nay là những quy tắc mà chính họ đã không tuân theo trong thời kỳ tăng trưởng
  • Làm ra một chỉ mục thì dễ, nhưng làm ra một “chỉ mục mới” thực sự thì rất khó. Việc xếp hạng cũng không chỉ ở mức BM25 đơn giản. Để thay đổi các mặc định và thói quen người dùng mà Google đã tích lũy suốt 25 năm, cần có biện pháp chống độc quyền hoặc một giải pháp thay thế về công nghệ
  • Bản thân scraping đã khó, còn scraping chất lượng cao thì còn khó hơn. Đã từng có các nỗ lực xây chỉ mục công khai, nhưng chưa cái nào thành công
  • Google đã có mức độ nhận diện thương hiệu đến mức trở thành động từ, nên cạnh tranh gần như là bất khả thi
  • Apple, Microsoft, Meta, Amazon và các công ty khác dường như đang có một thỏa thuận ngầm: nhường thị trường quảng cáo cho Google và mỗi bên giữ lãnh địa của riêng mình. Quảng cáo Google vận hành như một loại thuế trên web, và ngay cả khi có chỉ mục công khai thì cấu trúc doanh thu của các nhà vận hành website cũng sẽ không thay đổi. Google hiểu rất rõ thực tế này

• Tôi ủng hộ Kagi. Tôi hiểu công nghệ nhưng trước đây không biết nhiều về cấu trúc bên trong của ngành tìm kiếm, nên tính minh bạch của họ làm tôi ấn tượng. Tuy vậy, vẫn chưa rõ liệu Google có thực sự tuân theo lệnh khắc phục hay không. Dù sao tôi vẫn có chút hy vọng

  • Tôi ủng hộ Kagi vì tính năng chặn (block feature) của họ. Nó có thể lọc sạch hoàn toàn các website chất lượng thấp nhồi nhét SEO

• Thống kê trong bài khó mà tin được. Có tới 20% dân số thế giới sống ở khu vực Google bị chặn, nên câu “90% thế giới dùng Google” là cường điệu. Có vẻ đây thực chất là thống kê lấy Mỹ làm trung tâm

  • Xem thị phần công cụ tìm kiếm trên Wikipedia thì Nga là Yandex 70%, Trung Quốc là Baidu 59%, Hàn Quốc là Naver 59%, Nhật Bản là Google 76%, cho thấy chênh lệch theo khu vực rất lớn
  • Người dùng Trung Quốc không thể chọn Google, nên có vẻ đã bị loại khỏi thống kê. Dữ liệu của StatCounter thiếu tính đại diện
  • Dù sao thì Kagi cũng sẽ không dùng được ở Trung Quốc
  • Phần lớn các quốc gia chặn Google là nơi các công ty phương Tây khó thâm nhập vì lý do đạo đức. Kagi có lẽ cũng vậy

• Điều thú vị là Kagi cho biết họ không thể dùng trực tiếp Google API nên phải dùng API bên thứ ba như SerpAPI. Thật mỉa mai khi các công ty cùng hệ với Google như DeepMind cũng nằm trong danh sách khách hàng. Nhưng rốt cuộc truy vấn của Kagi vẫn có thể được chuyển tới Google, nên vẫn tồn tại giới hạn trong chính sách quyền riêng tư

  • Có người diễn đạt rằng “Google không cho phép nên Kagi đang ăn cắp rồi bán lại”
    • Nhưng việc tận dụng thông tin công khai trên web là một vùng xám hợp pháp. Ngay từ đầu Google cũng đã crawl web mà không xin phép
    • Từ góc nhìn chống độc quyền, chỉ mục tìm kiếm nên được xem là hạ tầng công cộng. Lập luận là nó nên được tách ra và chia sẻ giống như đường sắt hay mạng viễn thông trước đây
    • Trên thực tế, chỉ crawler của Google mới nhận được đãi ngộ đặc biệt, nên các công cụ tìm kiếm mới rất khó cạnh tranh
    • Cũng có góc nhìn hoài nghi rằng “kiếm tiền thì không có đạo đức”
    • Cũng có ý kiến rằng “tính năng tóm tắt AI của Google rốt cuộc cũng là cùng một hành vi thôi, đúng không?”

• Ở châu Âu đang có các dự án như Open Web Search Initiative và Open Web Index. 14 viện nghiên cứu đang tham gia xây dựng hạ tầng chỉ mục web công khai, nhằm cung cấp dữ liệu có cấu trúc để các công cụ tìm kiếm và LLM có thể sử dụng

• Trong phần mô tả gói cước của Kagi, họ nói “tìm kiếm trả phí, dựa trên đăng ký” nhưng bị chỉ ra là thiếu cụm “không quảng cáo (ad-free)”

  • Có người nói việc nghi ngờ Kagi chỉ vì một từ nhỏ như vậy là đánh lạc hướng vấn đề. Khả năng Kagi chèn quảng cáo là thấp, và kể cả có thì có thể theo kiểu quảng cáo do người dùng lựa chọn
  • Cũng có người cho rằng vì họ đã ghi “không bán sự chú ý của người dùng” nên không phải vấn đề lớn
  • Với người dùng trả phí, nếu có quảng cáo thì họ sẽ hủy đăng ký ngay. Trải nghiệm tìm kiếm không quảng cáo mới là giá trị cốt lõi
  • Cũng có bình luận đùa kiểu “trả phí, không quảng cáo, không amiăng” để cảnh báo việc suy diễn âm mưu quá mức. Họ còn thêm chút hài hước bằng link xkcd 641

• Google đã nộp kháng cáo và yêu cầu tạm dừng thi hành đối với lệnh khắc phục trong phán quyết lần này. Tài liệu liên quan đã được công khai trên CourtListener. Tôi tò mò liệu Kagi có nộp amicus brief để hỗ trợ phía nguyên đơn hay không. Google cũng có thể tài trợ cho các tổ chức thân thiện như từng làm trong vụ kháng cáo của Epic trước đây (bài liên quan)

• Tôi vẫn thường nói “google cái này”, nhưng thực ra lại dùng Kagi hoặc DDG

  • Kiểu phổ thông hóa nhãn hiệu (genericization) này về mặt pháp lý là bất lợi cho Google. Giống như trường hợp ‘Aspirin’ từng mất quyền nhãn hiệu
  • Tôi cố dùng những cách diễn đạt trung tính với thương hiệu như “tìm trên web”
  • Trong tiếng Ý, “to google” bị biến thành “googl-are”, nhưng nếu đổi sang Kagi thì “kag-are” lại là tiếng lóng nghĩa là đi nặng, nên nghe buồn cười
  • Giống như “Xerox” hay “Kleenex”, Google cũng đã trở thành danh từ chung, nhưng vẫn ở trạng thái độc quyền trên thực tế
  • Hầu hết mọi người không biết Kagi là gì nên tôi không muốn phải giải thích cho mất công

• Trợ lý AI của Kagi mang lại bản tóm tắt lấy nguồn làm trung tâm, nên tôi thấy rất hài lòng. Nó không giả vờ có nhân cách như Claude hay ChatGPT, nên rất phù hợp cho mục đích nghiên cứu. Câu trả lời dựa trên nguồn chính là điểm mạnh cốt lõi của nó