Cách loại trừ website của tôi khỏi bản tóm tắt AI của Google

• Google đã đưa bản tóm tắt do AI tạo ra (AI Overviews) vào kết quả tìm kiếm, và tính năng này thường lấy nội dung từ các website, tạo ra hiệu ứng cướp lưu lượng truy cập
• Chủ website trên thực tế chỉ có thể chọn những biện pháp cực đoan như chặn snippet (max-snippet:0, nosnippet) hoặc chặn một phần (data-nosnippet), nên gần như rơi vào thế tiến thoái lưỡng nan không có lối thoát
• Ở phía người dùng, chỉ tồn tại các cách né tránh hạn chế và không hoàn chỉnh như tắt Search Labs, dùng tham số URL, tiện ích mở rộng
• Cơ quan quản lý tại EU và Anh hiện đang điều tra tính chất phản cạnh tranh và thiệt hại đối với nhà xuất bản từ Google AI Overviews, đồng thời cân nhắc các quy định như chia sẻ lưu lượng truy cập và opt-out công bằng
• Trong thời gian tới, biện pháp thực chất duy nhất mà nhà xuất bản có thể dùng là max-snippet:0, nhưng nó có nhược điểm chí mạng là làm giảm tỷ lệ nhấp, nên bị chỉ trích là thiết kế dark pattern của Google

---

Vấn đề với Google AI Overviews

• Gần đây Google đã đưa AI Overviews (SGE: Search Generative Experience) do AI tự động tạo vào kết quả tìm kiếm
• Tính năng này nhắm đến việc cải thiện trải nghiệm người dùng bằng cách phân tích nội dung chính của website rồi hiển thị bản tóm tắt ngắn trực tiếp
• Tuy nhiên, nhiều chủ website vì thế đang phải đối mặt với vấn đề người dùng chỉ tiêu thụ nội dung tóm tắt mà không truy cập trang gốc
• Kết quả là lưu lượng truy cập tự nhiên (organic traffic) của website đang sụt giảm

Tác động của Google AI Overviews

• AI Overviews tự động tóm tắt nội dung và đưa lên đầu kết quả tìm kiếm mà không cần sự đồng ý của chủ website
• Người dùng ngày càng có xu hướng chỉ đọc phần tóm tắt mà không bấm vào trang gốc
• Vì vậy, hiệu quả của các chiến lược SEO truyền thống suy yếu và gây bất lợi cho người vận hành website

Cách webmaster có thể ứng phó

• 1. max-snippet:0
  • <meta name="robots" content="max-snippet:0">
  • Chặn mọi snippet và bản tóm tắt AI, khiến kết quả tìm kiếm chỉ còn tiêu đề + URL
    • Nhược điểm là có thể làm giảm mạnh tỷ lệ nhấp (CTR)
  • Hiện tại đây là cách hiệu quả nhất, nhưng không phải giải pháp hoàn hảo
• 2. nosnippet
  • <meta name="robots" content="nosnippet">
  • Có tác dụng tương tự max-snippet:0, loại bỏ hoàn toàn mô tả hoặc phần tóm tắt khỏi kết quả tìm kiếm
    • Hệ quả là danh sách tìm kiếm có thể trở nên đơn điệu và kém hấp dẫn hơn
  • Ngăn AI Overviews, nhưng có thể dẫn đến suy giảm khả năng hiển thị trên tìm kiếm
• 3. data-nosnippet
  • <span data-nosnippet>…</span>
  • Cách này cho phép loại trừ có chọn lọc một số nội dung cụ thể
    • Tuy nhiên Google vẫn có thể dùng văn bản khác cho phần tóm tắt, nên không thể kiểm soát hoàn toàn
  • Có thể áp dụng cho các phần tử HTML như span, div, section
• 4. Các lựa chọn phía người dùng (chỉ ảnh hưởng tới tài khoản cá nhân)
  • Opt-out Search Labs: người dùng đã đăng nhập có thể tắt “AI Overviews and more”
    • Việc này chỉ áp dụng cho tài khoản người dùng đó và không ảnh hưởng đến cách website hiển thị với người khác
  • Bộ sửa URL: thêm &udm=14, -AR, -noai vào truy vấn tìm kiếm
  • Tiện ích mở rộng trình duyệt: có thể dùng công cụ như Bye Bye Google AI
    • Có thể ngừng hoạt động khi Google cập nhật
  • Mẹo Reddit: đề xuất thêm từ ngữ tục tĩu để né AI Overviews
    • Chỉ là biện pháp tạm thời, không thực tế
  • Trên iOS, có thể tắt hiển thị Gemini trong ứng dụng Google, dùng tab Web, hoặc dùng trình duyệt thay thế như Safari, DuckDuckGo
• 5. Hy vọng từ phía quản lý: điều tra của EU và Anh
  • EU
    • Independent Publishers Alliance, Movement for an Open Web, Foxglove Legal và các bên khác đã đệ đơn chống độc quyền lên Ủy ban châu Âu
    • Họ cho rằng AI Overviews dẫn đến lạm dụng nội dung, rò rỉ lưu lượng truy cập và thiếu cơ chế opt-out công bằng
  • Anh
    • Cơ quan Cạnh tranh và Thị trường (CMA) đang điều tra liệu AI Overviews có kìm hãm cạnh tranh và gây hại cho nhà xuất bản hay không
    • Cơ quan này đang xem xét các biện pháp như bắt buộc ghi nguồn, chia sẻ lưu lượng truy cập, và hạn chế việc Google tự ưu tiên sản phẩm của mình

Bản chất của vấn đề

• Thế tiến thoái lưỡng nan của nhà xuất bản: nếu không chặn snippet thì AI sẽ trích xuất nội dung và gây mất lưu lượng truy cập; nếu chặn thì khả năng hiển thị trên tìm kiếm lại giảm
• Thiếu quyền kiểm soát của người dùng: các lựa chọn thay thế đều bất tiện, không hoàn chỉnh và thiếu nhất quán
• Chỉ trích dark pattern: cấu trúc thiết kế của Google bị xem là thiết kế mang tính thao túng, ép nhà xuất bản phải từ bỏ thứ quan trọng hơn
  • Đây là một dạng dark pattern điển hình, buộc nhà xuất bản phải chấp nhận lựa chọn bất lợi

Kết luận

• Cho đến khi cơ quan quản lý buộc phải có thay đổi, lựa chọn duy nhất hiện nay của nhà xuất bản là max-snippet:0, nhưng nó đi kèm tổn thất hiển thị nghiêm trọng
  • Chủ website phải đưa ra một lựa chọn không công bằng giữa chặn AI Overviews và mất khả năng hiển thị
• Chính sách của Google là một cấu trúc lựa chọn ép buộc không có lối thoát, tức một dark pattern điển hình
• Các quyết định sắp tới từ cơ quan quản lý EU và Anh có thể là hy vọng duy nhất để thay đổi tình hình, nhưng không phải giải pháp tức thời

[laeyoung]

Về nội dung liên quan, bạn nên đọc cùng bài SEO đã đến hồi kết? Khởi đầu của việc tối ưu hóa marketing cho AI agent.

Nếu xem reddit về SEO thì cũng có khá nhiều bài than phiền rằng lượng hiển thị trên Google vẫn giữ nguyên, nhưng do Zero click nên lượng truy cập đổ về đã giảm rất nhiều.

[crawler]

> Bạn có cho rằng đây là một tính năng công bằng—hay là một ví dụ điển hình của kiểu thiết kế dark pattern? Hãy cho chúng tôi biết trong phần bình luận.

Trong bài thật sự có đoạn bảo hãy để lại bình luận, nhưng trên trang có vẻ lại không có chức năng bình luận.
Nếu đây là bài viết dùng AI để viết về cách chặn AI thì đúng là khá mâu thuẫn.

[GN⁺]

Ý kiến trên Hacker News

• Tôi cảm nhận đây là hiện tượng "cổng thông tin/môi giới" đã lan rộng trong mọi lĩnh vực suốt vài thập kỷ qua. Một lớp bên thứ ba chen vào giữa người tiêu dùng và nhà sản xuất, khiến cả hai phía đều thuận tiện hơn, nhưng giờ thì cả hai cũng buộc phải phụ thuộc vào lớp này. Khi đặt hàng trên Amazon, người ta không còn giao tiếp trực tiếp với người bán nữa, và khi gọi đồ ăn cũng không trả tiền trực tiếp cho nhà hàng. Khi tìm thông tin trên web, người ta cũng không còn phải tiếp xúc với phong cách viết riêng, điều hướng hay quảng cáo của từng tác giả nữa. Từ góc nhìn của chủ sở hữu nội dung, cấu trúc này làm giảm lượt truy cập vào trang và ảnh hưởng đến doanh thu quảng cáo; khác với Amazon hay ứng dụng giao đồ ăn, tổn thất quảng cáo do phần tóm tắt của Google gây ra lại không được bù đắp. Trong bối cảnh phần lớn nội dung trực tuyến được vận hành bằng quảng cáo, Google rốt cuộc cũng sống nhờ doanh thu quảng cáo, nhưng họ vẫn đang buộc phải thúc đẩy sự tiến hóa này vì tương lai. Có vẻ Google chỉ đang tập trung vào việc giữ chỗ đứng trong tương lai

  • Thật ra, cách diễn đạt rằng thay đổi này mang lại lợi ích cho cả hai phía là điều đáng chú ý. Đúng là trong giai đoạn chuyển đổi sẽ có một bên chịu thiệt, nhưng tôi nghĩ lợi ích mà người tiêu dùng và nền tảng nhận được cuối cùng vẫn lớn hơn

• Tôi khó chịu khi tài liệu có bản quyền trên website sản phẩm phần mềm của mình bị Google hay các AI khác thu thập và tái chế mà không xin phép. Nhưng nếu chặn lại, khả năng nội dung của tôi được nhắc đến trong phần tóm tắt AI của họ gần như bằng không

  • Nếu chặn theo cách này thì trong kết quả về sản phẩm hay công ty của tôi, AI Overview có thể sẽ tham chiếu đến thông tin không phải từ kết quả xếp hạng thứ 2, nên trên thực tế còn tệ hơn. Ví dụ, với truy vấn "cách rút tiền từ PayPal", nếu site đứng thứ hai là một tên miền tiêu cực kiểu "PayPal sucks", thì khi site chính thức bị loại khỏi phần tóm tắt sẽ còn rắc rối hơn. Kết luận là các publisher cứ nên cho phép. Nếu lo về giảm traffic, liên kết "source" trong phần tóm tắt xuất hiện trước mọi kết quả khác. Nếu lo thông tin sai lệch, có thể xử lý bằng cách báo cáo độ chính xác hoặc chỉnh sửa nội dung. Ngoài ra Google nên cho phép opt-out AI Overview và snippet một cách riêng biệt, và nếu lo về AI Overview thì snippet cũng là thứ đáng phải bận tâm tương tự
  • Tôi có cảm giác bất an rằng trong tương lai Google có thể bảo hãy trả tiền nếu muốn họ mô tả tôi tích cực hơn đối thủ, hoặc sẽ có người liên hệ bảo phải trả tiền nếu muốn xóa thông tin sai lệch được tạo ra một cách oan uổng
  • Nếu là website bán hàng trực tiếp thì tôi nghĩ việc được hiển thị trong AI Overview ngược lại là điều đáng mong muốn

• Tôi không hiểu vì sao tính năng tóm tắt AI kiểu này lại không ăn mòn doanh thu tương lai của Google. Google kiếm tiền bằng cách dẫn người dùng sang website thông qua quảng cáo, nhưng với dịch vụ tóm tắt này họ đang khiến chính website trở nên không cần thiết. Nếu vậy thì còn ai muốn tạo ra một site không có khách truy cập nữa

  • Google đã có sẵn công nghệ chèn quảng cáo sản phẩm và dịch vụ vào AI Overview. Trong nghiên cứu đã mô tả ví dụ thực tế khi tìm kiếm "kỳ nghỉ", khách sạn và hãng hàng không đều được nhắc đến. Link bài nghiên cứu là ở đây
  • 99% doanh thu tập trung vào các từ khóa có ý định mua hàng rõ ràng như "buy macbook" hay "book trip to dc". Với các truy vấn mang tính thông tin, doanh thu quảng cáo gần như không có
  • Thật ra chỉ có một số rất ít truy vấn tạo ra doanh thu, điều này có thể thấy từ việc phần lớn truy vấn thậm chí còn không có đấu giá quảng cáo
  • Thực ra Google còn sợ hơn việc bị công nghệ như ChatGPT thay thế vị trí. Vì vậy cách tốt nhất để giữ chỗ là cung cấp ngay lập tức thông tin người dùng muốn. Theo tôi LLM vẫn chưa hoàn hảo, nhưng ở những việc như câu hỏi mơ hồ, tổng hợp thông tin hay dịch thuật thì vượt xa công cụ tìm kiếm. Khi mục tiêu là lấy thông tin thay vì tìm một trang cụ thể, LLM gần với hình mẫu lý tưởng hơn. Tôi sẽ không ngạc nhiên nếu trong 10 năm tới công cụ tìm kiếm biến mất
  • Có lẽ Google cũng bị ép phải đưa vào những thay đổi này vì thực tế đang ngày càng bị các dịch vụ LLM lấn át. Việc Google đặt AI Overview lên trên quảng cáo cho thấy họ đang tuyệt vọng đến mức nào

• Tôi đã cấu hình site cá nhân của mình trong Apache để chặn index, snippet, translation và image index. Dù vậy Internet Archive vẫn phớt lờ và thu thập, và dù tôi đã nhiều lần yêu cầu xóa thì họ cũng tuyệt đối không đáp ứng. Giờ tôi còn đang dùng Anubis để chặn thêm việc scraping. (Site này là nhật ký công khai bắt đầu từ năm 2000, nên tôi muốn nó không thể bị tìm thấy qua tìm kiếm)

  • Tôi không hiểu việc công khai lên Internet nhưng lại không muốn nó được sao lưu. Nếu tên miền biến mất mà một ngày nào đó bạn muốn xem lại, việc nó còn lưu trong Internet Archive ngược lại là điều đáng mừng. Một khi đã đưa lên Internet thì về bản chất nó là công khai
  • Điều khiến tôi buồn nhất là Internet Archive hoàn toàn không trả lời yêu cầu của tôi. Với nội dung bất hợp pháp (phỉ báng, bí mật quốc gia, một số nội dung khiêu dâm cụ thể, v.v.) thì có thể xóa ngoại lệ, nhưng nguyên tắc chung là nếu do chính bạn công khai thì không nên cho phép xóa khỏi hồ sơ lịch sử. Nếu tôi thực sự muốn giấu thông tin cá nhân thì đã đặt nó sau đăng nhập rồi. Site vẫn còn tồn tại và ai đó vẫn tiếp tục crawl
  • Trong snapshot có trường 'why?'. Trên thực tế ngoài Internet Archive còn có thể là Common Crawl, Archive Team v.v. đã đẩy site của tôi vào. Cần kiểm tra lý do để xác định chính xác đối tượng
  • Hãy thử yêu cầu xóa hoặc loại trừ Internet Archive bằng robots.txt. Chính sách này đã thay đổi vài lần, nhưng trong vài năm gần đây họ lại đang tôn trọng robots.txt. Xem FAQ

• Ở một khía cạnh nào đó, publishing là việc công khai một thứ để mọi người có một mức độ tự do nhất định trong cách sử dụng nó. Sự tự do đó có thể giúp ích cho site, cũng có thể không. Mỗi khi các nền tảng lớn như Google thay đổi, các publisher nội dung vẫn luôn phải thích nghi. AI Overview cũng chỉ là một phần của dòng thay đổi đó

  • Theo tôi đây là một góc nhìn hơi mang tính đặc quyền. Tôi từng xuất bản phần mềm theo các điều khoản giấy phép. Chỉ vì công khai không có nghĩa là ai cũng được dùng cho bất kỳ mục đích nào
  • Tiền đề của tôi là tôi xuất bản nhưng vẫn giữ bản quyền với nội dung của mình. Điều đó không có nghĩa là tôi cho cả quyền tái bản thương mại. Có lẽ rồi sẽ đến tương lai chỉ cần giấu nội dung sau đăng nhập, nhưng đó là tương lai cay đắng của web
  • Kể từ Đạo luật Anne năm 1710 (luật bản quyền đầu tiên), thông tin được phân phối công khai cũng vẫn chịu sự điều chỉnh của quy tắc
  • Tôi xuất bản bài viết vì muốn mọi người trực tiếp đọc nó, chứ không phải để Google làm một bản tóm tắt AI cẩu thả. Quyết định của Google cuối cùng vẫn là theo hướng có lợi cho Google
  • Publishing không nên đồng nghĩa với việc từ bỏ mọi quyền. Nhiều người viết để tập hợp độc giả có cùng mối quan tâm với mình. Khi một bên trung gian chen vào, mối liên kết giữa độc giả và tác giả lại bị tổn hại. Nếu muốn tóm tắt thì tôi có thể làm theo cách mình muốn, nhưng phần lớn tác giả không muốn bị LLM tóm tắt. Hơn nữa LLM có rất nhiều thiên lệch, và còn có thể lược bỏ những đoạn quan trọng bằng bộ lọc riêng của nó, khiến bản tóm tắt trở nên lệch lạc. Không gì gây hại cho ý tưởng bằng việc nó được truyền đạt như một phiên bản bị làm yếu đi và méo mó của quan điểm gốc

• Bài blog này ở câu cuối có ghi "hãy để lại bình luận", nhưng thực tế tôi không thấy khu vực bình luận nào, nên tự hỏi liệu nó có phải được tạo bằng AI hay không

• Tôi tự hỏi tính năng này có hoạt động với Perplexity, OpenAI, Claude v.v. hay không

• Tôi nghĩ nếu Google trích dẫn nguồn rõ ràng như Perplexity thì đó sẽ là kết quả tốt cho tất cả mọi người. Vừa có liên kết và ghi công cho bản gốc, vừa cải thiện UX, nên thấy khá đáng tiếc

  • Google cũng có trích dẫn, nhưng nó quá khó thấy, được hiển thị bằng một ký hiệu Unicode chỉ 1 ký tự trông như "liên kết". Khi bấm vào cũng không đi thẳng đến trang nguồn mà mở ra một bảng bên cạnh, trong đó thường có nhiều nguồn. Về mặt kỹ thuật thì đây là liên kết đầu tiên trên trang kết quả, nhưng trên thực tế muốn vào trang của tôi phải bấm 2 lần. Sẽ tốt hơn nếu trích dẫn nổi bật hơn, dùng tiêu đề trang làm anchor text và cung cấp liên kết trực tiếp. Nếu có nhiều trích dẫn thì nên mở sẵn bảng bên cạnh ngay từ đầu, hoặc hiển thị toàn bộ chúng ngay trên trang chính

• Trong tương lai lĩnh vực chuyên môn của tôi sẽ là cách làm cho website doanh nghiệp được LLM tóm tắt tốt. Cần có loại nội dung hướng dẫn chi tiết và trung thực như thế này

• Tôi đã dán tiêu đề bài viết này cùng với tên miền thì kết quả hiện ra lại khác. Ảnh tham chiếu