Sự suy tàn của Google Search bởi ‘nghìn vết cắt’
(matt-rickard.com)- Khi các hạn chế truy cập trên những trang lớn gia tăng, như Reddit chuyển sang chế độ riêng tư và Twitter áp dụng đăng nhập bắt buộc cùng giới hạn tốc độ, nhiều liên kết trong kết quả Google thực tế trở thành kết quả không thể mở
- Khi các mô hình ngôn ngữ lớn được huấn luyện bằng dữ liệu công khai, các trang nội dung sẽ có động lực bán dữ liệu hoặc tự khai thác trực tiếp thay vì tiếp tục mở dữ liệu
- Những hạn chế này có thể chặn hoặc làm phức tạp việc Google thu thập chỉ mục tìm kiếm, đồng thời ảnh hưởng đến việc đảm bảo dữ liệu huấn luyện cho các mô hình AI
- Nếu ngay cả những trang thường xuyên xuất hiện trong kết quả tìm kiếm như Wikipedia cũng bắt đầu thu phí hoặc hạn chế truy cập API, thì nguồn tư liệu cốt lõi của Google Search cũng có thể bị lung lay
- Dù Google có tăng cường bằng câu trả lời AI, nếu dữ liệu dần chuyển ra sau tường đăng nhập và tường phí thì chất lượng tìm kiếm có thể suy giảm từ từ trong nhiều năm
Hạn chế truy cập biến kết quả tìm kiếm thành liên kết chết
- Một số cộng đồng trên Reddit vẫn ở trạng thái riêng tư để phản đối các quy định API mới
- Twitter đang siết chặt tường đăng nhập và áp dụng giới hạn tốc độ với người dùng
- Vì những thay đổi này, hàng triệu kết quả tìm kiếm vẫn còn trong chỉ mục của Google trên thực tế đã trở thành liên kết chết
- Những người từng dùng kết quả Reddit trên Google đang mất đi lựa chọn thay thế trong bối cảnh họ cảm thấy tìm kiếm nội bộ của Reddit kém hơn
- Liên kết tweet trong kết quả tìm kiếm dẫn nhiều người dùng tới màn hình yêu cầu đăng nhập
Kiểm soát dữ liệu trong thời đại AI đang gây áp lực lên chỉ mục của Google
- Các mô hình ngôn ngữ lớn được huấn luyện bằng dữ liệu công khai thu thập qua API, và những trang có nhiều nội dung càng dễ chịu ảnh hưởng từ các mô hình được huấn luyện bằng chính dữ liệu của họ
- Những trang này có thể cân nhắc hai lựa chọn sau khi hạn chế quyền truy cập dữ liệu
- Bán dữ liệu
- Huấn luyện mô hình riêng
- Hạn chế truy cập có thể chặn hoặc làm phức tạp quá trình Google tự động thu thập dữ liệu cho tìm kiếm, đồng thời ảnh hưởng đến việc đảm bảo dữ liệu để huấn luyện mô hình
- Google Search có thể phải chịu nghìn vết cắt, khi mất dần kết quả từ từng website một
-
Nếu Wikipedia cũng áp dụng hạn chế
- Wikipedia được cho là xuất hiện ở trang đầu trong 99% kết quả tìm kiếm của Google
- Nếu API bị thu phí hoặc hạn chế, tác động đến kết quả tìm kiếm có thể rất lớn
- Dữ liệu Wikipedia là tập dữ liệu được đưa vào gần như mọi kho ngữ liệu của các mô hình ngôn ngữ lớn
- Wikimedia Foundation từ lâu đã kêu gọi hỗ trợ tài chính bằng các banner quyên góp, và năm 2021 đã ra mắt sản phẩm API doanh nghiệp mang tên Wikimedia Enterprise
- Khi các kết quả tìm kiếm lần lượt biến thành liên kết chết và bị loại khỏi chỉ mục, người dùng sẽ phụ thuộc nhiều hơn vào tìm kiếm theo từng trang bên trong các dịch vụ đóng
- Google có thể cố tăng cường kết quả bằng câu trả lời do AI tạo ra, nhưng không phải câu trả lời nào cũng đủ tốt, và dữ liệu huấn luyện cũng có thể bị đẩy ra sau tường đăng nhập hoặc tường phí
- Trước khi xuất hiện lựa chọn thay thế mới, tìm kiếm có thể tiếp tục xấu đi dần dần trong nhiều năm
1 bình luận
Ý kiến trên Hacker News
Có cảm giác Google Search đã từ từ chết đi từ rất lâu rồi
Trước đây còn có thể tìm được thông tin ngắn gọn như tài liệu, bài viết trên diễn đàn, wiki, nhưng giờ chỉ toàn thấy câu chữ marketing được tối ưu cho công cụ tìm kiếm, trại liên kết, clickbait, những bài dài hàng nghìn từ mà vẫn chẳng nói gì, các bài diễn thuyết chính trị lê thê không đúng ngữ cảnh nếu bạn không phải người Mỹ, và vô số quảng cáo
Tình trạng này trông như kết quả do chính quảng cáo của Google và bản thân thuật toán tìm kiếm của Google tạo ra, nên việc hỏi LLM hấp dẫn hơn tìm kiếm rất nhiều. Miễn là không bị ảo giác, AI có thể lọc bỏ nhiễu và rút ra thông tin thực sự
Web không còn là nơi dành cho con người hay cho việc tìm kiếm thông tin nữa, mà đã trở thành nơi phục vụ bot, crawler, thuật toán Google và marketing; con người ngày càng khó tiêu hóa nổi điều đó nên bắt đầu kỳ vọng AI sẽ đưa ra kết quả ngắn gọn và đi thẳng vào trọng tâm hơn
Nó chỉ hiện các công thức rác từ blog về cách tự đóng hộp súp bắp cải, thông qua một giao diện gợi ý kiểu ô vuông; không có liên kết văn bản thông thường và cũng không có sản phẩm súp đóng hộp thực tế nào. Lướt qua vài trang cũng không khác gì
Kỳ lạ là khi tìm "canned cabbage soup history" thì nó lại chuyển sang chế độ kết quả bình thường và hiện ra sản phẩm cùng Wikipedia. Nếu đó là kiểu truy vấn có ý định rõ ràng là muốn mua sản phẩm, thì lý do kinh doanh khiến Google phá hỏng nó bằng một kiểu tìm kiếm đặc biệt kỳ quặc có vẻ là dễ hiểu nhất; nhưng tôi vẫn không hiểu vì sao lại tồn tại chế độ "cung cấp blog spam" như vậy
Chưa kể bây giờ tôi thấy màn hình hỏi có phải robot hay không ít nhất năm lần mỗi ngày
Điều tôi muốn là một danh sách liên kết dẫn đến nơi có thông tin liên quan, chứ không phải công cụ tìm kiếm tóm lược hay gọt giũa nội dung. Nếu không tự đọc và tự hiểu thì quá nhiều tri thức và bối cảnh sẽ bị mất đi
Người dùng có thể nhận được câu trả lời ngắn gọn và chính xác mà không cần đi qua quảng cáo, và điều đó khá giống với web ngày xưa
Trong khi đó, những trang sao chép Stack Overflow đầy spam lẽ ra phải bị loại bỏ, hay những site như Canva và Pinterest tạo ra hàng nghìn trang na ná nhau chỉ khác chút ít ở tiêu đề, vẫn tiếp tục được Google cho phép và xếp hạng cao
Tôi cũng ghét 10 trang đầu hiện ra khi tìm kiểu "best domain name registrar". Giá như nó cho thấy các nhà đăng ký tên miền thực tế thay vì những bài blog rác đầy liên kết tiếp thị; hỏi ChatGPT thì nó làm được như vậy
Google đã bị thao túng quá nặng, và có vẻ họ không thực sự xử lý vì quảng cáo của họ nằm ngay trên các bài blog spam đó. Tôi cũng có mấy mẹo lọc bằng uBlock Origin học từ HN, nhưng bản thân tìm kiếm thì Google phải tự sửa. Hiện giờ nội dung hữu ích bị chặn lại còn nội dung spam thì leo top
Ngày trước, mấy trò như nhét từ khóa bằng phông chữ siêu nhỏ và trong suốt để crawler thấy còn người dùng không thấy đã đủ khiến người ta khó chịu; đến lúc việc thao túng công cụ tìm kiếm trở thành một nghề thì cũng là lúc thấy trước hồi kết của tìm kiếm
Cuối cùng có lẽ chúng ta sẽ quay về web ring và chỉ mục liên kết, rồi cả chúng cũng sẽ bị tích hợp hóa và kiếm tiền quá mức trước khi bị bỏ đi. Nếu may mắn, biết đâu đến thập niên 2040 lại quay về BBS quay số
Nhưng dù Google hoàn toàn có thể thuê con người làm tốt việc đó, họ dường như vẫn cố chấp theo hướng huấn luyện AI để rồi làm không nổi cùng một việc
Trông như một tính năng rất dễ, nhưng Google đã lạc lối từ lâu rồi
Nó chặn và ẩn các site sao chép trên nhiều công cụ tìm kiếm. Cũng có thể dùng cùng uBlacklist
Đây là thất bại trong đổi mới của Google
Mục tiêu của Google từng là “sắp xếp thông tin của toàn thế giới”, nhưng họ đã không tạo ra được Wikipedia, một kho lưu trữ thông tin được tuyển chọn chất lượng cao mà con người dễ đọc, và cũng không tạo ra được ChatGPT, LLM đầu tiên đủ tốt để thực hiện việc hồi tưởng và sắp xếp thông tin không hề tầm thường
Sau khi thành công sớm nhờ tìm kiếm, Google đã đổ tiền vào “những người thông minh nhất” để củng cố vị thế dẫn đầu bằng cách khiến đối thủ khó tuyển họ hơn. Kết quả là việc dùng tài nguyên để kiểm soát hạ tầng Internet như Android, Chrome, email nhằm bảo vệ lợi thế sẵn có lại trở nên có lợi hơn là đổi mới
Nếu không có thay đổi rất lớn, tôi xem Google là một cái xác biết đi. Ở đây, “những người thông minh nhất” nghĩa là những người thành công về mặt học thuật nhưng giỏi tuân thủ quy tắc, thiếu trí tưởng tượng và né tránh rủi ro
Chỉ là họ đã không công bố nó cho công chúng, nên đúng là thất bại về đổi mới, nhưng không phải thất bại về công nghệ hay machine learning
https://ai.googleblog.com/2020/01/towards-conversational-age...
Cách tôi diễn giải là Google đã bị chính sức nặng của mình đè xuống. Các khoản phạt của chính phủ và cấu trúc pháp lý doanh nghiệp bắt đầu sợ những khoản phạt đó đã làm chậm tiến độ, và trong môi trường như vậy thì rất khó để phát hành thay đổi
Đường cơ sở cũng vậy. Mọi người phản ứng với thay đổi và xem trạng thái hiện tại như tiêu chuẩn vàng. Trong hoàn cảnh đó, rất khó đưa ra thay đổi mang tính cấp tiến
Tôi nghĩ lối thoát duy nhất là thu nhỏ sản phẩm. Tách nhỏ ra, sharding, hay làm cách nào đó để nó đủ nhỏ so với phần còn lại và không trở thành mục tiêu mặc định. Các công ty như Coca Cola hay Procter & Gamble làm việc này rất tốt
Bất cứ thứ gì có thể bị chính trị hóa thì đều bị chính trị hóa, và bất cứ thứ gì có thể bị lợi dụng để thúc đẩy kế hoạch hay quan điểm của ai đó thì đều bị lợi dụng
Ngay cả bỏ qua ác ý, vì dựa trên tình nguyện viên nên một số tài liệu vẫn thiếu thông tin liên quan hoặc có lỗi
Khi làm khoa học hành tinh, tôi từng có thói quen tìm image ID trên Google
Thường đó là ảnh quỹ đạo của một mặt trăng cụ thể được nhắc tới trong bài báo, và tất nhiên có các kho lưu trữ chuyên dụng để tìm những thứ như vậy, nhưng Google lại cho kết quả tốt đến bất ngờ
Giờ thì tìm image ID cho ra đúng nghĩa là 0 kết quả. Tôi không biết đã thay đổi điều gì. Không rõ là họ bỏ lập chỉ mục Planetary Data System hay bỏ lập chỉ mục các bài báo khoa học hành tinh
Tệ hơn cả việc không có kết quả nào là trường hợp cứ mỗi trang lại hiện ra những “kết quả” với các con số hay mã hơi khác một chút
Giờ thì либо không có kết quả, либо chỉ ra các bài tối ưu hóa công cụ tìm kiếm không liên quan
Sửa: tôi đã bỏ sót việc đây không phải tìm ảnh mà là tìm bằng image ID
Hầu hết các mô hình word embedding trước đó đều đơn ngữ và không nhìn ngữ cảnh nên không hữu ích cho tìm kiếm, vì thế Google phải dùng chỉ mục đảo và các thuật toán đã được tinh chỉnh suốt nhiều năm
Sau BERT, có thể tạo mô hình nhúng truy vấn tìm kiếm cho 99.99% ngôn ngữ, và có vẻ họ cho rằng chỉ cần nó hoạt động tạm ổn với 99% truy vấn là đủ
Đáng ra việc phát hiện truy vấn nào hoạt động tốt hơn với chỉ mục cũ so với cách mới là tương đối dễ, nhưng có vẻ họ đã không làm vậy, và kết quả là nhiều tính hữu dụng như tìm số điện thoại đã biến mất
Sự suy tàn của Google còn sâu hơn vấn đề corpus, thuật toán xếp hạng cũng đang tệ đi rõ rệt
Một tuần trước, tìm kiếm
< James Palmer manchester foreign policy >không đưa https://foreignpolicy.com/2017/05/23/i-love-manchester-but-p... lên trang đầu, nhưng< James Palmer manchester site:foreignpolicy.com >thì tìm ra đượcHôm nay có vẻ đã được sửa, nhưng việc thậm chí không đáp ứng nổi ý định tìm kiếm ở mức mẫu giáo như thế này là điều khó tưởng tượng với Google của vài năm trước
https://twitter.com/BeijingPalmer/status/1670904508191322112
https://twitter.com/shalmanese/status/1670973880637493249
Đây là phiên bản Internet của bi kịch tài nguyên chung: https://en.wikipedia.org/wiki/Tragedy_of_the_commons
Quá nhiều người và tổ chức cố gắng kiếm lợi với ít công sức nhất có thể, trong khi các tài nguyên dùng chung như dữ liệu truy cập tự do, API mở, phần mềm FLOSS đang bị bào mòn mà không cân nhắc đến tác động dài hạn
Dữ liệu có thể được sao chép vô tận, nhưng ban đầu vẫn phải có ai đó tạo ra, và nếu không được cập nhật thì nó sẽ cũ đi và kém hữu dụng. Nếu không ai có ý chí và khả năng tạo mới hoặc cập nhật, những thứ tốt đẹp sẽ biến mất và tỷ lệ tín hiệu trên nhiễu sẽ sụp đổ nhanh chóng. Mọi thứ sẽ chỉ còn là nhiễu và trở nên tồi tệ
Nhiều công nghệ và văn hóa đã được tạo ra mà không có kiểu "bảo vệ" đó. Thỉnh thoảng tôi tự hỏi lịch sử gần đây sẽ diễn ra thế nào nếu không có bản quyền và bằng sáng chế
Google ngày xưa rất hữu ích ngay cả khi không có Reddit
Có lý do để họ trở thành một tập đoàn khổng lồ, và họ thực sự đã tạo ra những công cụ và dịch vụ tốt để dùng. Mọi người dùng vì sản phẩm tốt, và Search, Gmail, Maps, Translate đều như những viên ngọc quý
Tôi không biết họ bỏ mặc tìm kiếm hay cố tình phá hỏng nó, nhưng rõ ràng là nó đã hỏng, bất kể Reddit. Reddit có nhiều thông tin thật, nhưng nó không phải website duy nhất trên Internet
Thế nhưng Google có vẻ như chỉ lập chỉ mục khoảng 150~200 website hàng đầu trên Internet, và ngay cả trong số kết quả đó cũng thường xuyên thiếu đúng từ khóa đã tìm
Mọi người đều nhận ra có thể kiếm tiền bằng pageview và tối ưu hóa công cụ tìm kiếm, và một cuộc đua xuống đáy bắt đầu để giành hạng 1 cho mọi từ khóa
Ngay cả khi Google tiếp cận hoàn toàn từ góc nhìn lấy người dùng làm trung tâm thì đây vẫn có vẻ là vấn đề khó giải, mà thêm vào đó, Google thời hậu Sundar về thực chất đã trở thành IBM/Oracle. Vì thế nó đang xoáy xuống cống với tốc độ gấp đôi
Ngay từ lúc họ bắt đầu trả tiền để mọi người thao túng chính công cụ tìm kiếm của họ, tức là lúc giới thiệu AdSense, toàn bộ hệ thống đã bước lên con đường trở nên vô dụng. Những động cơ như vậy vốn đã tồn tại, nhưng Google đã gắn turbo cho nó bằng một động lực trị giá 33 tỷ USD vào năm 2022
Nếu doanh thu quảng cáo tìm kiếm tăng thì tìm kiếm được xem là ổn, không hề mục ruỗng hay đổ vỡ
Bạn đang giả định Google đối xử với người dùng như khách hàng, nhưng trên thực tế họ có thể đối xử với người dùng như tài nguyên thiên nhiên có thể khai thác
Wikipedia có các bản dump dữ liệu có thể tải xuống, gần như không tốn chi phí để cung cấp cho Google, và còn có sứ mệnh tổ chức là công khai dữ liệu đó
Ngay cả nếu họ quyết định thu phí truy cập thì Google cũng có thể gánh được. Tốt hơn là đừng nêu ra những giả định hoàn toàn phi thực tế
Liên quan đến bài viết này nữa, các phiên bản làm ẩu nhồi đầy quảng cáo thuộc về các nhóm trại liên kết đã khiến Redactle khó tăng hạng trên Google. Nhiều trang trong số đó còn giả làm thương hiệu "Redactle Unlimited" của tôi
Google dường như thích các cụm website spam liên kết chéo cho nhau hơn là hàng nghìn liên kết từ người dùng đã được xác thực trên Reddit, Facebook và những nơi tương tự
Nhưng sẽ ra sao nếu Wikipedia đòi 10% doanh thu mỗi khi dữ liệu Wikipedia được dùng để hiển thị kết quả tìm kiếm? Tôi tự hỏi Google sẽ đồng ý hay sẽ tạo ra một dịch vụ cạnh tranh với Wikipedia rồi giết nó sau 4 năm
Hệ thống quá phức tạp nên rất khó dự đoán nó sẽ hành xử thế nào khi một phần bị tác động bởi các ràng buộc khác. Việc Reddit đối đầu OpenAI về cào dữ liệu, mong muốn kiếm tiền của Reddit, các moderator Reddit phản đối quy định, việc kéo dài vô thời hạn đợt blackout 2 ngày, và việc các bài báo LLM do Google công bố lại tác động đến chính hoạt động kinh doanh của họ thông qua ChatGPT, tất cả đều đang quấn vào nhau
Vấn đề meta thực sự ở đây là câu hỏi lâu đời về cách tài trợ cho các dịch vụ web, bao gồm cả tìm kiếm
Google, Twitter, Reddit, Gfycat đều chỉ là các biến thể tức thời của cùng một vấn đề, và vấn đề này không có lời giải kỹ thuật. Ý nghĩ ngây thơ rằng tất cả những thứ này có thể miễn phí, nhất là khi nói như vậy trong một hệ sinh thái sống nhờ doanh thu quảng cáo, là điều vô lý
Ai đó phải trả chi phí phát triển và vận hành, và thường thì bên trả tiền sẽ có quyền quyết định, dẫn đến thảm họa UX hiện đại
Ít nhất thì hiện tại, nhờ tình hình vốn đầu tư mạo hiểm, tình trạng dumping sản phẩm trên thực tế nhằm phá hủy thị trường của những người tham gia hợp pháp đã giảm đi đáng kể
Nó sẽ dành cho bên trả tiền, tức là nhà đầu tư
Vấn đề của Google lúc này không phải Reddit hay Twitter
Google giờ thực sự đã thành một thương hiệu đầy những kết quả tệ hại và các chiến dịch AdWords, đến mức cũng không rõ các marketer đang trả tiền cho cái gì
Có lẽ cần quay lại bài báo gốc của Brin và Page: https://research.google/pubs/pub334/
Google vẫn làm được những điều đáng kinh ngạc như AlphaZero hay Project Zero, nhưng có cảm giác giống Xerox PARC ngày trước, tức là không còn thứ gì thực sự mới mẻ xuất hiện từ tổ chức đó
Trong khi đó Google Workspace, ví dụ như Sheets và Docs, là đối thủ tốt trong mảng phần mềm văn phòng, nhưng tìm kiếm trong Google Drive thì rất tệ