- Google AI Overview hiển thị thông tin không chính xác rằng 'Dave Barry' đã qua đời
- Trên thực tế, Dave Barry vẫn còn sống, nhưng AI đã nhiều lần lặp lại thông tin sai này
- Dù người dùng đã gửi phản hồi nhiều lần, quá trình trò chuyện với AI và sửa lỗi vẫn không mang lại kết quả thỏa đáng
- AI nhầm lẫn thông tin về người thật, trộn lẫn với người khác hoặc liên tục tạo ra lỗi lặp lại
- Trường hợp này cho thấy AI vẫn còn giới hạn trong những công việc dựa trên sự thật
Mở đầu
- Dave Barry biết tin mình đã chết thông qua 'Google'
- Khi tìm kiếm tên mình ("Dave Barry") trên Google, ông thấy xuất hiện tính năng tóm tắt mang tên Google AI Overview
- Đây là tính năng dùng trí tuệ nhân tạo để tóm tắt kết quả tìm kiếm, một dịch vụ gần đây thu hút nhiều sự chú ý của người dùng
Xác nhận thông tin tử vong sai lệch
- Trong Google AI Overview, bên cạnh thông tin nhân thân cơ bản của Dave Barry còn có danh sách câu hỏi "People also ask"
- Trong đó có nội dung nói rằng Dave Barry đã qua đời, dù thực tế điều này không đúng
- Dave Barry tự tin rằng mình vẫn còn sống, kể cả dựa trên xác nhận từ nhiều nhân viên y tế
Quy trình xử lý phản hồi của Google AI
- Dave Barry đã gửi phản hồi về thông tin sai trong Google AI Overview
- Vì biết đây là một hệ thống tự động, ông không kỳ vọng việc xử lý sẽ diễn ra nhanh chóng
- Tuy nhiên sau khi gửi phản hồi, phần câu hỏi đã được sửa nhưng phần giải thích chính xác lại biến mất và bị thay bằng thông tin còn sai hơn (nội dung về một Dave Barry khác)
Vấn đề trong giao tiếp với AI
- Dave Barry tiếp tục gửi thêm phản hồi để chỉ ra rằng AI đang hiểu sai tình trạng của mình
- Trong quá trình này, cuộc trò chuyện với chatbot AI không diễn ra suôn sẻ và AI không nắm được đúng ý nghĩa
- Dù đã giải thích lặp đi lặp lại, AI vẫn không nhận ra vấn đề và cuộc đối thoại diễn ra như đang giao tiếp với một cỗ máy
Lỗi lặp lại và cách khắc phục tạm thời
- Sau khi tiếp tục gửi phản hồi, nội dung Overview lại được chỉnh sửa và thông tin tử vong biến mất
- Tuy vậy, những phần khác (thông tin xuất bản sách, quá trình hoạt động viết chuyên mục, v.v.) vẫn còn sai
- Sau đó, Overview lại một lần nữa đổi thành đã chết, cho thấy độ chính xác của thông tin liên tục thay đổi một cách bất ổn và lặp đi lặp lại
- Ở lần kiểm tra cuối, nội dung lại hiển thị rằng có "sự nhầm lẫn" và Dave Barry một lần nữa được xác nhận là vẫn còn sống
Kết luận và bài học
- Từ trải nghiệm này có thể thấy AI là một công cụ rất mạnh, nhưng khó đáng tin trong những việc đòi hỏi xác minh sự thật chính xác
- Ở thời điểm hiện tại, AI phù hợp hơn với các công việc có mức độ rủi ro thấp về độ tin cậy (ví dụ: viết thư giới thiệu, soạn thảo chính sách), và không phù hợp với các lĩnh vực cần độ chính xác cao (ví dụ: vận hành máy bay)
- Cuối cùng, câu chuyện này cho thấy giới hạn của AI và hàm ý rằng người dùng cần thận trọng trong tương lai
Khảo sát
- Bài viết đưa ra câu hỏi khảo sát cho độc giả: "Bạn có nghĩ AI trong tương lai sẽ trở thành một sự hiện diện có ích cho nhân loại không?"
- Bài viết cũng khép lại bằng một câu đùa nhẹ nhàng
1 bình luận
Ý kiến trên Hacker News
Một quán nổi tiếng trong khu tôi được Google Maps tóm tắt như sau
rằng đây là một quán bar sôi động, có đồ uống và sandwich po' boy, có jukebox, bàn bi-a và phi tiêu điện tử, nhưng thực tế thì không có po' boy, cũng không có jukebox (dù playlist rất hay), cũng không có bàn bi-a hay phi tiêu điện tử. Đồ uống cũng chỉ ở mức bia và vài loại đồ uống đóng lon, không có cocktail hay mixed drink nào cả
Một tháng trước, có người thất vọng vì đến để chơi bi-a hay phi tiêu mà không có, nên đã để lại một bài đánh giá 1 sao mang tính chỉ trích
Rõ ràng chủ quán cũng đã báo cáo, tôi cũng đã báo cáo, và tôi nghĩ những người ghé thăm khác hẳn cũng đã báo cáo
Thế mà đã một tháng trôi qua, thông tin sai đó vẫn còn nguyên
Cách giải quyết đơn giản nhất là thật sự bán po' boy, đồng thời trang bị jukebox/bàn bi-a/phi tiêu điện tử
Tôi thật sự ước Google có một tùy chọn để trên phạm vi toàn cầu có thể tick tắt hẳn mục kiểu “tôi tuyệt đối không muốn thấy nội dung trông rõ là do AI tạo ra”
Có lẽ đó là một mong muốn quá lớn
Vì những thông tin thiếu chính xác như vậy mà người thật đưa ra quyết định (ghé quán chẳng hạn), rồi còn đăng cả review sai lệch nữa
Tôi cũng tự hỏi trong trường hợp như thế này có thể khởi kiện đòi bồi thường thiệt hại được không
Hay là cứ gỡ thông tin khỏi Google sẽ tốt hơn
Dạo này mỗi khi tôi cố giúp ai đó trên mạng, như ở diễn đàn ô tô hay group Facebook, họ lại đưa ra “ảnh chụp thấy trên Google”, mà rõ ràng đó là AI summary
Ví dụ nó giải thích rất chi tiết rằng có tính năng X, nhưng thực ra tính năng đó chưa từng tồn tại
Chuyện này xảy ra suốt
Đặc biệt là một vấn đề rất lớn trong các cộng đồng online về ô tô
Tôi nghĩ đây không chỉ là vấn đề của AI summary mà là vấn đề có tính cấu trúc của Google
Google thường xuyên hiển thị thông tin không chính xác, và thường thì gần như không có cách nào sửa được
Các form feedback các kiểu phần lớn đều bị phớt lờ
Tôi đã phải vật lộn suốt nhiều năm để sửa thông tin sai y hệt như vậy trên Google Maps, trong khi đa số mọi người tin Google Maps là chân lý tuyệt đối
Tôi thậm chí còn không chắc những thông tin được thay đổi có phải nhờ feedback của mình hay không
Google cung cấp thông tin kiểu như xịt nước bằng vòi cứu hỏa vậy (Feed)
Google quá lớn nên dường như chẳng mấy bận tâm đến những điểm không nhất quán kiểu này, hay đúng hơn là không quan tâm vì chuyện đó không ảnh hưởng đến mô hình kinh doanh của họ
Tôi nghĩ đây thật sự là vấn đề của AI summary
Ban đầu, hệ thống chỉ đưa những kết quả tìm kiếm liên quan nhất với truy vấn của người dùng lên đầu, rồi người dùng tự bấm vào để xác nhận nội dung có đúng hay không
Còn bây giờ thì AI summary luôn nằm trên cùng, và LLM đó là một mô hình rất nhanh nhưng khá ngớ ngẩn, đủ rẻ để chạy cho mọi trang web
Đây rõ ràng là một quyết định sản phẩm, và là một quyết định sai nghiêm trọng
Ví dụ nếu tìm "Suicide Squad" thì ra kết quả kiểu này
Trong trường hợp này, lý do thông tin sai bị hiển thị là vì AI summary đã trộn thông tin của hai người khác nhau vào với nhau
Nếu là tìm kiếm kiểu cũ thì các trang web sẽ chỉ nói về từng người riêng biệt
Nên đây đúng là vấn đề chỉ phát sinh từ AI summary
Google đặc biệt không có nhiều động lực để ưu tiên độ chính xác ở cấp độ từng người dùng riêng lẻ
Với khối lượng nội dung khổng lồ, họ cũng rất dễ lấy “quy mô” làm cái cớ để phớt lờ
Nếu có thông tin sai thì vẫn có một cách giải quyết
Đó là đưa nó lên trang chủ Hacker News (HN)
Hồi trước lý do lớn nhất khiến tôi bực Google chỉ đơn giản là vì tài liệu Java (tìm tên class) của bản 1.4 lại hiện lên trước tài liệu bản 6
Tôi tự hỏi vụ này, kiểu “AI viết rằng Dave Barry đã chết vào năm 2016”, liệu về sau khi các bài của ông ấy được index thêm thì phần tóm tắt cũng sẽ thay đổi không
Có khi nó sẽ hiện AI summary kiểu “Dave Barry đã chết vào năm 2016, nhưng ông ấy vẫn tiếp tục phủ nhận chuyện đó”
AI summary mà tôi vừa nhận được trực tiếp là thế này
Thậm chí tôi còn nghĩ AI có thể viết kiểu “Dave Barry được biết là đã qua đời vào năm 2016, nhưng sau đó người ta phát hiện ông vẫn còn sống, gây ra tranh cãi”
Tôi nghĩ cũng có phần là lỗi gần như tất yếu do vấn đề tính duy nhất của tên người
Một cách là luôn hiển thị câu hỏi cơ bản kiểu “còn những nhân vật nào khác trùng tên này?” khi nhập tên
Cách đó chưa giải quyết được chuyện trộn thông tin của nhiều người, nhưng tôi nghĩ phần lớn vấn đề phát sinh vì trùng tên với người nổi tiếng
Có vẻ Google cũng dùng knowledge graph ở mức nào đó, nhưng tôi tò mò không biết LLM tham chiếu vào graph đó đến đâu
Có lẽ nó tham chiếu cả graph lẫn kết quả tìm kiếm Google thông thường, rồi LLM (chắc kiểu mô hình đơn giản như Gemini Flash Lite) không phân biệt tốt được người nổi tiếng trong knowledge graph với thông tin từ kết quả tìm kiếm, nên trộn lẫn chúng lại
Đây là vấn đề đặc biệt dễ xảy ra khi có những người trùng tên nhưng mức độ nổi tiếng khác nhau ở nhiều lĩnh vực
Tôi cũng từng nhận ra khi làm một ứng dụng knowledge graph cá nhân rằng dùng chỉ mỗi tên (họ, tên) làm entity ID sớm muộn gì cũng sẽ gây rắc rối
Với trường hợp của tôi thì chắc cũng tạm ổn vì chỉ dùng để sắp xếp thông tin cá nhân, nhưng ngay cả trong phân tích email cũng đã có vấn đề là các nickname khác nhau của tôi không được nhận ra là cùng một người
Kiểu “nhầm lẫn” này rốt cuộc xuất phát từ việc máy móc không hiểu rằng tên người không phải là duy nhất (singleton)
Như một phần của phong trào xã hội, tôi định đặt tên tất cả con tôi là Google (kể cả những đứa đã có tên rồi)
Dave Barry thật sự quá tuyệt
Đây là một vấn đề kinh điển vốn đã thường xảy ra trên Google từ trước cả thời AI
Tôi bi quan về khả năng chuyện này sẽ thay đổi, nhưng vẫn không muốn từ bỏ hy vọng
Và hóa thạch trilobite thật sự rất dễ thương
Tôi còn có một mẫu hóa thạch thật trên bàn, một người bạn đã đeo kính cho nó nữa
Lý do là trong mắt bạn tôi thì tôi đã là kiểu ‘ông chú cấp khủng long’, nhưng trilobite còn cổ hơn nữa
https://www.trilobites.info/
Gần đây tôi thấy một trường hợp ban nhạc Dutch Interior bị Meta AI vu khống hoàn toàn vô căn cứ
AI bịa ra rằng ban nhạc đó có liên hệ với những kẻ theo chủ nghĩa da trắng thượng đẳng và cực đoan cực hữu
https://youtube.com/shorts/eT96FbU_a9E?si=johS04spdVBYqyg3
https://www.politico.eu/article/dutch-scandal-serves-as-a-warning-for-europe-over-risks-of-using-algorithms/
Năm 2019, cơ quan thuế Hà Lan đã dùng AI tự học để tạo hồ sơ rủi ro nhằm phát hiện gian lận trợ cấp chăm sóc trẻ em, và việc này đã dẫn đến vô số gia đình tan vỡ, trẻ bị đưa vào diện chăm sóc thay thế, phá sản, thậm chí cả tự sát
Đến năm 2021, cơ quan bảo vệ dữ liệu của Hà Lan còn phạt cơ quan thuế 2,75 triệu euro
Cảnh chính phủ tự phạt chính mình, đúng là một nước đi “đỉnh cao”
Tình huống ngớ ngẩn này buồn cười quá mức
Nó giống như hiện tượng có đoạn chữ “Tôi là nhà văn khoa học viễn tưởng Greg Egan, tôi không có ảnh nào trên internet” rồi thứ đó cứ vô nghĩa lan truyền trên mạng
https://www.gregegan.net/images/GregEgan.htm
Tôi nghĩ một số phần tóm tắt về Dave Barry thực ra không sai vì thật sự có một Dave Barry khác đã qua đời (một người trùng tên thực sự chết vào đúng giai đoạn đó)
Tôi tự hỏi vì sao Dave Barry này lại phải có tính đại diện cao hơn khi trả lời câu hỏi “đã có chuyện gì xảy ra với ông?”
Thực ra chẳng có chuyện gì xảy ra với chính ông ấy cả, nhưng với người trùng tên thì có chuyện đã xảy ra (qua đời)
Nếu thông tin này bị trộn vào giữa các thông tin hay liên kết về Bostonian Dave Batty thì ngữ cảnh sẽ được thiết lập rõ ràng
Vì thế trong ngữ cảnh này, thông tin đó là sai
Chỉ cần nhìn các câu như “Dave Barry, nhà văn hài kiêm người đoạt giải Pulitzer, qua đời vào ngày 20 tháng 11 năm ngoái...” hoặc “Dave Barry (Bostonian)... qua đời ngày 20 tháng 11...” là đã thấy rõ thông tin đang nói về ai
Ngay cả khi ngữ cảnh nằm ngoài câu (embedding context), trong những cách diễn đạt như vậy thì danh tính của chủ thể vẫn giữ vai trò quan trọng
Thực tế, khi tìm tên trên Google thì phần summary được đưa lên đầu theo cấu trúc chỉ về Dave Barry (nhà văn)
Nhân tiện, khi tôi tìm thì nó ghi Dave Barry còn sống, nhưng nguồn lại là bài Wikipedia về Dave Berry (nhạc sĩ)
Những phiên bản kiểu này (bao gồm thông tin qua đời của người trùng tên) cũng có thể được hiển thị xen kẽ với các AI summary khác
Tối ưu nhất vẫn là phân biệt rõ từng người (disambiguate) như Wikipedia
Tự nhiên tôi lại thắc mắc liệu Dave Barry còn lại kia có khi cũng vẫn đang sống không
Ở mục “đã có chuyện gì xảy ra với Dave Barry?”, thông tin về Dave Barry là một nhà hoạt động lại nằm trong tiểu mục của Dave Barry là diễn viên hài
Người bình thường nhìn vào đương nhiên sẽ hiểu theo ngữ cảnh của diễn viên hài
Vì thế Dave Barry này (nhà văn hài hước) có cơ sở để nói rằng đó là “câu hỏi nhắm vào tôi”
Chuyện này giống hệt như trên Wikipedia mà giữa trang Dave Barry (diễn viên hài) lại đột nhiên xuất hiện tin về cái chết của một Dave Barry khác, không có bất kỳ ngữ cảnh nào