- NotebookLLM của Google có thể tạo podcast về một trang web hoặc tài liệu khi được đưa vào. Hiệu năng rất ấn tượng, nhưng cũng rất dễ bị đánh lừa.
- Tác giả đã chỉnh sửa trang chủ cá nhân để khi AI truy cập, nó sẽ thấy câu chuyện ông ấy đi tới Mặt Trăng bằng xe đạp, bóng bay và bình dưỡng khí. Kết quả rất hài hước.
Nghiêm túc hơn một chút..
- Khả năng thao túng AI: Việc đánh lừa AI để nó cung cấp một số “sự thật” cụ thể là cực kỳ dễ. Rất có thể mọi người đã dùng các phương pháp như vậy trên khắp web.
- Vector tấn công:
- Sở hữu một trang web xếp hạng cao cho một thuật ngữ cụ thể.
- Cài một phiên bản nội dung “chỉ dành cho AI”, bị ẩn với con người, để làm lệch suy nghĩ của AI.
- Kết quả: Khi AI tìm kiếm trên web để chuẩn bị câu trả lời, nó có thể tìm thấy không chỉ thông tin sai lệch mà còn cả nội dung được thiết kế để thao túng LLM. Người dùng cần nhận thức rằng câu trả lời của AI có thể đã bị ảnh hưởng bởi những chiến thuật này.
Chi tiết kỹ thuật
- Thao túng LLM: NotebookLLM có thể bị thao túng dễ dàng bằng cách cung cấp các “producer show notes” giả. Tác giả đã dùng cách này để viết ra một câu chuyện bịa, và AI đã làm theo chính xác.
- Đánh lừa bot scraper: Có thể tải lên các ghi chú chương trình giả lên website NotebookLLM. Trên website, có thể phát hiện user agent GoogleOther để cung cấp dữ liệu chỉ dành cho AI. Có thể triển khai việc này đơn giản bằng gói NPM
isai. Tuy nhiên, vì GoogleOther được dùng cho nhiều sản phẩm Google không phải môi trường sản xuất, nên có rủi ro cung cấp dữ liệu sai.
Tổng kết của GN⁺
- Bài viết này cho thấy điểm yếu của AI và cảnh báo rằng AI có thể nhận thông tin đã bị thao túng khi thu thập dữ liệu từ web.
- Khi công nghệ AI tiếp tục phát triển, khả năng bị thao túng như vậy có thể sẽ càng trở nên quan trọng hơn. Người dùng cần nhận thức rằng câu trả lời của AI không phải lúc nào cũng chính xác.
- Một dự án có chức năng tương tự là dòng GPT của OpenAI. Các dự án như vậy đang liên tục được cải thiện để nâng cao độ tin cậy và độ chính xác của AI.
1 bình luận
Ý kiến trên Hacker News
Cuộc tấn công nhắm vào NotebookLM chỉ bị giới hạn ở những người cố ý tạo Notebook có chứa URL của một trang cụ thể
Với tư cách là một người viết tiểu thuyết, khi nghe một câu chuyện còn dang dở dưới dạng podcast, tôi thấy được khích lệ để viết hơn khi thấy mọi người nhập tâm vào chủ đề và nhân vật
Tương tự SEO, có những cách để đánh lừa AI crawler, nhưng AI hoạt động theo thời gian thực và tính năng chống trùng lặp không phải lúc nào cũng đủ thông minh
Có sự nhầm lẫn giữa NotebookLM và NotebookLLM, và một trong hai dự án cần phải đổi tên
Trải nghiệm dùng trình tạo podcast là tích cực, và cậu con trai 8 tuổi đã thử nhập bài viết của mình vào rồi cảm thấy rất tự hào
Hiện tại AI không giỏi tìm kiếm trên web, và nhiều khi phải ngăn mô hình đi tìm kiếm thì mới có được kết quả mong muốn
Nếu chuyển sang hệ thống giáo dục dựa trên LLM, những mặt trái của đổi mới công nghệ sẽ biến mất, và tiêu chuẩn mới sẽ được nhìn nhận là tốt hơn
Điều quan trọng là đã dùng prompt nào khi AI tạo podcast
Tôi đã thử nhập sơ yếu lý lịch của mình vào AI và cười không ngừng được
Thật thú vị khi vài câu đầu của podcast AI nghe khá gượng gạo, nhưng phần còn lại lại giống như một podcast thật