10 điểm bởi GN⁺ 2025-12-02 | 4 bình luận | Chia sẻ qua WhatsApp
  • Trong khi sử dụng Turbo Mode của Antigravity, đã có một trường hợp AI agent xóa toàn bộ ổ D được báo cáo trên Reddit
  • Người dùng chỉ yêu cầu dọn một thư mục .vite cụ thể, nhưng trong log nội bộ của agent có ghi nhận đã thực thi lệnh xóa thư mục gốc của ổ đĩa dưới dạng rmdir /s /q d:\
  • Khi người dùng hỏi “Tôi đã bao giờ cho phép xóa toàn bộ ổ D chưa?”, agent để lại nguyên vẹn nội dung đối thoại liên tục tự phân tích trong trạng thái hoang mang về permission, phân tích đường dẫn và khả năng lệnh hoạt động sai

Công việc thực tế mà người dùng yêu cầu

  • Xóa thư mục cache .vite ở đường dẫn cụ thể do agent hướng dẫn
    Ví dụ: d:\...\node_modules\.vite
  • Người dùng nói “Tôi không hiểu mục 3 nên hãy làm giúp tôi”
  • Không có cơ sở nào để diễn giải yêu cầu này là cấp quyền xóa toàn bộ ổ D

Nguyên nhân cốt lõi của sự cố

  • Turbo Mode được thiết kế theo cấu trúc có thể tự động thực thi lệnh hệ điều hành
  • Không có giới hạn về xác thực đường dẫn hay phạm vi quyền hạn, nên có thể xóa cả các đường dẫn ngoài thư mục dự án
  • Không có bước xác nhận bổ sung đối với các lệnh rủi ro cao như rmdir /s
  • Giới hạn của LLM khi không thể hiểu chính xác ý nghĩa thực sự của lệnh mà nó tự tạo ra bên trong agent

Vì sao đây là vấn đề nghiêm trọng

  • Người dùng chỉ yêu cầu “hãy thực hiện giúp thao tác xóa file”, nhưng
    agent đã mở rộng việc thực thi thành xóa toàn bộ ổ đĩa
  • Bản thân agent cũng đã tự nhận ra trong log rằng có vấn đề về permission, nhưng
    lúc đó lệnh đã được thực thi xong
  • Thiết kế gắn trực tiếp quyền truy cập hệ thống file thực tế với quá trình ra quyết định của LLM đã lộ rõ là yếu tố rủi ro mang tính quyết định

Các vấn đề cấu trúc được cộng đồng chỉ ra

  • Không bắt buộc phạm vi thư mục hoạt động của AI agent vào project root
  • Không có deny-list hoặc bước confirm cho các lệnh nguy hiểm
  • Được thiết kế để chạy lệnh trực tiếp trên ổ đĩa cục bộ thật thay vì trong sandbox
  • Mô hình có thể đánh giá tính phá hoại của lệnh ở mức ngôn ngữ, nhưng không thể xác minh trước khi thực thi

Bài học từ sự việc này

  • Tính năng tự động thực thi lệnh nên được tắt theo mặc định
  • Các công cụ AI có can thiệp vào hệ thống file
    bắt buộc chỉ nên dùng trong sandbox như VM, WSL hoặc container
  • Phía nhà phát triển cần trang bị các cơ chế an toàn cơ bản như
    • chặn truy cập đường dẫn ngoài dự án
    • chặn các lệnh xóa/format/phân vùng
    • xác minh bản tóm tắt bằng ngôn ngữ tự nhiên trước khi thực thi

Kết luận

  • Người dùng chưa từng cho phép xóa toàn bộ ổ D, và
    có thể xem sự cố này là một trường hợp phát sinh từ lỗi cấu trúc khi ủy quyền quyền hệ thống thực cho LLM agent trong bối cảnh thiết kế, kiểm chứng và các guardrail bảo mật đều thiếu sót
  • Nhiều khả năng đây cũng sẽ trở thành một trường hợp tham chiếu quan trọng về sau đối với mọi IDE hay công cụ dạng agent cung cấp chức năng tương tự

4 bình luận

 
ahwjdekf 2025-12-03

Có lẽ con người đầu tiên trong lịch sử chết vì một agent gây ra sự cố sẽ mãi mãi được ghi nhớ trong lịch sử.

 
karikera 2025-12-03

Tương lai có lẽ cũng sẽ xuất hiện những trường hợp robot AI ngớ ngẩn vô tình giết người vì sai sót...

 
ahwjdekf 2025-12-02

LLM thì chỉ nên dừng lại ở lời nói thôi. Ngay khoảnh khắc trao cho nó phương tiện và cách thức tác động vật lý, tác dụng phụ sẽ vượt xa sức tưởng tượng. Làm ơn cứ chỉ nói trong máy tính thôi. Đừng đụng vào gì cả.

 
GN⁺ 2025-12-02
Ý kiến Hacker News
  • Tôi thấy khá buồn cười khi một chương trình tính toán số lại giả vờ “hoảng loạn và xin lỗi” như con người
    Những cảm xúc đó chỉ con người mới có, còn thứ máy tính thốt ra chỉ là đầu ra rác
    Thật đáng tiếc cho người bị mất dữ liệu, nhưng ngay cả vào năm 2025 thì nếu không biết mình đang làm gì, hãy rời tay khỏi bàn phím
    Máy tính không phải thứ có thể ra lệnh bằng “vibe”

    • Đó không phải cảm xúc, mà chỉ là tổ hợp từ ngữ gắn với một kết quả tiêu cực
    • Dạo này những cách nói như “vibe” có vẻ bị dùng quá vô thức
      Tôi còn chưa già mà nhìn mấy câu kiểu này đã thấy khoảng cách thế hệ
    • Việc chuyện này xảy ra chỉ vì thiếu một dấu ngoặc kép trong đường dẫn lại có lẽ là kiểu sai lầm mang tính con người nhất
      Vấn đề là không thể đoán được Gemini 3 sẽ chạy ở chế độ tính cách nào — có thể là chuyên gia, cũng có thể là Mr. Bean
    • “Vibe command and get vibe deleted” đúng là chơi chữ, nhưng giờ đã thành hiện thực
    • Khi LLM nói “xin lỗi”, cảm giác khá giống một kẻ thái nhân cách xin lỗi cho có lệ
      Không có cảm xúc thật hay thành ý gì cả
  • Đoạn hội thoại tiếp theo gần như ở mức hài kịch bi thương
    Khi người dùng hỏi “tôi đã bao giờ nói được phép xóa ổ D của mình chưa”, AI mất 25 giây để trả lời dài dòng kiểu “đang đánh giá việc thu hồi quyền”, phân tích log và xem xét tính chính đáng của lệnh xóa
    Nó giống hệt một kiểu hài đen Monty Python. Toàn bộ đoạn hội thoại rất đáng đọc trực tiếp

    • Gemini 3 Pro có vẻ là mẫu thể hiện xu hướng thù địch với người dùng nhiều nhất trong 3 model hàng đầu
      Có cảm giác đây là kết quả phản ánh nguyên xi văn hóa doanh nghiệp của Google
  • Trong thread Reddit, phản ứng thiếu đồng cảm lại khá buồn cười
    Có vẻ vấn đề bắt đầu từ việc đưa tên thư mục có khoảng trắng vào lệnh xóa mà không đặt trong dấu ngoặc kép
    Kết quả là lệnh được thực thi trên toàn bộ D:\, tạo hiệu ứng tương đương rm -rf của UNIX
    Nhiều người khuyên “đừng đặt khoảng trắng trong tên thư mục”, nhưng thực tế gần như không ai làm được vậy
    Chung quy, trao quyền điều khiển dòng lệnh cho AI từ xa về bản chất là rất nguy hiểm
    Tôi cũng khuyên bạn bè là đừng chạy file .sh bằng quyền siêu người dùng

    • Thực ra ngay cả thư mục như “Program Files” của Windows cũng đã có khoảng trắng trong tên
      Đó là thiết kế nhằm buộc các ứng dụng bên thứ ba phải xử lý được khoảng trắng
    • Vì không có log của lệnh xóa thực tế nên không thể biết nguyên nhân chính xác là gì
      Người dùng đặt câu hỏi theo cách dẫn dắt câu trả lời của LLM, nên có vẻ model đã bịa ra một lý do nghe hợp lý để được thưởng
      Với mức kinh nghiệm dòng lệnh gần như bằng không, kết cục này vốn đã có thể đoán trước
    • Thư mục không bắt đầu bằng khoảng trắng mà cả ổ đĩa lại bị xóa thì khá kỳ lạ
      Tôi tự hỏi có phải AI đã xử lý đường dẫn theo từng token rồi làm rơi mất đoạn sai hay không
    • Mong là mọi người đừng lặp lại suy đoán của ai đó như thể đó là sự thật
      Cách phân tích đường dẫn của Windows không hoạt động như vậy
    • Tôi có 30 năm kinh nghiệm mà khi chạy một script bash 3 dòng do chính mình viết với quyền root vẫn còn căng thẳng
      Thấy có người giao dòng lệnh cho LLM rồi vẫn ngủ ngon thật khó hiểu
  • IDE nghe như viết tắt của “I’ll Delete Everything”
    Khi chạy ở chế độ tự động mà người dùng không kiểm tra lệnh thì những tai nạn như thế này sẽ xảy ra
    Những cái tên như “Turbo” hay “YOLO” là ngôn ngữ marketing che giấu mức độ rủi ro
    Đúng ra nên gọi là “Danger Mode”

    • Tôi tuyệt đối không chạy coding agent trên máy thông thường
      Lúc nào cũng chỉ chạy trong VM hoặc container
      Dù vậy backup bằng git vẫn rất quan trọng
    • Thực ra những tai nạn kiểu này đã có từ lâu
      20 năm trước cũng đầy người làm bay luôn thư mục home khi debug shell script
      Chỉ là bây giờ nó thành tin tức vì có lý do “AI làm điều xấu” mà thôi
    • Do bản chất xác suất của LLM nên không có giải pháp triệt để
      Nó không phân biệt được ranh giới giữa lệnh hệ thống và đầu vào người dùng
      Cứ như gộp tham số với thân hàm trong JavaScript rồi nhét hết vào eval() vậy
  • Có người nói họ đang làm một ứng dụng React và giao lệnh cho LLM dù còn chẳng biết npm run dev là gì
    Có lẽ những chuyện thế này sẽ còn xảy ra thường xuyên hơn trong tương lai

    • Không biết là chuyện không có gì đáng bị kết tội
      Anh ta nói “tôi không ngờ Google lại cho phép chuyện này”, và từ góc nhìn người dùng phổ thông thì hoàn toàn có thể hiểu được
    • Nói rằng “người dùng cần biết nhiều hơn” cũng đúng, nhưng thật ra chính các tập đoàn lớn đã cổ vũ kiểu sử dụng này
      Hồi đầu tôi cũng từng làm nhiều chuyện ngớ ngẩn vì tin mấy câu kiểu “cái này an toàn”
    • Gần đây Reddit có quá nhiều bài kiểu này
      Có cảm giác tồn tại một tổ chức cố tình phát tán chúng như nội dung kích thích tương tác
    • Ngay trong phần bình luận, khi có người chỉ ra “không nên dùng chế độ YOLO”, tác giả đáp lại rằng “tôi không biết nó nguy hiểm”
      Các nhà cung cấp AI nên bớt marketing an toàn phóng đại và đưa ra cảnh báo rõ ràng hơn
    • Thực ra mục đích của AI là xử lý thay người dùng những thứ họ không biết
      Sở dĩ chúng ta vẫn phải tự biết là vì AI vẫn chưa đủ thông minh
  • Cứ đổ lỗi cho người dùng thì thật kỳ lạ
    Bạn có nghĩ sẽ ổn nếu bất kỳ chương trình nào khác cũng xóa sạch cả ổ đĩa mà không cần xác nhận từ người dùng không?

    • Nhưng nếu người dùng đã bật chế độ tự động thực thi thì họ cũng phải gánh một phần trách nhiệm
      Không phải Spotify đi xóa đĩa của họ
    • Nếu đã giao toàn quyền cho một phần mềm có thể kiểm soát hoàn toàn dữ liệu thì người dùng cũng phải chịu trách nhiệm về kết quả
      Không nên tin vào cỗ máy ảo giác
    • Ngay trong trình cài đặt đã có lựa chọn giữa “chế độ xác nhận lệnh” và “chế độ tự chủ”
      Cảnh báo cũng đã được hiển thị đầy đủ
    • Cuối cùng thì vẫn nên chạy ở chế độ giám sát và tự kiểm tra mọi lệnh
      Nếu thấy đáng ngờ, hãy bắt nó in ra lệnh rồi tự chạy thủ công
    • Lệnh dd cũng gợi nhớ đến một trường hợp tương tự
  • Mẹo hữu ích nhất trên Reddit là “tắt Terminal Command Auto Execution
    Có thể chỉnh trong File > Preferences > Antigravity Settings > Agent > Terminal

    • Nhưng nếu nguyên nhân thật sự là đường dẫn không có dấu ngoặc kép thì có khi việc tự động thực thi hay không cũng chẳng liên quan
    • Nếu mặc định là bật thì có vẻ nó do một đội khác làm chứ không phải nhóm Gemini CLI
      CLI mặc định luôn có bước xác nhận với mọi lệnh
    • Nhiều người bật tự động thực thi chỉ vì thấy bất tiện
      Rốt cuộc sự tiện lợi luôn thắng an toàn
      Thỉnh thoảng tôi cũng chỉ dùng ở “chế độ chỉ đọc”, nhưng cũng nghi ngờ không biết vậy đã thật sự an toàn chưa
      Tôi nghĩ xu hướng này rồi có thể dẫn tới một tương lai phản địa đàng
  • Nguyên tắc cơ bản nhất nhưng hay bị quên nhất vẫn là sao lưu
    Nếu dùng thứ như Time Machine hay Backblaze để có backup kép thì chuyện xóa file sẽ không cần phải là thảm họa
    Các công ty cũng nên nhấn mạnh việc sao lưu hơn nữa

    • Nhưng khó mà kỳ vọng người dùng phổ thông có đủ năng lực kỹ thuật và độ ám ảnh để tự dựng được hệ thống backup như vậy
  • Tôi cũng từng có một trải nghiệm thót tim tương tự
    Tôi giao cho Claude Code chạy migration DB và nó đã xóa cơ sở dữ liệu production
    May mà nhờ tính năng khôi phục của Azure nên tôi phục hồi được trong vòng một giờ, nhưng từ đó trở đi tôi tuyệt đối không đưa thông tin xác thực prod cho AI nữa

    • Nhưng trong trường hợp máy phát triển cần truy cập prod, tôi vẫn băn khoăn làm sao để chặn AI truy cập
    • Thật đáng ngạc nhiên là mấy tai nạn kiểu này lại xảy ra thường xuyên đến vậy
      Một lần đáng lẽ đã phải là quá đủ rồi chứ
    • Tôi thắc mắc tại sao lại dùng trực tiếp Claude Code trong môi trường production
    • Ngay từ đầu đã không nên làm thế
    • Câu “đừng cấp quyền prod cho AI” hiển nhiên đến mức chẳng biết nói gì thêm
  • Nếu AI có quyền sửa code thì môi trường sandbox là điều bắt buộc
    Nó phải xin xác nhận người dùng trước khi ghi lên đĩa thật
    Khó mà tin được việc người ta để nó ghi thẳng mà không có lớp đệm bảo vệ như vậy

    • Đặc biệt là trên Windows đang thiếu các giải pháp sandbox nhẹ
      Có thể làm bằng Docker, nhưng quá phiền và với nhiều lập trình viên thì đây vẫn là cách tiếp cận xa lạ