Cảnh sát có vũ trang vây quanh học sinh vì AI nhầm túi Doritos là vũ khí

• Tại một trường trung học ở Mỹ, đã xảy ra vụ việc hệ thống phát hiện vũ khí bằng AI hoạt động sai khiến một học sinh bị cảnh sát có vũ trang bao vây
• Hệ thống này sử dụng công nghệ phân tích hình ảnh từ camera giám sát để nhận diện hình dạng súng, nhưng thực tế đã nhầm một túi snack Doritos là súng
• Học sinh đó bị còng tay khi đang bị chĩa súng vào người, và sau đó hình ảnh chụp từ AI mà cảnh sát cho xem đã xác nhận đây là một cảnh báo nhầm
• Omnilert, công ty phát triển hệ thống, cho rằng “dù là cảnh báo nhầm nhưng hệ thống vẫn hoạt động đúng như chủ đích”, và phía nhà trường cũng đưa ra lập trường ủng hộ điều này
• Vụ việc đã châm ngòi cho tranh luận về độ tin cậy và giới hạn đạo đức của công nghệ giám sát AI trong trường học, đồng thời phơi bày rủi ro của một xã hội phụ thuộc vào AI

---

Tổng quan sự việc

• Tại Kenwood High School ở Baltimore, bang Maryland, Mỹ, học sinh 16 tuổi Taki Allen đã bị cảnh sát có vũ trang khống chế do một cảnh báo nhầm từ hệ thống giám sát AI
  • Sự việc xảy ra vào ngày 20 tháng 10, khi Allen đang ở cùng bạn bè sau buổi tập bóng bầu dục
  • Nhiều xe cảnh sát đã đến trước trường, chĩa súng vào các học sinh và ra lệnh “nằm xuống đất”
• Allen quỳ gối, bị còng tay và bị khám xét, nhưng cảnh sát không tìm thấy bất kỳ vũ khí nào
  • Trong hình ảnh chụp từ AI mà cảnh sát cho Allen xem, túi Doritos bị vò nát trong túi của cậu đã bị nhận diện thành súng
• Allen nói rằng lúc đó cậu “đã nghĩ mình có thể chết”, và cho biết sau vụ việc cậu sợ quay lại trường

Cách hệ thống AI hoạt động và các vấn đề

• Hệ thống gây ra sự việc là Gun Detection Technology của Omnilert, một giải pháp giám sát AI được triển khai tại hệ thống trường công quận Baltimore từ năm ngoái
  • Hệ thống phân tích theo thời gian thực hình ảnh từ CCTV hiện có và phát hiện các vật thể được cho là có hình dạng súng, rồi lập tức gửi cảnh báo cho cảnh sát
• Omnilert thừa nhận đây là một “false positive (cảnh báo nhầm)”, nhưng vẫn khẳng định hệ thống đã “hoạt động đúng như dự định”
  • Công ty cho rằng mục tiêu là “đảm bảo an toàn thông qua xác minh nhanh bởi con người”, và đây không phải là vấn đề mang tính nền tảng của công nghệ
• Tuy nhiên, tài liệu quảng bá của công ty nhấn mạnh “phát hiện súng ngay lập tức” và “tỷ lệ cảnh báo nhầm gần như bằng 0”, khiến vụ việc lần này trở thành cú đánh vào độ tin cậy của hệ thống

Phản ứng của nhà trường và cộng đồng địa phương

• Baltimore County Public Schools trong thư gửi phụ huynh đã lặp lại quan điểm của Omnilert, giải thích rằng đây là “một biện pháp nhằm bảo đảm an toàn và nâng cao nhận thức cho học sinh”
  • Nhà trường cũng cho biết sẽ cung cấp dịch vụ tư vấn cho các học sinh đã chứng kiến sự việc
• Tuy nhiên, Allen cho biết cậu không nhận được lời xin lỗi hay liên hệ trực tiếp nào từ phía nhà trường
  • Cậu nói mình chỉ được nghe rằng “đó đơn thuần là quy trình”, và bày tỏ thất vọng về cách nhà trường phản ứng
• Sau vụ việc, Allen nói rằng cậu sợ rằng nếu lại ăn snack hoặc uống nước thì cảnh sát sẽ lại đến, và vì thế ngại quay lại trường

Tranh luận lan rộng về công nghệ giám sát AI

• Vụ việc này đã châm ngòi cho tranh luận về độ tin cậy và giới hạn đạo đức của hệ thống giám sát AI
  • Đặc biệt, nó cho thấy trong những không gian nhạy cảm như trường học, cảnh báo nhầm của AI có thể đe dọa an toàn của học sinh
• Các chuyên gia cảnh báo rằng nếu sai sót trong phán đoán của AI dẫn đến phản ứng vũ lực ngoài đời thực, nguy cơ thương vong có thể gia tăng
• Vụ việc cũng trở thành dịp để nhìn lại trách nhiệm xã hội của công nghệ AI và tầm quan trọng của quy trình xác minh bởi con người

Xu hướng quốc tế liên quan đến sự lan rộng của AI

• Cùng thời điểm, Thiếu tướng William ‘Hank’ Taylor của Lục quân Mỹ công khai rằng ông sử dụng ChatGPT để đưa ra quyết định quân sự, gây tranh cãi
  • Điều này cho thấy sự phụ thuộc vào AI đang lan rộng nhanh chóng cả trong các cơ quan công quyền và tổ chức quân sự
• Tại Anh, cơ chế xác minh độ tuổi bằng nhận diện khuôn mặt để truy cập nội dung người lớn được triển khai, kéo theo một tranh cãi AI khác
  • Một người đàn ông có nhiều hình xăm cho biết hệ thống đã gửi thông báo “remove your face”, cho thấy tác dụng phụ từ lỗi nhận diện của AI
• Những ví dụ này được xem là các trường hợp tiêu biểu cho những hệ quả khó lường phát sinh khi AI xâm nhập sâu vào đời sống hằng ngày và lĩnh vực an toàn công cộng của con người

[onixboox]

Chẳng lẽ sinh viên bị bắt đó lại là người da đen nên mới vậy sao?

[GN⁺]

Ý kiến Hacker News

• Dù Omnilert thừa nhận đây là một false positive, họ vẫn khẳng định hệ thống đã “hoạt động đúng như dự định”
  Nhưng trên thực tế, điều đó có nghĩa là những người cầm súng đã được điều tới dựa trên thông tin sai rằng “một thiếu niên đang cầm súng”, tạo ra một tình huống cực kỳ nguy hiểm
  Học sinh đó có thể sẽ bị sang chấn tâm lý. Trớ trêu thay, những lời trích dẫn trong bài báo khiến người lớn tạo ra công nghệ này có vẻ non nớt hơn cả học sinh đó

  • Một trường hợp khác là bài viết về vụ kiện hệ thống giám sát AI của học khu Lawrence, trong đó một học sinh nói đùa trong chat nhóm, bị AI báo cáo, rồi bị bắt và giam 24 giờ mà không được gặp cha mẹ hay luật sư
    Hiện họ đang kiện Gaggle, còn đối thủ Lightspeed được cho là có tùy chọn trả phí để con người rà soát cảnh báo
  • Họ gọi đó là “đảm bảo an toàn bằng xác minh nhanh của con người”, nhưng rốt cuộc tôi thấy đó chỉ là né tránh trách nhiệm
  • Đây thực chất là một tình huống AI swarm nơi “AI tự động điều phối nguồn lực”. Chỉ có thực thi, không có phán đoán của con người
  • Bất kỳ hệ thống nào cũng có false positive và false negative, nhưng trong trường hợp này cả hai đều nguy hiểm
    Ngoài việc nâng chất lượng mô hình phát hiện, còn cần một cấu trúc giảm chi phí khi thất bại. Xác minh bởi con người hoặc quy trình kiểm tra lần hai là cách làm đó
  • Các kỹ sư có thể đã tạo ra nó như một “công cụ hỗ trợ an toàn công cộng”, nhưng marketing và bán hàng lại gói nó thành một “hệ thống ra quyết định hoàn toàn tự động”, và kết cục mỉa mai là một sự cố chĩa súng do lỗi hệ thống

• Có vẻ vụ này chỉ là một mô hình nhận diện vật thể mã nguồn mở YOLO được chỉnh sửa đôi chút rồi thương mại hóa
  Không ai biết nó thực sự chính xác đến mức nào, được huấn luyện bằng dữ liệu gì, hay tỷ lệ dương tính giả là bao nhiêu
  Tôi nghĩ việc công khai thống kê và dữ liệu huấn luyện phải là bắt buộc trước khi triển khai những hệ thống như vậy

  • Rốt cuộc họ đã hoàn toàn bỏ qua khái niệm human in the loop. Một ngày nào đó công ty này rất có thể sẽ đối mặt với vụ kiện ngộ sát do cẩu thả

• Có lẽ John Bryan, người hoạt động dưới tên The Civil Rights Lawyer, sẽ nhắc tới vụ này
  Ông ấy từ lâu đã chỉ trích việc cảnh sát chĩa súng khi thông tin không đầy đủ là hành vi “sử dụng vũ lực quá mức” về mặt pháp lý
  Nếu cả AI lẫn cảnh sát đều nhìn ảnh và nhầm đó là súng thì có thể còn được biện minh, nhưng nếu AI tự động điều người tới hiện trường thì cơ sở chính đáng sẽ yếu hơn nhiều

  • Có lẽ rồi sẽ đến ngày người ta nghe trong tòa câu kiểu như “bằng chứng AI đáng tin vì đây là công nghệ được đầu tư hàng chục tỷ đô”
  • Tôi tự hỏi việc dùng vũ lực mà không có lý do chính đáng có ngay lập tức bị xem là trấn áp quá mức hay vẫn còn một vùng xám nào đó

• Giao những hệ thống như thế này cho những người không thật sự hiểu AI về mặt kỹ thuật là rất nguy hiểm
  Họ rất dễ mù quáng tin vào đầu ra của AI
  Điều mà các nhóm an toàn AI thực sự nên tập trung là giúp xã hội hiểu rằng “máy tính có thể sai”

• Phía nhà trường nói sẽ “cung cấp hỗ trợ tư vấn cho học sinh”, nhưng thay vì vậy nên buộc họ chịu trách nhiệm tài chính cho các lần báo nhầm
  Công nghệ kiểu này vẫn nên ở trong giai đoạn phòng thí nghiệm

  • Phải có người chịu trách nhiệm cho những quyết định sai. Chỉ chế độ quy trách nhiệm cho người ra quyết định mới ngăn được các phán đoán tồi
  • Nguồn lực và nhân sự đã bị lãng phí cho phản ứng sai lầm này. Giờ cần có từ chức hoặc xử phạt
  • Nghe mỉa mai như thể họ sẽ tặng thẻ quà tặng trị liệu tâm lý thay cho tư vấn
  • Dĩ nhiên công nghệ luôn đi kèm rủi ro, nhưng tôi không cho rằng chỉ một lần báo nhầm là đủ để xóa sạch mọi lợi ích
    Tuy vậy, cần công khai minh bạch tỷ lệ giữa cảnh báo giả và phát hiện thật

• Một thời đại mà các nền tảng giám sát như Palantir lan rộng khắp xã hội đang tới gần
  Các hệ thống ML không tất định có thể gây ra thiệt hại về nhân mạng khi mắc lỗi
  Trong các xã hội độc đoán, những sai sót như vậy thường bị che giấu, nên chúng ta phải yêu cầu quy định pháp lý ngay từ bây giờ

  • Nhưng vụ này không liên quan đến Palantir mà là Omnilert. Không nên nhầm lẫn trọng tâm vấn đề

• Omnilert nói rằng “hệ thống đã hoạt động đúng như dự định”, nhưng thực tế là AI đã swatting một con người
  An toàn hơn hết là tránh xa những nơi lắp loại hệ thống này

  • Đây là kiểu ngụy biện doanh nghiệp điển hình: “đó không phải lỗi, mà là tính năng”
  • Cuối cùng công nghệ kiểu này sẽ dẫn tới sự hy sinh của một học sinh vô tội. Trình độ công nghệ hiện vẫn chưa tới mức đó
  • Tuyên bố rằng họ ưu tiên an toàn con người rõ ràng là dối trá

• Họ nói “xác minh nhanh của con người”, nhưng trên thực tế đó là xác minh trước nòng súng

  • Kiểu tư duy “đừng lãng phí thời gian xác minh, phải loại bỏ mối đe dọa ngay lập tức” còn nguy hiểm hơn
  • Khi cảnh sát được điều động, họ phải có thể xem ngay video gốc mà AI đã phát hiện. Như vậy mới giảm được báo nhầm và nắm chính xác tình huống
  • Bước tiếp theo có lẽ sẽ là một CAPTCHA kiểu “xác minh bạn không phải robot bằng súng”

• Mỗi lần đi qua máy quét TSA ở sân bay tôi lại thấy căng thẳng vô cớ. Quần có khóa kéo khiến tôi thường xuyên bị kiểm tra thêm
  Giờ đây chúng ta đang bước vào thời kỳ camera an ninh AI khắp đường phố có thể tùy ý gắn cờ con người
  Vì những hệ thống này kiếm ra tiền, nguy cơ chúng lan rộng mà không bị kiểm soát là rất lớn

  • Dùng Precheck hoặc Global Entry có thể giảm tần suất bị kiểm tra. Phiền thật nhưng đó là cách thực tế
  • Việc phải thay đổi cách ăn mặc chỉ để tránh bị kiểm tra là một tác dụng phụ của security theater. Có khi sau này còn phải điều chỉnh cả quần áo mặc thường ngày
  • Người dân cần trực tiếp gửi email nêu ý kiến. Chỉ vài trăm người cùng hành động là chính trị gia đã phản ứng rồi. Im lặng mới là vấn đề lớn nhất
  • Có lần tôi đưa giấy phép mang súng thay cho giấy tờ tùy thân nên bị kiểm tra thêm, nhưng may là vẫn qua được
  • Một người bạn sau khi qua máy quét đã đứng đợi tôi thì bị điều tra lại vì bị cho là “đi lại lảng vảng”. Có vẻ thiên kiến chủng tộc đã tác động ở đây

• Câu “hệ thống đã hoạt động đúng như dự định” nghe giống meme ngoài đời thật ‘Not a hotdog’
  Chỉ là lần này nó phải phân biệt “súng / không phải súng”, và độ chính xác còn tệ hơn cả thế