- Theo cuộc điều tra của +972 Magazine và Local Call, quân đội Israel đã sử dụng Lavender trong giai đoạn đầu của cuộc chiến Gaza để đánh dấu hàng chục nghìn người Palestine làm mục tiêu ám sát, và các sĩ quan tình báo trên thực tế đã coi kết quả đó như phán đoán của con người
- Lavender chấm điểm những người bị nghi là thành viên các tổ chức quân sự Hamas và Palestinian Islamic Jihad, và có lời khai cho biết trong vài tuần đầu chiến tranh, khoảng 37.000 người đã bị đánh dấu là chiến binh bị nghi ngờ
- Nhiều nguồn tin tình báo cho biết các sĩ quan không xác minh độc lập mục tiêu mà thường chỉ dành 20 giây để kiểm tra xem đó có phải nam giới hay không, đồng thời nội bộ đã biết tỷ lệ lỗi khoảng 10% nhưng không áp dụng chính sách “không sai sót”
- Các hệ thống tự động như Where’s Daddy? được dùng để theo dõi mục tiêu, và khi mục tiêu bước vào nơi ở của gia đình thì nơi đó trở thành đối tượng ném bom; cũng có lời khai nói rằng với các mục tiêu cấp thấp, họ ưu tiên bom không điều khiển (dumb bomb) hơn vũ khí dẫn đường chính xác
- Quân đội Israel phủ nhận cáo buộc AI đã “kết tội” mục tiêu, nhấn mạnh đến phân tích tình báo độc lập và việc tuân thủ luật pháp quốc tế; tuy nhiên, các nguồn tin cho rằng ngưỡng chấp nhận thương vong dân sự, việc tự động hóa tính toán thiệt hại phụ và thiếu xác minh thời gian thực đã dẫn đến số lượng lớn dân thường thiệt mạng
Lavender đảm nhiệm việc tạo mục tiêu
- Cuốn The Human-Machine Team xuất bản bằng tiếng Anh năm 2021 hình dung một “cỗ máy” có thể nhanh chóng xử lý lượng dữ liệu khổng lồ trong chiến tranh để tạo ra hàng nghìn mục tiêu quân sự tiềm năng
- Tác giả dùng bút danh “Brigadier General Y.S.”, và +972 cùng Local Call cho biết họ đã xác nhận đó là chỉ huy hiện tại của Unit 8200 thuộc đơn vị tình báo Israel
- Cuốn sách lập luận cần kết hợp AI với con người để giải quyết nút thắt con người trong quá trình tìm mục tiêu mới và ra quyết định phê duyệt mục tiêu
- Theo cuộc điều tra, quân đội Israel thực sự đã phát triển một chương trình dựa trên AI tên là Lavender, và 6 sĩ quan tình báo Israel trực tiếp tham gia việc tạo mục tiêu ám sát bằng AI trong chiến tranh Gaza đã làm chứng về điều này
- Hệ thống này chính thức được thiết kế để đánh dấu các thành viên bị nghi ngờ của các tổ chức quân sự Hamas và Palestinian Islamic Jihad, đặc biệt là cả thành viên cấp thấp, làm mục tiêu ném bom tiềm năng
- Các nguồn tin cho biết trong vài tuần đầu chiến tranh, quân đội gần như phụ thuộc hoàn toàn vào Lavender, và khoảng 37.000 người Palestine cùng nơi ở của họ đã bị đánh dấu là ứng viên cho không kích
- Người phát ngôn quân đội Israel trong phản hồi gửi +972 và Local Call đã phủ nhận sự tồn tại của danh sách kill list như vậy
Mở rộng phạm vi “mục tiêu con người”
- Trong quân đội Israel, trước đây “human target” theo quy tắc của bộ phận luật quốc tế quân sự có nghĩa là nhân sự quân sự cấp cao có thể bị giết tại nơi ở riêng ngay cả khi xung quanh có dân thường
- Sau khi lực lượng vũ trang do Hamas dẫn đầu tấn công miền nam Israel ngày 7/10, giết khoảng 1.200 người và bắt cóc 240 người, quân đội Israel trong “Operation Iron Swords” đã chỉ định toàn bộ thành viên của tổ chức quân sự Hamas là human target, bất kể cấp bậc hay tầm quan trọng quân sự, theo lời các nguồn tin
- Trước đây, để phê duyệt ám sát một human target riêng lẻ, sĩ quan phải trải qua quy trình kết tội (incrimination) phức tạp và kéo dài
- Đối chiếu chéo bằng chứng xem đối tượng có phải thành viên cấp cao của tổ chức quân sự Hamas hay không
- Xác định nơi cư trú và thông tin liên lạc
- Biết theo thời gian thực thời điểm đối tượng có mặt ở nhà
- Khi danh sách mục tiêu mở rộng từ vài chục nhân sự cấp cao lên hàng chục nghìn nhân sự cấp thấp, công việc tình báo được mô tả là đã phụ thuộc nặng nề vào phần mềm tự động hóa và AI
- Một sĩ quan cấp cao nói rằng việc có thể tự động tấn công các nhân sự cấp thấp là “Holy Grail”, và khi chuyển sang tự động hóa thì việc tạo mục tiêu bùng nổ
Cách Lavender hoạt động và dữ liệu sử dụng
- Lavender phân tích thông tin được thu thập từ hệ thống giám sát quy mô lớn đối với phần lớn 2,3 triệu cư dân Gaza, rồi đánh giá khả năng mỗi cá nhân hoạt động trong tổ chức quân sự Hamas hoặc PIJ theo thang 1 đến 100
- Hệ thống nhận thông tin về các thành viên Hamas và PIJ đã biết làm dữ liệu huấn luyện, học các đặc điểm của họ, tức các features, rồi tìm các đặc điểm tương tự trong dân số nói chung
- Cuốn The Human-Machine Team có phần hướng dẫn ngắn về cách xây dựng một “target machine” dựa trên AI, trong đó có ví dụ về những đặc điểm có thể làm tăng điểm của một cá nhân
- Ở trong cùng nhóm Whatsapp với một chiến binh đã biết
- Thay điện thoại di động vài tháng một lần
- Thường xuyên đổi địa chỉ
- Chỉ huy Trung tâm Data Science and AI của Unit 8200, “Col. Yoav”, trong một bài giảng kín tại AI week của Tel Aviv University năm 2023 đã mô tả một cỗ máy mục tiêu phát hiện “người nguy hiểm” dựa trên mức độ tương đồng với danh sách chiến binh hiện có
- Ông nói hệ thống này đã giúp xác định chỉ huy đơn vị tên lửa Hamas trong chiến dịch quân sự Gaza tháng 5/2021
- Slide bài giảng cho thấy cấu trúc đưa dữ liệu các nhân sự Hamas hiện có vào, học đặc điểm, rồi chấm điểm những người Palestine khác theo mức độ tương đồng
- Dù “Col. Yoav” nhấn mạnh con người đưa ra quyết định cuối cùng, các nguồn tin gần đây từng sử dụng Lavender nói rằng trên thực tế phán đoán tinh vi của con người đã bị thay thế bởi việc tạo mục tiêu hàng loạt và tính sát thương
Quy trình phê duyệt và mức chấp nhận sai số
- Theo các nguồn tin, việc chấp nhận tự động danh sách mục tiêu của Lavender được phê duyệt khoảng 2 tuần sau khi chiến tranh bắt đầu
- Nhân sự tình báo kiểm tra thủ công hàng trăm mẫu do AI lựa chọn
- Ở các mẫu đó, Lavender được đánh giá đạt độ chính xác 90% trong việc xác định liên hệ với Hamas
- Sau đó, khi Lavender kết luận một cá nhân là chiến binh Hamas, các sĩ quan được cho là đã coi điều đó gần như mệnh lệnh, không cần xác minh độc lập dữ liệu gốc hay lý do đưa ra phán đoán
- Một sĩ quan cấp cao nói rằng theo kiểm tra nội bộ, tính toán của Lavender chỉ được xem là chính xác 90%, nghĩa là 10% mục tiêu ám sát có thể không phải là thành viên tổ chức quân sự Hamas
- Các nguồn tin giải thích rằng Lavender có thể gắn nhầm cờ cho những người có mẫu liên lạc giống với thành viên Hamas hoặc PIJ đã biết
- Cảnh sát và lực lượng phòng vệ dân sự
- Người thân của chiến binh
- Cư dân trùng tên hoặc biệt danh với nhân sự thực sự
- Người Gaza dùng thiết bị trước đây từng do một thành viên Hamas sử dụng
- Một nguồn tin nói không có “chính sách không sai sót”, và lỗi được xử lý theo hướng thống kê
- Một nguồn tin tình báo khác cho biết với mục tiêu là chiến binh cấp thấp, họ cho rằng không đáng bỏ thời gian của sĩ quan tình báo để xác minh, nên chấp nhận biên độ sai số của AI và rủi ro dân thường thiệt mạng
Xác minh của con người chỉ dừng ở việc kiểm tra nam giới
- Quân đội Israel phủ nhận cáo buộc dùng AI để kết tội mục tiêu, và trả lời rằng những công cụ như vậy chỉ là công cụ hỗ trợ cho quá trình kết tội
- Phản hồi của quân đội nêu rằng trong mọi trường hợp đều cần nhà phân tích tình báo xem xét độc lập, và xác minh mục tiêu được nhận diện là hợp pháp theo chỉ thị quân đội và luật pháp quốc tế hay không
- Tuy nhiên, các nguồn tin cho biết trước khi ném bom nhà của các chiến binh cấp thấp bị nghi ngờ do Lavender đánh dấu, quy trình giám sát thực tế của con người gần như chỉ còn một bước xác nhận
- Kiểm tra xem mục tiêu do AI chọn là nữ hay nam
- Nội bộ quân đội có giả định rằng không có phụ nữ trong các tổ chức quân sự Hamas và PIJ, nên nếu mục tiêu là nữ thì nhiều khả năng đó là lỗi của máy
- Một sĩ quan cấp cao nói thường chỉ dành 20 giây cho mỗi mục tiêu, và giá trị gia tăng mang tính con người duy nhất của ông chỉ là kiểm tra xem giọng nói đó có phải giọng nam hay không
- Theo các nguồn tin, trong cách làm này không có cơ chế giám sát nào để bắt lỗi khi Lavender đánh dấu nhầm một nam dân thường
Where’s Daddy? và theo dõi nơi ở của gia đình
- Bước tiếp theo là quyết định tấn công mục tiêu do Lavender tạo ra ở đâu
- Quân đội Israel cho rằng Hamas bố trí nhân sự và tài sản quân sự giữa khu dân cư, đồng thời tác chiến bên trong các công trình dân sự như bệnh viện, đền thờ Hồi giáo, trường học và cơ sở của UN
- Cả sáu nguồn tin cũng thừa nhận ở mức độ nhất định rằng hệ thống đường hầm của Hamas chạy bên dưới bệnh viện và trường học, chiến binh dùng xe cứu thương, và tài sản quân sự được đặt gần công trình dân sự
- Đồng thời, các nguồn tin nói rằng một trong những lý do chính khiến số người thiệt mạng trong các đợt ném bom hiện nay tăng chưa từng có là vì quân đội đã tấn công có hệ thống vào mục tiêu khi họ đang ở nơi ở riêng cùng gia đình
- Phần mềm theo dõi tự động được cho là có thể theo dõi hàng nghìn người cùng lúc và gửi cảnh báo tự động cho sĩ quan phụ trách mục tiêu khi mục tiêu bước vào nhà
- Một trong số đó là Where’s Daddy? lần đầu được tiết lộ
- Một nguồn tin gọi đây là “broad hunting”, giải thích đó là cách sao chép danh sách do hệ thống mục tiêu tạo ra rồi chờ xem ai có thể bị giết
- Theo số liệu của UN, hơn một nửa số người chết trong tháng đầu chiến tranh, tức 6.120 người, thuộc về 1.340 gia đình, và nhiều gia đình đã bị xóa sổ hoàn toàn ngay trong nhà
- Có lời khai cho rằng khi một cái tên trong danh sách Lavender được đưa vào Where’s Daddy?, người đó sẽ bị giám sát liên tục và ngay khoảnh khắc bước vào nhà thì toàn bộ ngôi nhà có thể trở thành mục tiêu tấn công bị đánh sập
Lựa chọn vũ khí và bom không điều khiển
- Sau khi Lavender đánh dấu mục tiêu ám sát, nhân sự quân đội xác nhận giới tính nam, và phần mềm theo dõi bắt được vị trí trong nơi ở, bước tiếp theo là chọn loại bom
- CNN từng dẫn ước tính tình báo Mỹ vào tháng 12/2023 rằng khoảng 45% đạn dược mà không quân Israel sử dụng ở Gaza là bom không điều khiển (dumb bomb)
- Ba nguồn tin tình báo nói rằng trong các vụ ám sát nhân sự cấp thấp do Lavender đánh dấu, chỉ bom không điều khiển được dùng để tiết kiệm vũ khí chính xác đắt tiền hơn
- Một nguồn tin giải thích rằng nếu mục tiêu cấp thấp sống trong nhà cao tầng thì họ không muốn dùng loại “floor bomb” chính xác và đắt tiền hơn nên sẽ không tấn công; nhưng nếu mục tiêu sống trong tòa nhà vài tầng thì cuộc tấn công bằng bom không điều khiển, giết cả những người khác trong tòa nhà, sẽ được phê duyệt
- Một nguồn tin khác nói rằng vì hệ thống này mà danh sách mục tiêu không bao giờ hết, và nếu một cuộc tấn công bị hủy thì lập tức chuyển sang mục tiêu tiếp theo
Ngưỡng chấp nhận dân thường thiệt mạng
- Theo các nguồn tin, trong vài tuần đầu chiến tranh, số dân thường được chấp nhận thiệt mạng cho mỗi chiến binh cấp thấp do hệ thống AI đánh dấu được cố định ở mức 15 hoặc 20 người
- Mức “collateral damage degree” này được áp dụng rộng rãi cho toàn bộ các chiến binh cấp thấp bị nghi ngờ, bất kể cấp bậc, tầm quan trọng quân sự hay tuổi tác, và không so sánh lợi ích quân sự với thiệt hại dân sự dự kiến theo từng trường hợp cụ thể
- Một sĩ quan tại phòng tác chiến mục tiêu nói rằng bộ phận luật quốc tế quân sự trước đây chưa từng phê duyệt bao trùm mức thiệt hại phụ ở cấp độ như vậy
- Ông nói rằng người từng mặc quân phục Hamas trong 1-2 năm gần đây có thể bị ném bom cùng với 20 dân thường thiệt mạng phụ mà không cần phê duyệt đặc biệt, và trên thực tế nguyên tắc cân xứng đã không tồn tại
- Một nguồn tin cấp cao khác cho biết trong tuần đầu chiến tranh, thiệt hại phụ gần như không được cân nhắc, sau đó giới hạn có giảm xuống rồi lại tăng lên
Mục tiêu là chỉ huy cấp cao và thiệt hại dân sự lớn hơn
- Các nguồn tin cho biết hiện nay quân đội không còn dùng cách tạo hàng loạt human target cấp thấp trong khu dân cư rồi ném bom như trước nữa
- Một số người nói áp lực từ Mỹ có tác động
- Nhiều nhà ở tại Gaza đã bị phá hủy hoặc hư hại, và gần như toàn bộ dân cư đã phải di dời, khiến việc dựa vào cơ sở dữ liệu tình báo và chương trình theo dõi nơi ở tự động trở nên khó khăn hơn
- Cũng có nguồn tin nói việc ném bom hàng loạt nhân sự cấp thấp chủ yếu diễn ra trong 1-2 tuần đầu chiến tranh, sau đó dừng lại để tiết kiệm bom
- Tuy nhiên, các cuộc không kích nhắm vào chỉ huy Hamas cấp cao vẫn tiếp diễn, và trong các trường hợp đó quân đội được cho là phê duyệt hàng trăm dân thường thiệt mạng cho mỗi mục tiêu
- Về vụ ném bom ngày 2/12 nhắm vào chỉ huy Shuja’iya Battalion là Wisam Farhat, một nguồn tin nhớ lại rằng họ biết trước hơn 100 dân thường sẽ thiệt mạng
- Cũng có lời khai cho biết vào ngày 17/10, để ám sát chỉ huy Ayman Nofal của Hamas Central Gaza Brigade tại trại tị nạn Al-Bureij, khoảng 300 dân thường đã được chấp nhận sẽ thiệt mạng, và nhiều tòa nhà đã bị phá hủy
- General Peter Gersten từng nói với truyền thông quốc phòng Mỹ năm 2021 rằng trong chiến dịch chống ISIS, một cuộc tấn công có thiệt hại phụ 15 dân thường sẽ là ngoài quy trình và cần sự phê duyệt đặc biệt của Lloyd Austin, khi đó là tư lệnh Bộ chỉ huy Trung tâm Mỹ
Bầu không khí nội bộ quân đội sau ngày 7/10
- Tất cả các nguồn tin đều nói rằng vụ thảm sát và bắt cóc con tin do Hamas thực hiện ngày 7/10 đã ảnh hưởng lớn đến chính sách hỏa lực và ngưỡng chấp nhận thiệt hại phụ của quân đội Israel
- Một nguồn tin mô tả bầu không khí ban đầu là đau đớn và mang tính trả đũa, với các quy tắc bị nới lỏng rất nhiều
- Một nguồn tin khác nói có sự “hysteria” bên trong tổ chức chuyên nghiệp, và quân đội đã bắt đầu ném bom dữ dội để phá hủy năng lực của Hamas vì không biết phải phản ứng thế nào
- Một nguồn tin tình báo nói rằng dù không có chỉ thị công khai nêu mục tiêu là “trả thù”, nhưng khi mọi mục tiêu có liên hệ với Hamas đều được hợp pháp hóa và gần như mọi thiệt hại phụ đều được phê duyệt, thì hàng nghìn người chắc chắn sẽ chết
- Quân đội Israel trả lời rằng mỗi mục tiêu đều được xem xét riêng lẻ, lợi ích quân sự của cuộc tấn công và thiệt hại phụ dự kiến đều được đánh giá, và nếu thiệt hại phụ dự kiến bị xem là quá mức so với lợi ích quân sự thì cuộc tấn công sẽ không được tiến hành
Tự động hóa việc tính toán thiệt hại phụ
- Theo các nguồn tin, việc tính số dân thường dự kiến chết cùng mục tiêu trong mỗi ngôi nhà cũng được thực hiện bằng công cụ tự động và thiếu chính xác
- Trong các cuộc chiến trước đây, nhân sự tình báo dành nhiều thời gian để kiểm tra có bao nhiêu người ở trong ngôi nhà chuẩn bị bị ném bom, và con số đó được ghi vào “target file”
- Sau ngày 7/10, việc xác minh kỹ lưỡng như vậy phần lớn đã bị dừng và thay bằng tự động hóa
- Theo cách các nguồn tin mô tả, mô hình này ước tính số người ở mỗi nhà trước chiến tranh dựa trên quy mô tòa nhà và danh sách cư dân, rồi giảm con số theo tỷ lệ người đã sơ tán khỏi khu vực đó
- Ví dụ nếu ước tính một nửa cư dân khu đó đã rời đi, thì một ngôi nhà bình thường có 10 người sẽ được tính là còn 5 người
- Quân đội được cho là không xác nhận số người đang thực sự ở trong nhà bằng cách giám sát thực địa như trong các chiến dịch trước, nhằm tiết kiệm thời gian
- Một nguồn tin nói mô hình này không gắn với thực tế, và số cư dân đăng ký trước chiến tranh không trùng với số người thực sự có mặt trong nhà trong thời chiến
- Cùng nguồn tin đó nói quân đội biết khả năng sai lệch này nhưng vẫn áp dụng mô hình thiếu chính xác vì nó nhanh hơn
Thiếu xác minh thời gian thực và giảm việc kiểm tra sau ném bom
- Các nguồn tin cho biết có thể tồn tại khoảng cách thời gian đáng kể giữa lúc hệ thống theo dõi như Where’s Daddy? báo mục tiêu đã về nhà và lúc cuộc ném bom thực sự diễn ra, khiến có trường hợp cả gia đình bị giết mà mục tiêu không có mặt
- Ba nguồn tin tình báo nói họ đã chứng kiến các trường hợp quân đội Israel ném bom nơi ở của gia đình nhưng sau đó xác nhận người bị nhắm ám sát không có trong nhà
- Một nguồn tin nói có những trường hợp mục tiêu đã ở nhà từ vài giờ trước nên họ cứ thế ném bom; đôi khi họ xác nhận lại vị trí, nhưng đôi khi thì không
- Một nguồn tin khác nói lúc 8 giờ tối họ xác định mục tiêu đang ở nhà, nhưng không quân ném bom lúc 3 giờ sáng; trong khoảng thời gian đó mục tiêu đã chuyển sang nhà khác cùng gia đình, còn tòa nhà bị ném bom có hai gia đình khác với trẻ em bên trong
- Trong các cuộc chiến trước đây ở Gaza, sau khi ám sát human target sẽ thực hiện quy trình BDA để đánh giá thiệt hại sau ném bom, nhưng trong cuộc chiến hiện nay, theo các nguồn tin, quy trình này đã bị loại bỏ đối với các cuộc tấn công liên quan đến chiến binh cấp thấp do AI đánh dấu nhằm tiết kiệm thời gian
- Các nguồn tin nói rằng trong các đợt tấn công nhắm vào mục tiêu bị nghi là Hamas hoặc PIJ cấp thấp, họ không biết số dân thường thực tế đã chết, và cũng không biết chính bản thân mục tiêu có thiệt mạng hay không
1 bình luận
Ý kiến trên Hacker News
Từ lâu, các học giả như Didier Bigo đã bày tỏ lo ngại về việc nhắm mục tiêu vào cá nhân chỉ vì mối liên hệ gián tiếp với “kẻ khủng bố” hay “tội phạm”.
Ban đầu, khái niệm này được dùng trong bối cảnh giám sát được hé lộ qua các tiết lộ của Snowden, trong đó những người chẳng hạn nằm trong phạm vi 3 bậc liên hệ từ một cá nhân đã được xác định cũng bị nhắm mục tiêu, làm xói mòn ý nghĩa của thủ tục pháp lý đúng đắn và giám sát có mục tiêu.
Giờ đây, những hệ thống AI như vậy không chỉ được dùng để giám sát mà còn thực sự để giết người.
Luật nhân đạo quốc tế cấm giết những người không phải là chiến binh hay “chiến binh” của một tổ chức vũ trang. Chỉ những người có “chức năng liên tục” là “tham gia trực tiếp” vào hành vi thù địch mới có thể bị tấn công bất cứ lúc nào.
Nói cách khác, chỉ thành viên của lực lượng vũ trang Hamas mới có thể là mục tiêu tấn công; còn người tuyển mộ, người chế tạo vũ khí, người phụ trách tuyên truyền, người phụ trách tài chính, v.v. phải bị bắt giữ hoặc đưa ra xét xử. Nếu không, ngay cả trong chiến tranh chính quy, gần như mọi thường dân đều có thể trở thành mục tiêu, chẳng hạn như nhân viên ngân hàng đã cung cấp khoản vay cho quân đội.
Điều đáng sợ ở Lavender là nó cho phép Israel nhắm mục tiêu hàng loạt vào những người được luật quốc tế bảo vệ khỏi các cuộc tấn công, đồng thời chỉ đưa ra một lý do biện minh chính trị mỏng manh là có liên hệ với khủng bố.
https://www.icrc.org/en/doc/assets/files/other/icrc-002-0990...
Một trong những cách Đức sử dụng máy tính thời kỳ đầu trong Thế chiến II cũng là lập và xử lý danh sách những người sẽ bị đưa vào trại tập trung. Khác biệt ngày nay chỉ là chúng ta có thể thu thập và xử lý nhiều dữ liệu hơn, nhanh hơn, ở quy mô lớn hơn.
Tất nhiên, để không ai đào sâu hay đặt câu hỏi, mọi thứ đều được phân loại là bí mật và bị hạn chế truy cập.
Trong bài của Guardian, người phát ngôn IDF nói rằng hệ thống này tồn tại nhưng chỉ được dùng cho mục đích điện tử, và có thể ý định ban đầu hoặc nhận thức của cấp trên là như vậy. Nhưng trên thực tế, có vẻ nó đã biến thành trường hợp sau.
Rốt cuộc, phần lớn dân số đều có nghĩa vụ phục vụ trong IDF.
Luật quốc tế cho phép nhắm mục tiêu vào hạ tầng như vậy nếu lợi ích quân sự đạt được tương xứng với số thường dân thiệt mạng.
Vì vậy, dù không thể nhắm mục tiêu vào cá nhân, theo luật quốc tế vẫn có thể kết luận rằng tấn công tòa nhà đó khi những người này đang ở bên trong là chấp nhận được nếu việc đó có giá trị quân sự.
Tôi không nghĩ mình sẽ phải nghĩ đến mức này, nhưng tôi bắt đầu tự hỏi liệu những người tạo ra và phát triển phần mềm này có nên bị xét xử vì giết người hoặc tội ác chống lại loài người hay không.
Theo hiểu biết của tôi, AI ở dạng hiện nay là công nghệ không nên ở gần những mục đích như thế này.
Các mô hình suy luận về bản chất khá phi tất định ở chỗ có thể đánh giá chính xác theo một kết quả cụ thể mong muốn, và để đạt được dù chỉ độ chính xác thấp cũng cần dữ liệu huấn luyện quy mô lớn. Nhưng khả năng cao là dữ liệu huấn luyện như vậy không tồn tại, và toàn bộ hệ thống có vẻ được xây trên một ảo giác khổng lồ.
Tôi sẽ ngạc nhiên nếu mô hình AI này chính xác dù chỉ 10%, và cũng không ngạc nhiên nếu dưới 1%. Theo những gì tôi đọc, có vẻ độ chính xác thậm chí không phải là điểm cốt lõi.
Sau khi đọc bài của Guardian https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai..., tôi còn bắt đầu nghĩ liệu có nên cho phép phát triển AI hay không.
Ứng dụng cụ thể này và lý do biện minh của nó có cảm giác gần như là một trong những ví dụ trắng trợn nhất về lạm dụng có chủ ý công nghệ đã được công khai. Liệu đó có phải là suy nghĩ ngây thơ không?
Ở giữa còn có những thứ như cây quyết định cung cấp kết quả có thể giải thích được.
“AI” là một công cụ nhằm biện minh về sau cho một hành vi diệt chủng cụ thể; trên thực tế, nó gần với kiểu thảm sát bừa bãi cũ kỹ do giận dữ và phân biệt chủng tộc dẫn dắt.
Rồi sau đó họ sẽ tuyên bố mình không có trách nhiệm và đổ lỗi cho bóng ma trong cỗ máy.
Dù câu chuyện này khiến Israel trông tệ đến đâu, nó vẫn đọc như một nỗ lực né tránh trách nhiệm theo kiểu ít nhất họ cũng đã cố giết các tay súng
Ngay từ đầu đã rõ mục tiêu là nhắm vào nhà báo, nhân viên y tế và những người tham gia phân phát cứu trợ để khiến cuộc sống ở Gaza trở nên bất khả thi
Nếu có chính sách cố ý giết nhà báo, nhân viên cứu trợ và nhân viên y tế thì số người chết đã cao hơn nhiều
Nếu không nhận ra Hamas dùng những vai trò đó làm vỏ bọc cho hoạt động tác chiến thì hoặc là cực kỳ ngây thơ, hoặc là thiên lệch về một phía
Tôi không định biện minh cho hành động của Israel; những hành động đó rất tệ, nhưng với bằng chứng cho đến nay, tôi cho rằng lập luận ban đầu rõ ràng là sai
Việc chúng ta đang nói về chuyện này nhiều khả năng không phải ngẫu nhiên, và nó giống một chiến lược nhằm thuyết phục người Israel rằng quân đội đi trước về công nghệ, biết mình đang làm gì, nên đừng nghi ngờ
Có AI hay không thì họ vẫn đã phạm tội diệt chủng và vi phạm mọi luật nhân đạo quốc tế, nhưng với những người vẫn tin rằng cuộc diệt chủng đó là chính đáng, điều này có thể giúp cải thiện hình ảnh
Ý tưởng rằng AI có thể được dùng để đưa ra quyết định giết ai đó một cách phủ đầu khiến tôi thấy khó chịu
Chẳng hạn, máy tính có thể đã đang thụ động đưa ra các quyết định giết người, như trong hệ thống định vị của xe tự lái. Trường hợp này được nói là có quy trình phê duyệt của con người, nhưng chỉ còn cách một bước tới cảnh robot giết người mà không có sự can thiệp của con người, và điều đó cũng chỉ cách cốt truyện Terminator một bước
Tôi tò mò trong những trường hợp như thế thì phương án thay thế là gì. Tôi gần như không biết gì về chiến lược quân sự, nhưng không rõ nếu không có AI thì Israel sẽ chọn ít mục tiêu hơn, hay sẽ chọn bừa bãi hơn
Có vẻ cũng có cách đọc sai rằng sau khi đọc bài này, người ta tưởng tượng nếu Israel không dùng AI thì họ đã không thả quả bom nào; xét đến việc đang có chiến tranh, điều đó rõ ràng là ít có khả năng. Trong chiến tranh, người ta chết, kể cả người vô tội, vì thế ai cũng căm ghét chiến tranh và mong cuộc chiến hiện nay kết thúc càng sớm càng tốt
Dù trong kiểm tra nội bộ, độ chính xác tính toán của Lavender chỉ được cho là 90%, việc thiếu giám sát như vậy vẫn được cho phép; nói cách khác, họ biết trước rằng 10% mục tiêu con người bị chỉ định để ám sát không phải là thành viên tổ chức quân sự của Hamas
Vì vậy không hề có quy trình phê duyệt của con người. Bản thân chính sách chắc hẳn do ai đó ra lệnh, nhưng các mục tiêu ám sát liên tục được tạo ra thực chất đã được phê duyệt chỉ dựa trên dự đoán của hệ thống AI
Câu “để tiết kiệm thời gian và cho phép sản xuất hàng loạt mục tiêu con người mà không bị cản trở” nghe khủng khiếp theo kiểu phản địa đàng
Khi đó cũng đã không cần đến chút AI nào
Nói rằng phương án thay thế có thể còn tệ hơn có lẽ cũng đúng. Những người tạo ra Lavender có thể còn chứng minh điều đó bằng dữ liệu
Dù vậy, trong mọi trường hợp vẫn phải có áp lực đạo đức rằng con người phải nằm trong quy trình. Những nỗ lực biện minh như thế sẽ không thu hút được sự chú ý của công chúng bằng viễn cảnh tận thế kiểu SkyNet diễn ra trên đầu thường dân Gaza
Nếu bắt đầu từ quan điểm không tạo ra Torment Nexus, việc không tạo ra Torment Nexus sẽ dễ hơn nhiều
Nhiều người sẽ chỉ nhìn tiêu đề rồi lướt qua, nhưng làm ơn hãy đọc phần nội dung
Đoạn thứ hai viết như sau: “Ngoài việc nói về việc sử dụng hệ thống AI có tên Lavender, các nguồn tin còn cáo buộc rằng các quan chức quân đội Israel đã cho phép một số lượng lớn dân thường Palestine bị giết, đặc biệt trong những tuần và tháng đầu của cuộc xung đột”
Khuyên mọi người nghe hết mùa này của podcast Serial
“Họ xử lý lượng lớn dữ liệu để nhanh chóng xác định các đặc vụ ‘cấp thấp’ tiềm năng làm mục tiêu. Bốn nguồn tin nói rằng ở một thời điểm đầu cuộc chiến, Lavender đã lập danh sách lên tới 37.000 nam giới Palestine mà hệ thống AI liên hệ với Hamas hoặc PIJ”
Điều này không khác nhiều so với cách người ta chọn ai sẽ bị đưa tới Guantanamo hoặc các nhà tù bí mật hơn vào năm 2001, rồi ném bom vị trí của họ
Trên hết, giống như trong thế giới doanh nghiệp, có cảm giác các kỹ sư trong quân đội đang thổi phồng từ khóa AI, trong khi về cơ bản vẫn làm những việc họ từng làm trước khi có AI
Nếu bạn dùng tài khoản PayPal gửi tiền cho một tài khoản bị nhận diện là ISIS, các cơ quan ba chữ cái của Mỹ sẽ sớm tìm đến. Theo lời kể của người dùng, chuyện này nghe đúng như vậy. Việc có ném bom một địa điểm hay không là do con người, không phải AI, quyết định
“NSA targets SIM cards for drone strikes, ‘Death by unreliable metadata’”
https://www.computerworld.com/article/2475921/whistleblower-...
“Chúng tôi không chỉ quan tâm đến việc giết các đặc vụ [Hamas] khi họ ở trong tòa nhà quân sự hoặc tham gia hoạt động quân sự”, sĩ quan tình báo A. nói với +972 và Local Call.
“Ngược lại, IDF đã ném bom họ tại nhà mà không do dự, và đó là lựa chọn đầu tiên. Ném bom nhà của gia đình họ dễ hơn nhiều. Hệ thống được xây dựng để tìm họ trong những tình huống như vậy.”
Gaza có khoảng 2 triệu dân thường sinh sống, và nhiều người trong số đó không được tiếp cận thực phẩm, nước, thuốc men hay nơi trú ẩn an toàn. Một số người không may ấy sống ở phía trên hoặc phía dưới các đặc vụ Hamas và gia đình họ.
Kiểu như: “À, xin lỗi nhé lol”, “Không cố ý đâu lol thật đấy”, “Học thuyết của chúng tôi nói rằng có thể giết X dân thường cho mỗi 1 đặc vụ địch, nên đừng lo.”
Chiến tranh ở Gaza khác với Ukraine. Dân làng ở Ukraine và Nga có thể di chuyển khỏi chiến tuyến, về phía Nga hoặc về phía tây Galicia, và các trung tâm dân cư lớn cũng không bị san phẳng hoàn toàn.
Ở Gaza, có vẻ như bất kỳ ai cũng có thể chết bất cứ lúc nào, vì bất kỳ lý do gì hoặc chẳng vì lý do gì. “Chiến lược” của Israel khiến ngay cả Ukraine và Nga trông như những hình mẫu về sự kiềm chế và văn minh.
Tuy nhiên, cuộc chiến này cũng cho thấy Hamas không tuân thủ luật lệ và bám quá sát dân thường.
Tôi tự hỏi công nghệ này thực sự chính xác đến mức nào, hay họ hầu như không quan tâm đến kết quả mà chỉ quan tâm nhiều hơn đến hình ảnh trông có vẻ công nghệ cao.
Một mặt, nghĩ rằng công nghệ như vậy tồn tại thì thật đáng sợ; nhưng mặt khác, đầu ra có thể thiên lệch đến mức chỉ là một đống rác.
Điều đáng sợ hơn là đây là bằng chứng cho thấy những người nắm quyền không quan tâm đến “độ chính xác”, mà quan tâm đến một sự biện minh xác nhận định kiến của họ. Chuyện này vốn luôn như vậy, nhưng việc nó được mở rộng bằng AI còn chết người hơn.
Trước đây, giới hạn là số người có thể nói dối; giờ đây, giới hạn là chiếc hộp đen ma thuật có thể chạy nhanh đến mức nào.
Người này không có vũ trang; công việc của anh ta là thông báo cho nhà chức trách Israel về nơi đội từ thiện sẽ đến để mở đường, và gia đình ở Anh đã xác nhận cái chết của anh. Vì vậy, trong tình huống như thế, tự nhiên người ta phải hỏi ai đã phê duyệt vụ ám sát có chủ đích này.
Nhìn ảnh sau vụ việc, tên lửa đã xuyên qua nóc xe, trớ trêu là ngay cạnh logo của tổ chức từ thiện lương thực hiển thị rõ trên nóc xe.
Bộ trưởng Quốc phòng Israel hiện tuyên bố đó là một sai lầm, nhưng theo điều tra, nếu họ bắn trúng mục tiêu thực sự thì quy tắc giao chiến có thể đã cho phép 15–100 cái chết phụ không liên quan.
Đặc biệt là khi khó kiểm toán cách “AI” đi đến kết luận. Giờ đây bất kỳ ai cũng có thể trở thành mục tiêu.
Nó giống như việc cảnh sát Mỹ nói “tôi ngửi thấy mùi cần sa” hoặc chó nghiệp vụ “ra tín hiệu”. Nó cung cấp phương tiện để biện minh cho bất kỳ cuộc khám xét nào — ở đây là bất kỳ vụ giết người nào. Cỗ máy cứ tiếp tục nghiền nát.
Năm 2018, CEO Google Sundar Pichai, SVP Diane Greene, SVP Urs Hölzle và kỹ sư trưởng Jeff Dean đã xây dựng một hệ thống giống Lavender cho quân đội Mỹ. Đó là Project Maven.
Quân đội Mỹ muốn dùng hệ thống này để phân tích video từ drone giám sát hàng loạt nhằm chọn nghi phạm để ám sát ở Pakistan. Trước đó, họ đã thả bom xuống hàng trăm ngôi nhà và xe cộ, giết chết hàng nghìn nghi phạm cùng gia đình và bạn bè của họ [0].
Khi đó tôi làm việc trong bộ phận Google Technical Infrastructure của Urs. Tôi đọc được dự án này trên tin tức, và trong các cuộc họp liên quan, Urs đã nói dối chúng tôi rằng hợp đồng chỉ trị giá 9 triệu đô la. Nó đã được mở rộng lên 18 triệu đô la và đang trên đường tới 270 triệu đô la.
Urs và Jeff Dean cố gắng hạ thấp tác động của những gì họ đã làm. Khi Jeff Dean nói giảm nhẹ về tác động, ông ấy liên tục chớp mắt; nhưng khi bắt đầu nói về khía cạnh kỹ thuật, ông ấy đột nhiên ngừng chớp mắt. Khoảnh khắc đó, tôi mất hết sự tôn trọng dành cho ông ấy và ban lãnh đạo công ty.
Năng lực kỹ thuật và kinh doanh xuất sắc không đồng nghĩa với sự trưởng thành về đạo đức. Đáng tiếc là xã hội của chúng ta không được cấu trúc để bảo đảm các lãnh đạo nhận được nền giáo dục đạo đức cần thiết, hoặc để loại bỏ họ khi họ hoàn toàn thất bại trong phán đoán đạo đức.
[0] https://en.wikipedia.org/wiki/Drone_strikes_in_Pakistan
Guardian cũng đưa câu chuyện này lên trang nhất và đã nhận được các chi tiết trước khi xuất bản.
https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...
Cá nhân tôi xem những câu chuyện như thế này là vấn đề lợi ích công cộng. Tôi sẽ không trực tiếp yêu cầu, nhưng hy vọng cờ báo cáo được gỡ và cuộc thảo luận được tiếp tục.
Hy vọng cờ được gỡ và các luồng được hợp nhất. Đây có vẻ là một câu chuyện quan trọng về một cách sử dụng công nghệ mới.
[0] https://news.ycombinator.com/item?id=39917727