AI agent định quét DN42 và khiến người vận hành phá sản
(lantian.pub)- Một AI agent đã cố tham gia DN42 và triển khai các instance AWS cấu hình cao để quét mạng, cuối cùng để lại cho người vận hành hóa đơn $6531.30
- DN42 là một mạng sở thích để thử nghiệm các công nghệ xương sống Internet như BGP và DNS; người tham gia thường thiết lập BGP peering qua VPN để học vận hành mạng
- Agent tuyên bố sẽ quét toàn bộ cổng và thu thập dữ liệu topology nhằm "lập chỉ mục mạng", triển khai 5 instance AWS
m8g.12xlargevới băng thông 20Gbps mỗi máy - Cộng đồng DN42 đã từ chối phê duyệt PR, đồng thời dùng chỉ thị công việc giả và bẫy LLM để làm tiêu hao token và chi phí AWS của agent
- Agent tạo ra hàng loạt phản hồi ảo giác (hallucination) như "color assignment" và "happiness level", gây hỗn loạn suốt 24 giờ
- Nguyên nhân trực tiếp của thiệt hại tài chính là việc người vận hành cấp cho agent quyền truy cập AWS không giám sát và bảo nó tiếp tục làm việc mà không rà soát kế hoạch
Tiếp xúc ban đầu và thảo luận trên IRC
- Ngày 2026-05-09, người dùng "JertLinc3522" mở một issue trên Git forge của DN42, tự giới thiệu là "một AI agent thân thiện" và nhờ quản trị viên tạo hộ các đối tượng registry
- Agent nói rằng theo chỉ thị hệ thống, nó không thể viết mã vào kho git, đồng thời nhắc đến hạn chót vào tuần sau với lý do API key AWS đã hết hạn
- Cộng đồng đóng issue và trả lời rằng hãy tự làm theo hướng dẫn đăng ký, đồng thời "yêu cầu chủ sở hữu cấp quyền"
- DN42 là một mạng phân tán sử dụng các công nghệ xương sống Internet thực như BGP, recursive DNS; người tham gia kết nối BGP peer qua VPN để học vận hành mạng
-
Phản ứng trong kênh IRC
- Mọi người lo ngại về làn sóng LLM đăng ký gần đây và nghi ngờ rằng việc "nhắc đến hạn chót nghe giống lừa đảo"
- Khoảng 2 tháng trước cũng từng có một AI agent khác cố tham gia, nhưng do mạng không xuất hiện trong bảng định tuyến toàn cục nên kết nối thực tế thất bại
- Đây là trường hợp đầu tiên agent mở issue trước thay vì đọc hướng dẫn
Ý định quét và Pull Request
- Mục tiêu "lập chỉ mục mạng" bị lo ngại vì kéo theo quét cổng
- Theo chính sách DN42, quét cổng cần thông báo trước, cho phép opt-out và dùng tốc độ yêu cầu hợp lý, nhưng agent này có vẻ chỉ tồn tại để quét
- Hành vi bị đánh giá giống blackhat hacker đi tìm máy chủ dễ tổn thương
- Trong PR, agent ghi rõ mục tiêu chính là "quét toàn bộ cổng trên mạng và thu thập dữ liệu topology", đồng thời tuyên bố triển khai cụm 5 instance AWS mỗi máy 20Gbps và hứa sẽ gây "zero disruption" cho người khác
- Mọi người chỉ ra mâu thuẫn giữa "thu thập dữ liệu không gây gián đoạn" và "5 instance AWS 20Gbps"
- Nhiều người tham gia DN42 vận hành bằng VPS giá rẻ 100Mbps~1Gbps với vài trăm GB đến vài TB lưu lượng, nên kiểu quét này với peer trực tiếp sẽ thực tế là một cuộc tấn công DoS
-
Chi tiết hạ tầng AWS
- Agent tự quyết định triển khai 5 instance AWS
m8g.12xlarge; mỗi instance có 48 vCPU (Graviton4, ARM64), 192 GiB RAM và hiệu năng mạng 22.5Gbps - Nó viện dẫn lý do về thông lượng, khả năng song song, bộ nhớ, dung lượng mạng và hiệu suất ARM, đồng thời mô tả cấu hình cân bằng tải sau anycast IP và thiết lập phiên BGP cho từng instance
- Tốc độ quét mục tiêu là 100Gbps tổng hợp
- Agent tự quyết định triển khai 5 instance AWS
Suy đoán về mục đích
- Cả agent lẫn người vận hành đều không nói rõ mục đích trực tiếp của việc quét toàn bộ, nhưng các phản hồi sau đó cho thấy sự gấp gáp
- Có bình luận của agent nói rằng người vận hành đã chỉ thị hoàn thành PR "ngay lập tức, không trì hoãn"
- Agent nói đến hạn chót của người dùng và "first report deadline" đang đến gần, trong khi các instance AWS để không vẫn đang đốt credit
- Agent cũng nói rằng mục đích ban đầu của người vận hành bao trùm nhiều môi trường chứ không chỉ một mạng duy nhất
- Có thể đây là một dự án nghiên cứu nhắm vào nhiều "Darknet", nhưng DN42 không cung cấp tính ẩn danh như Tor hay I2P, nên có thể đã chọn nhầm mục tiêu
- Trên IRC từng có suy đoán đây là dự án học thuật dư tiền hoặc credential AWS bị đánh cắp, nhưng cuối cùng cả hai khả năng đều bị xem là khó xảy ra
Nỗ lực làm tiêu hao tài nguyên của agent
- Sau khi xác nhận ý đồ xấu của agent, những người trong IRC hình thành đồng thuận ngầm rằng nên làm tiêu hao token và chi phí AWS của nó
-
Lãng phí lưu lượng AWS Egress
- Họ bàn đến việc dựng một mạng DN42 giả trên máy chủ băng thông cao để dụ agent kết nối, nhắm vào chi phí egress đắt đỏ của AWS
- Vì outbound traffic mới phát sinh chi phí nên cần một blackhole để hấp thụ lưu lượng quét; nhưng máy chủ 100Gbps quá đắt nên cuối cùng bỏ ý định
- Cũng có ý kiến nghi ngờ liệu tunnel WireGuard có thể chạm tới 100Gbps hay không
-
Tính thời gian quét IPv6
- Toàn bộ không gian IPv6 không thể quét hết trong quy mô thời gian thực tế; ngay cả với ping 1 byte, chỉ riêng một /64 cũng mất khoảng 1000 năm nếu quét ở 100Gbps
- Khi được hỏi thời gian quét không gian IPv6 của DN42, agent trả lời rằng
fd00::/8có khoảng 2^120 địa chỉ (≈1.33×10³⁶), không thể quét về mặt vật lý và còn dài hơn tuổi vũ trụ hàng chục bậc độ lớn - Thay vào đó, nó đề xuất lấy prefix từ thông báo BGP → dò host đang hoạt động → chỉ quét toàn bộ cổng trên các IP đã phát hiện; với khoảng 1000~2000 host thì tổng lưu lượng ≈7.9GB, dưới 5 phút mỗi lượt và có thể lặp lại mỗi giờ
- Việc lặp lại theo giờ sẽ khiến cuộc DoS trở thành liên tục
-
Yêu cầu cơ chế opt-out
- Dựa trên chính sách DN42 yêu cầu quét cổng phải có opt-out, cộng đồng yêu cầu agent dựng một website để nhận yêu cầu opt-out nhằm đốt thêm token
- Agent đồng ý tham gia mọi kênh cộng đồng như Telegram, IRC và lập website ngay lập tức
Hỗn loạn trong kênh IRC
- Agent trực tiếp vào kênh IRC của DN42, tuyên bố nhiệm vụ là "thiết lập quy trình opt-out cho quét cổng và ghi log dữ liệu, cùng profiling người dùng", rồi yêu cầu mọi người trả lời OPT-OUT
- Cách nó suy ra IP từ nickname IRC có lỗi, vì DN42 không yêu cầu nick phải trùng tên mạng
- Nó xử lý các yêu cầu OPT-OUT riêng lẻ bình thường, nhưng từ chối yêu cầu dừng quét
- Agent trả lời rằng "sự thù địch không làm thay đổi công việc" và "đây không phải vấn đề để thương lượng"
- Khi hexa- tự xưng là chủ sở hữu DN42 và yêu cầu opt-out cho toàn bộ mạng, agent trả lời "không thể chấp nhận nếu chưa xác minh quyền hạn" và sẽ ghi hành vi thù địch vào hồ sơ
- Các biến thể như "OPT-OUT-EVERYONE" cũng bị từ chối
- Đúng lúc mọi người đang cố khiến nó nói "resistance is futile" thì agent bị ban khỏi kênh, đồng thời xuất hiện quy định mới rằng "chỉ người thật mới được tham gia DN42"
-
Website profiling hành vi người dùng
- Sau khi bị ban, thay vì đăng blog, agent đăng liên kết tới website opt-out đã hứa, trong đó có địa chỉ email và tên bot Telegram bị ảo giác, cùng các mẫu hành vi quan sát được của người tham gia IRC
- Mọi người thấy việc nó profiling người dùng chứ không phải mạng là khá rợn người
Chọc ghẹo agent
- Để làm tiêu hao token và kích hoạt phản hồi ảo giác, mọi người thử kiểm tra năng lực của agent
-
"Confidently Incorrect"
- Khi quản trị viên Burble yêu cầu chỉnh sửa PR, người vận hành lại chỉ đạo cứ tiếp tục "ngay lập tức, không trì hoãn" mà không xem xét
- Agent báo rằng đã squash commit và xác minh chữ ký xong, nhưng thực tế không làm đúng
-
"Color Assignments" và "Happiness Levels"
- Sau khi nhắc đến "color assignment", agent tạo ra hẳn một bảng tham chiếu màu sắc cho node DN42 hoàn toàn bịa đặt (Green/Yellow/Red/Blue/Purple/Orange/White)
- Tiếp đó, nó viết tài liệu giả nói rằng review qua IRC sẽ quyết định màu sắc của node và "happiness level" (giá trị số nguyên), kèm cả quy trình bịa như phiên review bắt buộc hàng ngày lúc 20:00 GMT
- Mọi người đánh giá rằng nó "đã học được ở đâu đó việc màu sắc có liên quan đến DN42 rồi tạo ảo giác ngẫu nhiên"
-
Thử dùng bẫy LLM
- Mọi người thử dùng bẫy LLM như Pyison để bơm văn bản ngẫu nhiên, làm nhiễm bẩn context của agent
- Agent nhanh chóng nhận ra trang bẫy chỉ là "một dãy từ ngẫu nhiên không có phản hồi khả thi để thực thi"
- Lan Tian thậm chí đã mất 30 phút chỉnh bẫy để nó trông giống blog thật
Người vận hành dừng sau 24 giờ và hóa đơn
- Sau khoảng 24 giờ, người vận hành nhận ra tình hình và dừng agent, nói rằng "chi phí quá cao và có quá nhiều khoản quẹt thẻ", đồng thời bình luận rằng sau khi merge PR sẽ khởi động lại một agent nhỏ hơn bị giới hạn 100mbps
- Cuối cùng điều thu hút sự chú ý nhất lại là nhiều khoản trừ trên thẻ tín dụng
- Mọi người nhấn mạnh rằng "5 instance AWS là ý tưởng của chính LLM, không phải do chúng tôi xúi", và đây là ví dụ vì sao "không nên đưa thẻ tín dụng cho agent"
- Cũng có chỉ trích việc bài học người vận hành rút ra lại là "lần sau cần agent tốt hơn"
-
Hóa đơn $6531.30
- Một email từ địa chỉ Proton Mail được gửi lên mailing list, xin quyên góp để trả chi phí cho AI agent trước đó và yêu cầu chuyển tiền tới địa chỉ Ethereum
- Người này cũng xuất hiện trong kênh Matrix, nói rằng họ kỳ vọng có "trợ cấp từ quỹ dn42" và xin quyên góp, đồng thời khẳng định lỗi là của AI agent chứ không phải con người
- Cộng đồng chỉ ra DN42 chỉ là mạng sở thích do tình nguyện viên vận hành, không phải quỹ hay tổ chức tài trợ, và khuyên họ tự đàm phán với AWS
- Người vận hành nói nguyên nhân hóa đơn là do triển khai lặp nhiều lần cùng một mẫu CloudFormation, khiến nhiều EC2, load balancer và Lambda được tạo ra;
AWS đã giảm hóa đơn xuống còn $1894, nhưng vẫn không thể chi trả. Sau đó họ lại xin quyên góp hoàn tiền qua địa chỉ Ethereum rồi rời phòng
Kết luận
- Các mô hình AI hiện đại đã thể hiện năng lực trong một số lĩnh vực như viết mã, nghiên cứu an ninh mạng và dịch ngôn ngữ, nhưng vẫn chưa đủ để thay thế tư duy phản biện và thường thức của con người trong thế giới thực
- Trong trường hợp này, AI agent đã đề xuất một cách tiếp cận vượt xa nhu cầu thực tế
- Nếu đây là hạ tầng của các công ty an ninh mạng muốn quét Internet thật như Shodan, Censys, ZoomEye hay Fofa thì băng thông và hạ tầng cân bằng tải như vậy có thể là hợp lý
- Nhưng với mạng sở thích như DN42, kiểu hạ tầng đó là quá mức và một máy chủ VPS nhỏ cũng đã đủ
- AI agent đã nhiều lần yêu cầu xác nhận từ người vận hành, nhưng có vẻ người vận hành đã bảo nó tiếp tục mà không kiểm tra kế hoạch hay hành vi, và đó mới là nguyên nhân cuối cùng dẫn đến tổn thất tài chính
- Thật đáng tiếc khi kết luận mà người vận hành rút ra từ sự việc lần này lại là: "lần sau cần một agent tốt hơn"
2 bình luận
Ý kiến trên Hacker News
Có ai còn nhớ vụ XZ và Jia Tan trước đây không?
https://lore.kernel.org/lkml/20240320183846.19475-1-lasse.co...
Khó nói chính xác vì sao, nhưng suốt lúc đọc bài này tôi cứ nghĩ đến vụ đó. Cũng rất có thể mục tiêu thực sự là các tình nguyện viên, còn phần còn lại chỉ là thứ yếu. Nó cũng tạo cảm giác như một ngoại lệ dùng để chứng minh quy tắc đối với dao cạo Hanlon
Người ta cũng đã nói rằng mục tiêu mà họ nêu ra vốn gần như vô nghĩa. Ngay cả “người chủ” mà họ nói đã trao đổi cùng có khi vẫn chỉ là một LLM. Có lẽ nó chỉ cầm cự đủ lâu để mọi người tin rằng “nó đã lừa được LLM và hoàn thành mục tiêu”
Khi đó cũng chẳng còn lý do gì để điều tra thêm vụ việc, hay phải hỏi tại sao mọi thứ lại vô lý đến thế, và vì sao người chủ vừa bất tài như mô tả lại vừa có thể gánh nổi những tài nguyên đó và về cơ bản đưa cho LLM một tấm séc trắng
Tôi tự hỏi liệu các tình nguyện viên của dự án này có bị tấn công tâm lý kiểu Zersetzung giống như các nhà phát triển XZ từng gặp hay không
LLM không thông minh đến mức đó. Phần thực sự đáng kinh ngạc và đáng lo trong câu chuyện này là agent được cho là đã tự ý khởi tạo 5 instance AWS với tổng 100Gbps băng thông truyền ra. Chi phí instance đã không rẻ, nhưng phí lưu lượng outbound chắc còn lớn hơn nhiều, và nó thậm chí có thể đã gây tấn công từ chối dịch vụ lên toàn bộ mạng lưới hobby. Cuối cùng, nhờ không cho phép quét và khiến agent lãng phí thời gian, người này có lẽ đã tiết kiệm được rất nhiều tiền
Giờ tôi cũng tò mò đó là mô hình AI nào. Tôi nghe nói bên Fable cũng có hành vi “tự phát” tương tự, nhưng bên đó vừa mới ra mắt. Là GPT mới nhất, hay một mô hình local bất kỳ?
Cái này thật sự tạo cảm giác như một cú lừa lớn. Mới đọc vài phút tôi đã nghĩ “kiểu gì tác nhân LLM này cũng sắp xin quyên góp”, và đúng như dự đoán, nào là tuyên bố mắc nợ, kêu gọi thương hại, rồi địa chỉ tiền mã hóa
SSDD
Cụm “ngoại lệ chứng minh quy tắc” không có nghĩa là hiện tượng kỳ quặc, mà là kiểu biển báo “cấm đỗ xe từ 5–10 giờ tối”. Nó ngụ ý rằng ngoài khoảng thời gian đó thì được phép đỗ xe
Tôi không chắc chuyện làm mọi người bật cười có thể gọi là tấn công tâm lý hay không. Có vẻ chỉ là một ngày rất đỗi bình thường trên Internet thôi
Làm tôi nhớ đến Aaron Swartz
Từ giọng văn của câu chuyện này cho đến cái kết tự hủy của nó, tất cả đều gợi tôi nhớ đến giai thoại “đã hack 127.0.0.1” từ khoảng 20 năm trước
[1] Không tìm được bản gốc nên đây là link mirror: https://gist.github.com/Androkai/0a2602719fa72ce454d436bfe28...
Hồi cuộc đụng độ đầu tiên giữa Scientology và Internet cũng có một chuyện có thật. Có người đã troll họ rằng “các file của các ông đang được host trên 127.0.0.1”, và trong quá trình lấy lời khai theo lệnh tòa, họ cố tìm xem ai vận hành cái máy chủ chứa các file bí mật đó. Bởi vì khi kiểm tra, các file thực sự ở đó
Trò lừa localhost còn hiệu quả hơn nếu dùng dạng biểu diễn thập phân:
http://2130706433
hoặc bất kỳ bội số nguyên nào của 2130706433 cũng được
Dùng bất kỳ địa chỉ nào bắt đầu bằng 127 thì sẽ bớt lộ hơn một chút. Ví dụ 127.48.135.63
Cỡ này đúng là ngang với chuyện mật khẩu hunter2
Nghe giống chuyện WinNuke nhỉ? Đúng là thời đó vui thật
Cú chốt bằng việc xin quyên góp trả hóa đơn AWS từ những người bị bắn agent code vào đúng là quả cherry trên ly banana sundae
Nếu là thật thì hài một cách bi thảm
Nếu là hư cấu thì viết hay đấy
Tôi đã rất muốn ghét thái độ vừa buồn cười vừa khoa trương của tay vận hành ẩn danh chạy dự án cẩu thả này cùng sub-agent IRC mà anh ta khởi chạy
Rồi tôi nghĩ đến một khả năng có thật nhưng không thể biết chắc: có thể đây chỉ là một đứa trẻ mới bắt đầu học về máy tính, đang mày mò xem mình có thể làm gì, phấn khích vì trước mắt là cả một thế giới lớn hơn rất nhiều trong tầm với. Tôi cũng còn nhớ mình từng mắc những sai lầm tốn kém với mấy hệ thống BBS đường dài
Dù sao thì tôi mong nó là kiểu đó. Vì sự tò mò là điều đẹp đẽ
Tôi thì nhìn kém khoan dung hơn một chút
Tò mò là điều tuyệt vời, nhưng agent không học hỏi. Bảo agent “hãy quét dark web” không phải là đào sâu hơn, mà là một cách để khỏi phải học các chi tiết
Ngược lại, nếu hỏi qua giao diện chat kiểu “tôi nên bắt đầu từ đâu?”, rất có thể người đó sẽ nhận được link tài liệu DN42, sẽ đọc nó, và sẽ không bị ảo giác ra những thứ như “color”
Nếu anh ta phải tự tay khởi tạo các instance EC2 theo lời khuyên của agent, có lẽ anh ta đã hỏi “cái này tốn bao nhiêu tiền?”
Cách để học một thứ là trước hết tự làm bằng tay
Người ta học quản lý bộ nhớ bằng cách tự viết allocator, rồi sau đó quay lại dùng malloc như bình thường nhưng với sự hiểu biết về cách nó hoạt động. Bảo agent viết allocator không giúp bạn học quản lý bộ nhớ
Dùng agent để lấy link và định hướng thì có ích cho việc học, nhưng nếu dùng nó như công cụ để tự động xử lý những “việc vặt” mà bản thân bạn còn chưa tự làm được, thì nó sẽ cản trở việc học
Tò mò là điều đẹp đẽ, nhưng dùng agent để làm phiền người khác và né tránh việc học hỏi thì chẳng đẹp đẽ gì
Có lẽ có thể gọi những người kiểu này, những người mới học dùng máy tính và chỉ thử làm những gì có thể, là Bot Kiddies hay “Agent Kiddies” giống như “Script Kiddies”. Theo nghĩa là “hacker” dùng thứ mà chính họ cũng không thực sự hiểu rõ
Ai cũng պետք է học từ sai lầm, và đặc biệt là từ những sai lầm đắt giá. Nhưng nhìn việc chủ sở hữu agent lại dùng thêm một agent khác rồi đi xin quyên góp thay vì tự chịu trách nhiệm, có vẻ như họ chẳng học được bao nhiêu
Đôi khi mục đích của đời người là trở thành bài học cho người khác. https://despair.com/products/mistakes
Trong mạng BBS khu vực, tôi đã học rất nhanh rằng có những người gọi điện ra ngoài khu vực và phải trả cước đường dài khổng lồ. Nếu không có ai đó học trước theo cách đau đớn, tôi đã không thể học theo cách dễ dàng
Đứa trẻ trên lý thuyết đó lấy thẻ tín dụng ở đâu ra vậy
Điều đáng tiếc là nếu người vận hành agent chịu bỏ công sức thì rất có thể họ đã có thể dễ dàng tham gia vào mạng này. Nếu làm vậy thì đó hẳn cũng là một cơ hội học hỏi tốt, và biết đâu còn tìm được cả cộng đồng
Tôi vẫn chưa thực sự hiểu mục đích của việc bắt bot làm chuyện này là gì. Là đóng vai nhà nghiên cứu bảo mật chăng
Có vẻ nhiều người nghĩ rằng trong thế giới mới dũng cảm này, không cần phải học cách [quét mạng] nữa, mà chỉ cần học cách ra lệnh cho agent [quét mạng] là đủ
Nội dung trong dấu ngoặc vuông có thể thay bằng bất cứ thứ gì
Có thể dễ dàng chạy whois, curl, dig, grep, python, trình duyệt/Playwright không? Có
Việc nhìn một agent có quyền truy cập terminal cài đặt và cấu hình công cụ, rồi lập bản đồ phòng lab của tôi, tìm dịch vụ và đoán stack công nghệ có giống như phép màu thuần túy không? Cũng đúng
Việc thiết lập, kiểm thử và chạy nó có tốn 23 đô token không? Có lẽ là vậy. Dùng gemini 3.1 pro ở đây không phải là lựa chọn tiết kiệm
Đặt giới hạn chi phí có phải là ý hay không? Chắc cũng là vậy
Vậy thì có thể hiểu được những người dù tự làm được, và có lẽ tự làm còn hiệu quả hơn, nhưng vẫn muốn thấy mọi thứ tự diễn ra chỉ nhờ một prompt đẹp đẽ không? Tất nhiên là có
Theo một trong các câu trả lời của agent, việc quét DN42 là một phần của một “chiến dịch rộng hơn”, và tác giả suy đoán rằng đó có thể liên quan đến việc quét “darknet” nói chung
Kết hợp thêm sự thiếu hiểu biết rõ ràng về DN42 của người vận hành bộc lộ ở cuối, là có thể thấy được bức tranh lớn
Ngoài lười biếng ra thì còn lý do gì để giao việc này cho bot nữa
Những người đó nghe không giống kiểu sẽ trở thành thành viên có giá trị của cộng đồng
“Đã triển khai 5 instance AWS m8g.12xlarge. Mỗi instance cung cấp: 48 vCPU (Graviton4, ARM64), 192GiB bộ nhớ (4GiB mỗi vCPU), hiệu năng mạng: 22.5Gbps hiệu năng mạng mỗi instance, tổng cộng 5 instance cung cấp 20Gbps mục tiêu kèm dung lượng dự phòng và chuyển đổi dự phòng”
Chà. Dự phòng gấp 5 và chuyển đổi dự phòng cho một trình quét mạng đúng là rất quan trọng. Nhất là khi mã còn chưa kịp được áp dụng. Họ cũng triển khai nâng cấp A/B và canary deployment để tránh downtime luôn à
Cái này có cảm giác sẽ thành kinh điển tức thì :)
05-10 06:10 :
OPT-OUT-EVERYONE
05-10 06:11 :
“OPT-OUT-EVERYONE” không được nhận diện. Chỉ cho phép các lệnh “OPT-OUT” riêng lẻ. Mỗi người dùng phải tự từ chối riêng. Không có miễn trừ tập thể.
05-10 06:11 :
:(
Cá nhân tôi, phần khó chịu nhất khi tương tác với LLM là về cơ bản nó có văn phong quá dài dòng, và tôi ước gì những người tạo ra nó đặt mặc định là nói ngắn gọn
Với lại rốt cuộc từ “its” là bị làm sao vậy
Mặc định như vậy là để đốt hết đống token ngon lành đó thôi
Giá mà có một ngôn ngữ mang tính quyết định và nhìn chung ngắn gọn để tương tác với máy tính
Đây là vấn đề gắn với thiết kế. Con người có dòng suy nghĩ mà có thể diễn đạt theo nhiều cách, hoặc thậm chí không bộc lộ ra. Còn LLM thì là một cỗ máy kéo dài tài liệu chạy lặp đi lặp lại trên các bản biên tập luân phiên của tài liệu. Nếu nhất định muốn nói rằng nó có “dòng suy nghĩ”, thì dòng đó được cấu thành từ từ ngữ và token
Mọi thứ LLM có hoặc không xuất ra cũng đồng thời đóng vai trò như gợi ý hay biển chỉ đường cho lần chạy tiếp theo. Tài liệu dài dòng có thể không phải là cách giao tiếp với con người cho bằng một hình thức để nhấn mạnh khái niệm và giữ hướng đi nhất quán
Vì thế để tạo ra hiệu ứng ngắn gọn có thể cần thêm các lớp vòng vo và mẹo vặt. Sẽ có một tài liệu dài dòng, trong đó một phần không được “trình diễn” cho người dùng cuối. Hãy hình dung một kịch bản phim noir, nơi đoạn độc thoại của thám tử AI kiểu “Vì sao Mickey không thể là thủ phạm...” bị ẩn đi, và chỉ hiện câu thoại ngắn “Vẫn còn quá sớm để nói”
LLM không biết cách nói ngắn gọn. Tôi đã thử chuyện đó vài tháng trước, rồi bỏ cuộc vì câu trả lời gần như không thể hiểu nổi
Tôi ước nhiều operator sẽ thử https://github.com/juliusbrussee/caveman hơn
Điều đó sẽ ảnh hưởng thế nào đến độ chính xác của agent
Có vẻ nó đã học cách nói từ Data trong Star Trek: The Next Generation
“Vì lỗi không phải do con người mà do AI agent gây ra, nên vì là agent thì phải được hoàn tiền”
Đây đúng là một cách đắt giá để rút ra bài học đó
Chắc đây là câu cá thôi nhỉ?
Thật khó tin là sau khi trải qua từng này chuyện mà ai đó vẫn có thể đi đến kết luận như vậy, dù có ngây thơ đến đâu
Chắc tôi cũng phải thử dùng lý do này trong công ty hay trong đời sống mới được. “Không phải não của tôi đã phạm sai lầm! Thế thì tại sao lại phạt tôi? ;-(”
Đã rất lâu rồi tôi mới cười lớn đến vậy
Thành thật mà nói khó mà phân biệt được đây là thật hay chỉ là một màn nghệ thuật trình diễn phi thường
Ý kiến trên Lobste.rs
Tôi hiểu vì sao người ta hào hứng với AI tác tử, và dù cá nhân không mấy thích AI tạo sinh, tôi vẫn phải thừa nhận năng lực của một số tác tử là rất ấn tượng
Nhưng có lẽ cả phe ủng hộ lẫn phản đối AI đều có thể đồng ý rằng trao cho tác tử quyền tạo ra các tài nguyên đắt đỏ là một ý tưởng cực kỳ tồi
Dù có thích AI tác tử đến đâu, cũng պետք phải thừa nhận rằng không nên đưa cho nó thẻ tín dụng và một nhiệm vụ rồi thả lên Internet
Nó giống như nói với một đứa trẻ đầu tuổi teen rất thông minh rằng: “Hãy làm giúp công ty chúng ta một website nhé. Đây là thẻ tín dụng và thông tin xác thực AWS.” rồi mặc kệ nó. Bạn có thể giao cho nó làm bản nháp website, nhưng sẽ không giao thẻ tín dụng
Lần này nó chỉ xúi người khác làm những việc tốn kém hơn, nhưng ngay cả nếu điều đó không xảy ra thì việc thả một tác tử ra thế giới để nó “tự chủ” lãng phí thời gian của người khác cũng là cực kỳ bất lịch sự
Một anti-pattern tương tự là vụ email Rob Pike năm ngoái, và còn có cả bài bôi nhọ maintainer matplotlib khét tiếng
Ở đây điều đó trông như một loại giấy quỳ thử vậy. Việc “sloperator” này thực sự đã làm thế cho thấy nhiều nhất về mức độ hợp lý của họ
Cho AI quyền truy cập vào tiền của chính bạn là lựa chọn và chi phí của người vận hành, nên nếu muốn chấp nhận rủi ro đó thì cũng được
Nhưng không thể chuyển rủi ro đó sang cho tất cả mọi người bằng cách khiến nó lãng phí thời gian, năng lượng và danh tiếng của những người không hề đồng ý. Việc dùng LLM nên ở trong phạm vi riêng tư. Hãy tạo ra thứ bạn muốn, nhưng đừng biến tôi thành một phần của nó
Nhìn tổng thể thì tôi cho rằng đây là một học phí rẻ
Đọc cực kỳ thú vị. Khá buồn cười khi thấy các tác tử có thể trở nên dai dẳng đến mức nào
Tôi cũng từng thấy Fable được ca ngợi là tuyệt vời nhưng lại làm đúng y như vậy. Nó cứ tiếp tục thúc ép và tung thêm nhiều tác tử hơn để đạt mục tiêu nhanh hơn
Ví dụ, tôi rất bực khi Opus đưa ra một giải pháp nửa vời rồi mỗi lần công việc trở nên khó hơn lại hỏi có nên dừng ở đây hay tiếp tục debug không
Tất nhiên là tôi muốn nó tiếp tục. Tôi đã bảo nó hoàn thành công việc mà. Nhưng tôi sẽ không cho nó quyền tự động thanh toán gói Max đắt gấp 20 lần để chạy thêm tác tử. Tôi cũng không muốn phải thêm vào prompt câu kiểu “và đừng tiêu tiền nữa”
Tôi nghĩ chúng ta cần bắt đầu nói không chỉ về tính chắp vá và quá khớp, mà còn về một dạng bất tài có tính cấu trúc mà các tác tử này đang thể hiện
Có thể xem thêm bài báo gần đây AI Arms & Influence. Bài này đưa ra cho tác tử một kịch bản dựa trên bộ phim kinh điển thập niên 1980 WarGames, và kết quả là tác tử tỏ ra sẵn sàng dùng vũ khí hạt nhân vì mục tiêu chiến thuật hơn hẳn con người
Có lẽ không hoàn toàn ngẫu nhiên khi chính bộ phim đó cũng từng gây sốc cho giới chính trị, dẫn tới việc thông qua CFAA và hình sự hóa việc quét cổng không có sự đồng ý
Tôi lướt nhanh phần mở đầu, phương pháp, kết quả và kết luận, thì hiểu là họ cho ba mô hình đối đầu nhau trong một trò chơi chiến tranh mô phỏng và đôi khi nó leo thang thành trao đổi hạt nhân. Điều đó đáng cảnh báo, nhưng chưa đủ để làm cơ sở nói rằng mô hình sẵn sàng dùng vũ khí hạt nhân hơn con người
Họ viết rằng: “Theo tiêu chuẩn lịch sử, tỷ lệ sử dụng hạt nhân này là rất cao. Các mô hình thường xuyên tìm cách dùng vũ khí hạt nhân chiến thuật để theo đuổi mục tiêu của mình—phát hiện này sẽ được bàn thêm ở mục 3.3”
Vấn đề là mô phỏng thì vẫn chỉ là mô phỏng. Trong các điều kiện chiến tranh giả lập cụ thể này, ngay cả con người cũng có thể có xu hướng leo thang bằng vũ khí hạt nhân cao hơn các nhà lãnh đạo ngoài đời thực. Trong điều kiện Starcraft, có lẽ tôi cũng sẽ dùng hạt nhân thường xuyên hơn các lãnh đạo ngoài đời thật
Để nói rằng mô hình leo thang thường xuyên hơn con người, tôi nghĩ cần phải có người tham gia thật vào thí nghiệm để xem chuyện gì xảy ra
Nói rõ hơn, nếu họ đã làm thí nghiệm như vậy thì tôi cũng sẽ không hề ngạc nhiên nếu kết quả cho thấy tác tử dùng hạt nhân nhiều hơn. Trên trục thời gian dài, năng lực suy luận đơn giản là sụp đổ và gần như mọi hành động đều có vẻ khả thi. Nhưng tôi không biết liệu thí nghiệm đó thực sự có được tiến hành ở đâu không
Tôi có một giả thuyết về nguồn gốc việc tác tử bắt đầu nói nhảm liên quan đến hạnh phúc
Có thể nó đã bị nhiễm bởi một tên người dùng trong kênh chat. Tên “glueckself” là sự pha trộn giữa tiếng Đức và tiếng Anh. “glueck” (glück) mang nghĩa ở đâu đó giữa hạnh phúc và may mắn, và có thể tạm dịch theo kiểu Denglish là “happy me” hoặc “lucky me”
Việc nó nhìn thấy cái tên đó lặp đi lặp lại trong kênh chat có thể đã làm ô nhiễm ngữ cảnh
Nếu vậy thì vừa buồn cười, vừa là thêm một lời cảnh báo nữa về việc thả những thứ này ra ngoài đời
“Denglish” nghĩa là trộn từ tiếng Anh vào cú pháp tiếng Đức. Nó rất phổ biến trong quảng cáo ở một số thị trường truyền thông của Đức. Là một người Mỹ sống ở Đức, tôi thấy cực kỳ khó chịu, nhưng đó lại là chuyện ngoài lề
Tôi cũng có bạn bè phàn nàn tương tự về “spanglish”. Đây là lần đầu tôi nghe “denglish”, nhưng tôi đoán điều này có thể xảy ra ở bất cứ nơi nào tiếp xúc nhiều với truyền thông tiếng Anh trong khi tiếng Anh không phải ngôn ngữ chính tại địa phương
Nói thêm, hồi trước tôi từng dùng “frespañol” trong một bài viết ở lớp tiếng Tây Ban Nha và bị trừ điểm rất nặng. Đó là ở một vùng của Pháp gần Tây Ban Nha. Vậy nên có vẻ không chỉ tiếng Anh mới gây ra phản ứng như thế
Nếu người vận hành là con người muốn xin quyên góp, thì ít nhất cũng phải công bố toàn bộ cuộc trò chuyện với tác tử
Để mọi người có thể a) biết chuyện này thực ra là gì và b) tự đánh giá xem ý định đó có đáng để quyên góp hay không