- Deloitte đã hoàn lại một phần tiền cho chính phủ Australia sau khi nộp một báo cáo trị giá 440.000 USD có lỗi, được thực hiện với sự hỗ trợ của AI tạo sinh
- Báo cáo này nhằm rà soát khung tuân thủ quy định và hệ thống CNTT của hệ thống phúc lợi, và đã bị phát hiện có nhiều lỗi cùng trích dẫn bịa đặt và dẫn nguồn sai sự thật
- Deloitte ghi rõ trong phụ lục báo cáo rằng họ đã sử dụng các mô hình ngôn ngữ lớn như Azure OpenAI GPT–4o, nhưng không thừa nhận AI là nguyên nhân trực tiếp gây ra các lỗi
- Một thượng nghị sĩ Đảng Lao động chỉ trích rằng năng lực chuyên môn của công ty tư vấn là không đủ và cho rằng AI đã đóng vai trò chính
- Dù báo cáo cuối cùng đã được chỉnh sửa, nội dung cốt lõi và kết luận không thay đổi, các khuyến nghị cũng được giữ nguyên
Deloitte hoàn tiền cho chính phủ Australia liên quan đến việc sử dụng AI
Tổng quan sự việc
- Deloitte đã thừa nhận sử dụng AI tạo sinh để soạn một báo cáo cho chính phủ trị giá 440.000 USD; sau khi phát hiện lỗi, công ty quyết định hoàn lại một phần giá trị hợp đồng
- Báo cáo này được lập theo yêu cầu của Bộ Việc làm và Quan hệ nơi làm việc Australia (DEWR) để rà soát hệ thống tự động hóa tuân thủ dành cho người nhận phúc lợi
- Báo cáo chỉ ra nhiều vấn đề như thiếu liên kết giữa các quy tắc trong khung và luật pháp thực tế, cũng như các khiếm khuyết mang tính nền tảng của hệ thống CNTT
Việc sử dụng AI và các vấn đề phát sinh
- Sau khi được công bố lần đầu vào ngày 4/7, báo cáo đã bị truyền thông chỉ ra nhiều lỗi và trích dẫn không tồn tại
- Theo Dr. Christopher Rudge của University of Sydney, báo cáo xuất hiện nhiều dấu hiệu "hallucination" (ảo giác) thường thấy ở AI, tức là tự tạo ra các tài liệu không tồn tại
- Ví dụ, ngay cả trong phiên bản báo cáo mới hơn, số lượng trích dẫn sai còn tăng lên, cho thấy một số kết luận được tạo ra bởi AI hơn là dựa trên tài liệu thực tế
- Deloitte đã bổ sung trong phụ lục của báo cáo cập nhật rằng họ có sử dụng các mô hình ngôn ngữ lớn như Azure OpenAI GPT–4o
- Họ cho biết đã dùng chuỗi công cụ chạy theo giấy phép trong môi trường Azure của DEWR
- Tuy vậy, công ty không thừa nhận trực tiếp rằng các vấn đề trong báo cáo ban đầu là do AI gây ra
Phản ứng và các bước tiếp theo
- Thượng nghị sĩ Đảng Lao động Deborah O’Neill chỉ trích: "Có thể nói Deloitte đang thiếu chuyên môn của con người, và việc hoàn tiền một phần là một lời xin lỗi chưa đủ cho công việc kém chất lượng"
- Bà cho rằng chính phủ và bên đặt hàng cần các chuyên gia thực sự và bằng chứng cho thấy công việc không phụ thuộc vào AI
- Bà cũng mỉa mai rằng đăng ký ChatGPT có lẽ còn tốt hơn thuê công ty tư vấn
- Theo điều tra của báo chí, báo cáo có chứa những nội dung sai cụ thể như trích dẫn các báo cáo nghiên cứu đại học không tồn tại và tóm tắt sai các phán quyết của tòa án
- Ví dụ: các tóm tắt sai liên quan đến tài liệu của University of Sydney, bài báo của giáo sư tại Lund University, và phán quyết trong vụ Robodebt (Deanna Amato v Commonwealth)
Lập trường chính thức và tác động
- Deloitte cho biết họ đã trực tiếp xử lý vấn đề với DEWR và nhấn mạnh rằng kết luận cũng như khuyến nghị trong báo cáo cập nhật không thay đổi
- DEWR cũng cho biết họ chỉ chỉnh sửa một số chú thích và trích dẫn còn thiếu sót, còn toàn bộ khuyến nghị và nội dung trọng tâm vẫn được giữ nguyên
- Một số chuyên gia nhận định rằng dù kết luận tổng thể của báo cáo phù hợp với bằng chứng hiện có, độ tin cậy của báo cáo vẫn bị đặt dấu hỏi
Hàm ý
- Vụ việc này là dịp làm nổi bật trên bình diện xã hội yêu cầu về tính minh bạch trong việc sử dụng AI tạo sinh của ngành tư vấn và đảm bảo năng lực chuyên môn
- Các bên đặt hàng sẽ nhận thức rõ hơn về nhu cầu tăng cường quy trình xác minh việc có sử dụng AI hay không và kiểm chứng danh tính chuyên gia
1 bình luận
Ý kiến Hacker News
Bổ sung thêm bối cảnh: báo cáo này nói về một hệ thống CNTT tai tiếng đã áp các khoản phạt sai nghiêm trọng đến mức hủy hoại cuộc đời người nhận trợ cấp chính phủ, với lý do họ không đáp ứng yêu cầu tìm việc. Các khoản phạt được chuyển thẳng thành phán quyết nợ, dẫn tới việc nhân viên đòi nợ thực sự đến tận nhà để tịch thu tài sản. Thậm chí do lỗi nghiêm trọng của hệ thống này, cả những người chưa từng nhận trợ cấp chính phủ cũng bị phạt oan. Trong bối cảnh đó, chính phủ đã trả cho một công ty tư vấn như Deloitte 440.000 USD để làm báo cáo, nhưng họ lại dùng AI để viết báo cáo và còn để sót thêm lỗi. Nếu Deloitte còn được giao xây hệ thống, thì có lo ngại rằng sẽ lại tái diễn một vụ như Royal Mail và Fujitsu
Tôi lo việc lạm dụng AI kiểu này sẽ leo thang thành vấn đề sinh tử thực sự. Không phải người của Deloitte ngu dốt hay thiếu động lực, mà là họ là một tập thể chỉ chạy theo tiền, dùng AI để làm qua loa cho đủ yêu cầu rồi chuyển sang hợp đồng tiếp theo. Kết quả là cuộc đời của rất nhiều người có thể bị hủy hoại, thậm chí dẫn tới lựa chọn cực đoan. Đây không chỉ là chuyện chỉnh sửa giấy tờ, mà là vấn đề có thể khiến người có vũ trang tìm đến tận nhà
Không cần tưởng tượng, chuyện kiểu này đã từng xảy ra rồi. Tham khảo vụ rò rỉ dữ liệu Deloitte Rhode Island
Nếu thấy thông qua Deloitte còn rườm rà, thì cứ giao thẳng cho OpenAI đi
Lý do ngay từ đầu đã có vấn đề là rất có thể lúc xây hệ thống gốc cũng đã dùng Deloitte rồi
Nhân nói về vấn đề của tư vấn/outsourcing, tôi cũng muốn nhắc tới chuyện tráo đội A/đội B. Ban đầu người có vẻ rất giỏi sẽ xuất hiện trong buổi tư vấn để chốt hợp đồng, nhưng khi hợp đồng xong thì người đó biến sang mặt trận bán hàng khác, và giờ bạn sẽ gặp đội B, thậm chí đội C
Theo kinh nghiệm của tôi, trong các hợp đồng dịch vụ lớn, đội A ban đầu sẽ dỗ dành để ký được hợp đồng, nhưng đội thực sự làm việc là đội B. Đến lúc sự chú ý của chúng tôi giảm đi thì họ lại đổi tiếp sang đội Z. Dù chúng tôi đã nói sẵn sàng trả cao mãi mãi miễn là chất lượng tốt, họ vẫn vì tham mà cuối cùng đánh mất cả hợp đồng
Đội càng lớn thì càng dễ thành trường hợp một người thật sự giỏi chạy qua 100 đội, chỉ thỉnh thoảng xuất hiện để trấn an khi khách hàng nổi giận rồi lại biến mất. Còn lại toàn người cấp junior, hoặc giờ thì đi cùng AI nên càng ít chuyên gia hơn. Khách hàng của tôi từng bỏ ra 500.000 USD cho một dự án và nghĩ rằng trong vài tháng đã trả tiền cho 15 người, nhưng khi phỏng vấn qua Zoom thì chỉ có đúng 1 trong 15 người biết dự án nói về cái gì. Người đó là tech lead được thuê từ đầu và chỉ tham gia bán thời gian. Nhìn chất lượng code thì có vẻ khoảng 5 người còn lại chỉ copy-paste code từ codex hay claude, cho qua một vòng "QA giả" rồi đem deploy thẳng. Chuyện này đã có từ trước thời AI, chỉ khác là ngày xưa thực sự có 15 junior ngồi code bừa
Đây đúng là một trò đùa phản ánh thời đại rất chuẩn, xem truyện Dilbert
Đó chính là toàn bộ cuộc chơi. Gặp partner, cuối cùng họ đưa junior vào làm, nhưng bạn lại trả mức giá nhân sự của partner. Xui hơn nữa thì còn phải tự đào tạo junior cho họ
Nói theo hướng tích cực thì một trong các lý do dùng tư vấn/outsourcing là vì có những dự án lớn mang tính một lần mà đội nội bộ không thể tự gánh hết. Thay vì tuyển từng freelancer rồi ghép thành đội, dùng một đội bên ngoài đã dựng sẵn trong thời gian ngắn sẽ hiệu quả hơn. Thực tế thì công ty tư vấn cũng có khi đi gom người ngoài về rồi trình bày như thể đó là một đội sẵn có
Tôi luôn thắc mắc có ai giải thích được tư vấn vận hành như thế nào và tại sao nó lại hoạt động không. Nếu chỉ là một cá nhân chỉ có thể đưa ra "lời khuyên" thì hẳn bị xem là kẻ thất bại, nhưng hễ đóng gói thành công ty thì doanh nghiệp hay chính phủ lại xếp hàng xin tư vấn. Trong khi nhân viên nội bộ rõ ràng hiểu công ty hơn người ngoài, tôi không hiểu vì sao người ngoài chỉ biết làm slide và Google lại được tin hơn và kiếm được nhiều tiền hơn
Thực ra là khi muốn ép triển khai một ý tưởng tồi mà không muốn tự chịu trách nhiệm, người ta thuê tư vấn và lặp đi lặp lại cho tới khi có được câu trả lời mình muốn. Chất lượng tư vấn không quan trọng, dùng intern hay AI cũng đủ. Nếu kết quả tệ thì có thể đổ lỗi cho công ty tư vấn. Nhân viên nội bộ thì đưa lời khuyên vì lợi ích công ty, nên tiếng nói của họ bị dập hoặc bị phớt lờ vì lợi ích cá nhân của người khác. Khi vấn đề lộ ra thì họ cũng đã chuyển việc, thêm được một dòng vào CV là xong
Thực tế có rất nhiều tập đoàn lớn hoàn toàn không có chuyên môn nội bộ. Hơn nữa thường có một người giả làm chuyên gia và cản không cho tuyển người giỏi hơn. Tư vấn giỏi sẽ đưa ra lời khuyên kèm bằng chứng về cách phải làm, và nếu cần còn trực tiếp triển khai theo dự án. Tư vấn CNTT thực sự giỏi sở hữu một số bộ kỹ năng rất hiếm trong nước, đến mức doanh nghiệp khó mà thuê full-time nhưng hoàn toàn đáng tiền nếu thuê ngoài vài giờ mỗi tháng. Ngược lại, các hãng tư vấn lớn chỉ sống chết vì bán hàng và tiếp đãi người có quyền quyết định như VIP. Công tác, rượu chè, giải trí và các hậu trường khác cũng tác động. Trước đây khi tôi tư vấn cho một dự án, tôi từng công khai phản bác trước mặt khách hàng những luận điểm bán hàng vớ vẩn về Dynamics CRM và Sharepoint của một tay tư vấn khác
Tư vấn không chỉ đơn thuần là "cho lời khuyên". Thực tế còn bao gồm nhiều công việc thực thi như triển khai phần mềm. Công ty càng lớn thì thứ họ muốn càng là "bảo đảm pháp lý". Nếu dự án thất bại thì phải có một đối tượng để kiện rõ ràng. Chất lượng đầu ra, so với bảo đảm pháp lý, chỉ là thứ yếu. Công ty tư vấn đảm nhận vai trò đó. Họ có đông người và cũng có nhiều nhân viên mới. Nếu chất lượng kém thì họ phản ứng bằng cách ném thêm người vào hoặc ép làm thêm giờ. Vì cấu trúc đó mà đôi khi họ bị gọi là "meatfarm". Cũng không dễ sụp đổ. Phát triển phần mềm cũng thường được làm qua nhiều tầng thầu phụ hoặc outsourcing ra nước ngoài, mỗi tầng lại cắt một phần phí. Công việc tự thân đã khó, chán và đầy việc lặt vặt. Hợp đồng cũng được viết chi tiết như một cuốn tiểu thuyết. Khi còn là junior ở Accenture, tôi từng thấy báo giá 3.000 euro chỉ để đổi màu thanh cuộn của một website, dù nhân viên ở Ấn Độ xử lý bằng 10 dòng code. Sau đó tôi chuyển việc
Về mặt lý thuyết, đúng là có những người có năng lực giải quyết vấn đề rất khác biệt hoặc có kinh nghiệm miền chuyên môn đặc thù. Có thể gom những người như vậy thành công ty và bán với mức giá premium. Sẽ là sai lầm nếu kết luận mọi công ty tư vấn đều không có năng lực thực sự. Không chỉ có "tư vấn quản trị" đơn giản, mà còn có nhiều mảng như tư vấn công nghệ, bảo mật... nơi chuyên môn là có thật. Tôi cũng thường thấy nội bộ không tự giải quyết được, hoặc chính nội bộ đã gây ra vấn đề. Tư vấn giỏi sẽ cố khai thác tối đa cả những hiểu biết ngầm của nhân viên nội bộ để dùng vào việc giải quyết vấn đề. Họ có những kỹ năng chồng lấn với kỹ sư phần mềm như thu thập yêu cầu và giao tiếp với quản lý
Một vài ví dụ tôi từng thấy về cách dùng tư vấn ngoài thực tế
Các tổ chức như chính phủ phần lớn phớt lờ ý kiến của kỹ sư nội bộ, rồi chi hàng trăm nghìn để thuê tư vấn bên ngoài chỉ để nghe lại đúng kết luận đó, hoặc đơn giản là để chứng tỏ "chúng tôi đang làm gì đó để giải quyết vấn đề". Đôi khi lãnh đạo không tin người trong nhà, hoặc muốn có kết quả nhanh mà không làm phân tán đội khỏi công việc chính. Một số trường hợp còn vì tích thành tích vô nghĩa, thậm chí do phí môi giới hay giao dịch ngầm
Người trong công ty có thể vừa là bên gây ra vấn đề vừa là người đánh giá vấn đề, nên đôi khi dùng tư vấn bên ngoài không hẳn luôn là lựa chọn tệ. Một góc nhìn độc lập, dù có thể hơi lệch, đôi khi vẫn hữu ích
Mọi người đang bỏ sót vai trò quan trọng của tư vấn trong việc phân tán trách nhiệm pháp lý và trách nhiệm về kết quả
Đây kiểu như "màn kịch thẩm định (due diligence theater)". Đặc biệt, lãnh đạo muốn biết kỹ sư bên đối thủ sẽ khuyên gì, và tư vấn cố đóng vai đại diện cho lời khuyên tốt nhất đó
Gọi ngắn gọn thì đây là "giặt quyết định". Khi muốn tăng tính chính danh cho một định hướng vốn đã được quyết định nội bộ, người ta dùng tư vấn bên ngoài. Ngay cả CEO cũng thừa nhận điều đó khi nói riêng
Nếu mọi thứ hỏng bét, giám đốc có thể nói "chúng tôi đã làm theo khuyến nghị của Deloitte" để né trách nhiệm. Rõ ràng nó chống đạn tốt hơn nhiều so với việc nói "Bob bên IT bảo thế"
Tôi là người từng suýt vào ngành tư vấn sau MBA rồi đổi ý sang làm kỹ sư phần mềm. Trên thực tế, khách hàng của các dự án tư vấn là "lãnh đạo"
Trước đây tôi từng được giới thiệu với kiểu trợ lý như "Nếu là Elon thì sẽ làm gì?". Lãnh đạo muốn biết đối thủ cạnh tranh, hoặc một đối thủ giả định, sẽ quyết định ra sao khi có cùng thông tin. Đồng thời họ cũng muốn tham khảo phán đoán của người trợ lý tư vấn làm vai trò trung gian đó
Việc này rất khác nhau tùy ngành và khu vực. Ở một số tập đoàn lớn tôi từng làm, khách hàng của tư vấn không phải lãnh đạo cấp cao mà là quản lý trung gian, cách tầng lãnh đạo nhiều cấp
Cốt lõi là nghiên cứu nhẹ cộng với nói cho họ nghe điều họ muốn nghe. Ở điểm này thì AI là cơ hội để lật tung thị trường tư vấn
Trong quá trình này, sự khác biệt giữa khái niệm "client" và "customer" cũng rất quan trọng
Dù có lừa chính phủ Úc và làm tiêu tiền thuế sai cách thì kết quả cũng chỉ là hoàn lại một phần
Hãy nhìn vụ Craig Wright, kẻ mạo danh Satoshi nổi tiếng. Trước cả trò lừa Bitcoin, hắn đã lừa hoàn thuế VAT và hoàn thuế R&D tới hàng triệu USD, rồi còn định lừa hàng chục triệu USD nữa, bị phát hiện nên bỏ trốn khỏi Úc, hoàn lại một phần và sống yên ổn ở nước ngoài mà không bị xử lý gì thêm
Về cơ bản thì hệ thống buộc phải như vậy. Nếu cứ 10 người có 1 người gian lận thì không thể thu hồi đủ 100%. Chỉ có thể đòi lại "chi phí + thiệt hại" rồi kết thúc. Nếu nguyên tắc là phải thu hồi đủ toàn bộ thì hợp đồng sẽ còn dài hơn cả công việc thực tế
Về bản chất đây không phải vấn đề AI, mà là thất bại trong giám sát việc lập báo cáo. Vai trò của tư vấn bên ngoài là bảo đảm kết quả điều tra chịu được sự kiểm chứng của công chúng, và ở đây họ đã thất bại hoàn toàn. Điều gây sốc là dù thành tích tệ như vậy họ chỉ phải hoàn lại một phần, và không có việc đánh giá lại toàn bộ các hợp đồng hiện tại lẫn tương lai. Dù lỗi trong báo cáo là do AI hay do một tư vấn viên thức trắng đêm gây ra thì cách xử lý cũng không nên khác nhau
Các CEO đang hiểu lầm rằng GenAI sẽ thay thế nhân lực, nhưng thực tế là khách hàng cũng chỉ muốn trả ít tiền hơn rất nhiều cho đầu ra do GenAI tạo ra. Vì thế hiệu quả tiết kiệm rồi cũng biến mất. Kết cục là một vòng xoáy lợi nhuận thấp hơn, chất lượng kém hơn và giá thấp hơn
Nói thêm thì khách hàng trả tiền cho "một con người chịu trách nhiệm và hoàn thành nhiệm vụ". AI không thể chịu trách nhiệm, nên không đáng để chi tiền cho những báo cáo kiểu này
Liên quan đến đó, trong thời kỳ hậu AI, con đường thành công là tạo ra nhiều đầu ra hơn với cùng số người, thậm chí nhiều người hơn. Nhờ AI mà tự động hóa trở nên phổ biến và giá trị của từng đầu việc giảm xuống, nên chỉ cắt người để vận hành không phải chiến lược sinh tồn. Ngược lại, phải lấy những mức "quy mô và chất lượng" vốn trước đây bất khả thi làm chuẩn mới
Cách nghĩ đó là: "kéo giá trị của dịch vụ về gần 0 đồng thời tạo ra giá trị mới"
Báo cáo lần này lại liên quan đến chính sách cắt trợ cấp của người thất nghiệp nếu họ không đáp ứng yêu cầu tìm việc — tức đúng vào nhóm người bị lo ngại sẽ mất việc vì AI
Từ góc độ khách hàng, nếu có thể dùng đầu ra do GenAI tạo ra với giá rẻ hơn thì chẳng phải đó lại là yếu tố giúp tăng doanh thu sao? Bỏ qua tranh cãi của Deloitte, nếu tận dụng GenAI tốt thì thật sự vẫn có thể cho kết quả tốt hơn
Tôi đã làm ở công ty tư vấn trong thời gian dài, và có vẻ nhiều người thật sự không hiểu tư vấn là gì. Tất nhiên có những ca tiêu cực thiếu đạo đức, nhưng lợi ích và giá trị mà tư vấn mang lại là rất thực. Chỉ cần nhìn việc ngành này vẫn tồn tại trên thị trường và mỗi năm kiếm hàng tỷ USD là thấy
Có ý kiến cho rằng ngoài Big 4 ra thì khó tìm được tổ chức nào tạo ra ít giá trị cho xã hội đến thế so với quy mô kinh tế của họ