Cựu nhân viên CrowdStrike: “Kiểm soát chất lượng không phải là một phần của quy trình”
(semafor.com)- Trước cả sự cố diện rộng vào tháng 7/2024, các cựu nhân viên cho biết họ đã nhiều lần báo với ban lãnh đạo về tiến độ gấp gáp, khối lượng công việc quá tải và các vấn đề kỹ thuật ngày càng tăng
- Trong 24 cựu nhân viên trả lời phỏng vấn, nhiều người cho rằng ban điều hành ưu tiên tốc độ hơn chất lượng, và một số nhân viên được giao việc lập trình hoặc vận hành mà chưa được đào tạo đầy đủ
- CrowdStrike phần lớn bác bỏ mô tả của các cựu nhân viên, cho rằng nguồn tin là “một số cựu nhân viên bất mãn đã bị sa thải vì vi phạm rõ ràng chính sách công ty”
- Lỗi trong bản cập nhật Falcon Sensor tháng 7 đã khiến 8,5 triệu máy tính ngừng hoạt động, gây thiệt hại tới 5,4 tỷ USD cho các công ty Fortune 500, và CrowdStrike bỏ lỡ khoảng 60 triệu USD hợp đồng dự kiến trong quý đó
- Mối liên hệ trực tiếp giữa các vấn đề chất lượng/vận hành kéo dài và sự cố tháng 7 chưa được xác nhận, nhưng CrowdStrike sau đó phải đối mặt với việc hạ dự báo doanh thu/lợi nhuận, điều trần trước Quốc hội và áp lực kiện tụng
Lo ngại về chất lượng đã tích tụ từ trước sự cố
- Các cựu kỹ sư phần mềm của CrowdStrike cho biết họ đã báo lên cấp trên về deadline gấp gáp, khối lượng công việc quá tải và các vấn đề kỹ thuật gia tăng từ hơn một năm trước sự cố diện rộng tháng 7
- Theo các cựu nhân viên, những vấn đề này được nêu đi nêu lại trong các cuộc họp, email và phỏng vấn nghỉ việc
- Jeff Gardner, cựu nhà thiết kế trải nghiệm người dùng cấp cao, nói rằng “tốc độ là điều quan trọng nhất”, và kiểm soát chất lượng không phải là một phần của quy trình hay cuộc thảo luận
- Một cựu quản lý cấp cao cho biết trong nhiều cuộc họp, nhân viên đã cảnh báo rằng tung ra “một sản phẩm không thể hỗ trợ” có thể khiến khách hàng “thất bại”
Lời kể trái chiều từ cựu nhân viên và phản bác từ công ty
- Tổng cộng có 24 cựu nhân viên đã phỏng vấn với Semafor
- 10 người nói họ bị sa thải hoặc cho nghỉ việc
- 14 người nói họ tự nguyện rời công ty
- Một người còn làm tại công ty đến mùa hè 2024
- 3 cựu nhân viên không đồng tình với mô tả của những người khác
- Joey Victorino, rời công ty năm 2023, đánh giá CrowdStrike “rất tỉ mỉ trong mọi việc họ làm”
- Công ty phần lớn phủ nhận nội dung bài báo
- Công ty cho biết thông tin đến từ “một số cựu nhân viên bất mãn đã bị sa thải vì vi phạm rõ ràng chính sách công ty”
- Công ty nói họ thực hiện kiểm thử nghiêm ngặt và kiểm soát chất lượng để bảo đảm độ bền vững của sản phẩm, và bác bỏ hoàn toàn các mô tả trái ngược
Sự cố tháng 7 bùng nổ sau giai đoạn tăng trưởng nhanh
- CrowdStrike được thành lập năm 2011 và vươn lên thành một tên tuổi lớn trong ngành an ninh mạng sau khi ra mắt gói antivirus Falcon vào năm 2013
- Sau khi niêm yết năm 2019, công ty đã tăng thêm hàng nghìn nhân sự, và đến cuối năm tài chính 2024, doanh thu đã tăng hơn 1.000%
- Bản cập nhật phần mềm lỗi vào tháng 7/2024 đã dẫn đến một sự kiện có thể là sự cố CNTT lớn nhất lịch sử
- 8,5 triệu máy tính ngừng hoạt động
- Thiệt hại của các công ty Fortune 500 có thể lên tới 5,4 tỷ USD
- Hành khách hàng không bị mắc kẹt ở sân bay, không thể truy cập ngân hàng trực tuyến, và các trung tâm cuộc gọi khẩn cấp bị offline
- CFO Burt Podbere cho biết trong cuộc công bố kết quả kinh doanh ngày 28/8 rằng công ty đã bỏ lỡ khoảng 60 triệu USD hợp đồng dự kiến sẽ chốt trong quý kết thúc vào ngày 31/7
- CEO George Kurtz nói rằng ông sẽ không quên quy mô của sự kiện ngày 19/7 và sẽ bảo đảm điều này không bao giờ lặp lại
Kiểm thử, dữ liệu khách hàng và trường hợp LogScale
- Một số cựu nhân viên cho biết trong quá trình chạy theo tốc độ phát hành sản phẩm, việc kiểm tra chất lượng phần mềm đôi khi bị làm vội
- Preston Sego, làm việc từ 2019 đến 2023, cho biết đã có lúc rất khó thuyết phục mọi người dành đủ thời gian để kiểm thử
- Công việc của anh là xem lại việc kiểm thử của các nhà phát triển trải nghiệm người dùng có báo đúng lỗi hay không trước khi thay đổi mã được triển khai tới khách hàng
- Sego nói anh bị sa thải vào tháng 2/2023 vì bị xem là “insider threat” sau khi chỉ trích chính sách quay lại văn phòng trên Slack nội bộ
- CrowdStrike cho biết họ không thảo luận các vấn đề nhân sự cá nhân
- Ở bộ phận dịch vụ chuyên môn, đã có trường hợp thông tin riêng tư của một khách hàng suýt bị tải nhầm vào thư mục của khách hàng khác tới ba lần
- CrowdStrike xác nhận sự việc và cho biết nguyên nhân là lỗi nhập dữ liệu thủ công
- Công ty giải thích dữ liệu chỉ là thông tin cơ bản như tên host, địa chỉ IP và tên miền
- Hiện công ty cho biết đang thực hiện các bước kiểm tra để ngăn dữ liệu riêng tư của khách hàng bị gửi nhầm
- Nhiều cựu nhân viên cũng nói Falcon LogScale có vấn đề
- Một người nhớ lại rằng do một bản cập nhật lỗi, các cảnh báo thời gian thực về hoạt động có khả năng độc hại đã tạm ngừng ít nhất hai lần
- Một số kỹ sư nói trong các cuộc họp nội bộ rằng nguyên nhân là do tiến độ gấp gáp
- CrowdStrike phủ nhận sự việc, nói rằng họ không biết về bất kỳ “bad update” nào khiến khách hàng không nhận được cảnh báo
- Công ty cũng cho biết LogScale không phải là dịch vụ được thiết kế để cảnh báo khách hàng về khả năng vi phạm dữ liệu theo “thời gian thực”
Tranh cãi quanh việc ra mắt Falcon OverWatch Cloud Threat Hunting
- Một cựu nhân viên nói rằng Falcon OverWatch Cloud Threat Hunting ra mắt năm 2022 đã được tung ra quá vội vàng
- Đây là dịch vụ trong đó các chuyên gia bảo mật của CrowdStrike tìm kiếm hành vi đáng ngờ có thể cho thấy xâm nhập trong môi trường cloud của khách hàng như Amazon Web Services
- Một cựu quản lý cấp cao từng tham gia dự án cho biết công việc vốn thường mất 1 năm đã được giao cho kỹ sư và các thợ săn mối đe dọa hoàn thành chỉ trong 2 tháng
- Người này nói rằng tại thời điểm ra mắt, các thợ săn mối đe dọa còn thiếu công cụ nội bộ cần thiết để giám sát đầy đủ hệ thống cloud của khách hàng, và cho đến mùa hè năm ngoái, tức khoảng 1 năm sau khi phát hành, họ vẫn phải phản ứng theo các cảnh báo từ hệ thống bảo mật hiện có
- Cũng theo cựu quản lý này, công ty đã đưa những nhân viên vốn được đào tạo để giám sát các hệ thống máy tính khách hàng như laptop và desktop sang làm phát hiện đe dọa trên cloud mà không bắt buộc đào tạo mới
- CrowdStrike xác nhận việc dùng các kỹ sư hiện có thay vì tuyển một đội “cloud threat hunters” mới
- Công ty nói rằng vì đây là một dịch vụ mới nên không thể tìm được những “cloud threat hunters” có kinh nghiệm, và cũng không thể tuyển người đã được đào tạo chuyên biệt cho một lĩnh vực chưa tồn tại trước khi CrowdStrike phát triển nó
- Công ty nói họ không bắt buộc đào tạo mới, nhưng có cung cấp cho những nhân viên muốn tham gia
- Công ty bổ sung rằng nhân viên thường xuyên được đào tạo phù hợp với công việc
- SANS Institute cho biết họ đã cung cấp khóa đào tạo và buổi nói chuyện về bảo mật cloud từ năm 2020, tức 2 năm trước khi dịch vụ của CrowdStrike ra mắt
- CrowdStrike khẳng định dịch vụ OverWatch luôn hoạt động đúng như dự định, và phủ nhận mô tả rằng dự án bị thúc ép hoặc các thợ săn mối đe dọa thiếu công cụ cần thiết
Mã cũ và khối lượng công việc gia tăng
- Sego cho biết mã được viết tạm để đẩy nhanh tiến độ dự án thường không được cải thiện về sau
- Một cựu kỹ sư cấp cao nói rằng anh đã yêu cầu hơn 20 lần xin thời gian để sửa mã cũ nhưng không được chấp nhận
- CrowdStrike phản bác rằng viết mã là một quá trình lặp, và việc triển khai mã rồi liên tục cải tiến dựa trên trải nghiệm sản phẩm thực tế là điều phổ biến trong ngành phần mềm
- Các cựu nhân viên nói một trong những lý do không thể cải thiện mã cũ là do khối lượng công việc tăng lên
- Một số người nói họ phải gánh nhiều việc hơn sau các đợt cắt giảm nhân sự và tái cơ cấu tổ chức
- CrowdStrike từ chối bình luận về các đợt cho nghỉ việc, nhưng cho biết số nhân viên vẫn tăng đều qua từng năm
- Chi phí R&D đã tăng từ 371,3 triệu USD trong năm tài chính 2022 lên 768,5 triệu USD trong năm tài chính 2024, và công ty giải thích phần lớn là do số lượng nhân viên tăng
- Công ty cho biết họ tiếp nhận, đánh giá và phản ánh nhiều loại phản hồi từ các đội ngũ, đồng thời tập trung duy trì văn hóa hiệu suất cao
- Công ty cũng nhấn mạnh rằng họ đã được chọn vào danh sách Fortune 100 Best Companies to Work For trong 4 năm gần đây
Chi phí và các bước tiếp theo sau sự cố
- CrowdStrike quy nguyên nhân sự cố tháng 7 cho lỗi trong bản cập nhật Falcon Sensor
- Sự kiện này khiến giá trị vốn hóa thị trường của công ty giảm hơn 21 tỷ USD
- Nhiều vụ kiện đã theo sau, và Delta Airlines ước tính thiệt hại sau khi hủy hàng nghìn chuyến bay là 550 triệu USD, đồng thời nêu khả năng khởi kiện
- Phó chủ tịch cấp cao Adam Meyers dự kiến sẽ điều trần trước Quốc hội trong tháng 9/2024
- Chủ tịch CrowdStrike Michael Sentonas tại một hội nghị hacker vào tháng 8 đã nhận giải “Most Epic Fail”, nói rằng khi bạn làm sai một cách khủng khiếp thì việc thừa nhận điều đó là rất quan trọng
- Mối liên hệ giữa các vấn đề kéo dài mà các cựu nhân viên nêu ra và sự cố tháng 7 hiện vẫn chưa được xác nhận
1 bình luận
Các ý kiến trên Hacker News
Một bài viết dựa vào cựu nhân viên bất mãn kiểu nói rằng “tốc độ là quan trọng nhất, còn quản lý chất lượng không phải là một phần trong quy trình hay các cuộc trao đổi của chúng tôi” có vẻ chỉ đáng giá như một thẻ quà tặng xin lỗi của GrubHub
Tôi không có thiện cảm với CrowdStrike, nhưng nếu có ác cảm và có cơ hội được chú ý thì ai cũng có thể nói bất cứ điều gì. Hơn nữa, người này là nhà thiết kế và có lẽ cũng không trực tiếp tham gia quản lý chất lượng
Bài viết cũng nói rằng trong 24 cựu nhân viên, 10 người bị sa thải hoặc cắt giảm nhân sự, 14 người tự nguyện nghỉ việc, và 3 người không đồng ý với các lời khai khác. Joey Victorino nói CrowdStrike “tỉ mỉ trong mọi việc”, nên rốt cuộc gần như không có gì chắc chắn
Không có triển khai theo từng giai đoạn mà đẩy thẳng ra môi trường vận hành toàn cầu, cũng không có phòng lab nơi mã mới thực sự được cài đặt và chạy. Có khói, và cũng có nhiều lời khai rằng đã có lửa, nên có thể nhìn nhận trong bối cảnh đó
Trái lại, chính những nhân viên như vậy có khả năng nói thật hơn về tình hình nội bộ, và dù không thuộc bộ phận đảm bảo chất lượng hay quản lý chất lượng, họ vẫn có thể biết bầu không khí ra sao. Thông tin đó đáng tin hơn những người chỉ phụ họa theo công ty
Có thể lập luận rằng Semafor làm việc kém hoặc có ác ý, nhưng đây không phải là một lập luận dễ, nhất là khi chính đoạn được trích cũng đưa kèm cả bằng chứng trái chiều
Nếu nghe từ một cựu nhân viên của công ty thì có thể là chuyện cá nhân, nhưng khi nhiều người nói cùng một bất mãn thì cần xem xét nghiêm túc hơn nhiều
Người không hài lòng có khả năng để lại đánh giá cao hơn, và người rời CrowdStrike cũng có khả năng đã bất mãn. Đó là dữ liệu thiên lệch, nhưng vẫn là dữ liệu có ích
Tôi ngạc nhiên vì các bình luận ở đây dường như gạt chuyện này đi quá dễ dàng. Các cựu nhân viên, bao gồm cả kỹ sư, đang nói rằng văn hóa phát triển nguy hiểm của công ty cũ đã góp phần vào sự cố quy mô toàn cầu và các sự cố trước đây
Những lời khai như vậy nên được xem là đáng tin, hoặc ít nhất là thông tin hữu ích, nhưng nhiều người dường như chỉ công kích nhà thiết kế UX đã nói “quản lý chất lượng không phải là một phần trong quy trình của chúng tôi”
Có lẽ nhiều người đang tự thấy mình trong câu “tốc độ phát hành là tất cả”, tức là “di chuyển nhanh và phá vỡ mọi thứ”. Bởi họ đã quen với văn hóa tận hưởng cảm giác đẩy code, chữa cháy, tạo ảnh hưởng, rồi chuyển phần dọn dẹp cho kỹ sư và quản lý kế tiếp
Từ góc nhìn của thời kỳ lãi suất bằng không, những thất bại quy trình như vậy có thể trông giống tính năng hơn là lỗi. Việc nhấn mạnh “chất lượng” có lẽ cũng bị xem như một rào cản phiền phức cản trở việc làm việc vui vẻ bằng tiền của khách hàng
Trước đây, một khách hàng từng đặt hàng một giải pháp bảo mật cao tùy chỉnh dựa trên driver kernel. Họ chạy một cơ sở dữ liệu quan trọng trên máy tính ngoại tuyến, và cần theo dõi mọi system call để nếu có thay đổi dữ liệu thì phải cảnh báo và ghi lại chính xác nội dung thay đổi. Bản sao lưu cũng tuyệt đối không được đưa ra ngoài, và trước khi lắp đặt tại hiện trường còn yêu cầu các quy trình an toàn như kiểm tra xem Windows có bị hook ntdll hay không. Không chấp nhận ngoại lệ, treo máy hay deadlock, và chỉ cần bỏ sót một system call cũng là thảm họa
Vì vậy, mỗi khi mã driver thay đổi, chúng tôi lại kiểm thử theo quy trình định sẵn trên 7 máy tính văn phòng có phần cứng khác nhau, và bài kiểm thử cuối trước khi phát hành còn rộng hơn nữa
Nhìn theo tiêu chuẩn này, CrowdStrike gần như hoàn toàn nghiệp dư. Họ cũng không đóng góp gì cho cộng đồng bảo mật, và trình độ nghiên cứu trông chỉ ở mức nhà nghiên cứu bảo mật junior. Thái độ thổi phồng lộ liễu hoặc vội vàng đi đến kết luận cũng không được cộng đồng nhìn nhận tốt
Hãy nhìn vào những công ty chuyên nghiệp thật sự như Kaspersky và Checkpoint. Họ không chỉ tạo ra các giải pháp bảo mật hàng đầu đã được kiểm chứng, mà còn đóng góp miễn phí các nghiên cứu có giá trị cho cộng đồng, như tìm và báo cáo zero-day trước khi chúng bị khai thác. CrowdStrike đáng bị chỉ trích
Trong nhiều năm, trong số các chiến lược tái cơ cấu tổ chức mà tôi thấy lặp đi lặp lại, điều khiến tôi nhớ nhất là “chúng ta sẽ đào tạo toàn bộ đội ngũ kỹ thuật thành nhân lực có thể thay thế ngay lập tức ở từng domain”. Hoàn toàn giậm chân tại chỗ
Hạ tầng phần mềm quan trọng nên được quản lý như hạ tầng vật lý quan trọng. Cũng như chúng ta không tin rằng những người xây nhà và cầu “sẽ tự làm đúng”, mà bắt buộc phải có quy định và kiểm tra
Nếu khi phần mềm dừng hoạt động mà hàng triệu người trên toàn thế giới bị mắc kẹt, thì đó là hạ tầng quan trọng. Lần này là một “sự cố” thông thường, nhưng trong tương lai, nếu các tác nhân đe dọa cố làm sập hệ thống trong bối cảnh chiến tranh, hậu quả có thể nghiêm trọng hơn
Nếu là lĩnh vực quan trọng về an toàn thì cần được xem xét nghiêm ngặt hơn các lĩnh vực khác, và không nên phó mặc cho quy trình đảm bảo chất lượng tự quản của các công ty vì lợi nhuận. Cần có nhiều bước rà soát hơn trước khi bấm nút lớn
Nói thêm, câu trong ngoặc kép không phải lời của tôi, mà là những phản biện tôi nghe từ người khác khi nhắc đến chuyện quản lý
Phần mềm hầu như luôn được làm theo hướng rẻ và nhanh. Ngay cả NASA cũng từng để tên lửa nổ giữa chuyến bay vì lỗi phần mềm
Sáng hôm qua, tôi nghe tin một người quen vừa qua đời và tang lễ được ấn định vào tuần tới
Người đó đã nằm viện hơn một tháng, rồi chỉ vài ngày sau khi về nhà thì bị đột quỵ
Nhưng tôi chợt nhớ ra rằng lẽ ra người đó đã có một ca phẫu thuật quan trọng, nhưng bị trì hoãn vì sự cố CrowdStrike. Phải mất vài tuần nữa mới sắp xếp lại được lịch và tiến hành phẫu thuật
Người đó đã phẫu thuật vào ngày hôm đó, và tôi cứ nghĩ mãi liệu kết quả có khác đi không nếu người đó không phải ở thêm vài tuần trong bệnh viện giữa căng thẳng về tình trạng sức khỏe và tương lai
Nó chỉ là một trong hàng triệu thiệt hại có thể đã phát sinh từ sự cố này, nhưng vì không được quy đổi thành tiền nên thực tế không được “tính” đến
Ví dụ, nếu đá vào đầu gối một đứa trẻ 3 tuổi khiến nó bị tàn tật suốt đời, hẳn nhiên bạn sẽ bị gọi là quái vật. Nhưng nếu bạn ủng hộ một cải cách giáo dục đẩy Ngôn ngữ ký hiệu Mỹ ra khỏi trường học, khiến trẻ khiếm thính lớn lên mà không có ngôn ngữ trong giai đoạn phát triển, thì chúng ta thậm chí còn không có từ ngữ thích đáng để diễn tả quy mô tích lũy và tác hại của hành vi đó
Chúng ta không xử lý tốt các tác hại phân tán. Một lý do lớn là vì chúng ta không nhìn thấy, và cũng không thể nhìn thấy, toàn bộ các thiệt hại cụ thể do nó gây ra
Việc người được trích dẫn như một chuyên gia về quy trình kỹ thuật lại là nhà thiết kế UX cấp cao khiến tôi thấy nghi ngờ. Có vẻ người đó không ở quá gần quy trình phát hành bản vá kernel
Tôi không định biện minh cho kiểm soát chất lượng của CrowdStrike, nhưng trong nhiều môi trường phát triển phần mềm mà tôi từng trải qua, cũng khá thường gặp chuyện thiếu kiểm soát chất lượng
Đọc bài báo có thể khiến người ta cảm giác như mọi dự án phần mềm đều được kiểm thử kỹ, nhưng theo kinh nghiệm của tôi, phần lớn đều được tung ra một cách vội vã
Với phần mềm giải trí hoặc phần mềm nghiệp vụ ít quan trọng thì có thể chấp nhận được, nhưng với phần mềm quan trọng thì đó là một ý tưởng rất tệ. Đáng tiếc là thái độ “hãy di chuyển thật nhanh” đã lan sang cả những nơi lẽ ra không nên có
Ngành này trông giống như nơi một số ít người có năng lực bằng cách nào đó giữ cho hệ thống vận hành, trong khi phần còn lại bộc lộ sự kém cỏi kỹ thuật đến sốc. Ban lãnh đạo cứ có cơ hội là ưu tiên cắt giảm chi phí ngắn hạn hơn chất lượng, và kết quả là tích tụ nợ kỹ thuật khủng khiếp cùng đội ngũ làm việc quá sức và mất động lực. Nói ra vấn đề chất lượng thì bị bất lợi, nên cuối cùng mọi người không còn quan tâm đến chất lượng nữa
Một số cựu nhân viên có thể bất mãn và nói theo hướng khiến CrowdStrike trông tệ đi. Công ty nào cũng có chuyện như vậy
Nhưng hiện giờ CrowdStrike có độ tin cậy bằng 0. Tôi không tin một lời nào họ nói
Mọi thứ được biết về CrowdStrike đều khiến tôi nghĩ đến Knight Capital. Một vấn đề văn hóa nhỏ trượt dài thành sự rối loạn chức năng hoàn toàn, rồi cuối cùng dẫn tới một lỗi có thể kết liễu công ty
Sự cố giao dịch gây hỗn loạn thị trường chứng khoán sáng thứ Tư đã khiến họ tốn kém đến mức đó, và Knight Capital Group thông báo rằng họ đã mất 440 triệu USD khi bán toàn bộ số cổ phiếu mua nhầm do lỗi máy tính
“Lỗi” cơ đấy…
https://en.wikipedia.org/wiki/Therac-25
Ở công ty cũ, một số khách hàng và hãng bảo hiểm trách nhiệm đã thúc ép mạnh việc triển khai CrowdStrike vì lý do compliance. Đặc biệt BCG yêu cầu sử dụng CrowdStrike
Việc thuyết phục mọi người đừng dùng CrowdStrike thật sự là một cuộc chiến khó khăn. Cuối cùng cũng thành công, nhưng cần rất nhiều cuộc họp và thời gian để thuyết phục nhiều bên liên quan. Tôi nghĩ nhiều người hẳn đã bỏ cuộc và triển khai luôn
Tôi từng làm trong một nhóm triển khai agent CrowdStrike cho tổ chức, và một trong những vấn đề lớn nhất là daemon ghi lại một lượng log khổng lồ nhưng lại không có thiết lập nào để dừng hoặc giảm bớt việc đó