Tác động của sự cố CrowdStrike đối với ngành hàng không

• Bản cập nhật cấu hình cảm biến cho Windows do CrowdStrike phát hành lúc 04:09 UTC ngày 19/7/2024 đã dẫn đến màn hình xanh trên khoảng 8,5 triệu máy tính và cũng ảnh hưởng đến hoạt động của các hãng hàng không
• Xét toàn bộ giao thông hàng không Mỹ, bao gồm cả cứu hỏa, cảnh sát, quân sự và hàng không dân dụng, số lượt cất cánh tích lũy sau 04:00 ngày 19/7 nhiều hơn 2,6% so với thứ Sáu tuần trước, nhưng trong khung 08:00~09:00 đã giảm 31%, từ 378 chuyến xuống 261 chuyến
• Mức độ tác động đến 4 hãng hàng không lớn nhất của Mỹ khác biệt rất lớn: Delta -1.087 chuyến (-46%), United -596 chuyến (-36%), American -376 chuyến (-16%), Southwest +101 chuyến (+3%)
• Delta đã hủy hàng nghìn chuyến trong nhiều ngày nên thời gian phục hồi kéo dài, còn theo ABC News, Southwest không bị ảnh hưởng vì không sử dụng CrowdStrike
• Phân tích đã phát hiện cất cánh từ dữ liệu ADS-B thô của ADS-B Exchange và xem đó là gần tương đương với số chuyến bay; dù số lượng tuyệt đối có thể bị tính thấp, giả định này vẫn hợp lệ khi so sánh tỷ lệ theo từng giai đoạn

---

Điểm khởi đầu của sự cố CrowdStrike ngày 19/7/2024

• Vào 04:09 UTC ngày 19/7/2024, CrowdStrike đã phát hành bản cập nhật cấu hình cảm biến cho các hệ thống Windows
• Sau đó, khoảng 8,5 triệu máy tính gặp màn hình xanh, ảnh hưởng đến nhiều lĩnh vực như bệnh viện, ngân hàng và hệ thống 911
• Linux, Mac và điện thoại di động không được nhắc đến là đối tượng chịu ảnh hưởng trực tiếp của sự cố này
• Các dịch vụ như Gmail, Facebook, Twitter vẫn hoạt động, nhưng các máy Windows xử lý công việc thực tế như đặt chỗ, mở tài khoản hay điều xe cảnh sát lại gặp sự cố, tạo nên sự tương phản rõ rệt
• Các hệ thống của hãng hàng không cũng nằm trong nhóm vận hành dựa trên Windows này

Tập trung vào so sánh lưu lượng hàng không thực tế hơn là số chuyến bị hủy

• Thay vì chỉ nhìn vào số chuyến bay bị hủy của các hãng hàng không, cách tiếp cận được chọn là so sánh số máy bay thực sự đang ở trên trời với số máy bay lẽ ra phải ở trên trời
• Một video tua nhanh 12 giờ của American Airlines, Delta và United dựa trên FlightRadar24 đã được chia sẻ, nhưng do không có mốc so sánh nên khó đánh giá quy mô tác động
• Việc số máy bay giảm vào ban đêm là hiện tượng xảy ra hằng ngày, nên cần so sánh với mô hình bình thường của cùng ngày trong tuần
• Trường hợp này phù hợp với vấn đề “thiếu bối cảnh cho hiện tượng đang xảy ra” được nêu trong “OSHIT: Seven Deadly Sins of Bad Open Source Research” của Bellingcat

Thay đổi theo khung giờ của tổng số lượt cất cánh tại Mỹ

• Bài viết so sánh số lượt cất cánh theo từng khung giờ tại Mỹ giữa ngày 19/7, khi sự cố CrowdStrike xảy ra, và thứ Sáu tuần trước là ngày 12/7
• Đối tượng so sánh không chỉ gồm hàng không thương mại mà còn có máy bay cứu hỏa, cảnh sát, quân sự và hàng không dân dụng
• Ngày 18/7 cũng được kiểm tra cùng lúc, nhưng vì rất giống với thứ Sáu tuần trước nên mốc so sánh chính vẫn là ngày 12/7
• Khoảng từ 06:00~13:00, số chuyến bay giảm nhẹ, sau đó lại tăng nhẹ
• Tính tích lũy từ sau 04:00, số chuyến bay ngày 19/7 tăng 2,6% so với cùng khoảng thời gian của thứ Sáu tuần trước
• Mức giảm lớn nhất xuất hiện trong khung 08:00~09:00, giảm 31% từ 378 chuyến của thứ Sáu tuần trước xuống còn 261 chuyến

Tác động phân hóa rất mạnh giữa các hãng hàng không

• Biến động của 4 hãng hàng không lớn nhất Mỹ rất khác nhau
  • Delta Air Lines: -1.087 chuyến, -46%
  • United Airlines: -596 chuyến, -36%
  • American Airlines: -376 chuyến, -16%
  • Southwest Airlines: +101 chuyến, +3%
• Delta chịu tác động lớn nhất, tiếp theo là United, còn mức giảm của American nhỏ hơn
• Theo số liệu thống kê, Southwest dường như không bị ảnh hưởng
• Cách giải thích rằng Southwest tránh được tác động vì vẫn tiếp tục dùng Windows 3.1 xuất hiện trong bài viết của TechRadar, nhưng OSNews xem điều này là sai
• Bài viết của ABC News cho biết Southwest không bị ảnh hưởng vì không sử dụng CrowdStrike

Giải thích và giới hạn quanh việc Delta phục hồi chậm

• Delta Air Lines đã hủy hàng nghìn chuyến trong nhiều ngày sau bản cập nhật của CrowdStrike, khiến quá trình phục hồi kéo dài
• Bài viết của ABC News cho biết việc xử lý sự cố đòi hỏi phải sửa thủ công từng hệ thống máy tính; bản thân việc sửa có thể hoàn thành trong chưa đến 10 phút, nhưng Delta có số lượng thiết bị đầu cuối số hóa rất lớn nên cần nhiều nhân lực
• Chỉ riêng cách giải thích này vẫn khó lý giải đầy đủ sự khác biệt giữa Delta và các hãng hàng không khác
• Một bình luận trên Reddit đưa ra giải thích chưa được kiểm chứng rằng Delta không có kế hoạch khôi phục thảm họa và kế hoạch duy trì liên tục hoạt động CNTT phù hợp, trong khi United, American và Frontier đã kích hoạt kế hoạch ngay lập tức nên phục hồi nhanh
  • Bình luận này cho rằng United và American cũng phụ thuộc vào Windows ở mức tương đương Delta
  • Nội dung này cũng nói rằng American đã phục hồi trước khi kết thúc ngày thứ Sáu để vận hành bình thường trở lại vào thứ Bảy, còn United xử lý xong vào sáng thứ Bảy và khôi phục lịch bay bình thường vào chiều thứ Bảy
  • Đây là một bình luận Reddit không có nguồn dẫn và có kèm lưu ý rằng nó có thể sai

Phương pháp phân tích dựa trên dữ liệu ADS-B

• Phân tích sử dụng dữ liệu ADS-B thô từ ADS-B Exchange
• Mã tùy chỉnh được dùng để phát hiện máy bay cất cánh, và mỗi lượt cất cánh được xem là tương ứng gần đúng với một chuyến bay
• Số lượt cất cánh và số chuyến bay không hoàn toàn giống nhau, nhưng giả định này được xem là đủ gần cho mục đích phân tích
• Một số trường hợp có thể bị thống kê thiếu, chẳng hạn máy bay cất cánh từ sân bay nằm ngoài vùng phủ của ADS-B Exchange
• Việc thống kê thiếu xảy ra có tính hệ thống nên vẫn có thể dùng để so sánh giữa các giai đoạn; số chuyến bay tuyệt đối có thể bị tính thấp, nhưng mức thay đổi theo phần trăm được đánh giá là chính xác
• Do đã có sẵn mã phát hiện cất cánh, bài viết dùng số lượt cất cánh thay vì đếm mới số máy bay đang bay

[GN⁺]

Ý kiến trên Hacker News

• Tôi đọc được rằng Delta mất nhiều thời gian để khôi phục vì phần mềm theo dõi phi hành đoàn bị ảnh hưởng nghiêm trọng
  Nguồn: https://news.delta.com/update-delta-customers-ceo-ed-bastian
  Có đoạn nói rằng “đặc biệt, một công cụ liên quan đến theo dõi phi hành đoàn đã bị ảnh hưởng, khiến nó không thể xử lý hiệu quả số lượng thay đổi chưa từng có do sự cố hệ thống gây ra”

  • Một yếu tố khác làm tình hình tệ hơn là trụ sở và mô hình khai thác chính của Delta nằm ở Bờ Đông. Vì CrowdStrike tác động đến các hãng hàng không gần như cùng thời điểm, Delta có ít hơn khoảng 1–2 giờ để ứng phó trước khi bước vào cao điểm bay buổi sáng
    Họ chưa sẵn sàng vào thời điểm cần hệ thống cho giờ cao điểm buổi sáng, nên rất có khả năng đã chuyển sang xử lý thủ công như một chiến lược duy trì hoạt động kinh doanh. Cách này bất lợi về thông lượng và thời gian khôi phục, và trạng thái đó càng kéo dài thì đương nhiên càng tệ hơn
    Điều thấy được từ sự cố Southwest và lần này của Delta có vẻ là các hãng hàng không lớn không có đủ nhân lực hoặc dư địa lịch trình để chịu đựng khi chuyển sang chế độ duy trì hoạt động kinh doanh. Việc này cần được điều tra, và tôi hy vọng các chế tài tài chính sẽ thúc đẩy thay đổi hành vi, nhưng phải chờ thời gian mới biết được
  • Delta không chỉ đơn giản là bị ảnh hưởng “nặng”; với mô hình hub-and-spoke mà Delta sử dụng, nếu việc quản lý lịch trình suy giảm dù chỉ một chút vào thứ Sáu, cộng thêm giới hạn giờ làm việc của FAA, thì độ khó của việc phân bổ lại chuyến bay sẽ tăng theo cấp số nhân
    Nói dễ hiểu hơn, phần mềm lập lịch bị chết 4 giờ vào sáng thứ Sáu, nên họ phải “mượn” nhân sự từ chỗ này chỗ kia để thay cho nhân viên đến muộn hoặc bị ốm. Việc đó làm hỏng nguồn nhân lực khả dụng cho các chuyến bay tiếp theo, và đến lúc đó bạn hy vọng hệ thống quay lại, nhưng nếu không thì lại phải mượn tiếp từ các chuyến bay buổi tối
    Trong khi đó, các chuyến bay bị trễ hoặc bị hủy cũng ảnh hưởng đến số giờ làm việc còn lại của những nhân viên vốn có thể được bố trí. Sau khi chuỗi dây chuyền này tiếp diễn rồi bước vào cuối tuần, trước hết phải làm rõ từng thành viên phi hành đoàn thực tế đã ghi nhận bao nhiêu giờ, và cũng không chắc có cách nào đưa họ trở về đúng vị trí đúng giờ hay không
  • Theo tôi nghe trên radio, vấn đề lớn hơn không phải bản thân máy tính mà là cách Delta ứng phó
    Nội dung là các hãng khác trì hoãn chuyến bay, trong khi Delta hủy ngay lập tức, kết quả là nhiều người và máy bay bị mắc kẹt ở sai nơi hơn, khiến việc khôi phục khó khăn hơn

• Tôi tự hỏi liệu một kế hoạch khôi phục sau thảm họa vững chắc, cập nhật và được diễn tập đầy đủ có thực sự cứu được ai không. Hay mọi người chỉ đang vận hành tay không, mặc cho IT có chi tiền cho sao lưu và khôi phục hay không

  • Hệ thống của chúng tôi vẫn ổn. Vì chúng tôi giả định rằng sẽ có thứ gì đó hỏng, kể cả phần mềm như SentinelOne, CrowdStrike, và đã chuẩn bị hệ thống khôi phục sau thảm họa để vẫn có thể vận hành trong tình trạng khập khiễng
    Chúng tôi có hệ thống khôi phục hoạt động được cả trong những tình huống khác, chẳng hạn Thames Barrier thất bại và Docklands biến mất. Đáng tiếc là một số nhà cung cấp thuê ngoài không có thái độ như vậy
  • Chắc chắn là có ích. Khi cáp quang ở một địa điểm bị rút nhầm, HSRP và VRRP, cùng các tính năng SD-WAN khác, đã tạo ra khác biệt. Kỹ thuật viên trung tâm dữ liệu gây ra sự cố lớn, làm cả chúng tôi và ít nhất một khách hàng khác cùng bị sập
    Rõ ràng có gián đoạn tức thời và khoảng 10 phút gặp các vấn đề như trang bị timeout hoặc tiến trình khởi động lại, nhưng nhìn chung các site đã failover và vẫn có thể vận hành khập khiễng trong lúc tìm nguyên nhân
    Trung tâm dữ liệu đưa cho chúng tôi khoản credit dịch vụ 19 hay 21 đô gì đó và lời xin lỗi. CEO thì nổi giận đòi kiện, nhưng thực tế không đi đến đâu; còn giám đốc hạ tầng IT thì lặng lẽ cảm ơn chúng tôi vì đã chuẩn bị cơ chế failover mà phần lớn đã hoạt động
  • Tất nhiên hạ tầng khôi phục sau thảm họa hẳn đã được chuẩn bị. Với CrowdStrike được cài sẵn trên mọi máy chủ khôi phục sau thảm họa
  • Tôi chưa từng tận mắt thấy. Dĩ nhiên có thể có thiên lệch mẫu, nhưng tôi muốn nghe các trường hợp thành công
  • Ngay sau khi tôi đăng, có người đã đăng cái này: https://news.ycombinator.com/item?id=41103486
    Vì vậy lý do Delta tan nát như vậy có vẻ đúng là thiếu khôi phục sau thảm họa

• Điều tôi không hiểu trong các biểu đồ này là vì sao số chuyến cất cánh lại tăng tương đối ngay từ hơi trước khi bản cập nhật CrowdStrike được triển khai
  Nó xuất hiện cả trong biểu đồ tổng thể và trong các biểu đồ của United, American, đặc biệt là Delta. Tôi không nghĩ ra lý do nào; cũng có thể chỉ là nhiễu ngẫu nhiên, hoặc cùng thời điểm đó vào tuần trước đã có điều gì bất thường

  • Một trong những lý do đưa cả số chuyến bay tuyệt đối lẫn phần trăm thay đổi vào biểu đồ là để hiểu bối cảnh rộng hơn. Các mức tăng tương đối đó xảy ra ngay trước khi CrowdStrike gặp sự cố, tức khoảng nửa đêm giờ miền Đông nước Mỹ, khi lưu lượng bay vốn đã rất thấp
    Vì vậy dù nói tăng 25%, cũng có thể chỉ là thêm khoảng 12 chuyến cất cánh trong một giờ trên toàn nước Mỹ. Chắc chắn có rất nhiều nhiễu, và nhìn cả giá trị tuyệt đối lẫn phần trăm thay đổi sẽ giúp hình dung điều gì đã xảy ra
    Dữ liệu hai ngày có lẽ đủ để thấy xu hướng chính của tác động từ CrowdStrike, nhưng không đủ để giải thích mọi biến động
  • Đã có nhiều thông tin rộng rãi rằng đó là một trong những ngày đi lại bận rộn nhất sau khá lâu, và điều đó làm vấn đề nghiêm trọng hơn
  • Tôi nghĩ thêm dữ liệu vài tuần nữa để có cảm nhận về biên độ dao động cũng không đến mức khó lắm

• Điều thú vị nhất có lẽ sẽ là vụ kiện mà Delta định khởi xướng nhằm vào Microsoft và CrowdStrike sẽ diễn biến thế nào
  https://www.marketwatch.com/story/delta-hires-law-firm-seeking-damages-from-crowdstrike-microsoft-after-massive-tech-outage-report-a882328a

• Nội dung của liên kết được đưa vào: https://www.techradar.com/pro/security/southwest-airlines-avoided-crowdstrike-microsoft-outage-because-its-still-running-windows-31-fourth-largest-us-airline-remained-free-of-bsod-errors-because-its-os-hasnt-been-updated-in-decades
  Nội dung là: “Để bạn hình dung hệ điều hành này cũ đến mức nào, Windows 3.1 ban đầu được phát hành vào năm 1992; Microsoft đã kết thúc hỗ trợ vào ngày 31/12/2001, ngoại trừ phiên bản embedded; và phiên bản embedded cũng chính thức kết thúc vào năm 2008”
  Tôi cứ nghe lặp đi lặp lại câu chuyện Windows 3.1. Nó xuất hiện trên TechRadar, lại còn có chữ “Pro” trong tên, nên chắc họ không bịa ra đâu nhỉ? Dù vậy tôi vẫn chưa hoàn toàn tin. Có ai làm ở Southwest xác nhận được hệ thống quản lý lịch trình chính có chạy trên Windows 3.1 không?

  • Điều đó là sai [1], và nó đã trở thành một phép thử kiểu giấy quỳ để xem các cơ quan truyền thông có kiểm chứng độc lập các tuyên bố hay không
    Câu “SkySolver và Crew Web Access do Southwest tự phát triển trông ‘cũ kỹ như thể được thiết kế trên Windows 95’” đã bị bóp méo thành “chạy trên Windows 3.1”
    [1] https://www.osnews.com/story/140301/no-southwest-airlines-is-not-still-using-windows-3-1/
  • TechRadar dẫn Tom's Hardware, còn Tom's Hardware thì dẫn một tweet duy nhất
    Đó không phải tweet của Southwest, cũng không phải tweet của người nói rằng mình từng làm việc ở Southwest. Chỉ là một tweet thôi
  • Người khơi mào chuyện đó đã nói đó chỉ là một “tweet troll”
    https://x.com/ArtemR/status/1815408553131426179
  • Tuyên bố “Southwest dùng Windows 3.1” là sai, và là một ví dụ hay cho thấy những điều nhảm nhí lan truyền trên Internet như thế nào khi các tổ chức có vẻ “đáng tin cậy” ở một mức nào đó lặp lại tin đồn thất thiệt
    https://kotaku.com/southwest-airlines-windows-3-1-blue-screen-crowdstrike-1851603013
  • Tôi từng làm ở SITA(https://en.wikipedia.org/wiki/SITA_(business_services_company)) vào cuối những năm 2000. Khi đó có một mạng nối tiếp X.25 khổng lồ kết nối các hãng hàng không trên toàn thế giới
    Một số khách hàng vẫn chạy Windows 3.11 trên các hệ thống AT cũ kỹ trong data center, và thường mua máy tính cũ trên craigslist và eBay để có phần cứng thay thế khi hỏng. Tôi sẽ không ngạc nhiên nếu những hệ thống như vậy đến giờ vẫn còn được dùng

• Berlin Brandenburg bị ảnh hưởng nặng. Với tư cách một người dùng rất bất mãn với BER, tôi hoàn toàn không ngạc nhiên khi nơi đó là một trong những bên chịu hậu quả tệ nhất

  • IT ở Đức thường bị ảnh hưởng nặng trong những sự cố kiểu này. Tất nhiên ngoại lệ là những nơi vẫn đang vận hành bằng giấy
    Dù sao, việc họ thông báo ngay bằng banner ở đầu website vẫn là khá hơn. Hệ thống đặt lịch của cơ quan nhập cư đã sập hơn một tháng, và chỉ riêng việc thừa nhận chuyện đó cũng mất 3 tuần
  • Tôi vẫn còn ngạc nhiên vì Brandenburg thực sự đã mở cửa

• Có vẻ sẽ có kiện tụng. Delta có vẻ đã chuẩn bị rồi
  https://finance.yahoo.com/news/delta-air-lines-seek-compensation-211908080.html

  • Có đoạn nói “đã thuê công ty luật để yêu cầu bồi thường từ Microsoft và CrowdStrike”, nhưng ở đây việc nhắm vào Microsoft có vẻ sai hướng
    Microsoft thì liên quan gì đến driver bên thứ ba do chính bộ phận IT của họ cài đặt?

• Có ai biết vì sao Minneapolis-St Paul bắt đầu gặp làn sóng hủy chuyến sớm hơn nhiều so với các sân bay khác ở Mỹ không?

• Cách để không sập: Southwest không bị ảnh hưởng vì không dùng CrowdStrike

• Mạng xã hội của tôi có hệ thống sao lưu và hạ tầng tốt hơn, nên thật sự không hiểu vì sao phía hệ điều hành được dùng trên toàn thế giới lại không được như vậy

  • Vì CNTT là ngành kinh doanh cốt lõi của các công ty mạng xã hội. Họ hiểu CNTT đến tận ngọn ngành, hiểu điều gì có thể trục trặc và cách giảm thiểu rủi ro
    Trong khi đó, ngành kinh doanh cốt lõi của các hãng hàng không là đưa máy bay lên trời, và họ làm việc đó rất giỏi. Nhưng CNTT với họ gần như là công cụ mua từ bên ngoài, và họ không hiểu nó theo cùng cách như các công ty mạng xã hội
    Vì vậy họ dựa vào các nhà thầu bên ngoài để làm cho đúng, nhưng những nhà thầu đó thường giành được việc vì rẻ nhất hoặc vì thuyết phục được người mua rằng dịch vụ của họ là “thực tiễn tốt nhất trong ngành”
  • Tôi sẽ không đánh giá quá cao rằng FAANG miễn nhiễm với các bản cập nhật cấu hình có thể khiến thế giới ngưng trệ. Facebook cũng từng sập mọi thứ trong vài giờ vào năm 2021, bao gồm cả quyền truy cập trung tâm dữ liệu của kỹ sư
    https://news.ycombinator.com/item?id=28750894
    Còn về cách nói “hạ tầng so với hệ điều hành”, tôi cho rằng chất lượng hạ tầng của Microsoft không liên quan ở đây
  • Chỉ cần so sánh mức lương, điều kiện làm việc, vị thế mà các vị trí kỹ thuật ở công ty mạng xã hội cung cấp với các vị trí kỹ thuật ở những doanh nghiệp truyền thống lớn như ngân hàng hay hãng hàng không
    Ở nhóm trước, đãi ngộ tốt và có một mức vị thế cùng vốn chính trị nhất định. Ở nhóm sau, lương thấp, còn vị thế hay vốn chính trị thường chỉ ngang tầm nhân viên vệ sinh
  • Meta là một trong những công ty giá trị nhất thế giới và có nguồn lực để mua mọi thứ ở mức tốt nhất. Với vốn hóa thị trường 1,28 nghìn tỷ USD, họ lớn hơn gấp 30 lần American, Delta và United cộng lại
    Lợi nhuận năm ngoái cũng là 39 tỷ USD, so với 7,8 tỷ USD của toàn bộ các hãng hàng không Mỹ. Dĩ nhiên họ có hệ thống tốt hơn
  • Vì một bên nằm trong trung tâm dữ liệu có thể kiểm soát, còn bên kia được triển khai lên phần cứng thuộc sở hữu của người dùng mà không thể kiểm soát