- Sự cố mạng không dây của AT&T xảy ra hôm thứ Năm tại Mỹ đã gây gián đoạn cuộc gọi, tin nhắn và một phần các cuộc gọi khẩn cấp 911; AT&T cho biết ngay sau 3 giờ chiều theo giờ miền Đông, dịch vụ đã được khôi phục cho toàn bộ khách hàng bị ảnh hưởng
- Trong đánh giá ban đầu, nguyên nhân được xác định không phải là tấn công mạng mà là do áp dụng và thực thi sai quy trình trong quá trình mở rộng mạng; AT&T cho biết sẽ tiếp tục đánh giá thêm
- Báo cáo trên Downdetector bắt đầu tăng vào khoảng 4 giờ sáng theo giờ miền Đông, đạt đỉnh khoảng 74.000 báo cáo vào 8 giờ 30 sáng và đến gần trưa vẫn có khoảng 58.000 báo cáo
- Trên các thiết bị bị ảnh hưởng, vạch sóng biến mất hoặc xuất hiện ký hiệu SOS; khách hàng vẫn có thể gọi nếu bật Wi-Fi calling
- Verizon và T-Mobile cũng có hàng nghìn báo cáo sự cố, nhưng hai công ty cho rằng điều này nhiều khả năng phản ánh vấn đề khi cố gắng kết nối với người dùng trên mạng khác
Tình hình sự cố và khôi phục của AT&T
- Hôm thứ Năm, hàng nghìn người dùng AT&T tại Mỹ gặp sự cố mạng di động, khiến việc gọi điện và gửi tin nhắn bị gián đoạn
- AT&T thông báo rằng ngay sau 3 giờ chiều theo giờ miền Đông, dịch vụ đã được khôi phục cho toàn bộ khách hàng bị ảnh hưởng
- Công ty cho biết ưu tiên cao nhất là duy trì kết nối cho khách hàng và đang thực hiện các biện pháp để ngăn việc này tái diễn
- AT&T đã lập trang web system updates, nhưng không công bố số lượng khách hàng bị ảnh hưởng bởi sự cố hôm thứ Năm
Nguyên nhân sự cố và phản ứng của cơ quan quản lý
- Trong đánh giá ban đầu công bố muộn hôm thứ Năm, AT&T xác định nguyên nhân sự cố là việc áp dụng và thực thi sai quy trình được sử dụng trong quá trình mở rộng mạng
- Trong cùng phần giải thích, công ty xác nhận sự cố này không phải là một cuộc tấn công mạng
- FCC cho biết trên X rằng họ đang điều tra vụ việc và đang liên hệ với AT&T cùng các cơ quan an toàn công cộng
- AT&T cho biết sẽ tiếp tục đánh giá sự cố
Diễn biến báo cáo trên Downdetector và giá cổ phiếu
- Theo Downdetector.com, các báo cáo sự cố bắt đầu tăng vào khoảng 4 giờ sáng theo giờ miền Đông
- Số báo cáo đạt đỉnh khoảng 74.000 vào khoảng 8 giờ 30 sáng
- Đến gần trưa, vẫn có khoảng 58.000 báo cáo sự cố
- Cổ phiếu AT&T chốt phiên thứ Năm giảm 2,41%
Hiển thị trên thiết bị và ảnh hưởng đến 911
- Trên các điện thoại bị ảnh hưởng, góc trên bên phải màn hình không có vạch sóng hoặc hiển thị chữ SOS
- Khách hàng vẫn có thể gọi điện nếu bật Wi-Fi calling
- San Francisco Fire Department cho biết trong một bài đăng trên X rằng khách hàng mạng không dây AT&T không thể thực hiện hoặc nhận cuộc gọi, bao gồm cả các cuộc gọi 911
- Thị trưởng Atlanta, Andre Dickens, cho biết thành phố vẫn có thể nhận và thực hiện cuộc gọi 911, nhưng người dùng AT&T tại địa phương báo rằng điện thoại của họ đang ở chế độ SOS
- Massachusetts State Police yêu cầu người dân không gọi dồn đến trung tâm 911 chỉ để kiểm tra xem dịch vụ 911 trên di động có hoạt động hay không
- Cơ quan này cho biết nếu bạn có thể gọi thành công một cuộc gọi không khẩn cấp đến số thông thường thì dịch vụ 911 cũng hoạt động
Báo cáo liên quan đến Verizon và T-Mobile
- Theo Downdetector, vào 10 giờ sáng theo giờ miền Đông, người dùng Verizon và T-Mobile cũng đã gửi hàng nghìn báo cáo sự cố
- Hai công ty cho rằng những báo cáo đó nhiều khả năng phản ánh khó khăn phát sinh trong quá trình cố gắng kết nối với người dùng trên mạng khác
- T-Mobile cho biết trong tuyên bố qua email rằng Downdetector nhiều khả năng đã phản ánh các vấn đề mà khách hàng gặp phải khi cố kết nối với người dùng trên mạng khác
1 bình luận
Ý kiến trên Hacker News
Đây là một lỗi kiến trúc nghiêm trọng
Nhìn lại toàn bộ lịch sử tổng đài điện cơ của Bell System, ngoại trừ thiên tai hay một vụ cháy lớn ở NYC, chưa từng có tổng đài trung tâm nào bị ngừng dịch vụ quá 30 phút
Hệ thống AT&T Long Lines những năm 1960~70 có 10 trung tâm khu vực đều độc lập và được kết nối chéo dày đặc với nhau; trung tâm điều khiển ở Bedminster, NJ chỉ phụ trách giám sát và cập nhật định tuyến mỗi 15 phút
Khi cần, mọi tổng đài đều có thể quay về định tuyến mặc định; nếu tải cao thì một số cuộc gọi có thể thất bại, nhưng phần lớn vẫn tiếp tục hoạt động
Nguyên nhân là trong mã C xử lý định tuyến, câu lệnh
breakbị đổi thànhcontinue, gây hiệu ứng dây chuyềnTuy nhiên nó chỉ ảnh hưởng đến dịch vụ điện thoại đường dài
Tôi tự hỏi đó chỉ là tưởng tượng hay là thật, và nếu đúng thì điều đó có ý nghĩa gì
Nguồn gốc của 502 là Azure, và có vẻ là vấn đề về kiến trúc đám mây
Có một điều không được bàn nhiều ở đây: hiệu ứng dây chuyền của sự cố này, đặc biệt là tác động lên tài xế thì sao?
Nhiều người trong các tòa nhà có thể đi vòng qua Wi-Fi, nhưng với tài xế thì có lẽ ảnh hưởng khá rộng
Chẳng hạn có thể nghĩ tới việc giao hàng của UPS, FedEx, Amazon và tài xế xe tải bị chậm vì phụ thuộc vào ứng dụng bản đồ trên điện thoại; tài xế Uber/Lyft/taxi không được hướng dẫn tuyến đón/trả khách; giao thông xấu đi vì không tối ưu được lộ trình hoặc không được chỉ đường tới đích
Các công ty lớn có thể có hạ tầng riêng hoặc cấu hình dự phòng như thiết bị GPS chuyên dụng, nhưng tôi tò mò liệu thực tế có những tác động như vậy không, hoặc có cách nào để đi vòng không
Ngoài tài xế, việc không gọi được điện thoại có lẽ cũng làm tăng nguy cơ không được điều trị trong tình huống khẩn cấp, và cũng không rõ các cuộc gọi khẩn cấp bị ảnh hưởng ra sao
Ở Toronto, một phần tư toàn bộ đèn tín hiệu giao thông phụ thuộc vào mạng di động Rogers để thay đổi thời gian đèn; mạng Rogers GSM cũng được dùng để giám sát từ xa báo cháy và hệ thống phun nước chữa cháy trong các tòa nhà của thành phố
Thanh toán bãi đỗ xe công cộng và dịch vụ xe đạp công cộng cũng không sử dụng được
https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
Tôi nhớ vì đang là mùa hè nên một số chương trình công viên dành cho trẻ em cũng bị hủy. Lý do là nhân viên phải có điện thoại di động gọi được 9-1-1, mà ít nhất bản thân cuộc gọi đó dường như vẫn hoạt động ở đây
Tôi cố ý giảm mức phụ thuộc vào điện thoại nên thậm chí không biết có sự cố nào. Trước đây, dù đi rất ngắn tôi cũng tự động bật Google Maps, nhưng rồi tôi nhận ra nếu hoàn toàn phụ thuộc vào việc công ty theo dõi vị trí và chỉ đường cho mình, tôi sẽ mất khả năng tự tìm đường; trong quá trình thoát Google, tôi đã chuyển sang Organic Maps
Dù vậy, nếu có thể tôi vẫn cố tự tìm đường mà không cần GPS hỗ trợ, vì tìm đường có cảm giác như một kỹ năng thực sự có thể mất đi nếu không luyện tập
Sáng nay sau khi đi có việc ngang qua trung tâm, tôi định quay lại con đường trục lớn nhất mà mình biết thì lập tức gặp cảnh tắc cứng kéo dài ít nhất 1 dặm về hướng tây. Tôi nhìn xem có tai nạn gì không nhưng chẳng thấy gì cả, mọi người chỉ đứng yên
Tôi lập tức quay đầu, đi lên phía bắc 0,75 dặm tới một con đường hướng tây khác thì hoàn toàn không có xe, và tôi có thể chạy về nhà đúng tốc độ giới hạn
Các ứng dụng điều hướng phổ biến thường đề xuất tuyến thay thế khi có tắc đường, vậy tại sao mọi người vẫn ngồi trong chỗ kẹt đó dù có một con đường song song trống trải cách chưa tới 1 dặm? Có lẽ khi điện thoại không thể bảo họ đi đường khác, quá nhiều người đã quen nghe chỉ dẫn của điện thoại nên tạo ra hiệu ứng dây chuyền
Có vẻ cũng có tính năng bản đồ cục bộ tự động
Phần lớn tài xế đi các tuyến quen thuộc và không nhận chỉ đường bằng phương tiện điện tử
Câu hỏi hay hơn là xe tự lái đã ra sao. Chúng có bị dừng bên đường vì không tìm được đường nếu không có vùng phủ sóng di động không
Với những ai đang cố đoán nguyên nhân gốc rễ, chỉ dựa vào thông tin trong các bình luận cho đến nay thì chưa đủ để kết luận
Khi làm ở nhà mạng, tôi từng xử lý nhiều sự cố di động trên toàn Canada, và tác động toàn quốc có thể đến từ rất nhiều nguyên nhân khác nhau
Đã từng có lần một route mới được đưa vào mạng, khiến routing engine của một số thiết bị di động cụ thể bị crash trên toàn quốc, kết quả là chỉ kết nối Internet của các thiết bị di động trên toàn quốc bị gián đoạn. May là khi đó đang trong khung bảo trì 2 giờ sáng, phát hiện và rollback trước giờ làm việc nên hầu hết mọi người không biết
Cũng từng có chuyện kỹ thuật viên cắm một router mới vào thì các core router hiện có bị crash rồi reboot. Tác động đủ để lên tin tức chỉ là một sự cố khu vực khoảng 20 phút, nhưng trong 12 giờ sau đó chúng tôi phát hiện bug và tác dụng phụ từ bờ Thái Bình Dương đến bờ Đại Tây Dương
Vì vậy dữ liệu kiểu “bị ảnh hưởng ở vị trí x” rất khó phân biệt liệu cả khu vực đó đều sập, nhiều người gặp vấn đề, hay chỉ một hai người gặp sự cố lan từ khu vực khác; thông tin được/không được ở một vị trí cụ thể có giá trị hạn chế
Cũng từng có lần relay nhắn tin chạm giới hạn tốc độ đã cấu hình, rồi do protocol retry làm tỷ lệ tin nhắn tăng cao hơn nữa, dẫn đến về thực chất là sụp đổ do nghẽn trên một protocol nhất định. Vì đó là vấn đề nghẽn trong việc truyền trạng thái nên có tác động toàn quốc, nhưng dịch vụ vẫn hoạt động theo kiểu luồng tin nhắn hoàn tất với xác suất x%
Tôi không nhớ sự cố Rogers nổi tiếng có thừa nhận toàn bộ nguyên nhân gốc rễ hay không. Có suy đoán rằng khi thay đổi hoặc nâng cấp mạng routing, tác dụng phụ của vấn đề đã khiến cả kỹ thuật viên cũng bị đẩy khỏi mạng. Mạng toàn quốc chết, nhân viên cũng dùng cùng mạng nên việc phối hợp khó khăn, khiến khôi phục rất vất vả
Các tài liệu nộp cho CRTC mà tôi xem bị che hết mọi thông tin hữu ích, nên gần như chẳng học được gì. Suy đoán thì thú vị, nhưng lần này hy vọng AT&T sẽ minh bạch hơn các nhà mạng Canada để ngành có thể học hỏi
Cũng thú vị khi thấy một tổ chức khổng lồ khác không có kế hoạch rollback hay kế hoạch thất bại cho một thay đổi có thể làm hỏng cả doanh nghiệp. Không có, hoặc rất hạn chế, những điều IT 101 cơ bản
Điều tích cực học được là ba nhà mạng lớn, thực chất là 2 nhà mạng, đã nghĩ rằng nên cung cấp cho nhau SIM dự phòng khẩn cấp trên mạng khác cho nhân sự chủ chốt khi mạng của mình bị sập. Đến 2015 họ mới làm vậy, nhưng muộn còn hơn không
Vì Rogers dùng cùng core cho kết nối không dây và có dây, cả những người dùng nhà cung cấp Internet bên thứ ba chạy trên Rogers cũng bị mất kết nối hoàn toàn. Website, đường truyền doanh nghiệp, gần như mọi thứ đều sập, và Rogers hầu như không liên lạc gì
May là tổ chức của chúng tôi có cấu hình đa đường truyền, nên chuyển tuyến lúc 6 giờ sáng và các hiện trường phần lớn tiếp tục hoạt động không vấn đề gì
Một điểm thú vị nữa là trạm gốc vẫn bật đủ để điện thoại bám vào nhưng không làm được gì, nên cuộc gọi 9-1-1 không chuyển sang mạng khác mà chỉ thất bại. Trông như một khiếm khuyết trong đặc tả GSM hoặc lập trình SIM của Rogers, nhưng tôi không biết đã được xử lý chưa
https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
Khái quát rất thô thì người bên khoa học đoán là bão Mặt Trời, bạn cánh hữu của tôi đoán là hacker quốc tế, tôi đoán là triển khai phần mềm thất bại, còn ai đó trong bài này viết rằng bạn là quân nhân bảo nên đổ đầy xăng
Nhưng cũng như mọi người, tôi thật sự cảm thấy suy đoán của mình có lẽ đúng
Có nhiều báo cáo rằng sáu người trong cùng một nhà đều dùng AT&T nhưng chỉ một người gặp vấn đề
Nghe giống một bản nâng cấp chỉ áp dụng một nửa, hoặc xét thời điểm xảy ra thì giống một rollback chỉ áp dụng một nửa
Verizon và T-Mobile đều thông báo rằng họ không có sự cố phía mình, mà là vấn đề khách hàng của họ không thể gọi cho khách hàng AT&T
Tuy nhiên có vẻ phần lớn mạng AT&T tại Mỹ đã bị sập
Lượng thiết bị tăng vọt cố đăng ký cùng lúc có thể đã làm quá tải một phần các mạng đó
Có khả năng cao là không liên quan, nhưng thời điểm không hay vì AT&T vừa nộp đơn xin chấm dứt dịch vụ điện thoại cố định ở một số khu vực tại California
https://www.wired.com/story/att-landline-california-complain...
Sự cố kết thúc
Trạng thái: đã khôi phục
AT&T FINAL, Service Degradation, Global Smart Messaging Suite
AT&T Global Smart Messaging Suite
Mô tả sự kiện: FINAL, Service Degradation
Dịch vụ bị ảnh hưởng: MMS MT
Bắt đầu: 2024-02-21 22:00 giờ miền Đông, 21:00 giờ miền Trung, 19:00 giờ Thái Bình Dương
Kết thúc: 2024-02-22 11:00 giờ miền Đông, 10:00 giờ miền Trung, 08:00 giờ Thái Bình Dương
Thời gian gián đoạn: 780 phút
Kính gửi Quý khách, chúng tôi xin thông báo rằng Global Smart Messaging Suite hiện đã khả dụng. Dịch vụ MMS MT đã được khôi phục và đội ngũ của chúng tôi đang giám sát
AT&T Business Solutions
Kind Regards,
The AT&T SMS Service Administrator
Có thể tôi đang đọc quá kỹ, nhưng việc thiếu nội dung đó làm tôi thấy băn khoăn
Gần đây lại nhớ đến cuộc thảo luận về trang trạng thái: https://news.ycombinator.com/item?id=39099980
Trang trạng thái đáng ra phải chính xác, nhưng trạng thái của AT&T lại khẳng định mọi thứ đều bình thường
Dịch vụ không dây của tôi đã sập, và trên DownDetector có hàng chục nghìn báo cáo, nên rõ ràng mọi thứ không hề bình thường
Chúng hoặc được cập nhật bằng kiểm thử tự động, hoặc được cập nhật thủ công
Nếu tự động thì gần như luôn là dùng nội bộ chứ không phải công khai; còn nếu thủ công thì gần như luôn chậm, và dù sao cũng chỉ được cập nhật sau khi sự cố đã lên HN
Thật bực bội khi bộ phận marketing nắm quyền kiểm soát trang trạng thái, với dấu tick xanh khét tiếng và một chữ “i” nhỏ
“Service Alert: Some of our customers are experiencing wireless service interruptions this morning. We are working urgently to restore service to them. We will provide updates as they are available.”
https://www.att.com/outages/
Hiện vẫn chưa có thông tin trên NANOG, nhưng có vẻ trong vài giờ tới sẽ có gì đó xuất hiện trong luồng này: https://mailman.nanog.org/pipermail/nanog/2024-February/2250...
https://mailman.nanog.org/pipermail/nanog/2024-February/2250...
Dùng ứng dụng myATT thì tôi còn không thấy tài khoản không dây của mình đâu
Toàn bộ tài khoản gia đình cũng không hiển thị như một dịch vụ. Trông giống như bị hack hoặc có vấn đề nội bộ nào đó khiến tài khoản bị xóa
Người khác có thể kiểm tra xem tài khoản của họ có hiện không không?
Tức là các SIM mất xác thực mạng và đều bị rơi khỏi mạng. Nếu vậy thì có vẻ rất có khả năng là một lần triển khai phần mềm thất bại
Tài khoản online chắc cũng lấy thông tin này theo cách nào đó, nên điều đó có thể giải thích vì sao cổng thông tin bị hỏng
Hotspot trả trước vẫn hoạt động tốt, nhưng không chiếc điện thoại hợp đồng trả hằng tháng trong “gói gia đình” nào hoạt động
Cũng tò mò liệu khác biệt giữa SIM vật lý và eSIM có giải thích được vì sao các mẫu “mới hơn” vẫn hoạt động không
Việc đầu tiên tôi làm khi thấy điện thoại không hoạt động là đăng nhập để trả tiền, vì tưởng đâu mình quên thanh toán
Tôi không loại trừ khả năng chỉ cần thêm một chút lưu lượng truy cập là nó đã sập. Tương quan không đồng nghĩa với quan hệ nhân quả
Có cái gọi là bản đồ sự cố[1]. Nhưng vô dụng
Nó chỉ là bản đồ đánh dấu những nơi có nhiều người sống ở Mỹ mà thôi
[1] https://www.cbsnews.com/news/outage-map-att-where-cell-phone...