- Dịch vụ Internet Xfinity xuất hiện mẫu sự cố lặp lại khi bị ngắt nhiều lần trong ngày theo khoảng cách đều đặn
- Mỗi lần sự cố kéo dài khoảng 125 giây, xảy ra 6–7 lần mỗi ngày, cộng dồn thành hơn 117 giờ downtime
- Các hộ hàng xóm cũng gặp cùng một vấn đề trong cùng khung giờ, xác nhận đây là sự cố chung của hạ tầng cấp trên
- Khách hàng đã trải qua mọi quy trình như thay thiết bị, thay dây, kỹ thuật viên đến kiểm tra, nhưng Xfinity không điều tra vấn đề
- Việc khắc phục bị trì hoãn do cấu trúc độc quyền khu vực và giới hạn của bộ phận hỗ trợ kỹ thuật, đồng thời làm dấy lên lo ngại về lỗ hổng bảo mật và nhu cầu báo cáo lên cơ quan quản lý
Hiện tượng mất mạng Internet lặp đi lặp lại
- Ngay sau khi đăng ký Internet Xfinity, kết nối đã bị ngắt nhiều lần mỗi ngày
- Trung bình 6–7 lần/ngày, mỗi lần kéo dài 125 giây
- Trong 17 tháng ghi nhận khoảng 3.387 sự cố, tổng cộng hơn 117 giờ downtime
- Hàng xóm cũng gặp đúng sự cố vào cùng thời điểm
- Dù là nhà khác, dùng đường line từ hộp chia khác, vẫn xảy ra ngắt kết nối 125 giây giống hệt
- Sự cố đi theo một mẫu thời gian có thể dự đoán được, lặp lại đúng theo lịch trình tự động hóa
Phân tích log kỹ thuật
- Trong PING Uptime Log, mất kết nối tới 8.8.8.8 xảy ra theo chu kỳ cố định
- Tỷ lệ mất gói 10–21%, trạng thái cảnh báo lặp lại theo chuỗi “none → loss → down”
- Log modem DOCSIS ghi nhận nhiều lỗi Critical(3) như “UCD invalid or channel unusable”,
“SYNC Timing Synchronization failure”
- Xác nhận có vấn đề tín hiệu ở mạng cấp trên như lỗi đồng bộ ký hiệu QAM/QPSK, kênh không thể sử dụng
Phản ứng của khách hàng và bộ phận hỗ trợ kỹ thuật
- Khách hàng đã thực hiện mọi kiểm tra thiết bị và thử thay thế
- Thử lại với modem được Xfinity phê duyệt (MB8611), kết nối có dây và nhiều router khác nhau
- Kỹ thuật viên nhà thầu và kỹ thuật viên Xfinity đã đến nhưng không giải quyết được vấn đề
- Dù đã lắp dây đồng trục mới và xử lý tiếp địa, triệu chứng vẫn y nguyên
- Thậm chí tốc độ tải xuống còn giảm từ 1200Mbps → dưới 500Mbps
- Vấn đề bị đùn đẩy giữa tổng đài, bộ phận bảo trì và hỗ trợ kỹ thuật, nên không có biện pháp thực chất nào
- Họ không hiểu phần giải thích dựa trên log, và chỉ chẩn đoán sai là lỗi thiết bị
Đặc điểm của mẫu sự cố
- Mọi lần sự cố đều dài 124,8±1,3 giây
- Điều này cho thấy đây là timeout tự động hóa, không phải lỗi phần cứng ngẫu nhiên
- Thời điểm xảy ra tập trung vào các mốc phút cố định (:29, :44)
- Khoảng 70% tổng số sự cố bắt đầu vào các thời điểm này
- Chủ yếu tập trung vào 12 giờ–1 giờ trưa, 2–3 giờ sáng
- Gợi ý khả năng liên quan đến các tác vụ tự động hoặc quy trình bảo trì trong hạ tầng Xfinity
Vấn đề mang tính cấu trúc của Xfinity
- Nhân sự hỗ trợ thiếu hiểu biết kỹ thuật
- Không có hệ thống xử lý phân tích dựa trên log
- Không có quyền điều tra hạ tầng cấp trên
- Kỹ thuật viên hiện trường không thể xử lý tận gốc vấn đề
- Thiếu cạnh tranh dẫn đến không phản hồi
- Là nhà cung cấp gigabit duy nhất trong khu vực nên nguy cơ khách hàng rời bỏ thấp
- Sự bất tiện ngắn hạn bị xem là mức có thể chấp nhận
- Họ cho rằng mất kết nối 2 phút vẫn rẻ hơn thiệt hại doanh thu
Lỗ hổng bảo mật vật lý
- Trong khu vực, hơn một nửa số hộp chia của Xfinity đang mở khóa hoặc bị hỏng
- Bất kỳ ai cũng có thể tiếp cận và tùy ý ngắt đường truyền
- Nếu hệ thống an ninh gia đình chỉ phụ thuộc vào đường truyền Xfinity,
thì khi bị cắt vật lý sẽ có rủi ro không thể gửi cảnh báo đột nhập
Hành động và lời kêu gọi của khách hàng
- Vấn đề đã được ghi chép chuyên nghiệp và báo cáo qua mọi quy trình nội bộ
- Công khai các kênh báo cáo lên cơ quan quản lý như FCC, Sacramento County Cable Television Commission, California PUC
- Đưa ra các hạng mục kiểm tra cho người dùng khác trong khu vực
- Khuyến nghị kiểm tra khóa hộp chia, vị trí tiếp địa và mẫu ngắt kết nối lặp lại
- Chỉ ra thực tế không phản hồi do cấu trúc độc quyền của Xfinity, đồng thời kêu gọi sự can thiệp từ cơ quan quản lý hoặc truyền thông
Thảo luận bổ sung và ý kiến bên ngoài
- Một số nhà phân tích kỹ thuật cho rằng 125 giây có thể không phải timeout mạng mà là thời gian modem đồng bộ lại
- Ước đoán có khởi động lại theo chu kỳ do xung đột phần mềm/firmware của R-PHY Node
- Có khả năng bị kích hoạt bởi Proactive Network Maintenance(PNM) hoặc các tác vụ telemetry
- Muốn xử lý triệt để thì cần đội Headend Engineering điều tra log
- Những người dùng khác khuyến nghị gửi khiếu nại tới FCC và ủy ban cáp địa phương
- Bất mãn có thể được phản ánh tại thời điểm gia hạn giấy phép khu vực
- Một số ý kiến đề xuất thay modem hoặc thử thiết bị cho thuê để thu thập thêm dữ liệu
Kết luận
- Đã xác nhận rõ ràng việc ngắt mạng lặp lại do lỗi tự động hóa trong hạ tầng cấp trên của Xfinity
- Khách hàng, hàng xóm và log kỹ thuật đều cho thấy cùng một mẫu, nên không phải lỗi thiết bị cá nhân
- Tình trạng chưa được giải quyết kéo dài do cấu trúc thị trường độc quyền và giới hạn của hệ thống hỗ trợ kỹ thuật
- Nổi bật nhu cầu cần có phản ứng ở cấp cộng đồng xét trên các khía cạnh bảo mật, chất lượng dịch vụ và ứng phó quản lý
1 bình luận
Ý kiến trên Hacker News
Chỉ nhìn tiêu đề là biết ngay đang nói về Comcast/Xfinity
Tôi cũng đã gặp đúng vấn đề đó suốt nhiều năm — kết nối chập chờn, mỗi ngày rớt vài phút nhiều lần
Hơn 50 kỹ thuật viên đã tới và nói là do dây trong nhà hoặc router, nhưng thay hết rồi vẫn không giải quyết được
Cuối cùng vài năm sau họ mới tìm ra vấn đề ở chỗ cách đường khoảng nửa dặm và sửa xong trong 30 phút, rồi yên ổn được khoảng một năm thì lại tái phát
Tôi đã đặt lịch kỹ thuật viên ba lần liên tiếp nhưng không ai tới, rồi họ xin lỗi bằng cách cộng 1 xu credit vào tài khoản
Đúng lúc đó Starlink có mặt ở khu vực nên tôi chuyển sang, rẻ hơn nhiều và ổn định hơn
Tôi nghĩ sẽ tốt cho thế giới nếu Comcast sụp đổ
Nhân tiện, sau khi hủy và tài khoản đã đóng, họ vẫn tính gấp đôi phí tháng (200 đô la)
Tôi không muốn cãi nhau với bộ phận CSKH nên mở tranh chấp thanh toán (dispute) với ngân hàng, và họ lập tức xử có lợi cho tôi rồi hoàn tiền
Chắc vì chargeback liên quan đến Comcast quá nhiều
Tôi cũng đã gửi khiếu nại tới văn phòng tổng chưởng lý bang và ủy ban địa phương, nhưng không kỳ vọng gì
Thời gian ngừng dịch vụ nhiều hơn hẳn các ISP khác
Dịch vụ thì bất ổn, còn báo lỗi thì ngược lại bị tính phí
Sau khi kỹ thuật viên tới, internet bị ngắt, rồi khi khôi phục xong hóa đơn lại bị cộng thêm $29
Gọi CSKH thì họ cứ chuyển máy lòng vòng và bắt chờ, mất hơn một tiếng mới gỡ khoản đó ra được
Giờ tôi chuyển tới Austin và dùng Spectrum, không hoàn hảo nhưng không thể đem so với Comcast
Đọc bài xong tôi mới nhận ra Xfinity là cáp, tức dựa trên DOCSIS
Kiểu vấn đề này đã phổ biến từ thời DOCSIS 1.0
Nguyên nhân là quá nhiều thuê bao hoặc nhiễu sóng, và có thể đỡ hơn nếu giảm tốc độ hoặc chuyển sang 2.0/3.0
Nếu họ tiếp tục đầu tư vào G.Fast thì đáng ra dây điện thoại cũng có thể đạt 1Gbps
Cuối cùng thì độ tin cậy mới là quan trọng nhất — ADSL 6Mbps chậm nhưng ổn định vẫn tốt hơn nhiều so với cáp 1Gbps hay rớt
Tôi ước chính phủ sẽ bắt buộc cáp quang như hạ tầng tiêu chuẩn, giống như điện, nước và đường dây điện thoại
Việc thông tin bất động sản không hiển thị tốc độ internet hay loại đường truyền cũng là một vấn đề
Kỹ thuật viên tới và nói là lỗi trong nhà, nhưng cuối cùng lại là vấn đề ở tuyến ngoài
Chỉ sau khi thuyết phục được HOA cho phép lắp cáp quang thì mới giải quyết xong
Cáp là thứ không đáng tin
Đến khi kỷ nguyên internet tới thì doanh nghiệp đã kiểm soát chính phủ rồi
Một trong hai công ty điện thoại đã làm 10 năm rồi bỏ cuộc, còn công ty kia thì không lắp từ đầu
Vì vậy nhiều khu vực vẫn phải dựa vào cáp hoặc ADSL chậm
Mỗi năm một hai lần lỗi dưới 1 giờ thì vẫn chấp nhận được
Khu tôi ở cũng từng gặp vấn đề tương tự
Có hôm một người hàng xóm tức quá đến mức bắt đầu dùng búa đập hạ tầng, và sau đó công ty thay mới, nâng cấp thiết bị nên tình trạng rớt mạng biến mất
Tôi cũng gặp vấn đề tương tự với Optimum (bắc New Jersey)
Cường độ tín hiệu thì bình thường nhưng modem thường xuyên mất đồng bộ (desync)
Tôi đã thay toàn bộ dây trong nhà và thiết bị, nhưng vấn đề nằm ở tuyến ngoài
Sau khi phân tích tín hiệu bằng oscilloscope, tôi thấy chỉ cần rung sợi cáp đi từ cột điện vào là sẽ sinh nhiễu và gây rớt kết nối
ISP vẫn từ chối, nói rằng vẫn phải kiểm tra trong nhà
Rồi tình cờ tôi liên hệ qua đường dây nóng báo sự cố internet do thị trưởng lập, và chỉ vài ngày sau một xe từ bộ phận cấp cao đã tới thay mới
Từ đó về sau hoàn toàn ổn định
Nhờ trải nghiệm này tôi mới biết rằng liên hệ qua kênh chính quyền có thể bỏ qua tổng đài CSKH thông thường
Tôi gọi điện phản đối thì họ bảo “nếu đăng ký gói hỗ trợ sẽ giảm 50% cho anh”
Cuối cùng tôi dọa hủy dịch vụ rồi đăng công khai lên Twitter (@xfinity), và họ xử lý ngay
Tweet công khai hiệu quả hơn gọi điện rất nhiều
Thậm chí ngay cả khi tuyến chôn ngầm không được họ đánh dấu bị đứt, họ vẫn né trách nhiệm và còn tính phí sửa chữa
Không có tiền thì lúc đó công ty mới thực sự chịu hành động
Theo luật họ phải phản hồi trong vòng một tuần
Có một bí kíp gọi thẳng quản lý Xfinity tới nhà
Chỉ cần thành phố bắt đầu triển khai mạng quang công cộng (fiber ISP)
Khi mạng quang thành phố xuất hiện ở khu tôi, quản lý Xfinity đích thân tới đưa danh thiếp và cố hết sức để giữ khách
Vừa có cạnh tranh là giá giảm một nửa, thái độ phục vụ cũng khác hẳn
Số tiền đó không dùng để nâng cấp hạ tầng mà để chạy chiến dịch “chống chủ nghĩa xã hội thành phố”
Tôi cũng từng gặp vấn đề tương tự với Charter
Tải xuống khoảng 10MB là rớt hẳn, rồi phải chờ modem kết nối lại
Dù gửi log và bằng chứng thế nào họ cũng không chịu thừa nhận là lỗi hạ tầng
Cuối cùng tôi khiếu nại lên FCC, và chỉ trong một tuần họ đã xin lỗi rồi xử lý xong
Cảm giác nhớ thời chính phủ còn kiểm soát doanh nghiệp cho ra hồn
Vừa có FCC can thiệp là thái độ công ty đổi khác hẳn
Tôi trực tiếp tới trụ sở chính để phản đối và được hoàn 3 tháng cước, nhưng vẫn không có giải pháp gốc rễ
Nếu góp ý cho OP thì tôi khuyên nên hạ xuống modem DOCSIS 3.0
Bản 3.1 trên hạ tầng Comcast có thể bị rớt lặp lại do rò rỉ ở một số tần số nhất định
Splitter 5–1000MHz có thể đóng vai trò như bộ lọc để chặn dải 3.1 (từ 1008MHz trở lên)
Vì thế có trường hợp giảm tốc độ lại ổn định hơn
Tôi cũng từng có splitter 800MHz trong tường, thay xong là hết lỗi
Cuối cùng thì tắc nghẽn băng tần mới là vấn đề cốt lõi
Chỉ thay thiết bị thôi không phải lời giải
Ở Anh, Openreach hoặc Virgin sở hữu đường truyền, còn ISP cung cấp dịch vụ trên đó
Chưa hẳn là dark fiber hoàn toàn, nhưng tôi thấy cấu trúc đó tốt hơn
Trước đây tôi dùng Andrews & Arnold, đắt nhưng hiểu kỹ thuật tốt và biết cách gây sức ép lên Openreach thay khách hàng nên rất ổn
Trước đây đường DSL của tôi thường xuyên rớt, nhưng khi nâng lên gói doanh nghiệp thì được xử lý ngay
Đội hỗ trợ doanh nghiệp tới kiểm tra và tìm ra nguyên nhân là cổng test bị sơn phủ trên đường dây
Sau đó tôi hạ lại về gói thường mà vẫn không còn vấn đề gì
Để đạt được điều kiện mong muốn (không cam kết, gói cơ bản), tôi phải làm việc qua 4 nhân viên kinh doanh
Dù vậy sau khi nâng cấp, tốc độ upload cải thiện từ 20 lên 300Mbps
Điểm còn khá ấn tượng là khi mất điện họ vẫn chạy cả máy phát để giữ node hoạt động
Muốn làm mấy công ty độc quyền như thế này nhúc nhích thì phải biết họ sợ điều gì
Cuối cùng, sự can thiệp của chính phủ vẫn là hiệu quả nhất
Gửi khiếu nại lên FCC hoặc chính trị gia địa phương có thể giải quyết vấn đề chỉ bằng một cuộc gọi
Chính trị gia cũng chẳng quan tâm, còn đường truyền thay thế thì либо là cáp đồng chậm hoặc là quang vẫn chưa được triển khai