Một số xe hybrid Jeep 4xe bị brick do bản cập nhật phần mềm cuối tuần

• Một số chủ xe Jeep Wrangler 4xe hybrid đã gặp sự cố xe bị dừng hoạt động sau bản cập nhật phần mềm OTA được triển khai trong cuối tuần
• Bản cập nhật nhắm vào phần telematics của hệ thống thông tin giải trí Uconnect và được phát hành khi chưa sẵn sàng
• Vấn đề không xảy ra ngay lập tức mà dẫn đến tình huống nghiêm trọng khi xe lỗi hệ truyền động trong lúc đang chạy rồi dừng lại
• Phía Jeep đã ngừng phát hành bản cập nhật sau khi có báo cáo sự cố, nhưng nó đã được tải xuống trên nhiều xe
• Sau đó Jeep phát hành bản vá khắc phục và khuyến cáo các chủ xe chưa cài đặt hãy bỏ qua nó

---

Sự cố cập nhật phần mềm OTA trên xe hybrid Jeep 4xe

Tổng quan sự cố

• Một số chủ xe Jeep Wrangler 4xe hybrid đã gặp hiện tượng xe đột ngột dừng khi đang chạy sau khi cài bản cập nhật OTA trong cuối tuần
• Sự cố lần này xảy ra do bản cập nhật telematics của hệ thống thông tin giải trí Uconnect được phát hành khi vẫn chưa sẵn sàng

Diễn biến sự cố

• Vấn đề không xuất hiện ngay mà sau cập nhật mới dẫn đến mất công suất khi đang chạy và xe dừng lại
• Một số chủ xe gặp tình trạng này trong khu dân cư hoặc môi trường tốc độ thấp, nhưng cũng đã ghi nhận trường hợp lỗi hệ truyền động trên cao tốc

Ứng phó và biện pháp

• Phía Jeep đã dừng phát hành bản cập nhật liên quan sau khi có báo cáo sự cố, nhưng khi đó nhiều xe đã tải bản cập nhật về
• Đội ngũ mạng xã hội của Stellantis thông báo qua diễn đàn Jeep rằng những chủ xe chưa cài đặt thì hãy bỏ qua cửa sổ bật lên cập nhật

Khuyến cáo tạm thời

• Với những chủ xe đã cài cập nhật nhưng chưa gặp lỗi, hãng khuyến cáo tránh sử dụng chế độ hybrid hoặc chế độ điện
• Sau đó Jeep đã khẩn cấp phát hành bản vá khắc phục (bản cập nhật sửa lỗi)

Bối cảnh và bài học

• Tương tự sự cố Crowdstrike năm ngoái, vụ việc này cho thấy cập nhật phần mềm vào chiều thứ Sáu có thể dẫn đến vấn đề trên diện rộng
• Qua sự cố này, Stellantis cũng rút ra bài học về tầm quan trọng của thời điểm cập nhật và kiểm thử trước khi phát hành
• Hiện vẫn chưa có phản hồi chính thức từ phía Stellantis, thông tin bổ sung sẽ được cập nhật sau

[GN⁺]

Ý kiến trên Hacker News

• Chiếc 4xe của tôi đã chết dí trước cửa nhà sau bản cập nhật phần mềm hôm thứ Bảy, và tôi muốn giải thích từ góc nhìn của một chủ xe 4xe rằng phản ứng của Jeep/Stellantis đã tệ đến mức nào
  • Cho đến 8 giờ sáng thứ Hai, hoàn toàn không có bất kỳ liên lạc hay sự thừa nhận nào từ các tài khoản chính thức hoặc từ phía công ty liên quan đến Jeep
  • Tôi cũng chỉ biết về vấn đề này khi tìm trong các nhóm Jeep trên Facebook xem có ai gặp cùng triệu chứng hay không
  • Ngay cả thông tin “chính thức” nhất cũng chỉ là một bài đăng trên diễn đàn off-road từ tài khoản JeepCares do Jeep vận hành, và hướng dẫn từ tài khoản đó cũng trước sau mâu thuẫn. Ban đầu họ nói bản cập nhật Uconnect và bản cập nhật telematics là riêng biệt, nhưng sau đó lại khuyên hoãn cập nhật Uconnect, như thể hai bản cập nhật có liên quan với nhau
  • Vì Jeep không cung cấp thông tin, mọi người phải bám vào đủ loại tin đồn kiểu “khởi động lại Uconnect ở bất kỳ chế độ nào thì đèn check engine sẽ tắt”. Thực tế là sự khó chịu có giảm, nhưng vấn đề gốc thì không được giải quyết
  • Không có cách nào để biết liệu xe có nhận phải bản cập nhật lỗi hay không
  • Cũng không thể biết mình đã nhận bản vá hay chưa
  • Các đại lý cũng hoàn toàn không nắm được tình hình
  • Và ngay tại thời điểm tôi đang viết những dòng này, tôi vẫn đang đối mặt với nguy cơ xe mất công suất đột ngột giữa đường cao tốc và chết máy
  • Điều thực sự đáng kinh ngạc là hệ thống công suất của xe, tức là động cơ, có thể tắt trong lúc đang chạy trên cao tốc. Theo bài báo, hiện tượng này đã thực sự xảy ra; một số trường hợp là ở tốc độ thấp gần nhà, nhưng cũng có người nói hệ truyền động đã hỏng ngay khi đang chạy trên cao tốc. Đây thật sự là một vấn đề gây sốc
  • Thật điên rồ khi chuyện này lại có thể xảy ra ngoài đời thực. Vài năm trước, khi làm thẩm định đầu tư trong ngành ô tô, tôi từng chỉ ra rằng trước khi cập nhật phải xác nhận xe đang dừng hẳn và động cơ đã tắt. Tôi vẫn nhớ mọi người còn thấy lạ khi tôi nói tình huống đó có thể dẫn tới vấn đề
  • Đây nghe đúng kiểu một đội vốn không kịp deadline ban đầu, cứ dời việc hết lần này tới lần khác, rồi cuối cùng ép phát hành code khi chẳng ai còn dư sức chịu trách nhiệm vì kế hoạch nghỉ lễ. Họ bị áp lực thời gian và thiên kiến xác nhận chi phối, vẫn đẩy đi thứ code đã phát ra tín hiệu có vấn đề; còn bây giờ những người phụ trách chính thì либо đang trên máy bay, либо mất liên lạc, либо đi nghỉ không mang laptop nên không thể xử lý
  • Tôi muốn biết họ đã kiểm chứng thế nào để phần mềm cập nhật lại có thể chạy khi xe đang vận hành và dẫn tới mất công suất. Khi tôi còn làm ở nhà cung cấp linh kiện ô tô, có khá nhiều cơ chế bảo vệ để ngăn rủi ro hỏng cập nhật, và điều cơ bản nhất là ngay từ khâu vào UDS programming session đã có điều kiện về tốc độ xe hoặc chế độ lái
• Tôi gần đây làm ở một công ty chiếu sáng gia dụng lớn và có kinh nghiệm phát triển router OS phụ trách bóng đèn cùng kết nối Internet/người dùng. Kiến trúc OTAU của chúng tôi là kiểu cập nhật hệ thống A/B với hai boot slot (liên kết tham khảo). Cách này tự động rollback về bản cũ nếu cập nhật thất bại, nên chưa từng bị brick lần nào. Lưu ý là nó còn được áp dụng cho cả thiết bị gia dụng dưới 100 USD. Vì thế tôi không khỏi nghi ngờ việc một chiếc SUV giá 50.000–60.000 USD lại thiếu cơ chế an toàn như vậy có phải do cắt giảm chi phí hay không. Dù có tăng gấp đôi dung lượng NAND ở tầm xe này thì cũng chẳng đến 0,5% tổng chi phí. Nếu thực sự là hỏng boot slot thì còn hiểu được, nhưng thật đáng thất vọng khi các hãng xe dường như quá thiếu quan tâm đến code họ phát hành
  • Với tư cách người từng làm cả mảng IoT lighting lẫn ô tô, tôi có thể so sánh hai ngành này. Không phải để bênh vực gì, nhưng các tập đoàn ô tô lớn cũng cực kỳ nhạy cảm với tối ưu chi phí, và tôi không nghĩ đây là vấn đề boot slot. Phần lớn phần mềm ô tô thường được thiết kế để không thể cập nhật khi xe đang chạy. Hiện tượng lần này có vẻ là do firmware mới có bug nghiêm trọng. Người ta vẫn chỉ trích ngành ô tô nói chung là chạm đáy, nhưng Stellantis đặc biệt cũng không phải công ty trả lương top đầu
  • Các thiết bị Android, kể cả nhiều xe áp dụng nó, cũng tương tự dùng A/B partition để giảm rủi ro brick. Nhưng cách này cũng không loại bỏ hoàn toàn rủi ro. Nếu có logic phức tạp và phải cập nhật đồng thời nhiều thiết bị con, thì sẽ có 2*N partition phải khớp với nhau, và mỗi checkpoint đều có thể thất bại. Thường nếu checkpoint “mọi thứ đều ổn” được đánh dấu quá sớm, thì ngay cả khi dịch vụ thiết yếu bị lỗi, hệ thống vẫn đã rơi vào trạng thái không thể phục hồi
  • Với một thiết bị giá 50.000–60.000 USD như ô tô, chi phí 0,5% cũng tác động lớn. Ví dụ biên lợi nhuận hoạt động của Ford là 2%, thì tăng chi phí 0,5% mỗi xe sẽ ăn mòn tới 25% lợi nhuận. Sản lượng xe mỗi năm tương đối thấp, còn yêu cầu chip lại khắt khe nên giá linh kiện tất yếu cao. Cập nhật A/B cũng không phải lời giải hoàn hảo, và nếu cấu hình sai thì vẫn có thể rơi vào vòng lặp vô hạn
  • Tôi từng nghe nói trong ngành ô tô, người ta còn nhạy cảm ngay cả với mức dưới $5 cho mỗi thiết bị. Có thể bản thân cập nhật A/B đã bị loại khỏi spec, hoặc kích thước OTA tăng lên khiến chạm giới hạn dung lượng. Muốn an toàn hơn thì có nơi dùng cả A/B/A (B là OS tối giản), nhưng thực tế thường khó làm vì thiếu thời gian phát triển
  • Có nơi còn dùng A/B cho cả thiết bị 100 USD, nên khả năng cao vấn đề này không phải cắt giảm chi phí mà là vấn đề ưu tiên và năng lực. Có thể spec đã thiếu cơ chế an toàn khi cập nhật, rồi áp lực tiến độ và việc né trách nhiệm cứ lặp đi lặp lại nên mới xảy ra tai nạn như thế này. Thực tế vụ này không phải brick mà là bug nghiêm trọng xảy ra trong lúc xe đang chạy
• Tôi từng thuê một chiếc Jeep Wagoneer, và hệ thống điện tử của nó quá tệ nên chuyện này cũng chẳng có gì đáng ngạc nhiên. Sang ngày thứ hai thì cửa cốp điện không đóng được, dashboard hiện thông báo lỗi, còn khóa điện tử hoàn toàn không hoạt động. Tìm trên mạng thì thấy có rất nhiều người gặp đúng hiện tượng này và đều được bảo phải cập nhật phần mềm, mà cũng không có cách nhả thủ công. Vì chi nhánh công ty cho thuê ở gần nên tôi đổi xe, nhưng sau đó vẫn tiếp tục gặp đủ loại vấn đề
  • Khi sạc bằng bộ sạc Steam Deck ở hàng ghế sau, toàn bộ bảng đồng hồ cùng hệ thống infotainment cứ tắt rồi bật lại liên tục
  • Ghế lái hạ xuống để dễ bước ra ngoài, nhưng không tự trở về đúng vị trí nên ngày càng trượt lùi ra sau
  • Có cảnh báo lỗi latch hàng ghế sau không thể tắt hẳn, dù latch hoàn toàn bình thường
  • Đèn cảnh báo TPMS lúc hiện lúc mất (tín hiệu kém)
  • Lỗi liên quan đến cruise control xuất hiện ngẫu nhiên
  • Phanh tay điện tử tự động kích hoạt khi dừng tạm trong bãi đỗ xe
  • Hệ thống làm mát hoạt động kỳ quặc, khiến trong xe nóng hoặc điều hòa không chạy
  • Trên mạng có rất nhiều người gặp các vấn đề tương tự hoặc còn nghiêm trọng hơn. Thật khó tin một chiếc xe mới giá 80.000 USD lại có những lỗi như vậy
  • Gần đây trong một chuyến du lịch gia đình, tôi đã phải đổi tới 4 chiếc Grand Wagoneer, và chiếc nào cũng có lỗi nghiêm trọng
  • Jeep và Stellantis/Dodge thực sự quá tệ về kiểm soát chất lượng và thiết kế điện-điện tử. Họ có cộng đồng fan rất đông, nhưng cũng có xu hướng tô hồng các lỗi lặp đi lặp lại. Mua những chiếc xe như vậy chẳng khác nào tự làm khổ mình
• Việc cập nhật OTA cho các bộ phận cốt lõi như ECU là một rủi ro thật sự khó mà chấp nhận được. Nếu đúng là bất khả kháng phải làm, thì theo tôi nhất định phải thực hiện ở đại lý với chuyên gia đã sẵn sàng phương án rollback. Các hãng xe đang tự động hóa mọi thứ để kiếm tiền từ dịch vụ thuê bao, và bắt đầu làm tổn hại tới an toàn của người tiêu dùng; cũng vì thế mà những người mê xe như tôi lại thích xe đời cũ hơn
• Sự cố này xảy ra chưa đầy 2 tuần sau khi Stellantis gần đây ép áp dụng quy trình kỹ thuật 'vibe coding' (tin liên quan)
  • Nhưng để có thể được đẩy OTA ra đội xe thực tế, thì ít nhất code đó phải được viết từ trước hơn 2 tuần rồi
• Tôi đã chạy Jeep vài tháng, và cộng đồng thì tập trung toàn bộ vào độ chế (mod), nhưng điều làm tôi khó chịu là OS lại là hệ đóng do SiriusXM phát triển. Jeep Wrangler lẽ ra phải là chiếc xe lý tưởng nhất để tối ưu cho mã nguồn mở mới đúng
  • Không phải là trong giới độ Wrangler không có hoạt động hack phần mềm. Dựa trên những gì được giới thiệu trong bài trên diễn đàn này, thậm chí còn đã có sản phẩm thương mại được tung ra. Chỉ là tôi vẫn chưa thấy firmware head unit bị phá được cho ra hồn
  • Chẳng phải Jeep là công ty từng đưa vào hệ thống quảng cáo infotainment hiển thị pop-up khi dừng đèn đỏ sao? Nhà sản xuất chắc chắn sẽ không muốn một OS mã nguồn mở giúp người dùng né được mấy quảng cáo đó
• Tôi không hiểu vì sao một bản cập nhật OTA lại có thể khiến cả chiếc xe bị brick. Tôi cứ nghĩ hệ thống infotainment và hệ thống vận hành phải được tách biệt hoàn toàn chứ
  • Kết luận đó bắt đầu từ giả định đây chỉ là OTA cho infotainment. Thực ra đây là OTA cho toàn bộ xe. Nó có thể đụng tới infotainment, ECU, ECM, TCM, BCM; các đợt triệu hồi lớn cũng được xử lý qua OTA, nên cũng không thể cấm cập nhật các hệ thống cốt lõi. Tính tới năm 2025, đa số hãng xe đều đã có khả năng OTA như vậy
  • Gốc rễ của kiểu sự cố này là cắt giảm chi phí. Cả cụm đồng hồ lẫn infotainment đều được thay từ analog sang màn hình để sản xuất rẻ hơn. Phần mềm cũng bị ghép vá từ nhiều chỗ theo kiểu “không viết lại, chỉ tái sử dụng”, nên kiểm thử tích hợp tất yếu yếu kém. Trong thời đại xe điện, mỗi motor controller còn có phần mềm riêng, và OTA thậm chí có thể ghi đè cả chúng. Có lẽ chỉ Toyota là đỡ gặp vấn đề hơn vì đã tích lũy kinh nghiệm từ lâu
  • Vì ngay cả các thông tin thường ngày như tắt nhạc khi cảm biến đỗ xe hoạt động, hiển thị lượng xăng hoặc pin còn lại, v.v. cũng đòi hỏi hệ thống vận hành và infotainment tương tác với nhau, nên không thể tách biệt hoàn toàn
  • Trước đây tôi từng có chiếc Tahoe bị brick hệ thống infotainment vì OTA. Sau đó camera lùi cũng hoàn toàn không hoạt động, ngay cả tiếng xi-nhan cũng không phát ra, khiến tôi tốn gần $2,000 tiền kéo xe và sửa chữa mà warranty cũng không chi trả. Vì vậy từ nay tôi sẽ tắt mọi cập nhật
  • Tesla đã tạo tiền lệ cho kiểu OTA tích hợp này, và sau đó phần lớn hãng xe cũng đi theo. Volvo cũng đang gặp những vấn đề tương tự
• Tôi không hiểu vì sao hệ thống infotainment lại gây ra nhiều rắc rối cho các kỹ sư đến vậy. Với Mazda 3 (2018), thậm chí còn có cả vụ kiện tập thể. Sau nhiều năm hoạt động bình thường, nó bỗng nhiên phản hồi menu ngẫu nhiên, tự bấm nút, rồi treo trong nhiều ngày hay nhiều tháng trước khi tái diễn. Cuối cùng tôi phải ngắt kết nối mọi thiết bị và chỉ nghe radio khi lái xe
  • Gốc rễ là vì không có tích hợp dọc ngay từ đầu, mà có tới hơn 20.000 ECU riêng lẻ theo từng chức năng, lại còn bị giao thầu theo kiểu ép giá đến tận cùng nên từng cái đều bị cắt giảm chi phí tối đa. Và đó là kết quả của việc các nhà sản xuất “truyền thống” cùng nhà cung cấp tier 1 gần như không mấy quan tâm đến việc đưa đổi mới phần mềm vào
  • Gần đây tôi thử kết nối điện thoại Android với một chiếc Mercedes qua Bluetooth, và dù là thương hiệu “hạng sang”, tôi vẫn phát hiện tới 5 lỗi GUI chỉ trong bước thiết lập. Tổng thể hoàn thiện của xe thì ổn, nhưng chất lượng phần mềm rõ ràng là vấn đề của ý chí. (Nhân tiện, UI của set-top box cũng chậm vô lý so với cấu hình phần cứng)
  • Những vấn đề này đơn giản là do outsourcing và cắt giảm chi phí. Không có tích hợp dọc, và mọi thứ được giao cho nhà thầu ngoài rẻ nhất
  • Tôi từng làm ở một công ty phát triển phần mềm infotainment, và những hệ thống đó là đỉnh cao của cắt giảm chi phí. RAM tối thiểu, CPU tối thiểu, màn hình ọp ẹp, thậm chí cả trên xe cao cấp cũng vậy. Từ xưa radio ô tô đã là biểu tượng của cắt giảm chi phí rồi
  • Không giống mảng điện thoại ra sản phẩm mới hằng năm, một thiết bị trên xe phải sống hơn mười năm, và vẫn phải đảm bảo hoạt động nhất quán với số nhân lực tối thiểu
• Tôi chưa từng nghe nhiều về trường hợp Tesla OTA làm brick toàn bộ xe theo nghĩa thật sự không thể di chuyển được. Tôi hiểu là Tesla thiết kế theo cấu trúc dual BIOS, kiểu như dual BIOS trên motherboard
  • Tôi đã theo dõi cộng đồng Tesla hơn 10 năm nhưng chưa thấy trường hợp bị brick do OTA. Đa phần chỉ là mọi người khó chịu vì xe đang cập nhật đúng lúc họ đột nhiên cần ra ngoài gấp
  • Tesla làm HIL testing rất nhiều, và cách tiếp cận kiểm thử tổng thể của họ cũng theo kiểu công ty phần mềm hơn là nhà sản xuất ô tô
  • Thực tế nếu tìm trên Google thì không phải không có trường hợp Tesla OTA brick xe. Ví dụ liên quan
• Liên kết tham khảo thảo luận cuối tuần