- Sự cố của nhiều dịch vụ Zoom vào ngày 16 tháng 4 năm 2025 bắt đầu từ việc phân giải tên miền
zoom.usthất bại, khiến khách hàng tại Mỹ và quốc tế không thể truy cập dịch vụ - Sự cố được ghi nhận lúc 11:25 PDT và khắc phục lúc 13:12, ảnh hưởng đến cổng web của Zoom Meetings, Zoom Phone, Zoom CX và Zoom Website
- Không có sự cố nội bộ về sản phẩm, bảo mật hay mạng của Zoom, cũng không có tấn công DDoS; nguyên nhân là lỗi giao tiếp giữa Markmonitor và GoDaddy Registry
- Người dùng đã ở trong cuộc họp hoặc cuộc gọi Zoom Phone từ trước không bị ảnh hưởng, nhưng các yêu cầu bắt đầu, tham gia, lên lịch có thể thất bại vì cần truy vấn DNS
- Zoom, Markmonitor và GoDaddy đã gỡ server block để khôi phục, đồng thời áp dụng registry lock cho tên miền
zoom.usđể ngăn tái diễn
Phạm vi và thời gian sự cố
- Sự cố ảnh hưởng đến việc truy cập nhiều dịch vụ Zoom do việc phân giải tên miền
zoom.usthất bại - Vấn đề dịch vụ được báo cáo vào 11:25 sáng PDT ngày 16 tháng 4 năm 2025 và được khắc phục vào 1:12 chiều PDT
- Khách hàng tại Mỹ và quốc tế không thể truy cập các dịch vụ Zoom
- Các dịch vụ bị ảnh hưởng:
- Zoom Meetings
- Cổng Web của Zoom Phone - Global
- Cổng Web của Zoom CX - Global
- Cổng Web của Zoom Website
Nguyên nhân và quá trình khôi phục
- Máy chủ tên miền của Zoom vẫn phản hồi yêu cầu bình thường
- Nguyên nhân thực tế là server block từ GoDaddy Registry, khiến tên miền
zoom.usrơi vào trạng thái không thể sử dụng- Khối chặn này phát sinh do lỗi giao tiếp giữa Markmonitor, đơn vị đăng ký tên miền của Zoom, và GoDaddy Registry
- Kết quả là GoDaddy Registry đã vô tình chấm dứt tên miền
zoom.us
- Trong thời gian sự cố, không có lỗi nội bộ về sản phẩm, bảo mật, mạng hay tấn công DDoS nào từ phía Zoom
- Người dùng cuối đã tham gia cuộc họp Zoom hoặc cuộc gọi Zoom Phone từ trước không bị ảnh hưởng
- Các thao tác bắt đầu, tham gia và lên lịch cuộc họp cần truy vấn DNS nên không thể hoàn tất bình thường
- Zoom, Markmonitor và GoDaddy đã xác định và gỡ server block để khôi phục dịch vụ của tên miền
zoom.us- Các bản ghi DNS được cache ở nhiều lớp và có thiết lập TTL, nên sau khi tên miền được kích hoạt lại, phải mất thêm vài phút để lan truyền trên toàn bộ hạ tầng Internet
Ngăn tái diễn và hành động cho người dùng
- GoDaddy Registry và Markmonitor đã áp dụng registry lock cho tên miền
zoom.usđể ngăn tái diễn- Khóa này hạn chế việc áp dụng lệnh server block đối với tên miền
zoom.us
- Khóa này hạn chế việc áp dụng lệnh server block đối với tên miền
- Người dùng vẫn còn gặp vấn đề kết nối có thể xóa DNS cache rồi kết nối lại
- Windows:
ipconfig /flushdns - Mac:
sudo dscacheutil -flushcache; sudo killall -HUP mDNSResponder
- Windows:
1 bình luận
Ý kiến Hacker News
Giá trị dịch vụ của MarkMonitor có vẻ đã giảm đi rất nhiều. MarkMonitor tự quảng bá là “nhà đăng ký được ICANN chứng nhận và là đơn vị dẫn đầu ngành từ năm 1999”
Lý do người ta trả rất nhiều tiền cho MarkMonitor là để họ không mắc những sai lầm như thế này khi xử lý các tên miền quan trọng, và lẽ ra GoDaddy không nên có chỗ chen vào ở đây
Nếu không thích điều đó thì lẽ ra nên dùng .com do Verisign vận hành
Trong khi đó Apple dùng “Nom-iq Ltd. dba COM LAUDE”, các công ty thuộc Meta dùng RegistrarSafe, còn Nvidia dùng SafeNames
Nếu cùng vấn đề này xảy ra với một startup nhỏ, có lẽ GoDaddy còn chẳng buồn tiếp chuyện
Ví dụ khi cần một địa chỉ thực tế trong quốc gia đó, MarkMonitor có thể dùng các văn phòng ở nhiều nước để đáp ứng yêu cầu rồi bán tên miền ccTLD cho khách hàng
Tôi hơi nghi ngờ tính hợp pháp của mô hình này, nhưng tôi không phải chuyên gia pháp lý
Hồi đó tôi đã thử thuyết phục công ty bỏ Zoom, nên quyết định xem trong vòng 2–3 giờ có thể tìm được bao nhiêu lỗ hổng bảo mật
Chỉ với binwalk và thông tin nguồn mở, tôi đã tìm ra 12 lỗi có thể xác nhận trong khoảng thời gian đó, và nghiêm trọng nhất là email đặt lại mật khẩu tài khoản GoDaddy của zoom.us lại là Gmail cá nhân của CEO Eric S Yuan
Khi thử đặt lại mật khẩu Gmail, tôi thấy không có xác thực hai bước, chỉ cần trả lời hai câu hỏi khôi phục về quê quán và số điện thoại; có thể tìm được đáp án từ thông tin công khai và nhận liên kết đặt lại, từ đó tiến tới quyền kiểm soát tên miền zoom.us
Tôi không tìm nổi một người nào trong đội bảo mật có thể giao tiếp bằng tiếng Anh, và Zoom mất 3 tháng để xác minh việc này rồi trả tổng cộng 800 USD tiền thưởng lỗi
Dù sao thì nhờ vụ đó mà công ty tôi cũng bỏ Zoom
Có lẽ là vào giai đoạn đầu khi Zoom mới bắt đầu nổi tiếng
GoDaddy là một tổ chức quá bất tài, không nên để họ quản lý bất cứ thứ gì quan trọng
Người ta trả rất nhiều tiền cho MarkMonitor chính là để ngăn những chuyện như thế này, và MarkMonitor lẽ ra phải có người phụ trách riêng cùng kênh liên lạc trực tiếp với GoDaddy
Ngay cả khi GoDaddy xử lý khác với yêu cầu, đây cũng là một sai lầm lớn từ phía MarkMonitor
Vài năm trước tôi từng dùng tên miền cấp cao nhất .us, nhưng rồi kết luận rằng không nên để tên miền của mình phụ thuộc vào mã quốc gia
Đó cũng là lý do tôi không dùng .io
Không có nghĩa là chuyện này không thể xảy ra với tên miền cấp cao nhất thông thường, nhưng tôi không hiểu sao lại giao thương hiệu của mình vào tay chính phủ theo cách đó
Theo tiêu chí này thì .eu có thể là ứng viên tốt hơn, nhưng cứ hỏi những chủ sở hữu tên miền ở Anh trước đây xem kết cục thế nào
Tên miền cấp cao nhất thông thường chỉ thêm vào một tầng bất tài bổ sung là công ty vận hành, và chính phủ nơi công ty đó đặt trụ sở vẫn có thể can thiệp
Ví dụ .nl cũng không do công chức chính phủ Hà Lan vận hành, mà nếu tôi nhớ đúng thì do một tổ chức phi lợi nhuận được vài người lập ra từ thập niên 80 quản lý
Các tên miền cấp cao nhất “thông thường” như .com rốt cuộc cũng vẫn thuộc thẩm quyền tài phán của Mỹ
Chưa có gì được quyết định, nhưng cũng chẳng cần phải treo sự bất định đó trên đầu
Tôi sống ở đây và sẽ còn sống ở đây, nên dùng tên miền quốc gia để đại diện cho bản thân và công việc của mình là khá phù hợp
.com bản thân nó cũng thuộc thẩm quyền của Mỹ và do Verisign vận hành
Chính vì khả năng như thế này mà Fastmail đã mua fastmail.com và chuyển khỏi tên miền fastmail.fm trước đây
.fm trông thì hay thật, nhưng họ từng vài lần bị offline vì sự cố máy chủ .fm, còn từ khi chuyển sang .com thì không còn gặp chuyện đó nữa
Thật ngạc nhiên khi có nhiều sự cố dịch vụ phát sinh chỉ vì làm ăn với GoDaddy đến vậy
GoDaddy đã mua mảng kinh doanh registry của Neustar vào năm 2020, đúng lúc mọi người đều đang phân tâm vì chuyện khác
Tôi không phải khách hàng, cũng không có ý định mua tên miền từ nước ngoài, và ngoài việc không thích cái tên GoDaddy thì tôi không có quan điểm quá chắc chắn về họ
Tôi đã nghe rất nhiều câu chuyện đáng sợ, nhưng cũng tự hỏi liệu đây có phải chỉ là phản xạ bài trừ tức thì hay không
Ở phía được Zoom client gọi tới nên dùng tên miền cấp 2 và cấp 3 khác nhau, đồng thời đa dạng hóa cả nhà đăng ký lẫn hạ tầng hosting
Thậm chí có thêm cả địa chỉ IP anycast dự phòng cho service discovery cũng tốt
Với số tiền mà những công ty như công ty chúng tôi phải trả, có thể kỳ vọng mức chuẩn bị kỹ thuật như vậy, và bây giờ sửa vẫn chưa muộn
#HugOps cho những nhân viên đang thức đêm xử lý sự cố
Nếu CEO của Zoom nói rằng “Tôi muốn nhận SLA credit vì sự cố trên toàn cầu do quý công ty gây ra”, thì có lẽ GoDaddy sẽ trả lời kiểu: “Chúng tôi rất xin lỗi. Chúng tôi có thể tặng một phiếu giảm giá 10 USD dùng một lần cho lần mua hoặc gia hạn tiếp theo”
Hầu hết các công ty đều hy vọng chỉ cần một cuộc gọi Zoom xin lỗi là đủ để giữ chân khách hàng, và trên thực tế phần lớn trường hợp cũng hiệu quả
Người ta vẫn chưa bàn đủ về mức độ bất đối xứng lớn thế nào giữa SLA credit và tác động doanh thu trong các sự cố từ một nhà cung cấp cụ thể, cũng như điều đó nên được phản ánh ra sao trong quyết định tự xây hay mua
Nếu làm vậy thì có nghĩa là trong trạng thái vận hành bình thường, biên lợi nhuận vốn đã chẳng còn bao nhiêu
SLA hữu ích hơn như một cách thoát khỏi hợp đồng dài hạn với một nhà cung cấp không đáng tin, hơn là để bù doanh thu bị mất vì sự cố
GoDaddy đã tệ suốt nhiều năm rồi, và với tôi đòn chí mạng là cách họ chặn ACME API nếu bạn không phải khách hàng hạng cao
Tôi sẽ không bao giờ tin tưởng họ
Nếu muốn như vậy thì cứ mua một gói bảo hiểm chuyên biệt từ công ty bảo hiểm cho chính sự cố đó và trả mức phí hằng năm gần tương đương
Ngay cả trong bài toán tự xây hay mua, thứ tự làm cũng thường tệ hơn thứ mua
Sản phẩm mua ngoài liên tục được sửa nhờ báo cáo lỗi từ khách hàng trên toàn thế giới, còn công cụ nội bộ thì hiếm khi được stress test và tôi luyện ngoài thực chiến đến mức đó
Có vẻ như đã xảy ra chuyện gì đó ở phía MarkMonitor. Có thể họ đã đánh dấu nhầm zoom.us là mạo danh thương hiệu, gửi khiếu nại bản quyền đến GoDaddy, đơn vị vận hành tên miền cấp cao nhất .us, và GoDaddy đã đình chỉ tên miền theo khiếu nại đó
Nếu MarkMonitor được nhắc đến mà hoàn toàn không có liên hệ nào khác, thì giả thuyết khiếu nại bản quyền sẽ thuyết phục hơn
Khi sự cố lần này xảy ra, tôi đã tưởng cuối cùng họ cũng “chuyển đổi” và có gì đó bị lỗi
Tôi cũng nghe nói hôm nay tài khoản Twitter @zoom_us đã bị xóa
Khiếu nại vi phạm bản quyền trên GitHub, YouTube và các nơi khác có thể bị lạm dụng, và thực tế là đang bị lạm dụng
Không biết từ khi nào xã hội lại mặc định suy đoán có tội
GoDaddy không phải chính phủ, nhưng chuyện này không thể chấp nhận được
Chỉ cần một người nhìn tên miền trong 3 giây cũng biết đây là false positive và không được gỡ bỏ
Phân tích sự cố của ThousandEyes: https://www.thousandeyes.com/blog/zoom-outage-analysis-april...
Ví dụ, họ giải thích DNS là gì nhưng lại không nói vì sao sự cố phát sinh, mà chỉ đưa ra mốc thời gian kèm bối cảnh hữu ích cho những người vẫn đang học DNS là gì và nó hoạt động ra sao