Cloudflare gặp sự cố trên diện rộng ở nhiều dịch vụ

 (cloudflarestatus.com)
1 điểm bởi GN⁺ 2025-06-13 | 1 bình luận | Chia sẻ qua WhatsApp
  • Ngày 12/6/2025, Cloudflare bắt đầu gặp vấn đề lỗi xác thực Access và kết nối Zero Trust WARP, khiến sự cố lan sang nhiều dịch vụ cốt lõi; sự cố được giải quyết lúc 21:31 UTC
  • Do sự cố ở dịch vụ bên thứ ba, một phụ thuộc quan trọng, Workers KV bị ngoại tuyến, kéo theo ảnh hưởng dây chuyền đến các sản phẩm dùng nền tảng này để lưu trữ và phân phối thông tin
  • Phạm vi ảnh hưởng rất rộng, gồm Access, WARP, Browser Isolation, Browser Rendering, Workers KV, Workers AI, Stream, Turnstile, AI Gateway, AutoRAG, một phần Dashboard, v.v.
  • Đến 20:32 UTC, các dịch vụ trên toàn cầu đang phục hồi nhanh chóng; WARP và Turnstile đã ở trạng thái hoạt động nhưng vẫn còn một số ảnh hưởng tồn đọng
  • Đến 20:57 UTC, tất cả dịch vụ Cloudflare đã trở lại trạng thái hoạt động hoàn toàn, và Cloudflare chuyển sang giai đoạn xác nhận độ ổn định bằng cách theo dõi các chỉ số nền tảng

Diễn biến sự cố và quá trình khôi phục

  • Lúc 18:19 UTC, đội ngũ kỹ thuật Cloudflare bắt đầu điều tra vấn đề lỗi xác thực Access
    • Kết nối Cloudflare Zero Trust WARP cũng bị ảnh hưởng cùng lúc
  • Sau đó, lỗi gián đoạn không liên tục xuất hiện ở nhiều dịch vụ, và Cloudflare tiếp tục đánh giá phạm vi ảnh hưởng theo từng dịch vụ rồi cập nhật danh sách
  • Đến 19:12 UTC, một số dịch vụ bắt đầu được khôi phục, nhưng do quá trình xử lý thử lại và làm đầy cache, lỗi không liên tục vẫn có thể tiếp diễn trên toàn bộ các dịch vụ bị ảnh hưởng
  • Đến 20:32 UTC, quá trình khôi phục dịch vụ trên toàn cầu diễn ra nhanh chóng
    • WARP và Turnstile đã ở trạng thái hoạt động, nhưng vẫn còn ảnh hưởng tồn đọng ở quy mô nhỏ
    • Khi dịch vụ Workers KV cốt lõi được khôi phục, các sản phẩm phụ thuộc cũng quay lại trạng thái trực tuyến
  • Đến 20:57 UTC, tất cả dịch vụ Cloudflare đã ở trạng thái hoạt động hoàn toàn, và chuyển sang theo dõi để xác nhận độ ổn định liên tục
  • Lúc 21:31 UTC, sự kiện được đóng với trạng thái đã giải quyết

Dịch vụ bị ảnh hưởng và nguyên nhân

  • Dịch vụ Workers KV quan trọng của Cloudflare bị ngoại tuyến do sự cố ở dịch vụ bên thứ ba, vốn là phụ thuộc cốt lõi
  • Một số sản phẩm Cloudflare sử dụng dịch vụ KV để lưu trữ và phân phối thông tin rơi vào trạng thái không khả dụng
    • Access
    • WARP
    • Browser Isolation
    • Browser Rendering
    • Durable Objects dựa trên SQLite trong Durable Objects
    • Workers KV
    • Realtime
    • Workers AI
    • Stream
    • Một phần Cloudflare Dashboard
    • Turnstile
    • AI Gateway
    • AutoRAG
  • Danh sách dịch vụ bị ảnh hưởng bao gồm Access, Dashboard, Durable Objects, Realtime SFU, Realtime TURN Service, RealtimeKit, Stream, Waiting Room, Cloudflare One Client, Workers AI và Workers KV thuộc Cloudflare Sites and Services

Bài viết liên quan

1 bình luận

 
GN⁺ 2025-06-13
Ý kiến trên Hacker News
  • Nếu Workers KV, một dịch vụ cốt lõi của Cloudflare, bị sập do sự cố ở dịch vụ bên thứ ba là phụ thuộc chính, thì có nghĩa là một số dịch vụ phụ thuộc vào GCP
  • Trên https://downdetector.com/, có thể thấy sự cố ở nhiều công ty lớn như Google, Cloudflare, AWS, v.v.
    Tin đồn ngoài phố nói rằng đằng sau tất cả chuyện này là một vấn đề định tuyến BGP lớn
    • Nghe hợp lý. Tôi nhớ lần trước khi thấy chuyện tương tự, do BGP mà lưu lượng bị định tuyến sang Iran hoặc Trung Quốc
    • Internet Health Report hiển thị không có dữ liệu để hiển thị
      [1] https://www.ihr.live/
    • Anthropic cũng đã sập hoặc đang suy giảm hiệu năng. Đến lúc đi dạo rồi
  • GCP cũng sập https://news.ycombinator.com/item?id=44260810
    • Một sự trùng hợp kỳ lạ. Tò mò không biết Cloudflare có dùng GCP không
  • Chuyện này có vẻ sẽ là vấn đề lớn. Đã lâu rồi tôi chưa thấy sự cố trên diện rộng trải khắp nhiều dịch vụ như vậy
    • Giờ mọi người đều bỏ trứng vào chỉ vài cái giỏ, nên những chuyện như thế này dường như xảy ra khá định kỳ
  • Có ai đó đã triển khai cấu hình BGP sai à?
    • Với một sự cố lớn và rộng như thế này thì gần như nó phải là thủ phạm
  • Có vẻ sắp có một bài blog hoành tráng về việc họ đã cứu Internet ;)
    Hiện đang sập, nhưng liên kết tham khảo: https://blog.cloudflare.com/the-ddos-that-almost-broke-the-i...
  • Có vẻ không chỉ Workers mà cả tính năng hộp thoại “Verify you are human” cũng bị ảnh hưởng
    • Đúng vậy, KV cũng hỏng. Mọi Worker phụ thuộc vào KV đều đang ném ngoại lệ
      Vẫn vào được dashboard nhưng rất chậm. Tỷ lệ lỗi bắt đầu tăng mạnh từ khoảng 18:00 UTC
      Sửa: Trang trạng thái của CF cũng thừa nhận đây là sự cố trên diện rộng qua nhiều dịch vụ: https://www.cloudflarestatus.com/incidents/25r9t0vz99rp
    • Đúng là vậy. Một câu hỏi khác là vì sao ngay từ đầu luôn chỉ thấy những hộp thoại như thế này ở Cloudflare chứ không phải Akamai
  • Tiêu đề đã được đổi thành “Broad Cloudflare service outages”
  • Liệu có phải ngẫu nhiên không khi có bảo trì theo lịch ở Tokyo lúc 18:00 UTC, và sự cố bắt đầu lúc 18:19 UTC?
    • Không liên quan. Cloudflare có vài dịch vụ phụ thuộc vào GCP, mà GCP đã sập
      Dù vậy, chắc những người đang làm bảo trì ở Tokyo cũng tái mặt vì sợ chuyện này do mình gây ra
    • Có lẽ sẽ biết trong bản phân tích hậu sự cố. Điểm tốt duy nhất của những sự cố kiểu này là được học hỏi và giải trí qua những bài viết hay
    • Trang đó lúc nào cũng có bảo trì theo lịch, nên theo kinh nghiệm của tôi thì đó không phải tín hiệu gì đáng kể