Dịch vụ NTP tại cơ sở Boulder của NIST bị mất điện

 (lists.nanog.org)
2 điểm bởi GN⁺ 2025-12-21 | 1 bình luận | Chia sẻ qua WhatsApp
  • Thang thời gian dựa trên đồng hồ nguyên tử tại cơ sở Boulder của NIST ở Mỹ đã ngừng hoạt động do sự cố mất điện kéo dài
  • Vì vậy, Boulder Internet Time Services đã mất chuẩn thời gian chính xác và dự kiến sẽ vô hiệu hóa các máy chủ để tránh phân phối thời gian sai
  • Các máy chủ bị ảnh hưởng gồm time-a-b.nist.gov, time-b-b.nist.gov, time-c-b.nist.gov, time-d-b.nist.gov, time-e-b.nist.gov, ntp-b.nist.gov
  • Nguyên nhân mất điện là đường dây điện bị hư hại do gió mạnh và việc cắt điện chủ động để phòng cháy rừng, cơ sở hiện đóng cửa ngoại trừ nhân sự khẩn cấp
  • Việc duy trì một số máy phát điện và đồng hồ maser hydro là yếu tố then chốt, đồng thời có đề cập đến khả năng căn chỉnh lại đồng hồ nội bộ sau khi có điện trở lại

Tình hình mất điện tại cơ sở Boulder của NIST

  • Cơ sở Boulder của NIST bị gián đoạn cấp điện từ khoảng 22:23 UTC ngày 17 tháng 12 năm 2025

    • Nguyên nhân là đường dây điện bị hư hại do gió mạnh và biện pháp cắt điện chủ động từ phía công ty điện lực để phòng cháy rừng
    • Điện vẫn chưa được khôi phục tại thời điểm bài viết được đăng, và cơ sở đang trong tình trạng hạn chế ra vào ngoại trừ nhân sự khẩn cấp

  • Sau khi mất điện, hạ tầng làm mát bằng bộ trao đổi nhiệt và phòng thiết bị mạng lần lượt ngừng hoạt động

    • Điều này khiến phần lớn hệ thống giám sát và điều khiển bị vô hiệu hóa

Ảnh hưởng đến dịch vụ NTP và thang thời gian

  • Thang thời gian dựa trên đồng hồ nguyên tử (atomic ensemble time scale) đã gặp sự cố do mất điện

    • Vì vậy, Boulder Internet Time Services không còn duy trì được chuẩn thời gian chính xác
    • Hiện các máy chủ vẫn đang chạy bằng máy phát điện dự phòng, nhưng sẽ được vô hiệu hóa để ngăn việc phân phối thời gian sai

  • Danh sách máy chủ bị ảnh hưởng

    • time-a-b.nist.gov
    • time-b-b.nist.gov
    • time-c-b.nist.gov
    • time-d-b.nist.gov
    • time-e-b.nist.gov
    • ntp-b.nist.gov (NTP được xác thực)

Khôi phục và biện pháp ứng phó

  • Thời gian dự kiến khôi phục chưa rõ, chưa thể xác định cho đến khi điện được khôi phục và nhân sự có thể tiếp cận
  • Hiện công việc đảm bảo nguồn điện thay thế đang được tiến hành trong lúc nguồn pin dự phòng của đồng hồ maser hydro (hydrogen maser clocks) vẫn còn được duy trì
  • Trong khi đó, nếu đồng hồ dự phòng dùng máy phát ở tòa nhà khác vẫn hoạt động bình thường, thì sau khi có điện trở lại có khả năng căn chỉnh lại đồng hồ nội bộ mà không cần chuẩn tham chiếu bên ngoài

Vận hành tại hiện trường và hạn chế tiếp cận

  • Cơ sở đã đóng cửa trong thứ Năm và thứ Sáu, và vẫn tiếp tục đóng cửa tại thời điểm bài viết được đăng
  • Đội vận hành cơ sở đã chủ động tắt một số hệ thống để bảo vệ hạ tầng làm mát và cấp điện

Ý nghĩa tổng thể

  • Sự cố lần này cho thấy mức độ phụ thuộc của dịch vụ thời gian chuẩn quốc gia vào hạ tầng vật lý
  • Tăng cường độ ổn định điện năng và hệ thống dự phòng đang nổi lên như nhiệm vụ then chốt đối với hạ tầng đồng bộ thời gian trong tương lai

Bài viết liên quan

1 bình luận

 
GN⁺ 2025-12-21
Ý kiến trên Hacker News

  • Tại hạt Boulder, các cơn gió giật đã đạt tới 125 dặm/giờ
    Công ty điện lực đã chủ động cắt điện trước để phòng cháy rừng và đã gửi cảnh báo trước cho cư dân
    Đáng tiếc là máy phát điện dự phòng của NIST đã không hoạt động

    • Điều thú vị là ngay cả nhân viên NIST cũng không thể tiếp cận hiện trường. Tôi nghĩ lẽ ra phải có kế hoạch ứng phó thảm họa cho tình huống như thế này
    • 4 năm trước, khu vực này đã xảy ra cháy Marshall, và Xcel đã dàn xếp bồi thường 680 triệu USD vì trách nhiệm trong vụ đó. Có vẻ lần này họ không muốn lặp lại sai lầm tương tự
    • Ở hạt Jefferson (cách Boulder khoảng 30 phút về phía nam), gió giật cũng thổi ở mức khoảng 80 dặm/giờ

  • Thời còn là sinh viên tôi không được học về NTP (Network Time Protocol), nên lần này tôi đã tìm đọc trang chính thức của người tạo ra nó là David L. Mills (1938–2024)
    Cũng có video ông hồi tưởng về lịch sử Internet và NTP

    • Ngay sau khi Mills qua đời, đã có một thảo luận liên quan trên HN
    • Đáng ngạc nhiên là The New Yorker cũng có bài viết về chủ đề này
    • Trong video, Mills nói rằng có thể dùng NTP để phát hiện sai lệch tần số và ứng dụng cho hệ thống cảnh báo sớm khi có cháy hoặc hỏng thiết bị làm mát. Tôi tò mò không biết đã có trường hợp triển khai thực tế nào chưa
    • Cũng có bình luận hỏi “+P” nghĩa là gì

  • Việc phải tắt trước hạ tầng làm mát là một điểm khá thú vị
    Có vẻ việc xây dựng song song một mạng công suất thấp, băng thông thấp để ứng phó với những tình huống như thế này sẽ hữu ích

  • Khuôn viên NIST đã đóng cửa vào ngày 19 tháng 12 do nguy cơ cháy và mất điện. Thông báo liên quan có trên trang chính thức
    WWV vẫn đang hoạt động và vẫn có thể truy cập qua điện thoại

    • WWV nằm ở vùng ngoại ô Fort Collins, cách Boulder khoảng 60 dặm về phía đông bắc

  • Tôi tò mò không biết mức độ ảnh hưởng lan rộng của sự cố này đến đâu. Khó hình dung đây chỉ là một sự cố tạm thời hay ở cấp độ như Y2K

    • Có một câu trả lời đùa rằng tốt nhất nên hoãn du hành thời gian lại lúc này
    • Google, AWS, Microsoft, Ubuntu và các bên khác đều vận hành đồng hồ nguyên tử và máy chủ thời gian riêng, nên có lẽ sẽ không có vấn đề lớn. Tuy vậy, một số dịch vụ phụ thuộc vào máy chủ NIST có thể gặp lỗi
    • NIST duy trì chuẩn thời gian ở nhiều khu vực. Miễn là thiết bị không bị hư hại, thì chỉ mất thêm chút thời gian để hiệu chuẩn lại với các chuẩn khác
    • Mạng NTP có hàng trăm đến hàng nghìn máy chủ dự phòng và đồng hồ tham chiếu, nên ảnh hưởng thực tế là rất nhỏ. Cùng lắm chỉ xuất hiện jitter cỡ vài micro giây
    • Có người còn đùa thêm rằng lúc này bài hát “Mấy giờ rồi?” có thể sẽ mất ý nghĩa

  • Trước đây tôi từng viết một truyện ngắn khoa học viễn tưởng, có lẽ là tác phẩm duy nhất lấy cảm hứng từ NTP
    Tên của nó là THE TIME RIFT OF 2100

  • Một tháng trước có bài viết nói về hiệu ứng nhiệt và độ trôi của đồng hồ, và tôi thấy bài này khá thú vị vì nó cho thấy rõ vị trí của WWVB
    Thảo luận liên quan ở đây

  • Tôi tự hỏi liệu có khả thi không nếu ngầm hóa (undergrounding) lưới điện của Boulder. Khu tôi ở đã được ngầm hóa từ những năm 1980 nên khá ổn định. Dù chi phí lớn, có lẽ vẫn đáng để giảm nguy cơ cháy rừng

    • Hạt Boulder thực sự đang triển khai dự án ngầm hóa, đặc biệt là đang thi công tại khu vực Chautauqua gần NIST theo thông báo này
    • Ngầm hóa không chỉ đơn giản là chôn cáp xuống đất; dưới lòng đường chúng còn phải được bọc trong ống dẫn bê tông, đồng thời phải cạnh tranh không gian với các hạ tầng khác như cống thoát nước và đường ống khí đốt.
      Cắt điện khi bão đi qua rồi kiểm tra và bật lại sau đó sẽ kinh tế hơn nhiều
    • Từ 1/3 đến 1/2 hóa đơn tiền điện là chi phí phân phối, trong đó lao động chiếm tỷ trọng lớn. Để ngầm hóa một khu vực đã tồn tại, còn phải qua các thủ tục phức tạp như phê duyệt quy định, mua đất, v.v.
    • Cáp ngầm cũng có vấn đề là khó sửa chữa và khó truy vết. Bài blog của Practical Engineering giải thích khá rõ về điều này

  • Tôi chợt nghĩ đến một điều. Nếu lấy thời gian trung bình của tất cả đồng hồ đeo tay trên thế giới thì nó sẽ gần với giờ NTP đến mức nào? Cần bao nhiêu chiếc đồng hồ để có được một biên sai số hợp lý?

    • Có người đùa rằng “Bạn chính là kiểu người mà Douglas Adams từng cảnh báo”
    • Đồng hồ Casio của tôi dường như được thiết kế để chạy nhanh hơn một chút. Điều đó chỉ hợp lý nếu giả định rằng các nhà sản xuất cố gắng tinh chỉnh sao cho chính xác nhất có thể trong điều kiện trung bình
    • Xét theo góc nhìn đo lường học thì có thể có được giá trị gần đúng, nhưng độ chính xác sẽ không đủ. Trên thực tế số đồng hồ đang được đeo chắc còn chưa tới 1 tỷ chiếc
    • Cũng có câu trả lời hài hước rằng “Chỉ cần một chiếc là đủ. Đó là đồng hồ của tổng thống”