- Cháy phòng máy chủ của National Information Resources Service (NIRS) tại Daejeon đã khiến dữ liệu trên đám mây G-Drive của chính phủ bị mất hoàn toàn
- Vấn đề là các tệp công việc riêng lẻ của khoảng 750.000 công chức đã bị xóa vĩnh viễn
- Điểm yếu chí mạng là hệ thống không có sao lưu bên ngoài do sử dụng cấu trúc lưu trữ dung lượng lớn, hiệu năng thấp
- Một số bộ ngành, đặc biệt là Ministry of Personnel Management, chịu thiệt hại nghiêm trọng và khả năng khôi phục rất hạn chế
- Chỉ trích đối với hệ thống quản lý dữ liệu đang gia tăng, cùng với yêu cầu ngăn sự cố tái diễn
Tổng quan vụ hệ thống lưu trữ đám mây của chính phủ bị phá hủy do cháy tại NIRS
- Vụ cháy xảy ra ngày 27 tháng 9 tại tòa nhà chính của National Information Resources Service (NIRS) ở Daejeon đã phá hủy hệ thống lưu trữ đám mây G-Drive của chính phủ
- Theo thông báo của Ministry of the Interior and Safety, toàn bộ các tệp công việc do 750.000 công chức lưu riêng đã bị xóa sạch
Thiệt hại và tác động
- Đám cháy bùng phát tại phòng máy chủ ở tầng 5 của trung tâm, gây hư hại nghiêm trọng cho 96 hệ thống thông tin thiết yếu đối với hoạt động của chính phủ trung ương và nền tảng G-Drive
- G-Drive, được triển khai từ năm 2018, buộc công chức phải lưu toàn bộ tài liệu công việc lên đám mây thay vì trên PC cá nhân
- Cấu trúc cung cấp khoảng 30GB dung lượng cho mỗi người
Thiếu sót trong sao lưu và nguyên nhân mất dữ liệu vĩnh viễn
- Hệ thống được thiết kế theo mô hình không thực hiện sao lưu bên ngoài do cấu trúc lưu trữ dung lượng lớn, hiệu năng thấp
- Giới hạn mang tính cấu trúc này đã dẫn đến tình trạng không thể khôi phục dữ liệu sau vụ cháy
Khác biệt về thiệt hại giữa các cơ quan
- Mức độ thiệt hại khác nhau tùy cơ quan
- Ministry of Personnel Management chịu thiệt hại lớn nhất do bắt buộc lưu mọi tài liệu vào G-Drive
- Một số cơ quan như Office for Government Policy Coordination chịu ảnh hưởng tương đối ít hơn
Nỗ lực khôi phục và giới hạn
- Trong khoảng một tháng gần đây, các bộ ngành đang tiến hành khôi phục có giới hạn bằng dữ liệu thay thế như tệp lưu trên PC cá nhân, email, văn bản chính thức và hồ sơ in ấn
- Một phần tài liệu được tạo qua phê duyệt và báo cáo chính thức cũng được lưu trong hệ thống Onnara, nên nếu hệ thống này được khôi phục thì vẫn có khả năng thu hồi một phần dữ liệu
Những chỉ trích đối với hệ thống quản lý dữ liệu
- Thông thường, phần lớn hệ thống đều được sao lưu hằng ngày sang thiết bị riêng trong trung tâm và cơ sở sao lưu từ xa, nhưng G-Drive lại có điểm yếu bất thường là không thể sao lưu ra bên ngoài do hạn chế kiến trúc
- Sự cố lần này đang làm gia tăng chỉ trích đối với hệ thống bảo mật và quản lý dữ liệu của chính phủ, đồng thời làm dấy lên nhu cầu phải xây dựng biện pháp ngăn tái diễn
1 bình luận
Ý kiến Hacker News
Tôi thấy phẫn nộ vì chuyện không có bản sao lưu, nhưng trước khi quy trách nhiệm thực sự thì tôi muốn biết thêm về tình hình
Tôi nhớ khi làm phụ trách máy tính đầu tiên vào giai đoạn 1990~1991, người cố vấn từng nói với tôi rằng: "Việc của cậu là kiểm tra xem sao lưu có chạy ổn không, còn lại chỉ là phụ"
Khi đó hệ thống sao lưu bằng băng đã quá tải nên chúng tôi bắt đầu sao chép dữ liệu quan trọng giữa hai địa điểm qua modem 14400bps, và tôi đã để lại các bản ghi nhớ hằng tháng yêu cầu một hệ thống sao lưu hoạt động được, nhưng công ty phớt lờ vì vấn đề chi phí
Khi ổ cứng máy chủ hỏng, có vẻ là lỗi vòng bi nên tôi mở vỏ ổ và dùng ngón tay xoay platter để cầm cự thêm vài tuần, tôi còn để quản lý tận mắt chứng kiến để cho thấy mức độ nghiêm trọng, cuối cùng họ mua ổ mới nhưng vẫn không chịu mua thêm ổ để mirroring
Chỉ một tháng sau khi tôi nghỉ việc, sự cố máy chủ xảy ra và họ định đổ lỗi cho tôi, nhưng người kế nhiệm đã tìm thấy chồng ghi chú tôi để lại nên có thể làm rõ tình hình
Tôi thích việc ở phần cuối bài có ghi rõ rằng
Thực tế bản thân công nghệ LLM ban đầu đúng là được phát triển cho mục đích dịch thuật
Nghiên cứu được thúc đẩy bởi nhu cầu tạo ra mô hình có thể xử lý ngữ cảnh, rồi sau đó mới trở nên hữu ích ở nhiều lĩnh vực khác
Trong ngành dịch, công nghệ dựa trên LLM đã được dùng hiệu quả hơn 5 năm nay
Tôi đã dịch theo cách này nhiều năm rồi, ngay cả trước thời LLM, giữa những ngôn ngữ mà tôi thông thạo, việc chạy dịch máy trước rồi sửa vẫn nhanh hơn rất nhiều so với việc tự dịch từ đầu
(Dịch máy có phải là LLM hay không thật ra không phải vấn đề lớn trong quy trình dịch thực tế)
Tôi vẫn cho rằng kết quả đó hoàn toàn vô dụng
Xem bài viết về việc AI đã cướp mất công việc biên dịch của tôi
Chia sẻ liên kết liên quan
Nhìn vào dòng thời gian thì thật rợn người
Chính ngày xảy ra vụ cháy lại là ngày dự kiến bắt đầu đợt kiểm tra hiện trường của chính phủ (liên quan đến hack từ Trung Quốc/Bắc Triều Tiên)
Trích bài viết
Đọc những tư liệu biên niên kiểu này khiến người ta từ bỏ ý định đứng lên nói điều đúng đắn trước quyền lực
Chỉ thấy nên xóa dữ liệu, tiêu hủy thiết bị rồi lên xe buýt đi sang thành phố khác tìm nghề khác thì hơn
Nếu nhìn theo hướng tích cực thì về mặt kỹ thuật rất có thể vẫn có sao lưu (xem mục 1.3)
Chỉ có điều vấn đề là tin đồn cho rằng bản sao lưu đó nằm ở Bắc Triều Tiên hoặc Trung Quốc
Thật sốc
Đây không phải điểm quan trọng nhất của bài, nhưng tôi không hiểu vì sao ngay cả các tác giả bài viết cũng vẫn bênh Proton dù tài khoản của chính họ đã bị khóa
Dù đã có lời kể rằng một người thuộc cơ quan tình báo Hàn Quốc cảnh báo Proton không an toàn
Ngay cả nếu xét về kỹ thuật là hoàn toàn an toàn, điều đó vẫn cho thấy đây không phải công ty có la bàn đạo đức vững vàng như nhiều người tưởng
Có lẽ những quan chức chính phủ cho rằng không thể tin tưởng AWS/GCP/Azure thương mại sẽ phải im tiếng một thời gian
"Bộ Hành chính và An toàn giải thích rằng phần lớn hệ thống của trung tâm dữ liệu Daejeon đều được sao lưu hằng ngày sang thiết bị riêng biệt trong cùng trung tâm và sang cơ sở sao lưu tách biệt về mặt vật lý, nhưng do cấu trúc của G-Drive nên không thể sao lưu ra bên ngoài"
Tôi thấy đây đúng là tình huống vô lý đến khó tin
Theo tôi vấn đề ở đây không phải là từ chối dùng doanh nghiệp nước ngoài
Sự điên rồ về hành chính là ở chỗ vừa bắt buộc phải dùng lưu trữ ngoài, vừa lại không thực hiện sao lưu
Cháy nổ là loại rủi ro cơ bản nhất phải tính đến, thật khó tin là công tác quản trị lại tệ đến mức không chuẩn bị nổi cho việc này
Tôi đồng ý rằng việc vận hành một hệ thống quan trọng như vậy mà không có sao lưu là điều khó chấp nhận
Nhưng dù vậy, tôi vẫn cho rằng ở cấp chính phủ thì việc đặt dữ liệu quan trọng lên đám mây của nước ngoài là không phù hợp
Nếu dùng cloud thì việc tạo redundancy sẽ dễ hơn, nhưng đó không phải cách duy nhất
Ngay từ đầu khái niệm thiết kế đã sai, và đây là một cấu trúc không có dự phòng thực chất
Cách giải quyết đơn giản cho vấn đề này là đặt site sao lưu thứ cấp bằng snapmirror trên nhiều thiết bị netapp,
hoặc dùng các giải pháp mã nguồn mở như ZFS, DRBD cũng được
Giờ đây có rất nhiều lựa chọn như vậy mà gần như ai cũng có thể dùng
Người ta cứ nghĩ các công ty kiểu này sẽ không bao giờ mất dữ liệu, nhưng đã từng có chuyện trung tâm dữ liệu bị sét đánh hỏng hoàn toàn (bài liên quan)
Từ góc nhìn của chính phủ, dữ liệu không nên nằm trong môi trường do doanh nghiệp tư nhân của nước khác quản lý
Đó là vấn đề hoàn toàn tách biệt với chuyện sao lưu
Thực tế còn nghiêm trọng hơn
Theo bài báo khác, tổng toàn bộ dữ liệu G-Drive là 858TB
Tính toán có hơi khôi hài, nhưng nếu theo AWS S3 thì toàn bộ sao lưu có thể làm với 20.000 USD mỗi tháng (khoảng 20 triệu won)
Nếu hạ xuống “Glacier deep archive” thì chỉ tốn khoảng 900 USD mỗi tháng
Có sao lưu, nhưng tất cả đều nằm trong cùng một phòng máy chủ (bài 1, bài 2)
Không nên lấy 30GB mỗi người làm mức trung bình
Trên thực tế, mức sử dụng trung bình có lẽ chỉ khoảng 0,3GB
Bỏ qua phần bình luận dưới bài báo, chuyện có thật sự hoàn toàn không có sao lưu hay không vẫn chưa rõ
Có vẻ chắc chắn là không có sao lưu "bên ngoài", nhưng rất có thể vẫn có sao lưu "nội bộ"
Nếu không cho phép sao lưu mà dồn toàn bộ dữ liệu về một chỗ thì vừa dễ thành mục tiêu của tấn công từ bên ngoài, trong khi ở nội bộ lại thường có các thiết bị sao lưu vật lý như fire vault (két chống nổ, chống cháy), đó là trải nghiệm tôi từng thấy nhiều lần
Dĩ nhiên, nếu thật sự ngay cả loại thiết bị này cũng không có thì đó là một sai lầm cực lớn
Tham khảo thêm, ngay cả các bài báo khoa học từ vài chục năm trước cũng đã có ví dụ cho thấy việc xây dựng loại hạ tầng lưu trữ như vậy là khả thi (bài báo về dự án IBM)
Điều thú vị là vài tuần trước Nepal cũng đã có chuyện tương tự
Người biểu tình đốt một số tòa nhà chính phủ, khiến cả hạ tầng IT cũng bị phá hủy, kết cục là gần như toàn bộ dữ liệu điện tử bốc hơi
Tôi tự hỏi nếu những hồ sơ đó vẫn tồn tại dưới dạng analog thì kết quả có khác đi không
Ưu điểm của dữ liệu điện tử là có thể sao lưu, nhưng kể cả nếu chỉ vận hành bằng giấy tờ thì có lẽ tình hình cũng chẳng khá hơn
Không rõ họ có phải là những người yêu nước chống quyền uy hay không
Trong phim Blade Runner cũng đã có chuyện tương tự xảy ra
Vài ngày trước, trang đăng ký GKS (chương trình học bổng chính phủ Hàn Quốc dành cho sinh viên nước ngoài) đã không truy cập được suốt nhiều ngày, và thật sốc khi hóa ra dữ liệu thực sự đã mất sạch
Tôi nghĩ đây chính là cơ hội để xây dựng một hệ thống website tốt hơn
Hiện tại rất nhiều thông tin quan trọng ở Hàn Quốc đã biến mất trong chớp mắt, nên đây đang là chủ đề lớn trong cộng đồng và rất nhiều người đang nhắc tới
Tôi tin chắc rằng một phần đáng kể dữ liệu quý giá đã biến mất hoàn toàn, nhưng đồng thời tôi cũng mỉm cười khi nghĩ rằng bộ phận quản lý có thể đang phát đi thông báo kiểu: "Nếu có nhân sự shadow IT nào đã âm thầm vận hành cơ sở dữ liệu mirror không chính thức, thì nếu khai báo ngay bây giờ sẽ không bị truy cứu trách nhiệm"
Trước đây tôi cũng từng tự tạo bản sao lưu riêng, dù không chính thức, khi dữ liệu gốc của hệ thống thật sự quan trọng cứ liên tục thay đổi, hoặc máy chủ thường xuyên tắt, lỗi, hay rối loạn
Nhiều người nói vấn đề là do từ chối dùng cloud của Mỹ, nhưng tôi không nghĩ đó là cốt lõi
Tùy tình huống, việc tự vận hành hạ tầng riêng hoàn toàn có thể là quyết định hợp lý
Nhưng như trường hợp này, vấn đề lớn nhất là đã hy sinh "tính sẵn sàng" để ưu tiên bảo mật và quyền riêng tư
Rủi ro mất dữ liệu vì thảm họa vật lý (cháy, động đất) hoặc do con người gây ra luôn luôn tồn tại
Một hệ thống không thể ngăn các rủi ro như vậy thì tuyệt đối không nên được triển khai
Theo giải thích của Bộ Hành chính và An toàn, phần lớn hệ thống của trung tâm dữ liệu Daejeon đều có sao lưu ở nơi khác, nhưng G-Drive thì về mặt cấu trúc không thể sao lưu ra bên ngoài
Điều đó có nghĩa là họ đã biết rõ rủi ro nhưng vẫn quyết định chấp nhận, và kết quả giờ đã hiện ra như thế này