Hetzner hủy tài khoản Kiwix và tắt toàn bộ máy chủ
(mastodon.social/@kiwix)- Kiwix cho biết vào 00:00 Chủ nhật, ngày 1 tháng 12 năm 2024, dịch vụ hosting đã bị gián đoạn mà không có cảnh báo trước, khiến việc truy cập thư viện và tải tệp bị chặn
- Nguyên nhân là Hetzner đã hủy tài khoản Kiwix và tắt toàn bộ máy chủ; Kiwix đã kiểm tra cả thư mục spam nhưng không tìm thấy thông báo trước nào
- Sáng thứ Hai, Kiwix liên lạc được với Hetzner nhưng không xác định được lý do hủy; họ cũng nhận được câu trả lời rằng email mà Hetzner nói đã gửi không thể gửi lại
- Sau khi dữ liệu máy chủ đã bị xóa, Kiwix khôi phục khoảng 8TB từ các mirror không bị ảnh hưởng và máy mới của Scaleway; mất khoảng 48 giờ để đưa dịch vụ trở lại trực tuyến
- Trong email hủy được chia sẻ sau đó cũng không có lý do; Kiwix cho biết sau sự cố này họ sẽ xem xét các biện pháp bảo vệ mới trong giới hạn nguồn lực
Dịch vụ Kiwix bị ngắt lúc nửa đêm Chủ nhật
- Vào 00:00 Chủ nhật, ngày 1 tháng 12 năm 2024, hosting máy chủ của Kiwix bị gián đoạn mà không báo trước
- Kiwix cho biết vì việc này, họ không khuyến nghị sử dụng dịch vụ Hetzner Online
- Thời điểm máy chủ mất kết nối là nửa đêm Chủ nhật, và Kiwix cho rằng đây có vẻ là việc ngừng dịch vụ đã được Hetzner lên lịch
- Backend lưu trữ chính trở nên hoàn toàn không thể truy cập
- Người dùng thông thường không thể truy cập thư viện hoặc tải tệp
- Kiwix cũng không thể kết nối vào kho lưu trữ để kiểm tra nguyên nhân
Tài khoản bị hủy và dữ liệu máy chủ bị xóa ngay lập tức
- Kết quả kiểm tra cho thấy Hetzner đã hủy tài khoản Kiwix và tắt toàn bộ máy chủ
- Kiwix không nhận được cảnh báo trước, và cũng không tìm thấy thông báo liên quan trong thư mục spam
- Không có ai có thể liên lạc vào Chủ nhật; đến sáng thứ Hai họ mới liên hệ được với Hetzner
- Cuối cùng, lý do hủy không được giải thích
- Hetzner trả lời rằng họ đã gửi email
- Kiwix yêu cầu gửi lại, nhưng Hetzner trả lời rằng họ không thể gửi lại email đó
- Trong lúc đó, tất cả máy chủ đã bị xóa, nên Kiwix cho biết họ không có cách nào thu hồi dữ liệu
Khôi phục bằng mirror và Scaleway
- Kiwix vẫn còn các mirror không bị ảnh hưởng
- Máy mới được thuê từ một nhà cung cấp khác là Scaleway
- Sau đó, họ lập tức bắt đầu kéo dữ liệu trở lại máy chủ Master mới
- Tổng cộng mất khoảng 48 giờ để đưa khoảng 8TB dữ liệu trở lại trạng thái trực tuyến
Các điểm yếu vận hành lộ rõ và phản ứng tiếp theo
- Sự cố này giúp Kiwix nhận ra một số điểm yếu
- Đồng thời, họ cũng xác nhận rằng những người phụ trách hạ tầng có thể xoay chuyển tình hình trong thời gian tương đối nhanh
- Kiwix cho biết trong vài tuần hoặc vài tháng tới, họ sẽ xem xét cách triển khai các biện pháp bảo vệ mới trong giới hạn nguồn lực
Email hủy được chia sẻ muộn
- Sau đó Hetzner đã chia sẻ email hủy
- Email chỉ là thông báo đơn giản rằng tài khoản Kiwix sẽ bị đóng vào cuối tháng sau
- Không có lý do hủy, và theo cách diễn đạt thì Kiwix cho biết nó không tạo cảm giác rằng Kiwix đã vi phạm điều khoản dịch vụ của Hetzner
- Kiwix cho biết nhờ email này họ đã có thể khép lại sự việc và đi tiếp
- Kiwix nói thêm rằng việc công khai vấn đề trên Internet đã có hiệu quả
1 bình luận
Ý kiến trên Hacker News
Khi hỏi CTO rằng có bản sao lưu hay kế hoạch B không, câu trả lời thường là “Nó nằm trên AWS, cũng được sao lưu ở đó, và một công ty như AWS thì không thể sụp đổ được”
Vì vậy tôi hỏi lại rằng nếu tài khoản bị đóng thì sao. Ví dụ như tài khoản bị liên đới chỉ vì dùng cùng số điện thoại với một công ty bán hàng có vấn đề trên Amazon, hoặc trường hợp vài năm trước GCP phân loại nhầm hình ảnh trong Drive rồi đóng tài khoản
Bản sao lưu phải nằm ở một vị trí khác, và Terraform cũng phải được kiểm chứng trên một nhà cung cấp đám mây khác. Nếu không thì chẳng khác nào đặt cả công ty vào rủi ro
Nói thêm, tôi không có ý chỉ trích riêng Hetzner. Tôi đã dùng hơn 20 năm, trong thời gian đó từng có máy chủ riêng lẻ bị dừng, nhưng chưa bao giờ toàn bộ tài khoản bị hủy
Ban đầu họ bảo rời khỏi on-premise và không cần quan tâm chi phí, rồi sau đó nói phải trung lập với đám mây, nhưng khi hạn chót đến gần thì lại đổi thành “không cần quan tâm nợ kỹ thuật, hãy làm sao cho chạy trên AWS nhanh nhất có thể”
Giờ thì lại rối lên vì chi phí AWS, nên ngoài phát triển tính năng và bảo trì, chúng tôi còn phải gánh đồng thời “trung lập với đám mây” và “giảm chi phí dịch vụ trên mọi đám mây”. Vì nợ kỹ thuật và lỗi quá nhiều nên cả hai việc đều chậm đi ít nhất 10 lần
Có lẽ tôi phải nhanh chóng tìm việc mới. Ban điều hành và quản lý cấp cao đang vận hành công ty quá tệ. Mỗi ngày đều là những phản ứng ứng biến từ ai đó xa rời thực tế hoặc gần như không hiểu hệ thống hoạt động ra sao, còn các vấn đề về quy trình thì chỉ ngày càng nhiều mà chẳng giúp ích mấy cho việc giải quyết vấn đề thật
Thường sẽ nhận được câu trả lời kiểu “Đó là công cụ tích hợp sẵn, tại sao phải giả định nó bị hỏng?” Và rồi vài tháng hoặc vài năm sau, khi thử khôi phục, mới phát hiện dữ liệu thực sự quan trọng chưa từng được sao lưu
Đầu năm nay, Google Cloud đã vô tình xóa toàn bộ triển khai đám mây của một quỹ hưu trí ở Úc. Nếu muốn có sao lưu thật sự vững chắc, tôi nghĩ cuối cùng phải có thể quy về lưu trữ đối tượng, và phải đặt nó trên đám mây của một công ty khác
Hơn nữa, nó rất có thể bị bỏ đó mà không được kiểm thử, rồi trở nên vô dụng đúng lúc cần nhất
Tôi đã tự tay sao lưu toàn bộ, nhưng tình hình thật sự không ổn
Tôi để lại bình luận này vì đang có những thông tin không đúng sự thật lan truyền về vụ việc. Vào ngày 30/10/2024, chúng tôi đã gửi thông báo chấm dứt qua email, trong đó nêu rõ thời hạn theo điều khoản
Đội ngũ của chúng tôi đã liên hệ nhiều lần với khách hàng này và cũng có lưu hồ sơ truyền thông. Xin yên tâm rằng chúng tôi không tùy tiện đóng tài khoản. Luôn có lý do cụ thể và chính đáng, chẳng hạn như lạm dụng dịch vụ, vi phạm điều khoản, v.v.
Vì vậy, vui lòng tuân thủ các điều khoản: https://www.hetzner.com/legal/terms-and-conditions/. --Katie, Hetzner Online
Trong vài năm qua, trên mạng có nhiều người nói rằng Hetzner đã đóng tài khoản của họ mà không nêu lý do. Tôi nghĩ phần lớn trong số đó hẳn đã cố tình bỏ qua một số chi tiết để trông như không phải vi phạm điều khoản
Dù vậy, với tư cách là khách hàng của Hetzner, dù chỉ là khách hàng nhỏ, tôi muốn biết rằng những phàn nàn đó là vô căn cứ và tôi vẫn có thể tin tưởng công ty này
Các bạn hẳn phải có địa chỉ của chúng tôi, nhưng phòng khi nó đã bị “thất lạc”, vui lòng chuyển tiếp email ngày 30/10 tới contact @ kiwix.org
Dưới đây là điểm khởi đầu của chúng tôi; với mã tham chiếu này chắc các bạn sẽ dễ tìm:
Đặc biệt là nếu chỉ thông báo qua email, không có xác nhận đã nhận và cũng không thử phương thức liên hệ nào khác. Xóa vĩnh viễn dữ liệu ngay khi dịch vụ bị dừng có phải là quy trình tiêu chuẩn của quý công ty không?
Backup không phải là điểm cốt lõi ở đây. Tất nhiên backup là quan trọng, nhưng nếu Hetzner thật sự đã xóa dữ liệu vận hành mà không cảnh báo hay không có thời gian gia hạn để di chuyển, thì đó không phải là nền tảng đủ ổn định để xây dựng lên trên
Vì lý do này tôi chưa từng trở thành khách hàng của Google Cloud, và cho đến khi Hetzner nói rõ điều gì đã sai và họ sẽ làm gì để không bao giờ lặp lại sai lầm như vậy, tôi sẽ không triển khai server mới trên Hetzner
Hetzner, giờ bóng đang ở phía các bạn
Câu “bóng đang ở phía Hetzner” cũng không hẳn đúng. Nếu đọc điều khoản, trong đó có nội dung rằng họ có thể làm bất cứ điều gì với server
Điều khoản 2.7 nói rằng “ngoài ra, chúng tôi bảo lưu quyền chấm dứt quan hệ hợp đồng mà không cần thông báo trong trường hợp có lý do chính đáng”
Bất kỳ server nào của bất kỳ công ty nào cũng có thể làm chuyện tương tự. Có nhiều câu chuyện rằng Amazon cũng từng làm những việc tương tự, Google cũng vậy
Nếu không phải colocation hoặc bạn không tự sở hữu phần cứng, thì bạn có thể bị xử theo nhiều cách. Tôi sẽ không bao giờ tin tuyệt đối một nhà cung cấp dedicated server
Những lời phàn nàn rằng Hetzner đã dừng máy chủ của ai đó thường là do họ lưu trữ nội dung trái với điều khoản, hoặc vì lý do tương tự
Nhưng vụ này có vẻ là câu chuyện về Kiwix, tức “Wikipedia ngoại tuyến” dưới nhiều hình thức, và dường như không liên quan đến nội dung có vấn đề
Rốt cuộc chắc rồi cũng sẽ có góc nhìn từ phía Hetzner. Thường thì khi bên kia bắt đầu viết công khai, Hetzner cũng có xu hướng bắt đầu viết công khai về vấn đề
Cá nhân tôi đã dùng Hetzner hài lòng trong nhiều năm, và chưa gặp vấn đề nào không phải do lỗi của mình. Nhưng câu chuyện rằng máy chủ bị xóa vào nửa đêm Chủ nhật theo giờ Berlin, dữ liệu bị xóa ngay lập tức và không có biện pháp cứu vãn nghe khá mạnh tay. May là có vẻ cả tôi lẫn Kiwix đều có mirror cho dữ liệu quan trọng
Có thể họ phán đoán như vậy vì một chuỗi ký tự trong tên tệp tùy ý, hoặc như trường hợp một instance Mastodon gần đây, Hetzner cho là rủi ro chỉ vì người dùng có thể tải ảnh lên. Những tính năng như vậy rất phổ biến, và dù đã có moderation cùng chiến lược để xử lý nếu nội dung bất hợp pháp được đăng lên, nhân viên duyệt hôm đó lại quá nhạy cảm và không có cách khiếu nại
Người dùng trước tiên tải Kiwix hoặc tiện ích mở rộng trình duyệt, rồi sau đó dùng Kiwix để tải nội dung về xem ngoại tuyến [1]
“Backend kho lưu trữ chính của chúng tôi đã hoàn toàn không thể truy cập. Với người dùng thông thường, điều đó có nghĩa là họ không thể truy cập thư viện và tải tệp xuống; với chúng tôi, điều đó có nghĩa là chúng tôi cũng không thể kết nối để xem có chuyện gì sai” [2]
Có lẽ vài bức ảnh lạ đã được tải lên Wikimedia, rồi tự động đồng bộ sang máy chủ Hetzner và kích hoạt cảnh báo
Phần Hetzner xóa dữ liệu thì khó phán xét, nhưng việc họ không cố liên hệ đúng cách với đội Kiwix là một cách phản ứng thật sự kinh khủng. Dù hẳn họ biết đây là một đội đang cố làm điều tốt cho thế giới. Cùng một kiểu với Google âm thầm chặn quyền truy cập tài khoản của người dùng, hay các công ty Đức kiện nhà nghiên cứu đã báo cho họ lỗ hổng bảo mật
Hetzner nên biết xấu hổ
[0] https://en.wikipedia.org/wiki/Kiwix#Available_content
[1] https://en.wikipedia.org/wiki/Kiwix#Description
[2] https://mastodon.social/@kiwix/113622081750449356
Khoan đã, ý là Hetzner thật sự đã xóa toàn bộ dữ liệu mà không cảnh báo sao?
Chuyện này thật sự điên rồ và có thể giết chết một doanh nghiệp. Nó có thể gây thiệt hại chí mạng cho cả danh tiếng của Hetzner lẫn khách hàng
Nhưng họ rẻ, và đa số người dù có tìm hiểu công ty cũng sẽ không tìm thấy những người phàn nàn trên mạng, nên đáng tiếc là có vẻ họ không bị ảnh hưởng lớn
Thực tế rằng Hetzner có quyền như vậy và có thể xóa dữ liệu đến mức không thể khôi phục thật đáng sợ
Năm ngoái tôi cấu hình sai port cho một dịch vụ Docker, và ai đó đã lợi dụng để chạy trình quét port. Vì lúc đó tôi vắng nhà, nếu không kịp thấy email báo lạm dụng dịch vụ, vài ngày sau khi quay về có lẽ tôi đã gặp cảnh toàn bộ dữ liệu bị xóa hoặc hệ thống giám sát uptime báo động ầm ĩ
Các công ty Đức hỗ trợ khách hàng rất tệ. Ngay cả trong EU cũng vậy
Vì không có tài khoản Mastodon để trả lời trực tiếp, tôi để lại lời này cho người cần nghe
Tôi cũng từng gặp chuyện nội dung bị nhà cung cấp VPS gỡ xuống
Cách hiệu quả với tôi là dùng một nhà cung cấp VPS không được công chúng biết đến rộng rãi. Trong một thời gian, tôi dùng OVH vì băng thông không giới hạn và vì Wikipedia cùng Julian Assange dùng OVH. Không biết bây giờ còn vậy không, sau đó tôi đã chuyển nội dung sang ENS và IPFS
Dù nội dung thực sự được host ở đâu, tôi vẫn biến máy chủ “thật” của mình thành nguồn nội dung gốc và giấu nó khỏi bên ngoài. Tôi khóa bằng firewall để chỉ có thể truy cập từ các máy chủ proxy Squid dùng rồi bỏ, với file cấu hình 10 dòng
Sau đó tôi trỏ DNS, Cloudflare, v.v. về các node Squid, và không bận tâm nếu các node đó bị gỡ xuống. Vì có thể triển khai node mới ở nơi khác chỉ trong vài phút
Không phải là có “nội dung xấu”, chỉ là có một đối thủ kinh doanh tàn nhẫn cứ lao vào như Tonya Harding. Nội dung của bạn cũng không có vẻ quá gây hấn nên tôi chia sẻ
Trên các node VPS ở tuyến trước, chỉ cần đặt địa chỉ nội dung thật làm origin từ xa. Khi đó ngoài bạn ra không ai biết vị trí đó
Như vậy thông thường công ty hosting cũng sẽ không biết đó là gì, trừ khi họ lục lọi các file. Nếu họ làm vậy thì họ cũng tiêu đời
Bạn có thể truyền đạt điều này như một cách tránh kiểm duyệt, hoặc giữ riêng như thông tin độc quyền. Nếu cần ví dụ cấu hình Squid thì cho tôi biết. Thật sự nhiều lắm cũng chỉ 10 dòng, và trên Google cũng có nhiều ví dụ
Độ trễ cũng tăng nhiều, có thêm điểm lỗi, và phải đồng bộ IP “tuyến trước” với máy chủ “thật” để cho phép truy cập. Hơn nữa còn phải tìm hai nhà cung cấp đáng tin cậy, một cho hosting “thật” và một cho hosting “tuyến trước”. Nếu dùng cùng một nhà cung cấp thì sẽ gặp vấn đề như bài gốc
Nếu cách đó hoạt động tốt với bạn thì tốt và đáng chúc mừng, nhưng khó có thể xem là giải quyết được vấn đề của nhiều người. Tôi còn nghi ngờ liệu nó có thực sự giải quyết vấn đề của chính bạn không; về bản chất nó giống dùng thứ như Cloudflare/Akamai, nhưng tự dựng proxy thủ công trên VPS
Đây không phải lần đầu:
Tôi cũng có trải nghiệm tiêu cực ở đây. Khi ai đó gửi yêu cầu vi phạm bản quyền, Hetzner không liên hệ trước với khách hàng. Họ chỉ lập tức hạ server xuống và yêu cầu trả lời
Rõ ràng đó không phải là một quy trình tỉnh táo, và tôi không thể khuyên dùng Hetzner cho bất kỳ hệ thống vận hành nào
Mỗi lần thấy bài về Hetzner trên HN là tôi lại bực. Những công ty kiểu này nên bị đưa vào danh sách đen, không phải được quảng bá
Và tôi cũng tò mò website đó nói về gì. Tôi cũng từng nhận thông báo rằng phải trả lời trong vòng 24 giờ, nếu không họ sẽ xóa server. Nhưng vì tôi luôn trả lời và tuân thủ nên server chưa bao giờ bị xóa
Nếu không gỡ, việc đó sẽ chuyển xuống phía hạ tầng. Bạn có thể gỡ bài đăng, nhưng nhà cung cấp hosting không thể chỉ gỡ bài đăng, họ có thể hạ server. Và họ phải làm vậy. Vì nếu không, họ có nguy cơ bị phạt tiền hoặc đi tù
Giờ cần biết toàn bộ câu chuyện. Có một liên kết yêu cầu gỡ theo DMCA công khai và bạn thực sự đã xử lý yêu cầu, nhưng người báo cáo bỏ qua rồi đi thẳng tới Hetzner? Hay bạn vận hành máy chủ nội dung do người dùng tạo và làm qua loa kiểu “chắc ổn thôi”?
Tôi không nói bạn sai, nhưng bạn chỉ kể một phần rất nhỏ của câu chuyện
Hetzner đã đóng băng tài khoản của tôi vì tôi nợ họ 0,02 euro
Tôi không thể thanh toán bằng thẻ tín dụng VISA, thẻ ghi nợ VISA hay Amex, và họ yêu cầu chuyển khoản. Nhưng ngân hàng của tôi không cho chuyển 0,02 euro vì số tiền quá thấp
Chỉ vì bực mình, tôi đã tự xây datacenter của riêng mình
Nếu có chi tiết nào có thể chia sẻ thì tôi muốn nghe
Mọi người không muốn nghe điều này, nhưng hỗ trợ của Hetzner thật tệ
Chúng tôi duy trì tài khoản trong 2 năm và dùng nhiều máy chủ đấu giá; đã phải liên hệ hỗ trợ vài lần, nhưng lần nào họ cũng mở đầu cuộc trò chuyện bằng kiểu “đây không phải việc chúng tôi có thể giúp”
Họ được cho là chỉ hỗ trợ khi có hỏng hóc, nhưng ngay cả với các vấn đề kỹ thuật thực tế như NVMe chậm đến mức gần như đứng yên hoặc sự cố mạng tạm thời, họ cũng cố tỏ thái độ “chúng tôi không quan tâm” hết mức có thể
Vì vậy tháng trước chúng tôi đã hủy tài khoản
Tôi không thể tưởng tượng nổi nỗi khổ sẽ ập đến thế nào nếu họ xóa sạch toàn bộ dữ liệu của chúng tôi như đã làm với OP