Tuyên bố về sự cố đang diễn ra của SourceHut

Tình trạng khả dụng dịch vụ hiện tại

• sr.ht: ngoại tuyến
• meta.sr.ht: ngoại tuyến
• git.sr.ht: ngoại tuyến
• hg.sr.ht: ngoại tuyến
• todo.sr.ht: ngoại tuyến
• lists.sr.ht: ngoại tuyến
• paste.sr.ht: ngoại tuyến
• man.sr.ht: ngoại tuyến
• pages.sr.ht: ngoại tuyến
• builds.sr.ht: ngoại tuyến
• chat.sr.ht: ngoại tuyến
• Kho lưu trữ đối tượng hiện không khả dụng, vì vậy các bản phát hành đính kèm với thẻ git và hg cũng hiện không thể sử dụng.
• hg.sr.ht có các vấn đề hiệu năng đã biết và các vấn đề liên quan đến hg clone, và do được cộng đồng duy trì nên công việc khôi phục đang bị hoãn cho đến khi người bảo trì cộng đồng có thể tham gia.

Cập nhật 2024-01-13 14:17 UTC

• Cần tìm một nhà cung cấp transit mới và đang đàm phán với nhà cung cấp để giảm thiểu vấn đề.
• Công việc kỹ thuật sẽ sớm bắt đầu và sẽ thông báo nếu có thêm cập nhật.

Cập nhật 2024-01-13 13:00 UTC

• Nhà cung cấp transit mới thông báo rằng cuộc tấn công DDoS đã theo sang mạng mới.
• Nhà cung cấp đã triển khai các biện pháp giảm thiểu và không dự kiến sẽ có gián đoạn dịch vụ.

Cập nhật 2024-01-13 12:40 UTC

• Dịch vụ thư cho lists và todo đã được khôi phục.
• Các email đã chờ trong thời gian gián đoạn giờ sẽ tiếp tục được xử lý, và không cho rằng có email nào bị mất.

Cập nhật 2024-01-13 11:42 UTC

• Đã đưa pages.sr.ht vào phục vụ ở chế độ chỉ đọc.
• Tất cả các tên miền tùy chỉnh sẽ sớm hoạt động, ngoại trừ các tên miền tùy chỉnh dùng bản ghi apex.
• Người dùng bị ảnh hưởng sẽ cần can thiệp thủ công.

Cập nhật 2024-01-13 11:00 UTC

• Đã bật quyền truy cập đọc/ghi cho hầu hết các dịch vụ.
• hg vẫn ở chế độ chỉ đọc, còn todo và lists xử lý yêu cầu trên web nhưng hệ thống thư vẫn đang được triển khai tiếp.

Cập nhật 2024-01-13 09:26 UTC

• Đã đưa hg.sr.ht lên ở chế độ chỉ đọc.
• Đang làm việc để bật đọc/ghi cho các dịch vụ khả dụng hôm nay.
• Đã hoàn thành việc lấy phần chênh lệch từ bản sao lưu cho git.sr.ht, và phần chênh lệch cho hg cũng sắp hoàn tất.

Cập nhật 2024-01-12 20:49 UTC

• Đang thực hiện các bước hoàn tất cho mục tiêu của hôm nay.
• 7 dịch vụ chính đang chạy ở chế độ chỉ đọc.
• Các vấn đề trước đó liên quan đến git clone/fetch cũng đã được giải quyết.

Cập nhật 2024-01-12 16:38 UTC

• Đã đưa todo và lists lên trực tuyến ở chế độ chỉ đọc.

Cập nhật 2024-01-12 16:13 UTC

• Đã bắt đầu đưa một số dịch vụ trở lại trực tuyến.
• meta và git sẽ khả dụng theo tiến trình lan truyền DNS.

SourceHut là gì?

• SourceHut là công ty do Drew sáng lập và hiện đang bị gián đoạn.
• Vốn tự hào về độ tin cậy, SourceHut lần này đang trải qua sự cố nghiêm trọng và kéo dài nhất từ trước đến nay.
• Đội ngũ SourceHut đang nỗ lực hết sức để giải quyết vấn đề và khôi phục dịch vụ nhanh nhất có thể.

Chuyện gì đang xảy ra?

• Vào 06:30 UTC ngày 10 tháng 1, một cuộc tấn công từ chối dịch vụ phân tán (DDoS) nhắm vào SourceHut đã bắt đầu.
• SourceHut có thể xử lý các cuộc tấn công DDoS thông thường, nhưng cuộc tấn công lần này có quy mô vượt quá khả năng tự giảm thiểu của họ.
• Nhà cung cấp mạng cấp trên đã chặn hoàn toàn SourceHut, khiến cả Internet lẫn nhân viên SourceHut đều không thể truy cập máy chủ.
• Trung tâm dữ liệu PHL đã bị ảnh hưởng, và SourceHut đang thuê không gian colocate từ nhà cung cấp tại PHL.
• Sau khi nhà cung cấp ở PHL trải qua hai lần mua lại, tài khoản của SourceHut đã bị bỏ sót trong quá trình chuyển hệ thống ticket, khiến việc liên hệ với nhà cung cấp ban đầu bị chậm trễ.
• Khả dụng của SourceHut đã được khôi phục một phần vào tối 10 tháng 1, nhưng đầu ngày 11 tháng 1, khi DDoS leo thang, nhà cung cấp đã buộc phải chặn lại lần nữa.

Chúng tôi đang thực hiện những biện pháp gì?

• SourceHut duy trì ba site (PHL, FRE, AMS), trong đó PHL là site chính và hiện đang ngoại tuyến.
• Khi hoàn toàn không thể truy cập PHL, họ đã bắt đầu khôi phục từ bản sao lưu để triển khai song song SourceHut tại AMS.
• Triển vọng về mất mát dữ liệu người dùng là tích cực, vì các bản sao lưu hoạt động định kỳ và được kiểm thử.
• Các dịch vụ SourceHut đang được khôi phục tại AMS, và meta, todo, lists, paste cùng project hub đã hoạt động đầy đủ với dữ liệu môi trường sản xuất.
• Ưu tiên hiện tại là khôi phục các dịch vụ như git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht và builds.sr.ht.
• Mục tiêu là bật quyền truy cập chỉ đọc cho cộng đồng sớm nhất có thể, sau đó khôi phục đầy đủ quyền đọc/ghi.

Có thể giúp gì?

• Điều cần thiết nhất là sự kiên nhẫn và thông cảm.
• Việc giảm thiểu các cuộc tấn công như vậy giống như chạy marathon, và cần cẩn trọng để không khiến nhân viên kiệt sức.
• Có thể chia sẻ cập nhật và lời động viên trên Mastodon và kênh IRC #sr.ht của Libera Chat.

Ý kiến của GN⁺:

1. Tình hình hiện tại của SourceHut là một sự kiện quan trọng đối với cộng đồng mã nguồn mở và các nhà phát triển, cho thấy tính dễ tổn thương của ngay cả những dịch vụ đáng tin cậy và tầm quan trọng của kế hoạch ứng phó khẩn cấp.
2. Sự việc này nhấn mạnh mức độ nghiêm trọng của các cuộc tấn công DDoS và nhu cầu doanh nghiệp phải chuẩn bị cho các cuộc tấn công mạng quy mô lớn.
3. Việc đội ngũ SourceHut giao tiếp minh bạch và nỗ lực giải quyết vấn đề mang lại niềm tin cho người dùng, đồng thời cho thấy sự ủng hộ và kiên nhẫn của cộng đồng đóng vai trò quan trọng.

[GN⁺]

Ý kiến trên Hacker News

• Dịch vụ đã bị tấn công DDoS ngay sau khi nhận được yêu cầu từ cảnh sát Ấn Độ đòi cung cấp dữ liệu của một người dùng cụ thể. Cảnh sát Ấn Độ cho rằng việc này liên quan đến khủng bố, nhưng phía dịch vụ giải thích rằng cần có thủ tục pháp lý. Vài giờ sau, dịch vụ bị sập và tình trạng này kéo dài khoảng 12 giờ. Không có yêu cầu tiền chuộc nào, và họ cho rằng có ba khả năng: cảnh sát/chính phủ Ấn Độ, chính người dùng đó, hoặc hoàn toàn là trùng hợp.
• Khi làm việc tuần đầu tiên tại [một kho lưu trữ mã nguồn công khai lớn và nổi tiếng], họ đã bị tấn công bởi [một tác nhân cấp quốc gia]. Điều này được xem là một tín hiệu tích cực cho thấy các kho lưu trữ thay thế như SourceHut và Codeberg đã bắt đầu thu hút sự chú ý.
• Giờ thì đã biết vì sao Hacker News bị sập vào ngày 10 tháng 1. Đó là do biện pháp quá tay của Cogent nhằm giảm thiểu cuộc tấn công DDoS nhắm vào SourceHut.
• Bày tỏ sự tiếc nuối khi đội ngũ phải xử lý tình huống như vậy, đồng thời khen ngợi cách họ giao tiếp với khách hàng.
• Hy vọng nhân viên của sr.ht sẽ xử lý tốt quá trình di chuyển sang AMS; nhờ git có tính phân tán nên trong vài ngày qua, ngoài việc phát hành phần mềm mới, hầu như mọi công việc khác vẫn có thể tiếp tục.
• Khi liên hệ với CloudFlare, họ nhận được một mức giá không thể kham nổi về mặt tài chính, nhưng hiện đang tìm các giải pháp khác có thể công khai mà không làm lộ kế hoạch cho kẻ tấn công.
• Có vẻ như các trang web liên quan đến mã nguồn mở như Godot, codeberg, sourcehut đang trở thành mục tiêu bị tấn công.
• Drew, nhà sáng lập SourceHut, đã xin lỗi về việc dịch vụ bị gián đoạn và thừa nhận rằng với một SourceHut luôn tự hào về độ tin cậy, đây là lần ngừng hoạt động nghiêm trọng và kéo dài nhất từ trước đến nay. Toàn bộ nhân viên đang dốc hết sức để giải quyết vấn đề.
• Đặt câu hỏi về động cơ của cuộc tấn công DDoS. Vì sao lại có người thực hiện việc này dù phải đối mặt với nguy cơ bị truy tố hình sự? Trong trường hợp này, tống tiền hay phá hoại từ đối thủ cạnh tranh đều không có vẻ quá thuyết phục.
• Tự đặt cho mình câu hỏi: "Nếu trung tâm dữ liệu chính biến mất vào ngày mai thì sao?" và đang lập kế hoạch nghiêm túc cho tình huống đó. Đề xuất đặt bản sao và đồng bộ tại các trung tâm dữ liệu khác để chuẩn bị cho các tình huống ngoài dự kiến.