Tuyên bố về sự cố đang diễn ra của SourceHut

Tình trạng khả dụng dịch vụ hiện tại

• sr.ht: ngoại tuyến
• meta.sr.ht: ngoại tuyến
• git.sr.ht: ngoại tuyến
• hg.sr.ht: ngoại tuyến
• todo.sr.ht: ngoại tuyến
• lists.sr.ht: ngoại tuyến
• paste.sr.ht: ngoại tuyến
• man.sr.ht: ngoại tuyến
• pages.sr.ht: ngoại tuyến
• builds.sr.ht: ngoại tuyến
• chat.sr.ht: ngoại tuyến
• Kho lưu trữ đối tượng hiện không khả dụng, vì vậy các bản phát hành đính kèm với thẻ git và hg cũng hiện không thể sử dụng.
• hg.sr.ht có các vấn đề hiệu năng đã biết và các vấn đề liên quan đến hg clone, và do được cộng đồng duy trì nên công việc khôi phục đang bị hoãn cho đến khi người bảo trì cộng đồng có thể tham gia.

Cập nhật 2024-01-13 14:17 UTC

• Cần tìm một nhà cung cấp transit mới và đang đàm phán với nhà cung cấp để giảm thiểu vấn đề.
• Công việc kỹ thuật sẽ sớm bắt đầu và sẽ thông báo nếu có thêm cập nhật.

Cập nhật 2024-01-13 13:00 UTC

• Nhà cung cấp transit mới thông báo rằng cuộc tấn công DDoS đã theo sang mạng mới.
• Nhà cung cấp đã triển khai các biện pháp giảm thiểu và không dự kiến sẽ có gián đoạn dịch vụ.

Cập nhật 2024-01-13 12:40 UTC

• Dịch vụ thư cho lists và todo đã được khôi phục.
• Các email đã chờ trong thời gian gián đoạn giờ sẽ tiếp tục được xử lý, và không cho rằng có email nào bị mất.

Cập nhật 2024-01-13 11:42 UTC

• Đã đưa pages.sr.ht vào phục vụ ở chế độ chỉ đọc.
• Tất cả các tên miền tùy chỉnh sẽ sớm hoạt động, ngoại trừ các tên miền tùy chỉnh dùng bản ghi apex.
• Người dùng bị ảnh hưởng sẽ cần can thiệp thủ công.

Cập nhật 2024-01-13 11:00 UTC

• Đã bật quyền truy cập đọc/ghi cho hầu hết các dịch vụ.
• hg vẫn ở chế độ chỉ đọc, còn todo và lists xử lý yêu cầu trên web nhưng hệ thống thư vẫn đang được triển khai tiếp.

Cập nhật 2024-01-13 09:26 UTC

• Đã đưa hg.sr.ht lên ở chế độ chỉ đọc.
• Đang làm việc để bật đọc/ghi cho các dịch vụ khả dụng hôm nay.
• Đã hoàn thành việc lấy phần chênh lệch từ bản sao lưu cho git.sr.ht, và phần chênh lệch cho hg cũng sắp hoàn tất.

Cập nhật 2024-01-12 20:49 UTC

• Đang thực hiện các bước hoàn tất cho mục tiêu của hôm nay.
• 7 dịch vụ chính đang chạy ở chế độ chỉ đọc.
• Các vấn đề trước đó liên quan đến git clone/fetch cũng đã được giải quyết.

Cập nhật 2024-01-12 16:38 UTC

• Đã đưa todo và lists lên trực tuyến ở chế độ chỉ đọc.

Cập nhật 2024-01-12 16:13 UTC

• Đã bắt đầu đưa một số dịch vụ trở lại trực tuyến.
• meta và git sẽ khả dụng theo tiến trình lan truyền DNS.

SourceHut là gì?

• SourceHut là công ty do Drew sáng lập và hiện đang bị gián đoạn.
• Vốn tự hào về độ tin cậy, SourceHut lần này đang trải qua sự cố nghiêm trọng và kéo dài nhất từ trước đến nay.
• Đội ngũ SourceHut đang nỗ lực hết sức để giải quyết vấn đề và khôi phục dịch vụ nhanh nhất có thể.

Chuyện gì đang xảy ra?

• Vào 06:30 UTC ngày 10 tháng 1, một cuộc tấn công từ chối dịch vụ phân tán (DDoS) nhắm vào SourceHut đã bắt đầu.
• SourceHut có thể xử lý các cuộc tấn công DDoS thông thường, nhưng cuộc tấn công lần này có quy mô vượt quá khả năng tự giảm thiểu của họ.
• Nhà cung cấp mạng cấp trên đã chặn hoàn toàn SourceHut, khiến cả Internet lẫn nhân viên SourceHut đều không thể truy cập máy chủ.
• Trung tâm dữ liệu PHL đã bị ảnh hưởng, và SourceHut đang thuê không gian colocate từ nhà cung cấp tại PHL.
• Sau khi nhà cung cấp ở PHL trải qua hai lần mua lại, tài khoản của SourceHut đã bị bỏ sót trong quá trình chuyển hệ thống ticket, khiến việc liên hệ với nhà cung cấp ban đầu bị chậm trễ.
• Khả dụng của SourceHut đã được khôi phục một phần vào tối 10 tháng 1, nhưng đầu ngày 11 tháng 1, khi DDoS leo thang, nhà cung cấp đã buộc phải chặn lại lần nữa.

Chúng tôi đang thực hiện những biện pháp gì?

• SourceHut duy trì ba site (PHL, FRE, AMS), trong đó PHL là site chính và hiện đang ngoại tuyến.
• Khi hoàn toàn không thể truy cập PHL, họ đã bắt đầu khôi phục từ bản sao lưu để triển khai song song SourceHut tại AMS.
• Triển vọng về mất mát dữ liệu người dùng là tích cực, vì các bản sao lưu hoạt động định kỳ và được kiểm thử.
• Các dịch vụ SourceHut đang được khôi phục tại AMS, và meta, todo, lists, paste cùng project hub đã hoạt động đầy đủ với dữ liệu môi trường sản xuất.
• Ưu tiên hiện tại là khôi phục các dịch vụ như git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht và builds.sr.ht.
• Mục tiêu là bật quyền truy cập chỉ đọc cho cộng đồng sớm nhất có thể, sau đó khôi phục đầy đủ quyền đọc/ghi.

Có thể giúp gì?

• Điều cần thiết nhất là sự kiên nhẫn và thông cảm.
• Việc giảm thiểu các cuộc tấn công như vậy giống như chạy marathon, và cần cẩn trọng để không khiến nhân viên kiệt sức.
• Có thể chia sẻ cập nhật và lời động viên trên Mastodon và kênh IRC #sr.ht của Libera Chat.

Ý kiến của GN⁺:

1. Tình hình hiện tại của SourceHut là một sự kiện quan trọng đối với cộng đồng mã nguồn mở và các nhà phát triển, cho thấy tính dễ tổn thương của ngay cả những dịch vụ đáng tin cậy và tầm quan trọng của kế hoạch ứng phó khẩn cấp.
2. Sự việc này nhấn mạnh mức độ nghiêm trọng của các cuộc tấn công DDoS và nhu cầu doanh nghiệp phải chuẩn bị cho các cuộc tấn công mạng quy mô lớn.
3. Việc đội ngũ SourceHut giao tiếp minh bạch và nỗ lực giải quyết vấn đề mang lại niềm tin cho người dùng, đồng thời cho thấy sự ủng hộ và kiên nhẫn của cộng đồng đóng vai trò quan trọng.

[GN⁺]

Ý kiến trên Hacker News

• Gần đây, một dịch vụ chúng tôi vận hành đã bị tấn công DDoS; ngay trước đó, một cơ quan cảnh sát Ấn Độ đã yêu cầu dữ liệu của một người dùng cụ thể.
  Họ nói là liên quan đến khủng bố, và khi chúng tôi giải thích chính sách rằng trong thẩm quyền của chúng tôi cần một quy trình pháp lý dài, thì chỉ trong vài giờ dịch vụ đã sập và kéo dài khoảng 12 giờ.
  Không có yêu cầu tiền chuộc; các nguyên nhân khả dĩ chỉ có ba: cảnh sát/chính phủ Ấn Độ, người dùng ban đầu, hoặc hoàn toàn ngẫu nhiên.
  Khi gặp chuyện như vậy, bạn sẽ nghĩ “điều này không nên có thể xảy ra”, và nó cho thấy đây là một cuộc chơi quá thiên về phía kẻ mạnh, dù họ bỏ mặc vấn đề hay trực tiếp tận dụng nó.

  • Tôi thắc mắc có thể chắc chắn đến mức nào rằng yêu cầu đó thực sự đến từ cảnh sát Ấn Độ.
    Có thể đó là một người khác, tức giận một cách phi lý vì không lấy được dữ liệu mình muốn, chăng?
  • Gần đây chúng tôi cũng bị DDoS, và mỗi lần như vậy lại tự hỏi ai được lợi, hoặc thậm chí ai quan tâm đến chúng tôi.
    Không biết đó là đối thủ cạnh tranh, một người rảnh rỗi, hay khách hàng bất mãn; và rất có thể sẽ chẳng bao giờ biết.
  • Điều quan trọng là đó là cơ quan cảnh sát nào.
    Cũng có những tổ chức quân sự/an ninh nội địa có chữ “Police” trong tên như CRPF hay ITBP, và nếu thuộc MHA thì việc nằm trong phạm vi “an ninh quốc gia” cũng không có gì đáng ngạc nhiên.
  • Điều đáng ngạc nhiên là dịch vụ đó dường như chưa có bất kỳ hình thức phòng vệ DDoS nào.
    Với dịch vụ công khai, đây gần như đã là tiêu chuẩn từ 10–20 năm trước; nếu là dịch vụ nhỏ thì Cloudflare cũng miễn phí hoặc rẻ, và còn nhiều lựa chọn khác.
    Nên giả định rằng có thể bị DDoS ngẫu nhiên ngay sau khi ra mắt; ngay cả khi tìm ra kẻ tấn công thì khả năng truy vết và trừng phạt gần như bằng không.
    Kết luận rút ra ở đây không phải là “điều này không nên có thể xảy ra”, mà gần hơn với “đây là chuyện đã phổ biến suốt nhiều thập kỷ và sẽ tiếp tục xảy ra, nên phải chuẩn bị cho lần sau”.
    Dù là một cơ quan địa phương tham nhũng hay một script kiddie, chừng nào một nửa thế giới còn kết nối bằng những thiết bị tệ hại thì DDoS vẫn sẽ tiếp diễn.
  • Tôi không nghĩ cảnh sát Ấn Độ có khả năng đủ giỏi để DDoS dịch vụ đó.

• Trong tuần đầu tiên vào làm tại [một nền tảng lưu trữ mã nguồn công khai lớn], tôi đã bị [tác nhân cấp quốc gia] tấn công, có lẽ vì chúng tôi lưu trữ thứ gì đó mà [quốc gia] không thích.
  Việc SourceHut và Codeberg nhận được sự chú ý kiểu này cũng là một tín hiệu đáng khích lệ rằng các nền tảng lưu trữ mã nguồn thay thế đang bắt đầu có sức kéo thực sự.

  • Tôi tò mò làm sao họ biết đó là [quốc gia].
    Không rõ có lời đe dọa rõ ràng hay thông điệp yêu cầu kiểu “nếu không làm điều này thì…” hay không.

• Thật thú vị khi biết vì sao HN bị sập.
  Nội dung là: “Bạn có thể đã thấy Hacker News bị sập vào ngày 10 tháng 1; tôi cho rằng đó là kết quả của việc Cogent phản ứng quá mạnh tay trong quá trình giảm thiểu DDoS nhắm vào SourceHut.”
  Điều này cũng có ở https://news.ycombinator.com/item?id=38939532, nhưng trước đó tôi chưa thấy.

  • Tôi hơi khó hiểu: Cogent đã blackhole địa chỉ IP của SourceHut, vậy điều đó ảnh hưởng đến địa chỉ IP của HN như thế nào?
    Hai bên nằm trên các dải IP và ASN hoàn toàn riêng biệt.
  • Đến một mức nào đó, trong phòng vệ DDoS, lựa chọn còn lại đôi khi chỉ là remote-triggered blackholing ở router biên.
    Kết quả là toàn bộ mạng /24 không còn được định tuyến vào mạng của bạn nữa mà bị phía peer loại bỏ.
  • Xét việc Drew không thích Hacker News, thật bất ngờ là anh ấy vẫn đưa nhắc đến như vậy vào bài.

• Thật tiếc khi đội ngũ phải xử lý chuyện này, nhưng tôi muốn vỗ tay khen vì đây là một ví dụ tuyệt vời về cách giao tiếp với khách hàng.

• Mong các nhân viên sr.ht hoàn tất tốt việc chuyển sang AMS.
  May là git đủ phân tán nên trong vài ngày qua về cơ bản tôi vẫn làm được mọi thứ; thứ duy nhất không làm được là đẩy bản phát hành mới lên kho upstream chính thức.

  • Nhờ SourceHut không che giấu git send-email khỏi người dùng theo kiểu bảo bọc quá mức, quy trình phát triển cộng tác diễn ra trên nền tảng đó có cấu trúc đặc biệt dễ tiếp tục vận hành.
  • Có phải ý bạn là chuyển sang AWS không?
    Nếu bị DDoS trên AWS, dù Amazon hấp thụ lưu lượng thì Drew và SourceHut vẫn rất có thể phá sản.
    Ngay từ đầu họ cũng có vấn đề mang tính nguyên tắc với AWS.

• Khi đọc đoạn “Chúng tôi đã nói chuyện với CloudFlare nhưng được báo một mức giá vượt quá khả năng tài chính”, tôi nghĩ có thể ai đó cấp cao bên trong Cloudflare nên đẩy vụ này lên và giúp đưa ra báo giá phù hợp.

  • Có vẻ nhiều người không biết rằng phần lớn dịch vụ miễn phí/giá rẻ của Cloudflare khá tập trung vào HTTP.
    Các tính năng xử lý nhiều giao thức nằm trong các gói doanh nghiệp, nơi họ kiếm tiền.
  • Báo giá đắt không có nghĩa là đó không phải báo giá phù hợp.
    CloudFlare hoặc nên làm miễn phí vì mục đích quảng bá, hoặc nên thu phí đúng theo báo giá hợp lý.
  • Tôi không hiểu vì sao lại kỳ vọng Cloudflare phải gánh chi phí thay cho SourceHut.
  • Có thể là vì giá Cloudflare Spectrum để bảo vệ các dịch vụ không phải HTTP như SSH đắt đến vô lý.
  • Tôi tò mò vì sao họ không công khai báo giá.
    Các công ty khác có thể đề xuất điều kiện tốt hơn.

• Nếu Godot, Codeberg, rồi SourceHut đều bị tấn công thì còn trang nào khác không?
  Có vẻ như ai đó đang nhắm vào các trang web liên quan đến mã nguồn mở.

  • Có thể ai đó đang trình diễn năng lực DDoS của mình để bán dung lượng cho những người mua có ý đồ xấu.

• Tôi tò mò động cơ của các cuộc tấn công DDoS thường là gì.
  Hẳn phải có rủi ro bị truy tố hình sự ở mức nào đó, nên có vẻ phải thu được gì đó; còn trong trường hợp này, tống tiền hay cản trở đối thủ cạnh tranh đều không mấy thuyết phục.

  • Thường đơn giản chỉ là một cá nhân bất ổn cảm thấy mình bị nạn nhân đối xử bất công rồi thuê tấn công.
    Một lý do lớn khiến Discord trở nên phổ biến cũng là vì Skype và Teamspeak làm lộ địa chỉ IP; và đây cũng là lý do phần lớn game online ngừng dùng mạng P2P trực tiếp.
  • Script kiddie, tác nhân quốc gia, botnet cấu hình sai, v.v. — nguyên nhân rất đa dạng.
    Động cơ thường giống lý do nhiều thứ được viết lại: “vì có thể làm được” hoặc “vì nó ở đó”.
    Tôi không nằm trong các nhóm liên quan, nhưng nhìn vào lịch sử và tin tức thì nhiều vụ xảy ra bởi người dưới độ tuổi có thể bị truy tố như người lớn, hoặc ở những quốc gia không có ý chí thực thi pháp luật, nên rủi ro thấp; và ngay cả khi có rủi ro, nhiều người cũng không tin mình sẽ bị bắt.
  • Động cơ có thể là tiền chuộc, loại bỏ đối thủ cạnh tranh, kiểm duyệt, v.v.
    Ví dụ như tấn công các trang cờ bạc, hoặc chính phủ Trung Quốc thường xuyên nhắm vào GitHub vì họ lưu trữ phần mềm VPN.
  • Tôi tò mò liệu từng có vụ nào thực sự bị truy tố vì DDoS chưa.
  • Lý do hiển nhiên nhất có thể là ai đó ghét một phần mã được đăng trên website, và website đó dễ bị đánh sập.
    Cũng có thể trước đó đã có một cảnh báo nhẹ mà chúng ta không biết.

• Codeberg cũng đã sập vì DDoS khoảng 12 giờ trước.
  https://status.codeberg.eu/status/codeberg

  • Tôi thắc mắc vì sao họ cân nhắc chuyển sang EU.
    Có vẻ một dịch vụ cùng lĩnh vực trong cùng khu vực cũng đang gặp vấn đề tương tự, và việc chuyển sang châu Âu có lẽ không giải quyết được; nhưng trong thông báo công khai có nhắc đến điều đó.