Sự cố truy cập root AWS của Rubygems.org – Tháng 9/2025

• Tháng 9/2025, đã xảy ra một sự cố truy cập trái phép vào tài khoản AWS root của Rubygems.org
• Kết quả điều tra công khai xác nhận không có bằng chứng cho thấy dữ liệu người dùng hoặc môi trường vận hành bị xâm hại hay lộ lọt
• Nguyên nhân chính là không thay đổi ngay mật khẩu tài khoản AWS root sau khi thu hồi quyền của nhân sự đã rời đi, cùng với việc quản lý thông tin xác thực dùng chung còn thiếu sót
• Sau sự cố, tổ chức đã xoay vòng toàn bộ thông tin xác thực và mật khẩu, tăng cường kiểm toán bảo mật, đồng thời cải thiện quy trình kiểm toán bên ngoài và thay đổi quyền truy cập
• Đạo đức doanh nghiệp, quyền riêng tư dữ liệu và giao tiếp minh bạch được nhấn mạnh nhiều lần, cho thấy rõ nỗ lực khôi phục niềm tin của cộng đồng

---

Tổng quan và bối cảnh

Ruby Central đã công bố báo cáo phân tích hậu sự cố chính thức về vụ xâm phạm quyền truy cập AWS root của Rubygems.org vào tháng 9/2025. Tài liệu này trình bày minh bạch diễn biến sự việc, kết quả điều tra, những điểm xử lý sai và các biện pháp tăng cường bảo mật trong tương lai.

Sự việc bắt đầu khi một bài blog công khai tiết lộ rằng cựu quản trị viên André Arko vẫn có thể truy cập môi trường production của Rubygems.org và các công cụ giám sát ngay cả sau khi đã bị thu hồi quyền. Ruby Central lập tức tập trung vào tính toàn vẹn của dịch vụ và việc bảo vệ dữ liệu người dùng, đồng thời công khai đưa ra lời xin lỗi.

Dòng thời gian ứng phó sự cố

Diễn biến chính ngày 30/9/2025

• 17:23 UTC: André Arko thông báo qua email rằng bản thân vẫn có thể truy cập root
• 17:30 UTC: Một bài blog từ bên ngoài công khai với công chúng quyền truy cập tài khoản root và ảnh chụp màn hình
• 17:51 UTC: Ruby Central lập nhóm điều tra sự cố và bắt đầu rà soát toàn bộ dịch vụ cũng như thông tin xác thực
• 18:20 UTC: Xác nhận mật khẩu cũ đã bị vô hiệu hóa
• 18:24 UTC: Đặt lại mật khẩu tài khoản AWS root, khôi phục tài khoản bằng xác thực MFA
• 18:30 UTC: Qua truy vấn “Credentials Report”, xác nhận ngày 19/9 một bên không được phép đã thay đổi mật khẩu root
• 20:45 UTC: Thu hồi toàn bộ tài khoản phụ và thông tin xác thực legacy, cấp lại MFA, lưu thông tin xác thực mới trong két lưu trữ độc lập

Chi tiết diễn biến sự cố

Toàn bộ hạ tầng của Ruby Central vận hành trên AWS, và thông tin xác thực tài khoản root được lưu trong một két dùng chung mà chỉ 3 người có thể truy cập (2 người đương nhiệm, 1 người đã rời đi).

Ngày 18/9/2025

• 18:40 UTC: Arko nhận email thông báo đã bị thu hồi quyền truy cập production và quyền dịch vụ trực on-call
• Thông tin xác thực AWS mà Arko sử dụng đã bị xóa, nhưng mật khẩu tài khoản root không được xoay vòng

Cuộc tấn công bắt đầu ngày 19/9/2025

• 04:34~04:39 UTC: Một bên không được phép từ IP ở San Francisco đăng nhập root, đổi mật khẩu, rời khỏi các group/policy dành cho người có quyền, và tiến hành hoạt động rà soát toàn bộ IAM

Ngày 28/9/2025

• 05:49 UTC: Phát sinh phiên truy cập trái phép từ IP ở Tokyo, kiểm tra metadata người dùng qua IAM introspection API
• (Trùng thời điểm với hội nghị Kaigi on Rails, được suy đoán là cùng một người)

Ngày 30/9/2025

• 15:25~15:35 UTC: Truy cập root từ IP ở Los Angeles, thực thi lệnh lấy thông tin xác thực người dùng (trùng khớp với ảnh chụp màn hình được chia sẻ trên blog)
• 18:24 UTC: Ruby Central khôi phục quyền kiểm soát root

Tác động của sự cố và phạm vi ảnh hưởng

• Kết quả rà soát kỹ lưỡng cho thấy không có bằng chứng dữ liệu người dùng, tài khoản, gem hay khả năng sẵn sàng của dịch vụ bị xâm hại
• Rubygems.org vẫn vận hành bình thường trong suốt thời gian xảy ra sự cố
• Không có truy cập hay rò rỉ thông tin nhạy cảm như PII hoặc dữ liệu tài chính
• Không có thay đổi nào đối với production DB, S3 hay CI/CD
• Tuy nhiên, việc không xoay vòng thông tin xác thực dùng chung và để lộ quyền truy cập kéo dài là một thiếu sót nghiêm trọng trong quy trình vận hành

Quá trình khắc phục sự cố

• Thu hồi toàn bộ thông tin xác thực root và IAM và áp dụng MFA mới
• Xoay vòng toàn bộ token của các tích hợp bên ngoài liên quan (DataDog, GitHub Actions, v.v.)
• Tăng cường giám sát thời gian thực các thay đổi trọng yếu thông qua AWS CloudTrail, GuardDuty, DataDog
• Rà soát lại cấu trúc quyền IAM và thu hồi các quyền không cần thiết
• Khởi động kiểm toán bảo mật toàn diện với sự tham gia của chuyên gia bên ngoài
• Soạn runbook bảo mật mới (bao gồm xoay vòng mật khẩu ngay khi có thay đổi nhân sự, kiểm tra hàng quý, và quy trình truyền thông khi có sự cố)

Phân tích nguyên nhân gốc rễ

• Không nhận thức được khả năng mật khẩu dùng chung có thể đã bị sao chép ra bên ngoài
• Khi có nhân sự rời đi, mật khẩu AWS root và MFA đã không được xoay vòng
• Hai yếu tố này khiến bên không được phép có khả năng truy cập hạ tầng production của Rubygems và tìm cách tranh chấp quyền truy cập

Biện pháp ngăn tái diễn

• Mở rộng quy trình và checklist thu hồi quyền truy cập để bao gồm cả quản lý két dùng chung
• Các thông tin xác thực không gắn với cá nhân, đặc biệt là thông tin xác thực dùng chung, sẽ được xoay vòng ngay khi có thay đổi nhân sự
• Ủy thác kiểm toán bảo mật độc lập cho bên ngoài
• Áp dụng thỏa thuận vận hành/đóng góp rõ ràng về việc ai được cấp quyền production và trong điều kiện nào

Vì sao được xem là sự cố an ninh

• Bắt nguồn từ vấn đề một cá nhân có quyền kiểm soát đối với hệ thống cốt lõi
• Ông Arko từng cung cấp dịch vụ on-call cấp hai dưới dạng tư vấn trả phí 50.000 USD/năm; sau khi cơ cấu ngân sách thay đổi, ông đề xuất đổi việc tiếp tục on-call miễn phí để lấy quyền truy cập HTTP log production (bao gồm cả PII) và cơ hội tạo doanh thu
• Đề xuất này hàm chứa những vấn đề bản chất về quản trị, quyền riêng tư và xung đột lợi ích; Ruby Central cho rằng không thể chấp nhận và đã tiến hành tái cấu trúc bộ máy vận hành cũng như cơ chế quản trị
• Việc xác nhận Arko tiếp tục có quyền truy cập vào hệ thống chứa PII là cơ sở mang tính quyết định để phân loại đây là một sự cố an ninh
• Cho đến nay không có bằng chứng dữ liệu Rubygems đã bị đưa ra ngoài hay lưu giữ bên ngoài, và tổ chức cam kết khôi phục niềm tin cộng đồng cũng như nâng cao tính minh bạch

Kết luận

• Cảm ơn sự ủng hộ và giám sát lành mạnh từ cộng đồng
• Ruby Central sẽ tiếp tục bảo đảm sự ổn định và độ tin cậy của Rubygems.org bằng vận hành minh bạch, tinh thần trách nhiệm và hệ thống bảo mật nghiêm ngặt hơn

Shan Cureton
Giám đốc Điều hành