- Gần đây, các cuộc thảo luận về cloud repatriation — xu hướng nhiều doanh nghiệp quay trở lại sử dụng hạ tầng phần cứng riêng thay vì dựa hoàn toàn vào điện toán đám mây — đã gia tăng
- Fastmail đã tối ưu hóa vận hành bằng cách sử dụng máy chủ bare metal riêng trong hơn 20 năm
- Việc dùng phần cứng của riêng mình giúp tối ưu chi phí so với cloud:
- Hiểu rõ mô hình sử dụng để lập kế hoạch mua sắm phần cứng theo chiều dài hạn
- Dựa trên 25 năm kinh nghiệm tích luỹ trong việc triển khai và vận hành phần cứng, mạng
- Khấu hao chi phí trong suốt 5 đến 10 năm sử dụng thiết bị
Sự phát triển phần cứng
- Các máy chủ IMAP ban đầu sử dụng mảng RAID gồm ổ đĩa 15k RPM SAS và 7.2k RPM SATA
- Lưu trữ dữ liệu email trên ổ SAS tốc độ cao, rồi chuyển sang ổ SATA vào thời điểm tải máy chủ thấp
- Hệ thống này được hỗ trợ bởi Cyrus IMAP cùng công cụ phân vùng riêng
Chuyển sang NVMe SSD
- Vài năm trước, Fastmail đã thực hiện nâng cấp quy mô lớn với nền tảng 2U dựa trên AMD và NVMe SSD
- Nâng cao đáng kể hiệu năng và mật độ lưu trữ
- Do thiếu bộ điều khiển RAID, Fastmail đã triển khai hệ thống tệp ZFS
- ZFS sử dụng mô hình copy-on-write để mang lại hiệu năng I/O rất tốt
Nén và tinh chỉnh ZFS
- Nhờ nén Zstandard, không gian dữ liệu email giảm khoảng 40%
- Tinh chỉnh kích thước bản ghi ZFS để cải thiện thêm hiệu quả nén:
- Với kích thước bản ghi 128k, tiết kiệm khoảng 40% theo mặc định
- Khi chỉnh lên 512k, tiết kiệm 42%
Mã hóa và tích hợp ZFS
- Thay thế mã hóa LUKS truyền thống bằng mã hóa mặc định của ZFS, giảm độ phức tạp hệ thống
- Trong 3 năm, ZFS đã được triển khai trên toàn bộ máy chủ email, cơ sở dữ liệu, nhật ký và máy chủ sao lưu
Tuổi thọ và độ tin cậy của SSD
- Kiểm tra tuổi thọ và độ tin cậy của SSD:
- SSD datacenter ghi nhận tỷ lệ hỏng cực thấp trong 3 năm
- Độ tin cậy cao hơn hơn 10 lần so với HDD
So sánh chi phí lưu trữ
Lưu trữ đám mây
- Amazon S3: 252.000 USD/năm
- Backblaze B2: 72.000 USD/năm
- Ưu điểm: dung lượng không giới hạn, có nhiều nhà cung cấp để lựa chọn
- Nhược điểm: phức tạp trong triển khai, chi phí có thể tiếp tục tăng
Nâng cấp HDD
- Chi phí nâng cấp HDD 24TB: khoảng 6.000 USD/máy chủ
- Ưu điểm: tái sử dụng phần cứng hiện tại, chi phí thấp
- Nhược điểm: thời gian khôi phục dữ liệu dài hơn, hiệu năng I/O không đủ
Máy chủ SSD NVMe
- Máy chủ SSD 2U: 190.000 USD (dung lượng 1.220TB)
- Ưu điểm: hiệu năng I/O cao, độ tin cậy, tiết kiệm không gian và điện năng
- Nhược điểm: chi phí ban đầu cao
Lựa chọn cuối cùng và kết quả
- Chuyển sang máy chủ NVMe SSD dựa trên ZFS:
- Đảm bảo hiệu năng và độ tin cậy cao
- Tương thích với hệ thống hiện tại, không cần phát triển mới
- Tốc độ truyền dữ liệu: trên 5GB/s
Kết luận
- Vận hành hạ tầng phần cứng riêng không phù hợp với mọi tổ chức, nhưng có thể mang lại tiết kiệm chi phí dài hạn và tăng quyền kiểm soát
- Fastmail đạt được cả sự ổn định lẫn hiệu quả chi phí nhờ phần cứng của chính mình
3 bình luận
Tôi cũng thắc mắc không biết khả năng sẵn sàng theo đơn vị AZ có được đảm bảo hay chưa.
Thẳng thắn mà nói, công ty nào vận hành không dùng cloud theo kiểu này mà vẫn chạy tốt thường thuộc một trong hai trường hợp. Một là công ty thực sự vận hành ổn vì chất lượng nhân sự tốt, hai là trường hợp hệ thống có độ sẵn sàng thấp, bảo mật cũng yếu nhưng họ lại nghĩ là nó đang chạy ổn. Ở Hàn Quốc thì trường hợp thứ hai áp đảo.
Ngoại trừ một số chuyên ngành chuyên môn, người Hàn Quốc có xu hướng coi thường con người, nên với một nước như Hàn Quốc, theo mình nên giao cho các CSP nước ngoài biết sử dụng nhân tài tốt hơn. Hoặc là đầu tư cho con người một cách thực sự đúng đắn.
Nói thật, nếu lượng truy cập tương đối ổn định thì không dùng cloud thường rẻ hơn, nhưng để có được tính sẵn sàng cao và bảo mật đầy đủ rồi vận hành đúng cách thì công ty cần có nhân sự đủ năng lực để vận hành máy chủ vật lý. Nếu thiếu những người như vậy thì nên dùng cloud, và những startup thiếu năng lực tuyển được loại nhân sự này không hề dùng cloud một cách vô ích.
Ngay cả 37signals, dù không dùng cloud, cũng đặt mức lương tối thiểu cao để coi trọng nhân tài; mức sàn lương đó là 70.000 đô, khi tỷ giá USD tăng thì quy đổi sang KRW đã trên 100 triệu. Người làm ngành IT tại Hàn Quốc thường nhận mức lương thấp hơn mức sàn của 37signals. Ở đó, đầu tư nhân công để trọng dụng nhân sự rất lớn, nên dù có đội ngũ giỏi đủ năng lực vận hành on-premise, họ vẫn đã quay lại bare-metal vì chi phí cloud đang đi quá nhiều. Cùng lúc đó họ cũng làm ra sản phẩm kiểu Kamal. Nhưng các doanh nghiệp Hàn Quốc liệu có thể làm được thứ tương tự như Kamal không? Nếu không muốn đầu tư vào con người, thì mình nghĩ nên dùng CSP như AWS. Vụ hack Kadokawa cho thấy không phải on-premise nào cũng an toàn.
Ý kiến của Hacker News
Lý do FastMail dùng phần cứng riêng là vì khi công ty thành lập năm 1999 thì họ không có nhiều lựa chọn. Họ dùng một máy chủ Rackspace duy nhất, và lúc đó chi phí là 70 USD/tháng. Hầu như không có giải pháp thay thế dạng VPS hay SaaS.
Việc chuyển sang đám mây là điều thú vị. Mặc dù phần lớn mọi người không muốn can dự vào việc quản lý phần cứng, nhưng về chi phí hệ thống nội bộ vẫn rẻ hơn.
Đám mây có liên quan đến DevOps theo hướng shift-left. Mục đích không phải là giảm chi phí.
Tôi không tin tưởng FastMail. Sau khi mua lại Pobox, dịch vụ thất bại trong việc chuyển tiếp email. Họ còn từ chối hoàn tiền.
Giới thiệu BareMetalSavings.com. Có thể ước tính chi phí khi chuyển ra khỏi đám mây.
Cách tiếp cận của FastMail có phần thú vị. Có hai điểm thú vị về SSD được đề cập:
Tôi thích sự minh bạch và quyết định dựa trên logic của FastMail. Họ xứng đáng nhận phí cho dịch vụ email.
Có nhiều người cho rằng tự host tốt hơn đám mây. Tuy nhiên, chưa có nhiều cuộc trao đổi về cách vận hành hiệu quả ứng dụng kinh doanh.
Một lợi thế của đám mây là độ tin cậy khi hoạt động ở quy mô nhỏ.
FastMail từng là một trong những nhà cung cấp email tốt nhất. Giao diện rất trực quan và phản hồi nhanh.