Tốc độ, khả năng mở rộng, độ ổn định: Hành trình tiến hóa 25 năm của mạng trung tâm dữ liệu Google

• Mạng của Google không được xây dựng chỉ sau một đêm, mà đã phát triển thành kiến trúc mạng trung tâm dữ liệu Jupiter thế hệ thứ 5 hiện nay thông qua 25 năm đổi mới kỹ thuật và các cột mốc quan trọng
• Hiện tại, mạng Jupiter có thể mở rộng tới 13 petabit/giây băng thông hai chiều. Mức này tương đương việc toàn bộ 8 tỷ người trên Trái Đất có thể đồng thời thực hiện cuộc gọi video (@1.5Mb/s)

Các nguyên tắc chính

• Bất cứ thứ gì, ở bất cứ đâu: Mạng trung tâm dữ liệu của Google hỗ trợ triển khai các tác vụ quy mô lớn ở bất kỳ đâu trong cùng một network fabric, trên hơn 100.000 máy chủ. Quy mô này giúp cải thiện hiệu năng ứng dụng cho cả workload nội bộ lẫn bên ngoài, đồng thời loại bỏ phân mảnh nội bộ
• Độ trễ thấp và có thể dự đoán được: Google ưu tiên hiệu năng nhất quán và giảm thiểu tail latency bằng cách dự phòng headroom băng thông, duy trì 99,999% khả dụng mạng và chủ động quản lý tắc nghẽn thông qua sự phối hợp giữa end host và fabric
• Định nghĩa bằng phần mềm và lấy hệ thống làm trung tâm: Để đạt được tính linh hoạt và nhanh nhạy, Google tận dụng software-defined networking (SDN) để xác thực hàng chục tính năng mới sau mỗi 2 tuần trên mạng toàn cầu và phát hành chúng trên phạm vi toàn thế giới
• Tiến hóa dần dần và topology động: Cách tiếp cận tiến hóa dần dần giúp làm mới mạng ở mức chi tiết mà không cần dừng toàn bộ hệ thống, còn topology động giúp liên tục thích nghi với nhu cầu workload thay đổi. Sự kết hợp giữa optical circuit switching và SDN hỗ trợ các nâng cấp vật lý cùng một mạng dị thể liên tục tiến hóa, có thể vận hành nhiều thế hệ phần cứng trong một fabric duy nhất
• Traffic engineering và QoS lấy ứng dụng làm trung tâm: Việc tối ưu hóa luồng traffic và đảm bảo chất lượng dịch vụ giúp tùy chỉnh mạng phù hợp với yêu cầu của từng ứng dụng
• Mạng Jupiter SDN do Google tự phát triển mang lại độ ổn định cao hơn hơn 50 lần so với thế hệ trước

Lịch sử tiến hóa

Năm 2015 - Jupiter, mạng petabit đầu tiên

• Google đã cho thấy mạng trung tâm dữ liệu Jupiter có thể mở rộng tới tổng băng thông 1,3 Pb/s bằng cách tận dụng switch silicon thương mại, topology Clos và software-defined networking (SDN)
• Vào thời điểm đó, tốc độ truyền dữ liệu của riêng một trung tâm dữ liệu Google còn cao hơn tổng tốc độ lưu lượng IP toàn cầu ước tính của Internet

Năm 2022 - Hỗ trợ 6 petabit/giây

• Google công bố rằng mạng Jupiter có thể mở rộng vượt quá 6Pb/s nhờ tích hợp sâu optical circuit switching (OCS), wavelength-division multiplexing (WDM) và bộ điều khiển Orion SDN có khả năng mở rộng rất cao
• Những công nghệ này cho phép nhiều bước tiến như xây dựng mạng theo từng giai đoạn, cải thiện hiệu năng, giảm chi phí, giảm điện năng tiêu thụ, quản lý traffic động và nâng cấp liền mạch

Năm 2023 - Mạng 13 petabit/giây

• Google tiếp tục nâng cấp Jupiter để hỗ trợ tốc độ liên kết mặc định 400Gb/s trong lõi mạng
• Thành phần cơ bản của mạng Jupiter (được gọi là aggregation block) hiện gồm 512 cổng, hỗ trợ 400Gb/s băng thông hai chiều non-blocking cho end host và phần còn lại của trung tâm dữ liệu
• Hệ thống hỗ trợ 64 block như vậy, cho tổng băng thông hai chiều 64*204.8 Tb/s = 13.1 Pb/s
• Công nghệ này đã cung cấp năng lực cho các trung tâm dữ liệu production của Google trong hơn 1 năm và đang thúc đẩy sự phát triển nhanh chóng của trí tuệ nhân tạo, machine learning, tìm kiếm web và các ứng dụng ngốn dữ liệu khác

Từ năm 2024 trở đi - Mạng cực hạn cho kỷ nguyên AI

• Google đã sớm định hình hướng đi cho hạ tầng mạng thế hệ tiếp theo nhằm hỗ trợ AI trong tương lai
• Công ty đang triển khai các yêu cầu hạ tầng mạng cho A3 Ultra VM thế hệ mới dựa trên GPU, với kết nối mạng NVIDIA ConnectX-7
• Hạ tầng này hỗ trợ 3.2 Tbps non-blocking cho mỗi máy chủ đối với traffic giữa các GPU thông qua RoCE(RDMA over converged ethernet)
• Google cũng đang phát triển các sản phẩm tương lai dựa trên NVIDIA GB200 NVL72

Trong những năm tới, Google dự kiến hỗ trợ các ứng dụng và dịch vụ mang tính chuyển đổi thông qua những bước tiến đáng kể về băng thông trên mỗi cổng/toàn mạng và quy mô, tăng cường tích hợp end host, kỹ thuật topology theo thời gian thực, tích hợp sâu hơn với stack tính toán/lưu trữ, cũng như cải thiện cân bằng tải dựa trên host