Tesla Transport Protocol over Ethernet (TTPoE)

• Tesla đã công bố mã nguồn mở Tesla Transport Protocol over Ethernet (TTPoE) tại HotChips 2024
• Tesla đã tham gia Ultra Ethernet Consortium (UEC) để chia sẻ giao thức này và nỗ lực tiêu chuẩn hóa một fabric tốc độ cao/độ trễ thấp mới dành cho AI/ML/trung tâm dữ liệu
• TTPoE hướng tới tính không độc quyền, chi phí thấp, kiểm soát tắc nghẽn phân tán, khung EthernetII tiêu chuẩn và giao thức liên kết phi tập trung
• Các đặc điểm của TTPoE
  • Tương tự TCP, giao thức này cho phép mất gói và truyền lại, nhưng vẫn đảm bảo toàn bộ quá trình truyền
  • Việc triển khai ban đầu của TTPoE được thực hiện trong dự án Tesla Dojo v1
    • Giao thức chạy hoàn toàn bằng phần cứng và được triển khai trên một siêu máy tính đa exaflops (fp16) cực lớn với hàng chục nghìn endpoint đồng thời trở lên
  • Giao thức này có thể thiết lập và vận hành liên kết mà không cần sự can thiệp của CPU hay OS
• Giao thức này không phức tạp hay quá cầu kỳ mà dựa trên các nguyên tắc cơ bản
  • Truyền tải Ethernet về bản chất là di chuyển dữ liệu từ A đến B và chỉ nên bị giới hạn bởi các giới hạn vật lý
  • Quản lý tắc nghẽn tập trung trong các hệ thống quy mô rất lớn là một nỗ lực thiếu thực tế; mỗi endpoint nên có khả năng đàn hồi và tự quản lý

Ý kiến của GN⁺

• TTPoE là một nỗ lực đáng chú ý nhằm vượt qua các giới hạn của giao thức TCP hiện có trong môi trường tính toán hiệu năng cao
• Mục tiêu chính có vẻ là giảm thiểu độ trễ và tối đa hóa thông lượng thông qua offload phần cứng và máy trạng thái được đơn giản hóa
• TTPoE có tiềm năng cải thiện tốc độ truyền dữ liệu và độ trễ trong lĩnh vực AI và ML
• Việc Tesla công bố mã nguồn mở giao thức này sẽ giúp thúc đẩy đổi mới trong lĩnh vực HPC
• Tuy vậy, có vẻ TTPoE sẽ khó có thể thay thế hoàn toàn TCP trong các mạng dùng chung; đây là một giải pháp được tối ưu cho mạng chuyên dụng chất lượng cao. Để TTPoE được chấp nhận rộng rãi, việc tiêu chuẩn hóa và xây dựng hệ sinh thái sẽ là yếu tố quan trọng
• Các giao thức có chức năng tương tự gồm có RoCE (RDMA over Converged Ethernet) và NVLink

[xguru]

Có một bài khác giải thích chi tiết hơn về TTPoE đây.
Tesla’s TTPoE at Hot Chips 2024: Replacing TCP for Low Latency Applications

Tổng quan về TTPoE

• Tesla đã giới thiệu siêu máy tính Dojo tại Hot Chips 2023 và sử dụng nó cho machine learning tập trung vào các ứng dụng ô tô như xe tự lái
• Dữ liệu huấn luyện xử lý video, vốn đòi hỏi rất nhiều băng thông I/O, và kích thước của một tensor đơn lẻ có thể lên tới 1.7GB trong các ứng dụng thị giác của Tesla
• Tesla nhận thấy thông lượng của siêu máy tính Dojo có thể bị giới hạn bởi tốc độ mà máy chủ host đẩy dữ liệu vào siêu máy tính

Sự cần thiết của TTPoE

• Tesla giải quyết vấn đề này bằng cách bổ sung thêm nhiều host hơn và kết nối các host bổ sung đó với siêu máy tính theo cách tiết kiệm chi phí
• Thay vì các giải pháp mạng siêu máy tính phổ biến như InfiniBand, Tesla chọn điều chỉnh Ethernet cho phù hợp với nhu cầu của mình bằng một tầng truyền tải đã được sửa đổi
• TCP được thay thế bằng Tesla Transport Protocol over Ethernet (TTPoE), được thiết kế để cung cấp độ trễ ở mức micro giây và cho phép offload phần cứng đơn giản

Đặc điểm của TTPoE

• TTPoE được thiết kế để được xử lý hoàn toàn bằng phần cứng và mang lại độ trễ tốt hơn so với giao thức TCP tiêu chuẩn
• State machine của TTPoE được đơn giản hóa đáng kể so với TCP
• Độ trễ được giảm nhờ loại bỏ các trạng thái chờ của TCP
• TTP xóa trạng thái TIME_WAIT và thay đổi chuỗi đóng kết nối từ 3 lần truyền xuống còn 2 lần truyền
• Bắt tay 3 bước của TCP được chuyển thành 2 bước để rút ngắn độ trễ thiết lập kết nối

Kiểm soát tắc nghẽn của TTPoE

• Giống như TCP, Tesla sử dụng mất gói để kiểm soát tắc nghẽn
• Vì được thiết kế để chạy trên một mạng nền có độ trễ thấp, Tesla có thể áp dụng cách tiếp cận brute force cho vấn đề này
• Các triển khai TCP truyền thống duy trì cửa sổ tắc nghẽn trượt, nhưng TTP thì không
• Phần cứng theo dõi dữ liệu đã truyền trong bộ đệm SRAM, và điều này xác định kích thước cửa sổ tắc nghẽn
• Các thuật toán kiểm soát tắc nghẽn TCP truyền thống hoạt động trên thang thời gian quá dài để có thể hiệu quả với các ứng dụng siêu máy tính Dojo của Tesla

Triển khai phần cứng TTPoE

• Tesla xử lý giao thức TTP trong một khối phần cứng nằm giữa chip và phần cứng Ethernet tiêu chuẩn
• Khối phần cứng MAC này do các nhà thiết kế CPU xây dựng và đưa vào nhiều đặc điểm thiết kế CPU
• Người trình bày mô tả nó hoạt động giống như một shared cache, trong đó bộ phân xử sẽ chọn giữa các yêu cầu có xét đến rủi ro về thứ tự
• Một trong những tài nguyên nổi bật nhất là bộ đệm SRAM truyền 1MB, như đã đề cập ở trên, có nhiệm vụ xác định cửa sổ tắc nghẽn

Mojo NIC

• TPP MAC được triển khai trên thứ mà Tesla gọi là "Dumb-NIC"
• Nó được gọi là "dumb" vì được làm rẻ và đơn giản nhất có thể
• Tesla muốn triển khai số lượng lớn các node host để cấp dữ liệu cho siêu máy tính Dojo, và việc dùng card mạng giá rẻ giúp đạt được điều đó theo cách hiệu quả về chi phí
• Cái tên Mojo xuất phát từ ý tưởng rằng các node host bổ sung sẽ mang thêm Mojo cho Dojo để duy trì hiệu năng
• Card Mojo được lắp trên các máy host từ xa, và nếu kỹ sư cần thêm băng thông để cấp dữ liệu cho siêu máy tính Dojo, họ có thể lấy thêm các máy host từ xa từ một pool

Tóm tắt

• Mojo và giao thức TTPoE mang đến một góc nhìn thú vị về cách giao thức điều khiển truyền tải quen thuộc TCP có thể được đơn giản hóa để dùng trong các mạng nội bộ siêu máy tính chất lượng cao
• Về lý thuyết, giao thức này có thể chạy trên Internet, nhưng những sự đơn giản hóa như cửa sổ tắc nghẽn cố định sẽ không hoạt động tốt trên các liên kết chất lượng thấp kết nối qua các nhà cung cấp dịch vụ Internet và xa hơn nữa
• So với các giải pháp mạng siêu máy tính khác như InfiniBand, một giao thức truyền tải tùy biến chạy trên Ethernet có thể cung cấp đủ băng thông bổ sung để đáp ứng nhu cầu của Dojo