Cloud TPU v5e
- Đây là Cloud TPU có hiệu quả chi phí cao nhất, linh hoạt và có khả năng mở rộng tốt nhất, đồng thời cung cấp tích hợp với các framework chủ chốt như Google Kubernetes Engine (GKE), Vertex AI, Pytorch, JAX và TensorFlow
- So với Cloud TPU v4, cung cấp hiệu năng huấn luyện trên mỗi đô la cao hơn tới 2 lần và hiệu năng suy luận cao hơn tới 2,5 lần cho các mô hình LLMs và gen AI
- Hỗ trợ 8 cấu hình máy ảo (VM) khác nhau để có thể chọn cấu hình phù hợp với nhiều kích thước mô hình LLM và gen AI khác nhau
- Với việc giới thiệu công nghệ Multislice, người dùng có thể mở rộng mô hình AI vượt qua ranh giới của TPU pod vật lý lên đến hàng chục nghìn chip Cloud TPU v5e hoặc TPU v4
A3 GPU VM
- Được trang bị GPU NVIDIA H100 Tensor Core. Được xây dựng đặc biệt để huấn luyện và phục vụ các khối lượng công việc gen AI và LLMs có yêu cầu rất cao, và dự kiến sẽ chính thức phổ biến vào tháng tới
- A3 VMs cung cấp tốc độ huấn luyện nhanh hơn 3 lần và băng thông mạng cao hơn 10 lần so với thế hệ trước, mang lại quy mô và hiệu năng lớn
Chưa có bình luận nào.