- Điểm mạnh của Tenstorrent
- Phát triển CPU hiệu năng cao dựa trên RISC-V và các lõi AI, thể hiện cách tiếp cận độc đáo trong lĩnh vực phần cứng AI
- Công khai toàn bộ software stack và công cụ dành cho nhà phát triển dưới dạng mã nguồn mở, xây dựng hệ sinh thái thân thiện với developer
- Có thể sản xuất chipset AI khác biệt bằng cách tận dụng quy trình Samsung Foundry SF4X có tính cạnh tranh về giá
- Nhược điểm và lo ngại
- Sự thống trị rất mạnh của Nvidia trên thị trường phần cứng AI
- So với các đối thủ tập trung vào GPU, điểm yếu tương đối của Tenstorrent hiện vẫn là vấn đề độ trễ (latency) còn cao
- Vị thế thị trường
- Tenstorrent mang lại giá trị khác biệt so với Nvidia, AMD và ARM thông qua tiềm năng của phần cứng AI và RISC-V IP
- Chiến lược tập trung vào Inference (suy luận) giúp tăng khả năng thành công trên thị trường
Tổng quan kỹ thuật của Tenstorrent
- Các đặc điểm chính của Grendel (chipset AI thế hệ 3)
- Áp dụng kiến trúc chiplet: tách biệt lõi CPU RISC-V hiệu năng cao và lõi AI
- Thiết kế topology mesh để di chuyển dữ liệu hiệu quả giữa các lõi
- Cấu trúc lõi
- Lõi RISC-V lớn: có thể chạy Linux, dùng để xử lý mã nguồn mục đích chung
- Lõi Baby RISC-V: lõi siêu nhỏ dùng cho di chuyển dữ liệu và thực thi kernel. 752 lõi chỉ chiếm chưa đến 1% tổng diện tích die
- Lõi Tensix: đơn vị tính toán AI chuyên cho phép toán vector và ma trận. Mỗi lõi Tensix có 5 lõi Baby RISC-V quản lý việc thực thi kernel
- Compiler
- Sử dụng compiler được chỉnh sửa dựa trên GCC. Người dùng chỉ cần viết một kernel duy nhất, GCC sẽ tự động xử lý
Thách thức của các startup phần cứng AI
- Cạnh tranh ở thị trường Training
- GPU H100 của Nvidia đang thống trị thị trường
- Các công ty cloud lớn như Amazon, Google đang hợp tác với đối tác thiết kế bán dẫn để sản xuất chip riêng
- Cơ hội ở thị trường Inference
- Có khả năng cạnh tranh với Nvidia về chi phí và hiệu năng
- Lợi thế cạnh tranh về giá nhờ quy trình của Samsung và không dùng HBM
- Thu hút khách hàng
- Thị trường phần cứng tập trung vào Inference cho các công ty nhỏ hoặc startup là mục tiêu chính
Chiến lược phần mềm của Tenstorrent
- Software stack phiên bản thứ 6
- Cung cấp khả năng tiếp cận phù hợp với nhiều loại developer và người dùng khác nhau (từ mô hình ML đến kernel cấp thấp)
- Hợp tác với cộng đồng Discord để phát triển các kernel đổi mới
- Giải quyết các vấn đề trước đây
- Trước đây phải xây dựng lại software stack cho từng phần cứng khác nhau
- Giờ đây đã phát triển software stack thống nhất có thể hoạt động độc lập với phần cứng
Thảo luận kỹ thuật và kết luận
- Triết lý của Tenstorrent
- "Tương lai của AI không phải là các tác vụ đại số tuyến tính thuần túy mà là các tác vụ hỗn hợp"
- Nhấn mạnh sự cần thiết của việc tích hợp CPU và lõi AI
- Tầm nhìn của Jim Keller
- Nếu khối lượng công việc AI trong tương lai đòi hỏi tích hợp CPU, Tenstorrent sẽ là vendor duy nhất đã sẵn sàng
- Triển vọng thị trường
- Thị trường huấn luyện AI gần như không có cơ hội cho startup do vị thế độc quyền của Nvidia
- Có khả năng thành công ở thị trường suy luận nhờ cách tiếp cận đổi mới
- Hiệu năng của Blackhole thế hệ 2 và Grendel thế hệ 3 sẽ là tiêu chí đánh giá quan trọng trong tương lai
Đầu tư và giá trị doanh nghiệp
- Định giá hiện tại của Tenstorrent
- Gần đây được định giá 2 tỷ USD trong vòng Series D
- Nắm bắt cơ hội liên quan đến việc ARM tăng giá trên thị trường RISC-V IP
- So sánh với đối thủ
- So với các startup phần cứng AI khác như Cerebras, công ty nổi trội hơn về năng lực kỹ thuật và mức độ phù hợp với thị trường
- Điểm yếu về khả năng cạnh tranh trong hệ sinh thái CUDA so với Nvidia
- Chiến lược sắp tới
- Tập trung vào thị trường Inference để duy trì năng lực cạnh tranh
- Tiếp tục theo đuổi triết lý lấy hệ sinh thái developer và mã nguồn mở làm trung tâm
Kết luận
- Tenstorrent áp dụng cách tiếp cận độc đáo trong thiết kế phần cứng AI và CPU RISC-V, tạo ra yếu tố khác biệt quan trọng trên thị trường do Nvidia và ARM thống trị
- Công ty có tiềm năng tăng trưởng cao trong thị trường suy luận và được đánh giá là một startup AI đáng đầu tư.
1 bình luận
Ý kiến trên Hacker News