- San Francisco Compute là một nhóm tập hợp các startup và viện nghiên cứu để cùng mua và chia sẻ tài nguyên tính toán cho việc huấn luyện mô hình quy mô lớn.
- Thay vì mỗi startup tự mua cụm GPU riêng, nhóm sẽ mua một cụm có tổng số GPU tỷ lệ với số lượng startup.
- Dựa trên quyền sở hữu, bộ lập lịch tác vụ sẽ phân bổ tài nguyên tính toán công bằng cho tất cả các startup.
- Nhờ đó, startup có thể dùng 512 GPU trong một tuần để đẩy nhanh quá trình huấn luyện mô hình, đồng thời tránh sự phiền toái của việc phải liên tục lấp đầy 128 GPU trong suốt một tháng.
- Nếu có tài nguyên tính toán nhàn rỗi, bộ lập lịch có thể phân bổ cho startup nhiều tài nguyên hơn hạn mức công bằng của họ.
- Mô hình này tương tự cách các phòng nghiên cứu lớn như OpenAI và Deepmind sử dụng, nhưng nhìn chung dễ tiếp cận hơn với các startup có cụm nhỏ và hợp đồng dài hạn.
- Mục tiêu là cung cấp tài nguyên tính toán ở mức khoảng $2.00 cho mỗi GPU H100 với khả năng phân bổ bùng nổ và hợp đồng ngắn hạn.
- Startup có thể điền vào biểu mẫu hoặc liên hệ với đơn vị tổ chức để tham gia nhóm.
- Startup có thể rời khỏi cụm sau một khoảng thời gian báo trước, và các startup mới có thể được bổ sung theo từng đợt.
- Nhóm có thể cung cấp dư ra một chút để đáp ứng các thử nghiệm nhỏ hoặc yêu cầu từ bạn bè với mức giá tốt.
- Việc tài trợ cho mua cụm có thể được phân tán với sự hỗ trợ của ngân hàng.
- Nhóm dự định đưa 512 GPU H100 lên hoạt động trong vòng 4-6 tuần và có thể bổ sung thêm tài nguyên nếu nhu cầu cao.
- Danh sách thư gỡ lỗi hạ tầng và nhóm Slack được cung cấp như nơi để các thành viên tìm kiếm hỗ trợ về các vấn đề hạ tầng.
1 bình luận
Ý kiến trên Hacker News