- Mark Zuckerberg đã đề cập điều này trong cuộc công bố kết quả kinh doanh Q2 2024
- Llama 3 hiện đã cạnh tranh với những mô hình tiên tiến nhất, và Meta đã bắt đầu phát triển Llama 4
- Mục tiêu là đạt đẳng cấp hàng đầu ngành vào năm sau
- Meta đang lập kế hoạch cho các cụm tính toán và dữ liệu cần thiết trong vài năm tới
- Sức mạnh tính toán cần thiết để huấn luyện Llama 4 được dự đoán sẽ gần gấp 10 lần so với Llama 3, và các mô hình trong tương lai sẽ còn tiếp tục tăng vượt mức đó
- Rất khó dự đoán xu hướng này sẽ tiếp diễn như thế nào, nhưng ở thời điểm hiện tại, xét đến thời gian chuẩn bị dài để đưa các dự án hạ tầng mới vào hoạt động, Meta cho rằng xây dựng năng lực trước khi cần đến sẽ tốt hơn là hành động quá muộn
- Trong khi mở rộng các khoản đầu tư này, công ty sẽ duy trì hiệu quả vận hành trên toàn bộ tổ chức
1 bình luận
Ban đầu, tài nguyên tính toán cho DL trung bình vốn đã tăng gấp 10 lần sau mỗi 2 năm, nên tôi thấy đây không phải chuyện gì quá đáng ngạc nhiên.