- Câu hỏi đặt ra là liệu việc dùng Mac Studio (M4 Max, 64GB) làm máy chủ LLM cục bộ mang lại giá trị gì so với cụm GPU cấp RTX 3090
- Theo trải nghiệm của nhiều người dùng, các model cỡ 8B~32B vẫn đủ hiệu năng để sử dụng thực tế trên Mac Mini và Mac Studio
- Ngược lại, nhiều ý kiến cho rằng hiệu năng và tốc độ ở mức các model nền tảng lớn mới nhất vẫn khó tránh khỏi việc phải phụ thuộc vào đám mây
- Cuộc thảo luận mở rộng vượt ra ngoài so sánh hiệu năng đơn thuần, sang các vấn đề điện năng, nhiệt, chi phí, bảo trì và độ tin cậy phần mềm
- Kết luận lại, Mac Studio là lựa chọn thiên về sự tiện lợi và ổn định, còn cụm GPU là lựa chọn thiên về hiệu năng thuần túy
Cốt lõi của câu hỏi gốc
- Có người đặt câu hỏi liệu có đáng mua Mac Studio M4 Max (64GB) để làm máy chủ Ollama hay không
- Đồng thời yêu cầu so sánh với phương án thay thế là cấu hình cụm gồm nhiều GPU như RTX 3090
- Mục đích sử dụng chính là khai thác LLM phục vụ lập trình, còn tạo nội dung media chỉ là nhu cầu phụ
Trải nghiệm người dùng thực tế: hiệu năng Apple Silicon
- Có nhiều trường hợp cho biết ngay cả Mac Mini M4 bản tiêu chuẩn cũng chạy đồng thời model 8B và model embedding một cách mượt mà
- Các model tầm trung như Gemma 12B, dòng Qwen, GLM 4.7 Flash đều liên tục được đánh giá là có thể dùng thực tế
- Với model cỡ 30B, ý kiến phổ biến là “dùng được nhưng không nhanh”
- Với mốc bộ nhớ 64GB, thời gian chờ phản hồi đầu tiên (TTFT) có thể kéo dài đến vài chục giây
Góc nhìn so sánh với cụm GPU
- Xét về hiệu năng tính toán thuần và băng thông bộ nhớ, cụm RTX 3090 vượt trội áp đảo
- Nhiều ý kiến cho rằng với fine-tuning và thử nghiệm dựa trên CUDA, môi trường NVIDIA gần như là bắt buộc
- Tuy nhiên cũng có chỉ ra rằng mức tiêu thụ điện (tối đa 800W với 2×3090), nhiệt lượng và yêu cầu cấu hình nguồn điện làm độ khó vận hành tăng lên
- Ngược lại, Mac được đánh giá là đơn giản hơn nhiều về thiết lập, điện năng, tiếng ồn và kiểm soát nhiệt
Tầm quan trọng của bộ nhớ
- Nhiều người cho rằng so với CPU, dung lượng bộ nhớ ảnh hưởng đến hiệu năng cảm nhận rõ rệt hơn
- Có đề cập các trường hợp dùng M1 Ultra 128GB và M3 Ultra 256GB để phục vụ nhiều người dùng với model 30B+
- Mọi người cũng chia sẻ quan sát rằng model càng lớn thì chất lượng phản hồi càng tốt, từ đó tần suất sử dụng cũng tăng lên
Giới hạn và thực tế của LLM cục bộ
- Ngay cả khi dùng Mac Studio 192GB hoặc 256GB, vẫn khó có thể thay thế hoàn toàn mức Claude, Gemini hay ChatGPT
- Trên thực tế, nhiều người dùng môi trường cục bộ cấu hình cao vẫn cho biết họ đồng thời duy trì gói Claude khoảng 200 USD/tháng
- Có nhận thức chung rằng model cục bộ phù hợp với xử lý bản ghi âm và văn bản phiên âm quan trọng về quyền riêng tư, tác vụ lặp lại và vòng lặp agent
Chỉ trích với Ollama và các lựa chọn thay thế
- Có những chỉ trích mạnh rằng Ollama dựa trên llama.cpp nhưng có thái độ quản lý mã nguồn mở không tốt
- Ngoài ra còn có lo ngại rằng phản ứng với lỗ hổng bảo mật chậm, và về dài hạn có thể chuyển sang hướng thương mại giống Docker Desktop
- Các lựa chọn thay thế gồm
- llama.cpp: hiệu năng tốt, cấu hình hơi phức tạp nhưng độ tin cậy cao
- LM Studio: lựa chọn dễ nhất, có thể tận dụng model MLX
- MLX / vLLM: cho hiệu năng và hiệu quả bộ nhớ tốt hơn trên Apple Silicon
Tổng hợp
- Mac Studio phù hợp với người dùng coi trọng khối lượng công việc liên tục, môi trường yên tĩnh và gánh nặng vận hành thấp
- Cụm GPU phù hợp hơn nếu trọng tâm là hiệu năng tối đa, tác vụ CUDA và thử nghiệm model lớn
- Xu hướng rõ rệt là LLM cục bộ không thay thế hoàn toàn đám mây mà được dùng theo mô hình phân chia vai trò
- Nhiều ý kiến cuối cùng hội tụ ở kết luận: Mac cho sự tiện lợi, NVIDIA cho hiệu năng, và thực tế là mô hình hybrid
5 bình luận
Không biết khi nào Mac sẽ hỗ trợ CUDA nhỉ
Có nên không?
Không, chắc là tôi sẽ không làm vậy..
kkkkkk
Trường hợp của mình thì chẳng có lý do để dùng, nhưng cứ thấy muốn thử model chạy cục bộ mãi thôi haha. Có lẽ vì mình thấy phí thuê bao hơi tiếc...