Lãnh đạo Apple Silicon nói về nhu cầu AI với Mac mini và tương lai on-device

 (macrumors.com)
1 điểm bởi GN⁺ 4 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Khi nhu cầu về thiết bị riêng để chạy AI agent trong thời gian dài tăng lên, Mac mini và Mac Studio đang được chú ý như desktop dành cho nhà phát triển
  • Các tác vụ kiểu agent đòi hỏi một hệ thống chạy 24/7 được tách khỏi máy làm việc chính và do người dùng trực tiếp kiểm soát
  • Nhiều công cụ AI là Mac-first hoặc Mac-only, và khi Mac cũng trở nên phổ biến trong giới nhà phát triển tại các phòng thí nghiệm AI frontier, vị thế của hệ sinh thái Mac càng được củng cố
  • Brooks xem AI kiểu agent không chỉ là một bài toán GPU, mà là bài toán thiết kế toàn bộ chip để cùng xử lý việc chạy LLM, gọi công cụ và xử lý workflow
  • Apple gắn AI on-device với quyền riêng tư, bảo mật và chi phí suy luận, đồng thời dự đoán mô hình thực thi lai nơi thiết bị và đám mây chia nhau vai trò

Nhu cầu AI agent đang đổ dồn vào Mac mini và Mac Studio

  • Doug Brooks, quản lý sản phẩm cấp cao của Apple Silicon, đã nói về chiến lược chip và nhu cầu AI của Apple trong cuộc phỏng vấn với The Deep View ngay trước WWDC 2026
  • Apple đang chứng kiến nhu cầu “incredible” đối với Mac mini và Mac Studio
  • Với các workload kiểu agent, những điều kiện sau là quan trọng
    • Hệ thống mà người dùng có thể trực tiếp kiểm soát
    • Môi trường tách biệt khỏi máy sử dụng chính
    • Thiết bị có thể chạy 24 giờ mỗi ngày, 7 ngày mỗi tuần
  • Brooks đánh giá Mac mini là một “amazing system” trong những điều kiện như vậy
  • Nhiều công cụ AI được cung cấp theo hướng Mac-first hoặc Mac-only, và Mac cũng được nhắc đến như môi trường phổ biến tại các phòng thí nghiệm AI frontier

Apple Silicon nhắm tới AI on-device

  • Brooks không xem AI kiểu agent chỉ là tác vụ xoay quanh GPU
    • Chỉ để GPU xử lý việc chạy LLM là chưa đủ
    • Nhiều phần khác của chip cũng tham gia vào việc gọi công cụ và các tác vụ xung quanh workflow
    • Cấu trúc này phù hợp với thế mạnh của Apple Silicon
  • Thế mạnh AI của Apple gắn với những quyết định thiết kế chip từ trước khi các LLM như ChatGPT xuất hiện
    • Neural Engine được thiết kế cho các phép toán ma trận tiết kiệm điện năng
    • Các bộ tăng tốc mạng nơ-ron ít được biết đến bên trong CPU xử lý những tác vụ nhạy cảm về thời gian như giọng nói
    • Gần đây, Apple còn bổ sung bộ tăng tốc mạng nơ-ron vào GPU để mở rộng hiệu năng AI từ các chip cấp iPhone đến những mẫu silicon lớn của Mac
  • Apple vẫn duy trì cách làm chip cho từng loại máy cụ thể và phát triển phần cứng lẫn phần mềm cùng nhau
  • Việc chạy AI đang có xu hướng dịch chuyển một phần từ đám mây về máy cục bộ, và Brooks cho rằng nền tảng của xu hướng này là quyền riêng tư, bảo mật và chi phí suy luận tăng lên do agent tiêu thụ nhiều token hơn
  • Tương lai của việc chạy AI có lẽ không phải chuyển hoàn toàn sang cục bộ, mà gần hơn với mô hình lai nơi agent quyết định tác vụ nào xử lý trên thiết bị và tác vụ nào gửi lên đám mây
  • Trên iPhone và iPad, khái niệm “transparent AI” được nhấn mạnh
    • Đây là các tính năng hoạt động âm thầm trong hệ điều hành và ứng dụng bên thứ ba, không phô bày rõ ràng rằng đó là AI
    • Draw Things, trình tạo ảnh chạy trên iPhone, iPad và Mac, được nêu làm ví dụ
    • SwingVision, ứng dụng phân tích trận tennis và pickleball theo thời gian thực bằng camera iPhone, cũng được đưa ra như một trường hợp tiêu biểu
  • Brooks mô tả tốc độ phát triển AI hiện nay là “just crazy”, và cho biết rất khó dự đoán không chỉ 1 năm tới mà cả 3 tháng hay 1 tháng tới

Bài viết liên quan

1 bình luận

 
GN⁺ 4 giờ trước
Ý kiến trên Hacker News

  • Apple đến nay hầu như chưa đưa ra được trải nghiệm AI nào thật sự thú vị, nhưng tôi vẫn nghĩ sau 5 năm nữa họ rất có khả năng trở thành nhà cung cấp AI thống trị
    Chỉ cần thêm một, hai bước tiến nữa về chip hoặc mô hình, hoặc cả hai, là ngay cả thiết bị Apple tầm trung cũng có thể chạy mô hình cục bộ khá tốt miễn phí; khi đó, sự kết hợp giữa quyền riêng tư, chi phí và độ trễ có vẻ sẽ rất khó để OpenAI/Anthropic/Google đánh bại
    Ghi lại để 5 năm nữa được khen hoặc bị đem ra chế giễu

    • Tôi lại thích việc Apple không biến toàn bộ hoạt động kinh doanh của mình thành xoay quanh AI
      Giờ thì hơi mệt mỏi rồi. Ở công việc, vì nhu cầu thực tế nên tôi dùng nó, và điều đó đang làm mất bớt phần thú vị, vui vẻ; nếu ngoài công việc cũng dùng nhiều như vậy thì chắc cũng sẽ thành ra giống thế
    • Có hai lý do lớn khiến suy luận cục bộ khó cạnh tranh với cloud trong một thời gian nữa
      Thứ nhất, phần lớn các tác vụ LLM hữu ích được xử lý song song. Mac Mini có thể chạy một luồng suy luận LLM tại một thời điểm, còn cloud có thể khởi chạy hàng chục luồng và batch chúng hiệu quả trên toàn bộ đội phần cứng
      Thứ hai, phần cứng suy luận nhanh hơn như Cerebras hay Groq không thể chạy cục bộ. Lợi thế thông lượng token trên mỗi luồng cao hơn 5 lần là điều khó có thể xem nhẹ, và khi cộng thêm lợi thế đa luồng thì đó là đòn quyết định với LLM cục bộ
      Suy luận cục bộ vẫn có vai trò. Nếu xử lý việc cực kỳ nhạy cảm, hoặc muốn dùng mô hình không kiểm duyệt để trò chuyện tình dục hay tạo ảnh NSFW, cục bộ là lựa chọn duy nhất. Apple và các công ty khác có lẽ cũng sẽ tiếp tục chạy cục bộ nhiều tác vụ hữu ích như gợi ý chỉnh sửa câu, nhận dạng giọng nói, tổng hợp giọng nói, thao tác ảnh; phần cứng cục bộ càng tốt thì các tính năng này cũng sẽ càng cải thiện
      Nhưng với phần lớn tác vụ LLM, tôi nghĩ cloud sẽ chiếm ưu thế trong một thời gian rất dài, có lẽ là mãi mãi
    • Việc tích hợp machine learning một cách tinh tế trong ứng dụng Photos khá ổn. Nhận diện thực vật, nhận diện khuôn mặt, xóa nền, tìm kiếm văn bản OCR, thậm chí tìm kiếm chữ viết tay đều được đưa vào rất tốt
    • Trước khi mọi thứ hoàn toàn cục bộ hay hoàn toàn online, tôi nghĩ hybrid sẽ xuất hiện trước
      Kiểu như mô hình cục bộ đảm nhiệm điều khiển hoặc ủy thác trên máy tính, còn những việc cần suy luận mạnh, lập kế hoạch, truy cập tri thức thì do mô hình online đảm nhiệm. Nếu sai thì tôi sẽ vui, nhưng tôi cho rằng mô hình đang phình to nhanh hơn phần cứng
    • Tháng 4/2023 tôi từng viết rằng “tất cả chúng ta nên mua Mac Studio cấu hình tối đa, RAM 128GB, 20 nhân CPU, nhiều nhân GPU và Neural”
      Chúng ta vừa muộn mà cũng vừa sớm
      https://news.ycombinator.com/item?id=35527692

  • Nếu Apple thiết kế Private Cloud Compute như một nơi thực thi chuyên dụng cho cá nhân, có lẽ họ cũng bán được những cỗ máy giá khởi điểm 10.000 USD
    Cuối cùng sẽ cần một lộ trình hạ xuống mức 2.500 USD, nhưng trong các thương hiệu hướng tới người tiêu dùng, có vẻ ngoài Apple thì khó ai làm được ngách này
    [1] https://security.apple.com/blog/private-cloud-compute/

    • Những mẫu M3 Ultra Mac Studio đã hết hàng có băng thông bộ nhớ từ 800GB/s trở lên đang được giao dịch trên eBay với giá 24.000 USD, nên chuyện đó hoàn toàn có thể
    • Khi iCloud Drive còn đang được phát triển, thông qua một nhân viên sales đến công ty giới thiệu ứng dụng y tế nội bộ trên iPad, tôi từng đề nghị Apple làm thứ như vậy cho iCloud
      Nếu có một Mac Pro gắn rack mà các thiết bị “được quản lý” có thể trỏ tới, tôi đã dễ dàng trả 50.000 USD, nhưng Apple hoàn toàn không hiểu nhu cầu đó
    • Trước đây mỗi lần Mac mới ra, tôi và đồng nghiệp hay thử cấu hình đắt nhất
      Có thời điểm rất dễ lên tới sáu chữ số USD, nhưng theo thời gian thì ngày càng giảm xuống
    • Apple khá thù địch với người dùng chuyên nghiệp, nên tôi nghĩ là không
    • Cái đó gần với doanh nghiệp hơn. Trong điện toán cá nhân, rất khó tưởng tượng một trường hợp sử dụng nào biện minh được cho cỗ máy 10.000 USD

  • Nếu chỉ dùng các phần mềm kiểu Claude Code hay openclaw thông qua API LLM hoặc gói đăng ký, không chạy mô hình cục bộ, và chỉ muốn có workflow “bộ não thứ hai” luôn bật cùng hệ thống tệp cục bộ, thì tôi không chắc có nhất thiết cần Mac mini không
    Có vẻ Raspberry Pi hay laptop cũ cũng chạy được; tôi tò mò không biết đã có ai thật sự thử chưa

    • Tôi hơi không hiểu trào lưu Mac mini
      Có lẽ là một trong hai trường hợp. 1) Nghe nói “Mac tốt cho AI” nên mua, nhưng suy luận thực tế lại dùng Claude, và không biết rằng chỉ cần có kết nối Internet thì ngay cả máy sấy tóc cũng có thể gọi Anthropic API. 2) Muốn agent có bong bóng xanh iMessage
      Khó tin là người bình thường suy luận trên thiết bị nhiều đến mức Mac Mini cháy hàng, và dù có vậy thì Mac mini cũng không phải nền tảng quá tốt cho mục đích đó
    • Chỉ cho mục đích đó thì không cần Mac Mini, nhưng giá của nó khá thấp và chất lượng tốt
      Người mua có thể không dùng hết hiệu năng, nhưng họ thường coi trọng sự tiện lợi hơn món đồ rẻ nhất có thể
      Nếu giả định sẽ dùng lâu và còn dùng cho việc khác, thì cũng có thể phần nào biện minh được
    • Vì trên Mac mini có thể gửi tin nhắn bằng iMessage. Chỉ vậy thôi
    • Đúng. Với các tác vụ như chạy trình duyệt, một chút hiệu năng dư ra cũng có ích, nhưng nếu muốn chi ít tiền thì hàng refurbished hoặc mini PC như Minisforum, GMKTec cũng đủ tốt
      Bộ nhớ tối thiểu 16GB, nếu được thì 32GB là tốt
    • Nếu chỉ dùng openclaw và API thì không cần PC lớn
      Tôi đang chạy vài thứ nhẹ trên RPI4 8GB. Nhiều người chạy LLM cục bộ, và khi đó Mac hữu ích. Nói thật, tôi nghĩ rất khó đánh bại hiệu quả chi phí của gói đăng ký OpenRouter và các lệnh gọi API

  • Nếu có vốn, tôi muốn làm một thiết bị suy luận dùng trong gia đình
    Cấu hình sẽ không có thiết bị ngoại vi nào ngoài Ethernet, chỉ gồm khối tính toán tích hợp CPU+GPU+bộ nhớ, bộ lưu trữ phụ, bo mạch chủ và nguồn điện. Tức là chỉ giữ phần cứng tối thiểu cần thiết để chạy mô hình như một tiện ích, không trang trí gì thêm
    Mặt trước cũng nên là một màn hình hiển thị trạng thái giống dàn stereo Hi-Fi ngày xưa
    Nói thêm thì tôi đang hình dung dạng một dòng mô-đun gồm CPU RISC-V + Vortex GPGPU + bộ nhớ

    • Mùa đông có thể sưởi ấm nhà, mùa hè có thể làm nóng hồ bơi
    • Nghe như Mac mini/Studio chỉ đổi ngoại hình một chút
    • Chẳng phải đó là thứ George Hotz đang làm ở tiny sao? https://tinycorp.myshopify.com/
    • Trong những thứ hiện có, gần nhất có lẽ là LLM ASIC do Taalas thiết kế
      https://taalas.com/products/
      Đáng tiếc là chatbot của công ty đó nhanh một cách đáng kinh ngạc, nhưng lại chẳng biết gì về chính công ty đang vận hành nó
      Dù sao, nếu là ASIC chạy mô hình ngôn ngữ khuếch tán cục bộ thì có vẻ không tệ. Dù một ngày nào đó nó trở nên lỗi thời, vẫn tốt hơn là phó mặc mọi thứ cho một công ty sống bằng vốn đầu tư mạo hiểm rồi biến mất trong tương lai, hoặc tệ hơn là thống trị thị trường và thu phí bao nhiêu tùy thích
    • Tôi đang theo dõi Tenstorrent cho mục đích này
      Giá có lẽ sẽ nằm đâu đó giữa một nền tảng bộ nhớ hợp nhất với mật độ bộ nhớ cao và GPU chuyên dụng theo mục đích
      Nó đúng là nằm sát ranh giới có hợp lý cho gia đình hay không, nhưng rất thú vị

  • Chạy mô hình trên thiết bị trong Mac khá phiền phức
    Chỉ riêng việc xác định thứ gì sẽ chạy — BF16, FP8, BF16+FP8, NVFP4, INT8, GGUF, v.v. — đã không rõ ràng, nói nhẹ là vậy. Apple gần như không hỗ trợ công cụ. Có MLX, nhưng nếu không định tự chuyển đổi mô hình sang định dạng đó thì bạn sẽ bị tụt lại khá xa
    Các ứng dụng như LM Studio, Ollama, Draw Things đơn giản hóa khá tốt, nhưng vẫn còn rườm rà

    • Tôi không rõ chính xác điều gì gây phiền phức. Chỉ là quá trình học thôi, một hai ngày là quen
      Có vẻ bạn đã quên rằng trong 50 năm qua, làm đủ thứ với máy tính vốn vừa nhàm chán vừa phức tạp, chỉ để khiến nó chạy được cũng đã mất rất nhiều thời gian. Chiếc máy tính đầu tiên của tôi có 48KB RAM, muốn chơi game phải tải từ băng cassette trong 5 phút. Đó mới là phiền phức
      So với chuyện đó, việc LM Studio tải mô hình về, nạp lên để bạn trò chuyện hoặc gắn agent vào là rất dễ và không tốn sức
    • Tôi dùng LM Studio khá thường xuyên, và nhóm MLX cùng cộng đồng thường đưa phiên bản MLX lên trong vòng một hai ngày sau khi mô hình mới được phát hành
    • Tôi tò mò bạn đang gặp vấn đề gì. Tôi đang chạy nhiều agent Qwen Coder next cục bộ và chúng hoạt động tốt
    • Chuyển mô hình sang MLX theo đúng nghĩa đen chỉ là git clone rồi chạy mlx_lm.convert
      Sau khi clone thì đó là việc 5 phút
    • Ngược lại, tôi đang hài lòng dùng LLM cục bộ này của antirez, người nổi tiếng với Redis
      [1] https://github.com/antirez/ds4

  • Điểm cốt lõi không phải là suy luận AI, mà là gọi công cụ, thao tác với ứng dụng GUI desktop và chạy trình duyệt
    Trên Mac Mini giá rẻ hiện chưa có mô hình chạy trên thiết bị đủ tốt để làm công việc thực tế. Nhưng nếu mục đích là chạy vài trình duyệt và ứng dụng GUI, mua Mac Mini vẫn tốt hơn nhiều so với trả tiền cho các container trên cloud vừa đắt hơn vừa kém hiệu năng hơn
    Trình duyệt không được thiết kế để chạy trong container Linux, và hoạt động tốt nhất trên hệ điều hành desktop chạy bare metal. M4 Mac Mini có hiệu năng đơn nhân tốt hơn bất kỳ VM nào có thể thuê trên cloud nếu xét theo hiệu năng tính toán thuần trên mỗi đô la, tức điểm Geekbench

    • Theo giá gốc thì một cụm 4 máy từng là giải pháp rất tốt cho yêu cầu token/giây/đô la

  • Liên kết được gửi lẽ ra phải là bài xã luận gốc này
    https://www.thedeepview.com/articles/how-apple-s-decade-long...

  • Việc “theo Doug Brooks, quản lý sản phẩm cấp cao Apple silicon, Mac mini và Mac Studio của Apple đã trở thành những cỗ máy được ưa chuộng để chạy AI agent” phần lớn là hiện tượng ở Mỹ
    Quanh chỗ tôi không có Mac mini hay Mac Studio, chỉ có laptop ThinkPad và MacBook kết nối với các hyperscaler

    • Không rõ quanh chỗ bạn là ở đâu. Ở Anh, giá điện đắt đến vô lý, nên chúng khá phổ biến như một trong các lựa chọn tiêu thụ điện thấp cho LLM cục bộ
      Nếu bạn không ở trong cộng đồng LLM cục bộ thì tất nhiên sẽ không thấy. Cũng giống như không bao giờ ra sân tennis rồi nói “ở đây tennis không phổ biến” vậy

  • Giống như người ta mua xe diesel vì tiết kiệm nhiên liệu hơn xe chạy xăng, ở nhiều nước giá điện rất cao nên họ mua thiết bị bộ nhớ hợp nhất của Apple có chi phí vận hành rẻ hơn cấu hình Nvidia
    Khi có thêm các lựa chọn bộ nhớ hợp nhất không phải Apple, nhiều người sẽ chuyển sang những lựa chọn đó hơn

  • Bài này là bản viết lại của https://www.thedeepview.com/articles/how-apple-s-decade-long...