Apple công bố chip M5, nâng hiệu năng AI lên tầm cao mới

• Chip M5 tích hợp Neural Accelerator vào từng lõi GPU, đẩy tốc độ tính toán AI lên hơn 4 lần so với M4
• Kết hợp GPU 10 lõi, Neural Engine 16 lõi, băng thông bộ nhớ hợp nhất 153GB/s để tăng vọt hiệu năng cả với mô hình AI on-device lẫn xử lý đồ họa
• Được trang bị trên MacBook Pro 14, iPad Pro, Apple Vision Pro, giúp cải thiện mạnh tốc độ chạy quy trình làm việc dựa trên AI, mô hình diffusion và mô hình ngôn ngữ
• Với ray tracing engine thế hệ 3 mới và Dynamic Caching thế hệ 2, chip mang lại hiệu năng đồ họa tăng tối đa 45% trong game và ứng dụng 3D
• Apple nhấn mạnh M5 là nền tảng cốt lõi cho kỷ nguyên AI, đánh dấu bước nhảy thế hệ tiếp theo của Apple Silicon cả về hiệu năng lẫn hiệu quả năng lượng

---

Tổng quan về chip M5

• Chip M5 là Apple Silicon SoC thế hệ mới được sản xuất trên tiến trình 3nm thế hệ 3, được thiết kế lại toàn diện cho khối lượng công việc AI
• Tích hợp Neural Accelerator vào mỗi trong số 10 lõi GPU, đạt hiệu năng tính toán AI cao hơn 4 lần so với M4, 6 lần so với M1
• CPU 10 lõi gồm 4 lõi hiệu năng và 6 lõi tiết kiệm điện, cung cấp hiệu năng đa luồng nhanh hơn 15% so với M4
• Neural Engine 16 lõi, media engine được nâng cấp và băng thông bộ nhớ 153GB/s giúp tăng hiệu quả trên toàn hệ thống

Đột phá về hiệu năng AI và đồ họa

• Kiến trúc GPU thế hệ mới của M5 được tối ưu hóa mọi khối tính toán cho AI, và Neural Accelerator trong GPU trực tiếp xử lý các phép tính AI
  • Tốc độ chạy của các ứng dụng AI on-device như Draw Things, LM Studio được cải thiện đáng kể
• Ray tracing engine thế hệ 3 kết hợp với Dynamic Caching thế hệ 2 giúp hiệu năng xử lý đồ họa tăng 30% so với M4 và 2,5 lần so với M1
• Trên các game cấu hình cao như Cyberpunk 2077, chip hỗ trợ 120Hz và chuyển khung hình mượt mà
• Các ứng dụng dựa trên framework chính thức của Apple (Core ML, Metal Performance Shaders, Metal 4) có thể nhận được cải thiện hiệu năng ngay lập tức
• Nhà phát triển có thể điều khiển trực tiếp Neural Accelerator trong GPU thông qua Metal 4 Tensor API

Neural Engine và Apple Intelligence

• Neural Engine 16 lõi phối hợp với Neural Accelerator trên CPU và GPU để xử lý tác vụ AI tốc độ cao
• Trên Apple Vision Pro, các tính năng AI phức tạp như chuyển ảnh sang 3D và tạo Persona hoạt động nhanh hơn
• Tốc độ phản hồi của mô hình ngôn ngữ dựa trên Apple Intelligence và công cụ Image Playground được cải thiện, nâng cao trải nghiệm AI on-device
• Các nhà phát triển khi tận dụng mô hình Apple Intelligence cũng có thể cảm nhận được mức cải thiện hiệu năng nhờ Neural Engine mạnh hơn của M5

Kiến trúc bộ nhớ

• Băng thông bộ nhớ hợp nhất 153GB/s tăng 30% so với M4 và hơn 2 lần so với M1
• Nhờ cấu trúc bộ nhớ dùng chung duy nhất, CPU, GPU và Neural Engine có thể truy cập cùng một vùng bộ nhớ dung lượng lớn
• Cấu hình bộ nhớ 32GB cho phép chạy mượt đồng thời các ứng dụng sáng tạo cấu hình cao như Photoshop, Final Cut Pro và các mô hình AI quy mô lớn
• Tối đa hóa hiệu năng của các mô hình AI lớn và kết xuất đồ họa thời gian thực

Hiệu quả năng lượng và môi trường

• M5 cải thiện mạnh hiệu năng trong khi vẫn duy trì hiệu suất điện năng hàng đầu ngành
• Là một phần của Apple 2030 Initiative, Apple thúc đẩy giảm phát thải carbon trong toàn bộ quá trình sản xuất, vật liệu, điện năng và vận chuyển
• Các thiết bị trang bị chip M5 đáp ứng tiêu chuẩn hiệu quả năng lượng và giảm thiểu mức tiêu thụ điện trong suốt vòng đời sản phẩm

Ý nghĩa tổng thể

• Chip M5 cho thấy sự tiến hóa của Apple Silicon đã chính thức chuyển sang kỷ nguyên điện toán lấy AI làm trung tâm
• Với thiết kế tích hợp giữa GPU và Neural Engine, hiệu năng AI on-device đang phát triển theo hướng giảm phụ thuộc vào đám mây và tăng tính độc lập tính toán cho thiết bị cá nhân
• Apple đang tái định nghĩa MacBook Pro, iPad Pro, Vision Pro thành nền tảng sáng tạo AI thế hệ tiếp theo

[tsboard]

Trông như nỗ lực vùng vẫy của Apple, kẻ chậm chân trong AI, nhưng dù vậy vẫn thấy khá đáng mong đợi haha

[GN⁺]

Ý kiến Hacker News

• Tóm tắt bằng bảng

  Chip	Process	CPU Cores	GPU	Neural Engine	Băng thông bộ nhớ	Bộ nhớ hợp nhất	Geekbench đơn nhân/đa nhân
  M1	5 nm G1	8: 4P+4E	7–8	16-core	68.25 GB/s	16 GB	2346 / 8346
  M2	5 nm G2	8: 4P+4E	8–10	16-core	100 GB/s	24 GB	2586 / 9672
  M3	3 nm G1	8: 4P+4E	8–10	16-core	100 GB/s	24 GB	2965 / 11565
  M4	3 nm G2	10: 4P+6E	8–10	16-core	120 GB/s	32 GB	3822 / 15031
  M5	3 nm G3	10: 4P+6E	10	16-core	153 GB/s	≤32 GB	4133 / 15437 (9 core)

• Việc bộ nhớ hợp nhất giảm từ 32GB xuống 24GB khá thú vị. Có lẽ Apple cho rằng chip M4 đã cho phép quá nhiều bộ nhớ ở bản tiêu chuẩn nên muốn nới rộng khác biệt với chip Pro/Max. Nhưng vì Macbook Pro mới nhất cũng hỗ trợ tùy chọn 32GB, nên cũng có thể mục 24GB M5 trong bảng chỉ là lỗi đánh máy
• M3 Max của tôi sắp thành đồ cũ mất rồi, nhưng nâng cấp lên M6 hay M7 Max thì chắc sẽ rất tuyệt
• Tò mò không biết tiến trình 2nm của TSMC bị dời sang năm sau hay vốn dĩ đã được lên kế hoạch cho 2026
• Điểm Geekbench đa nhân của M5 là của bản 9 nhân. Điểm của bản 10 nhân vẫn chưa được công bố
• MacBook Pro M5 vẫn dùng chip WiFi của Broadcom, nhưng iPad Pro M5 lại được trang bị N1 và C1X nên khá đáng kỳ vọng.
  Có cảm giác Apple đang làm những điều khó tin ở mảng phần cứng.
  Đội phần mềm thì thực sự cần phải tỉnh lại. Bản thân M1 đã quá mạnh, đến mức đa số người dùng không cần nâng cấp.
  Nhưng OS mới (Tahoe) lại khiến M1 Air của tôi đột nhiên chậm đi ngay cả khi làm những việc tôi đã làm y hệt suốt nhiều năm qua.
  Nếu đây là làm chậm có chủ ý thì thật đáng thất vọng
  • Sau bản cập nhật Tahoe, laptop công việc M2 Pro 32GB của tôi trở nên ì ạch như một chiếc PC chậm ở nhà.
    Con trỏ chuột cũng có cảm giác như bị dịch chuyển tức thời. Tắt hiệu ứng trong suốt trong thiết lập trợ năng cũng không giải quyết được mà còn tệ hơn
  • Gần đây có quá nhiều thứ về phần mềm của Apple khiến tôi phát điên.
    • Tôi dùng iPhone làm điều khiển Apple TV nhưng đột nhiên không chỉnh được âm lượng; UI quá thiếu nhất quán
    • Kiểu xác thực ép dùng Face ID rất bực. Ở khu trượt tuyết thì đương nhiên Face ID không dùng được, mà cũng không thể nhập mật khẩu ngay
    • Trên Apple TV, nhập mã kiểm soát của phụ huynh cũng phải qua màn hình chọn PIN trước. Hiển thị ngay ô nhập PIN sẽ tiện hơn
    • Khi dùng iPhone làm remote, tôi cũng ước bước phê duyệt của phụ huynh có thể tự động chuyển tiếp
  • Đội phần cứng Apple làm được những điều như phép màu, nhưng phần mềm vận hành chúng thì lại không đáp ứng kỳ vọng. Cảm giác như hai công ty hoàn toàn khác nhau đang hoạt động riêng rẽ
  • Cũng khó nói chip WiFi trên MacBook Pro M5 hay N1, C1X trên iPad Pro có thực sự tốt hay không. Trải nghiệm của tôi với modem di động của Apple cũng thường không mấy hài lòng.
    Nói M1 mạnh mẽ thì hơi phóng đại. Hiệu năng trên điện năng thì xuất sắc, nhưng về tổng lượng tính toán thực tế thì Ryzen 9 7945HX xử lý được nhiều hơn M1 Max khoảng 3 lần, còn Intel Core Ultra 7 265k khoảng 3,5 lần
  • Nếu Apple tách hẳn tổ chức phần cứng và phần mềm, chuẩn hóa phần cứng hơn nữa, rồi để macOS/iOS chỉ là một trong rất nhiều lựa chọn thì sẽ rất đáng mong chờ. Thực tế thì bất khả thi, nhưng vẫn là điều để mơ
• Phần cứng Apple rất ấn tượng trên thông số, nhưng tôi không muốn mua một chiếc Mac không thể tự chạy Linux. Tôi ghét hệ sinh thái bị kiểm soát mà Apple tạo ra.
  Vấn đề ARM với x86 cũng tồn tại. Dù có distro tương thích thì desktop vẫn là nơi cần chạy đủ loại phần mềm và game, mà ARM vẫn còn nhiều giới hạn. Trên laptop thì nó đã là một lựa chọn hợp lý hơn, nhưng desktop ARM thật sự tự do và dùng được hàng ngày thì vẫn còn xa
  • Thực ra Linux chạy trên Mac khá ổn. Bạn đã thử Parallels hay VMware Fusion chưa? Đặc biệt Parallels hỗ trợ khá tốt tăng tốc 2D/3D/video, tạm dừng, tích hợp với OS máy chủ, v.v.
    Nếu không hợp gu, thì tính năng container native mới của Tahoe cũng cho phép chạy container trực tiếp từ dockerhub và các nơi tương tự.
    Và việc gọi hệ sinh thái macOS là một “walled garden” cũng hơi quá, vì cài app vẫn tự do và với homebrew thì gần như mọi phần mềm open-source lẫn không open-source đều dùng được
  • Tôi vẫn đang tìm một laptop ARM chạy Linux tốt. Tôi cũng đang để mắt tới các sản phẩm của Lenovo, nhưng hỗ trợ Linux vẫn còn thiếu
  • Muốn được Apple hỗ trợ chính thức thì lại có cảm giác như bị ép upsell có chủ ý. Có khi thay bàn phím cũng bị tính tới $1500. Apple vẫn khá thờ ơ với việc tái chế và loại bỏ các mẫu cũ. Và đây vẫn là một môi trường khép kín, nơi những lựa chọn tôi có thể làm trên chính thiết bị của mình bị hạn chế
  • Mac M1 và M2 chạy khá tốt với Asahi Linux (M3, M4, M5 thì vẫn chưa được hỗ trợ)
  • Giờ tôi nghĩ tốc độ tính toán tự thân không còn quá nhiều ý nghĩa nữa. Miễn là định luật Wirth không phát tác quá mạnh là được
• Lại không thấy thông tin cụ thể nào về cải tiến của Neural Engine.
  Gần như mọi thông tin về Apple Neural Engine (ANE) đều đến từ tài liệu chính thức của Apple hoặc từ reverse engineering (repo Github), nên tôi đoán lần này cũng có một số cải tiến để đáp ứng hiệu năng cho transformer.
  Các bài nghiên cứu của Apple về transformer cũng khá thú vị:
  • transformers on the Neural Engine
  • vision transformers
    Về mặt phần mềm thì MLX đã tốt hơn nhiều, nhưng tôi nghĩ vẫn còn có thể cải thiện thêm. Phải chờ xem M5 Max tiến xa đến đâu
    Dù có cải tiến gì thì cũng sẽ không áp dụng cho thế hệ trước, và điều đáng tiếc nhất là họ vẫn bám vào việc cung cấp chỉ 8GB bộ nhớ hợp nhất
  • Đúng như bạn nói, gần đây (từ khoảng năm ngoái đến 2 năm trước) tất cả các mẫu Mac cơ bản đều bắt đầu từ 16GB. MacBook Air cũng vậy
  • Có những trường hợp cần hiệu năng tính toán cao hơn, đặc biệt là với các vision language model có context lớn. Theo hiểu biết của tôi thì ANE trước đây được tối ưu cho tác vụ convolution và hiệu quả tính toán, còn neural accelerator mới đang đi theo hướng linh hoạt và hiệu năng hơn
  • Theo tôi biết thì MLX vẫn chưa sử dụng Neural Engine. Thà bỏ Neural Engine và tập trung vào các đơn vị metal/tensor của GPU còn hơn
  • Tôi đoán lần này họ đã thêm systolic array vào bên trong các lõi GPU giống như NVIDIA. Đó có vẻ là cách duy nhất để tăng tốc độ MLX lên 4 lần so với M4
  • Bộ nhớ hợp nhất lúc nào cũng có điểm yếu là thiếu hơn vram. Ngay cả 16GB vram của tôi cũng thấy không đủ. Thêm nữa, Apple định giá lưu trữ quá đắt, nên dù tôi thật sự muốn dùng AI cục bộ để tự do phân tích lịch, mail, ảnh, ghi chú của mình, giới hạn chỉ được chọn dung lượng 256GB~1TB vẫn là một trở ngại
• Trên Apple silicon có nhiều đơn vị phần cứng có thể thực hiện matrix multiplies
  1. CPU SIMD/NEON
  2. CPU AMX coprocessor (M1~M3)
  3. CPU SME (M4)
  4. GPU (metal compute shader + simdgroup-matrix + mps matrix)
  5. Neural Engine (CoreML advisory)
     Và có vẻ M5 còn bổ sung thêm một "Neural Accelerator" cho mỗi lõi
  • Điều này lại khá hợp lý vì mỗi đơn vị thao tác trên các điểm khác nhau trong hệ thống phân cấp bộ nhớ. Với lập trình viên cũng là tín hiệu tốt vì có thể kiểm soát chi tiết độ trễ và thông lượng
  • May là các thư viện như Pytorch trừu tượng hóa tốt sự phức tạp này. Nếu ở vị thế phải tự làm từ đầu thì chắc sẽ rất phức tạp
  • Tôi tò mò liệu phần mềm của Apple (ví dụ: Final Cut) có tận dụng đồng thời các đơn vị matrix multiply “trùng lặp” này để tối đa hiệu năng hay không. Vì ở cấp độ OS, do đặc tính multitasking, nhiều phần mềm sẽ phân tán dùng các tài nguyên khác nhau; nhưng cũng sẽ thú vị nếu thử kiểu tận dụng đồng thời cực hạn như vậy
  • Tôi không chắc đây có phải là một thiết kế kỳ lạ đến thế không. Các phép toán như matmul giờ đã là primitive cực kỳ phổ biến trong tính toán hằng ngày rồi. Mac Quadra năm 1994 cũng có rất nhiều đơn vị dấu phẩy động, còn Mac năm 1984 thì không
  • Tôi tự hỏi có thể dùng đồng thời tất cả các đơn vị matrix multiply hay không. Dù không thực tế nhưng làm thử cho vui cũng hay. CPU nếu có kiến trúc superscalar thì cũng có thể chạy song song một số phép toán
• Chip iPad Pro đang bị binning theo dung lượng lưu trữ
  • Từ 512GB trở xuống: 3 P-cores + 6 E-cores
  • Từ 1TB trở lên: 4 P-cores + 6 E-cores
    Nguồn
  • Việc tạo khác biệt hiệu năng theo mức dung lượng lưu trữ là kiểu marketing thật sự đáng ghét, nhất là khi Apple đã tính giá lưu trữ quá cao
• Gần đây nhìn Apple có cảm giác đội phần cứng làm tốt hơn hẳn đội phần mềm
  • Đây không phải lần đầu trong lịch sử Apple. Khi chuyển từ 68k sang PowerPC, hiệu năng phần cứng cũng tăng mạnh nhưng phần mềm không theo kịp. Hệ thống lõi gần như vẫn chạy qua emulation cho đến tận OS 9, còn protected memory và preemptive multitasking cũng rất thiếu sót. Các dự án Taligent và Copland đều đổ bể, rồi mới đi qua thương vụ mua lại NeXT để ra mắt Mac OS X. Trước thời điểm đó phần mềm từng là điểm khác biệt của Mac, nhưng sau khi chuyển sang Intel thì lợi thế ấy cũng suy giảm, và chỉ từ khi Mac M1 ra mắt mới có cảm giác phần cứng lại vượt lên trước
  • Phần mềm thường dễ bị phình phạm vi, thêm tính năng không cần thiết và tích tụ nhiều ứng dụng bị bỏ bê. Trong khi đó phần cứng bị giới hạn bởi chi phí sản xuất nên phạm vi bị khống chế hơn. Apple giờ cần ai đó sẵn sàng mạnh tay cắt bỏ phạm vi dư thừa và các sản phẩm phần mềm không cần thiết
  • Có cảm giác phần lớn phần mềm không dành cho datacenter/cloud đang ngày càng tệ đi. Những người đã quen với tình trạng này lại đang trở thành người có quyền ra quyết định, nên tôi nghĩ tương lai còn xấu hơn
  • Thật ra không phải chỉ bây giờ, mà chất lượng phần mềm của Apple vốn dĩ đã không quá xuất sắc. iTunes ngày xưa lúc sửa tag còn ghi từng file một cách cực kỳ chậm, và ngoài thiết kế hình ảnh hay design guide thì tôi cũng chưa từng thấy nó thật sự là phần mềm xuất sắc
  • Apple về bản chất là một công ty phần cứng. Họ cung cấp OS cho người tiêu dùng miễn phí, trong khi Microsoft chủ yếu tập trung bán OS. Giờ đây họ còn tự thiết kế cả gói SoC, nên tôi nghĩ họ đang thể hiện rất rõ thế mạnh phần cứng đó
• Đây là lần đầu tôi thấy Apple trực tiếp dùng từ "AI" trong marketing. Trước đây họ chỉ dùng "machine learning" hoặc "Apple Intelligence"
  • Cuối cùng thì Apple cũng đã đầu hàng trước hype. Việc kiên trì dùng từ “machine learning” từng giống như chút lòng tự trọng cuối cùng của Apple, nên khá tiếc
  • Tất nhiên nếu Apple triển khai AI đa dụng như diffusion model/LLM thì gọi là AI cũng không vấn đề gì. Dù vậy tôi vẫn nghĩ ít nhất trong PR nên nhắc cả Apple Intelligence
  • Cũng chưa hẳn là hết hy vọng. Biết đâu AI ở đây là viết tắt của Apple Intelligence thì sao, cứ tưởng tượng khác biệt một chút vậy
  • Tôi muốn tin rằng AI mà Apple quảng bá thực ra là Apple Intelligence
• Trong buổi công bố M5, Apple nói hiệu năng GPU cho AI đã nhanh hơn 4 lần so với M4, nhưng có lẽ đó là trong điều kiện phòng lab. Trên thực tế, cả M5 trên iPad lẫn MacBook Pro đều chỉ tuyên bố “hiệu năng AI nhanh hơn 3,5 lần”, nhưng các demo thực tế chỉ cho thấy ví dụ nhanh hơn 1,2~2,3 lần so với M4. Không hiểu họ đã dùng bài test nào để ra được con số 3,5 lần đó
  • Được biết M5 bổ sung hỗ trợ tính toán FP4. Vì vậy với các model quantized Q4 (độ chính xác thấp hơn BF16 rất nhiều), chênh lệch tốc độ có thể lớn
  • Không chỉ Apple, các đối thủ cũng thường so sánh với chip từ hai thế hệ trước, nên kiểu thổi phồng số liệu này cũng có thể hiểu được
• Tôi tò mò liệu chip M5 lần này có tích hợp "Memory Integrity Enforcement" (tính năng bảo mật đã có trên A19/A19 Pro) hay không
  • Dùng cùng lõi CPU nên rất có khả năng là cũng được hỗ trợ

[xguru]

Đến mức nhấn mạnh AI trong thông cáo báo chí thì cũng phần nào cho thấy cảm giác gấp gáp của Apple. Việc tích hợp cả GPU lẫn bộ gia tốc mạng nơ-ron để tăng tốc độ xử lý AI quả là mang tính đột phá, nên có vẻ hiệu năng on-device sẽ tăng lên rất nhiều. Giờ mấu chốt là sẽ có mô hình tốt đến mức nào chạy trên đó thôi haha