Arm công bố AGI CPU - Nền tảng silicon cho kỷ nguyên đám mây AI tác tử

• Arm công bố AGI CPU dựa trên nền tảng Neoverse, trực tiếp cung cấp silicon sẵn sàng cho sản xuất dành cho hạ tầng AI tự chủ
• CPU này được tối ưu cho khối lượng công việc AI song song trong môi trường rack mật độ cao, duy trì hiệu năng đơn luồng cao và băng thông bộ nhớ ngay cả dưới tải liên tục
• Các đối tác lớn như Meta, OpenAI, SK Telecom đã bắt đầu triển khai thương mại và đang áp dụng cho nhiều hạ tầng AI khác nhau như quản lý bộ gia tốc và điều phối tác tử
• Arm công bố 1OU Dual Node Reference Server và thúc đẩy mở rộng hệ sinh thái bằng chuẩn định dạng OCP cùng các công cụ mã nguồn mở
• Đợt ra mắt này cho thấy Arm chính thức bước vào thị trường silicon trung tâm dữ liệu và trở thành nền tảng cốt lõi của kiến trúc trung tâm dữ liệu AI-native

---

Arm công bố AGI CPU: Nền tảng silicon cho kỷ nguyên đám mây AI tác tử

• Arm AGI CPU là sản phẩm silicon mới dựa trên nền tảng Arm Neoverse, là CPU sẵn sàng cho sản xuất được thiết kế nhằm vận hành hạ tầng AI thế hệ tiếp theo
• Đây là lần đầu tiên trong lịch sử 35 năm của Arm hãng trực tiếp cung cấp sản phẩm silicon, mở rộng vượt ra ngoài IP và Compute Subsystem(CSS) để cung cấp tùy chọn các giải pháp ở cấp nền tảng và bộ xử lý do Arm thiết kế cho khách hàng
• Đây là động thái nhằm đáp ứng sự tiến hóa nhanh chóng của hạ tầng AI và nhu cầu ngày càng tăng đối với các nền tảng Arm có thể triển khai ở quy mô lớn

Sự trỗi dậy của hạ tầng AI tác tử

• Các hệ thống AI đang bước vào kỷ nguyên vận hành liên tục và tự chủ trên toàn cầu
  • Trước đây tốc độ tương tác của con người giới hạn tốc độ xử lý của hệ thống, nhưng trong AI tác tử, các tác tử phần mềm tương tác với nhiều mô hình theo thời gian thực và tự đưa ra quyết định
• Sự thay đổi này khiến CPU nổi lên như thành phần điều phối cốt lõi của hạ tầng hiện đại
  • CPU quản lý bộ gia tốc, bộ nhớ, lưu trữ, lập lịch khối lượng công việc, di chuyển dữ liệu và điều phối đồng thời nhiều tác tử
• Arm Neoverse hiện đã được sử dụng làm nền tảng cho các hyperscaler và nền tảng AI lớn như AWS Graviton, Google Axion, Microsoft Azure Cobalt và NVIDIA Vera
• Arm AGI CPU được phát triển để đáp ứng nhu cầu mở rộng của hạ tầng AI toàn cầu này

Arm AGI CPU: Thiết kế cho hiệu quả tác tử ở cấp rack

• Arm AGI CPU được thiết kế để duy trì hiệu năng tác vụ đơn cao ngay cả dưới tải liên tục trong các môi trường song song quy mô lớn
  • Mọi yếu tố như tần số hoạt động, bộ nhớ và kiến trúc I/O đều được tối ưu để hỗ trợ khối lượng công việc AI song song trong triển khai rack mật độ cao
• Cấu hình máy chủ tham chiếu của Arm là thiết kế 1OU, 2 node, với mỗi blade trang bị 272 lõi (2 chip, bao gồm bộ nhớ và I/O chuyên dụng)
  • Một rack làm mát bằng không khí 36kW có thể lắp 30 blade (tổng cộng 8160 lõi)
  • Thiết kế làm mát bằng chất lỏng 200kW hợp tác với Supermicro có thể chứa 336 Arm AGI CPU (hơn 45.000 lõi)
• Cấu hình này mang lại hiệu năng trên mỗi rack cao hơn gấp 2 lần so với các hệ thống x86 hiện đại*
  • Băng thông bộ nhớ cao giúp duy trì hiệu quả luồng ngay cả dưới tải liên tục
  • Hiệu năng đơn luồng dựa trên lõi Neoverse V3 được cải thiện, làm tăng thông lượng trên mỗi luồng

Mức độ phổ biến ban đầu trong hệ sinh thái AI

• Arm AGI CPU đã bước vào giai đoạn triển khai thương mại cùng với các đối tác lớn
  • Các lĩnh vực ứng dụng gồm quản lý bộ gia tốc, điều phối tác tử, tăng mật độ dịch vụ và ứng dụng, mở rộng mạng và năng lực tính toán data plane
• Meta tham gia với vai trò đối tác dẫn đầu, đang thúc đẩy tối ưu hóa hạ tầng quy mô gigawatt cho hệ ứng dụng Meta và tích hợp với bộ gia tốc MTIA
• Các đối tác ban đầu bao gồm Cerebras, Cloudflare, F5, OpenAI, Positron, Rebellions, SAP, SK Telecom
  • Có thể đặt hàng hệ thống thương mại thông qua ASRockRack, Lenovo và Supermicro
• Arm công bố Arm AGI CPU 1OU Dual Node Reference Server, được cung cấp theo chuẩn định dạng Open Compute Project(OCP) DC-MHS
  • Arm dự kiến đóng góp mã nguồn mở cho thiết kế máy chủ này, firmware, đặc tả kiến trúc hệ thống, framework debug cùng các công cụ chẩn đoán và xác thực
  • Chi tiết sẽ được công bố tại OCP EMEA Summit

Chương mới cho hạ tầng Arm

• Việc ra mắt Arm AGI CPU đánh dấu một giai đoạn mới trong chiến lược trung tâm dữ liệu của Arm
  • Hỗ trợ nhiều nhóm khách hàng, từ đám mây hyperscale đến startup AI
• Arm AGI CPU là mẫu đầu tiên trong dòng sản phẩm silicon trung tâm dữ liệu của Arm và hiện đã có thể đặt hàng
  • Các sản phẩm tiếp theo đang được phát triển với mục tiêu đạt hiệu năng, khả năng mở rộng và hiệu quả ở mức hàng đầu
• Song song với lộ trình Arm Neoverse CSS, Arm hỗ trợ mọi khách hàng trung tâm dữ liệu duy trì kiến trúc nền tảng chung và khả năng tương thích phần mềm
• Hơn 50 doanh nghiệp lớn đang ủng hộ việc mở rộng silicon Arm và đã bước vào giai đoạn định hình cũng như trực tiếp xây dựng kiến trúc trung tâm dữ liệu AI-native

Tóm tắt phát biểu của đối tác

• Cerebras

  • Khả năng mở rộng và hiệu quả của Arm AGI CPU đóng vai trò then chốt trong việc xây dựng hạ tầng AI siêu quy mô tập trung vào suy luận

• Cloudflare

  • Cloudflare áp dụng Arm AGI CPU làm hạ tầng tính toán hiệu năng cao, điện năng thấp để mở rộng hiệu quả trên toàn bộ mạng lưới toàn cầu

• Meta

  • Meta đang đồng phát triển cùng Arm để nâng cao mật độ hiệu năng trung tâm dữ liệu và hỗ trợ lộ trình hệ thống AI đa thế hệ

• OpenAI

  • Arm AGI CPU dự kiến sẽ góp phần tăng cường lớp điều phối cho khối lượng công việc AI quy mô lớn và cải thiện hiệu quả hệ thống cũng như băng thông

• Positron

  • Positron kỳ vọng sự kết hợp giữa công nghệ tăng tốc suy luận và hiệu quả năng lượng của Arm AGI CPU sẽ cải thiện hiệu năng và hiệu quả chi phí của trung tâm dữ liệu

• Rebellions

  • Rebellions cung cấp nền tảng tối ưu cho khối lượng công việc suy luận quy mô lớn với cấu hình máy chủ mật độ cao kết hợp Arm AGI CPU và NPU

• SAP

  • SAP nhấn mạnh mức độ trưởng thành của khối lượng công việc doanh nghiệp dựa trên Arm và mở rộng Arm AGI CPU làm nền tảng hỗ trợ các giải pháp kinh doanh AI thế hệ tiếp theo

• SK Telecom

  • SK Telecom đang xây dựng hạ tầng trung tâm dữ liệu suy luận AI quy mô lớn tích hợp bộ gia tốc AI của Rebellions và Arm AGI CPU, với mục tiêu tăng cường năng lực cạnh tranh AIDC

Lưu ý và tuyên bố miễn trừ trách nhiệm

• Tài liệu này bao gồm các tuyên bố hướng tới tương lai về lộ trình sản phẩm, hiệu năng và kế hoạch triển khai của đối tác của Arm
  • Kết quả thực tế có thể khác nhau tùy theo các yếu tố như cấu hình hệ thống và khối lượng công việc
• Các chỉ số hiệu năng là ước tính nội bộ của Arm, dựa trên so sánh ở cấp rack giữa máy chủ dùng Arm AGI CPU và máy chủ x86 cùng phân khúc*
• Mọi tên sản phẩm và tên công ty là nhãn hiệu hoặc nhãn hiệu đã đăng ký của chủ sở hữu tương ứng

[GN⁺]

Ý kiến trên Hacker News

• Tên CPU này gần như ở mức lừa đảo chứng khoán
  Dạo này nhắc đến "AGI" thì đa số đều nghĩ tới Artificial General Intelligence, nhưng Arm lại gọi nó là "Agentic AI Infrastructure"
  Các nhà đầu tư phổ thông sẽ không biết sự khác biệt đó và sẽ mua cổ phiếu ARM, còn Arm thì biết rõ điều đó. Trong ngành, người ta gọi việc này là ‘nói dối’

  • Dạo này AGI đã rơi xuống thành chỉ là một từ marketing. Có cảm giác sắp có cả lăn khử mùi hương AGI nữa
  • Trước đây marketing 5G cũng như vậy. Khi 5G thực sự còn chưa được triển khai mà vẫn gọi là 5G để gây nhầm lẫn cho người tiêu dùng
    Như bài viết của PBS đã đề cập, marketing lúc nào cũng trộn lẫn thuật ngữ theo kiểu này
  • Nếu người giàu mà ngốc đến mức này thì mất tiền cũng chẳng biết trách ai
    Người đầu tư mà không kiểm chứng gì thì luật nào cũng không bảo vệ nổi
  • Tôi lại nghĩ kiểu đặt tên phóng đại này cũng hay
    Thứ marketing hão huyền như vậy có khi lại khiến ngành bỏ hẳn từ ‘AGI’ và quay về thực tế
  • Kiểu marketing này thực sự rất khó chịu
    Lấy thuật ngữ có sẵn rồi bọc lại bằng nghĩa mới là chiêu trò cũ rích
    “Personal Computer” của IBM, “Windows” của Microsoft, “Core” của Intel đều từng như thế
    (Tham khảo thêm thì tôi cũng là nhà đầu tư nhỏ lẻ của ARM)

• Đây đơn giản chỉ là Arm tự sản xuất và bán CPU Neoverse
  Không phải CPU AI. Chẳng khác gì Graviton, Epyc hay Xeon
  Đây là điều đã lộ ra từ mấy năm trước trong vụ Qualcomm kiện Arm
  Arm không chỉ định cấp license mà còn có kế hoạch trực tiếp bán CPU; CEO khi đó phủ nhận nhưng cuối cùng hóa ra là thật
  Tôi cũng có bài đăng viết về chuyện này

  • Gợi nhớ thời Intel quảng bá rằng Pentium giúp duyệt web nhanh hơn
  • Lúc đầu tôi cũng nghĩ vậy. Đọc nội dung blog thì thấy rõ ARM đang muốn cạnh tranh trực tiếp với khách hàng
    Nên có vẻ họ ăn theo cơn sốt AI để đặt tên như vậy
    Nhưng các hãng phần cứng sẽ nhìn ra kiểu phô trương này. Cuối cùng nếu không cạnh tranh được về giá thì cũng không bán được
  • Tệ hơn nữa là, có những SoC thật sự có bộ tăng tốc AI (NPU), còn cái này thì thậm chí cũng không phải loại đó

• Điều thú vị là đây là lần đầu tiên trong 35 năm lịch sử Arm hãng tung ra sản phẩm silicon của riêng mình

  • Có vẻ những kỹ sư đã bực bội suốt hàng chục năm khi thấy các công ty khác dùng lõi ARM theo cách kỳ quặc, cuối cùng cũng có cơ hội thể hiện năng lực của mình
  • Việc ARM tự làm chip giống như TSMC đi bán CPU của riêng mình
    Giờ thì ARM sẽ cạnh tranh trực tiếp với các khách hàng của mình
  • Có lẽ sức hút của cuộc đua silicon AI cuối cùng đã quá lớn
    Đã đến lúc bán chip trực tiếp có lời hơn doanh thu license
  • Nhưng VLSI từng làm ra ARM1 thì đó cũng vẫn là silicon của ARM. Không hẳn là điều hoàn toàn mới
  • Để làm việc này thì họ sẽ phải tuyển thêm kỹ sư Design Verification, mà đó là một khoản chi phí lớn

• AGI là viết tắt của Agentic AI Infrastructure
  Nếu bạn đang nghĩ đến thứ khác thì xin lưu ý

  • Nghe như một cách tóm lược hiện thực của ngành AI hiện nay bằng chất thơ. Một khung cảnh đẹp nhưng cay đắng
  • Giá mà đặt tên là AAII rồi quảng bá là “mạnh gấp đôi AI” thì còn buồn cười hơn
  • Cũng chẳng rõ nên nhấn vào chữ nào trong AGI
    Nghĩ đến cách ARM từng tách bạch rõ A, R, M trong profile thương hiệu, thấy hơi thất vọng
  • Cái này đơn giản là... có gì đó. Không phải kiểu ‘có gì đó’ theo nghĩa tốt
  • Cảm giác như đang nhảy qua cá mập thì làm rơi luôn quần. Dù có chủ ý hay không thì vẫn rất khó quên

• Họ nói AGI(Agentic AI Infrastructure) sẽ được thêm vào lineup cùng với CSS(Compute Subsystems)
  Tò mò không biết ai là người đặt ra những cái tên này

  • Chắc cùng một kiểu người đã khiến “Generative AI” nghe như “General AI”
    Lối sống cơ bản của giới marketer có vẻ là lừa bịp
  • Vậy là Artificial General Intelligence và Cascading Style Sheets bắt tay với nhau à?

• Chuyện này giống như đặt tên con mình là World President Smith

  • Nhưng biết đâu lại hiệu quả thật
    Theo một bài báo của APA, cái tên có thể ảnh hưởng đến hành vi
    Môi giới bất động sản của tôi thậm chí còn có họ là ‘House’

• Giờ thì cái gì cũng là AGI
  Hôm qua là Agentic, hôm kia là AI
  Chẳng mấy chốc chắc siêu thị sẽ đầy giấy vệ sinh AGI Agentic AI Crypto. Bên cạnh đó có thể là cá ngừ đóng hộp UML Rational Rose

• Arm giờ đang trực tiếp bán CPU của riêng mình

• Tôi không hiểu “Built for rack-scale agentic efficiency” nghĩa là gì

  • Bỏ qua khẩu hiệu marketing thì đây là một hệ thống đa lõi quy mô lớn, tối ưu hiệu suất với 136 lõi và mức điện 300W
    Theo cách giải thích của Arm, khối lượng công việc Agentic trong tương lai sẽ gây tải lên cả CPU lẫn GPU, nên hiệu suất CPU là quan trọng
  • Giờ là thời đại người ta chỉ cần liệt kê những từ nghe cho có vẻ thuyết phục
  • Cuối cùng thì đó là khái niệm mật độ tính toán Agentic kiểu “mức tiêu thụ token × số lượng agent × không gian rack”
  • Làm tôi nhớ tới meme “mongodb is web scale”
  • Giống kiểu câu hỏi “có bao nhiêu thiên thần có thể nhảy trên đầu một cây kim?”
    Tham khảo liên kết Wikipedia