Bộ nhớ nay đã chiếm gần hai phần ba chi phí linh kiện của chip AI

 (epoch.ai)
1 điểm bởi GN⁺ 2 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • HBM đã tăng từ 52% trong quý 1/2024 lên 63% trong quý 4/2025, tính theo mức trung bình gia quyền theo sản lượng của các chip AI từ Nvidia, AMD, Google và Amazon
  • Trong cùng giai đoạn, tỷ trọng của logic die gần như giữ nguyên ở khoảng 13%, còn đóng gói tiên tiến giảm từ 19% xuống 15% và các linh kiện phụ trợ giảm từ 15% xuống 9%
  • Chi tiêu cho HBM của bốn đơn vị thiết kế đã tăng từ khoảng 12 tỷ USD trong năm 2024 lên 32 tỷ USD trong năm 2025, với tốc độ tăng trưởng theo năm nhanh hơn các linh kiện khác
  • Tổng chi tiêu cho linh kiện chip AI tăng từ khoảng 22 tỷ USD lên 52 tỷ USD, trong đó riêng HBM chiếm khoảng 20 tỷ USD phần tăng thêm
  • Năm 2026, áp lực chi phí có thể còn tăng mạnh hơn do thiếu hụt nguồn cung bộ nhớ và giá tăng; Microsoft và Meta cũng nêu giá linh kiện tăng là một yếu tố khiến chi tiêu vốn tăng lên

Thay đổi chính

  • Bộ nhớ băng thông cao (HBM) đã tăng tỷ trọng trong chi tiêu linh kiện chip AI từ 52% trong quý 1/2024 lên 63% trong quý 4/2025
  • Ước tính này là mức trung bình gia quyền theo sản lượng trên toàn bộ các chip AI do Nvidia, AMD, Google và Amazon thiết kế
  • Trong cùng giai đoạn, logic die gần như không đổi ở mức khoảng 13%, đóng gói tiên tiến giảm từ 19% xuống 15%, và các linh kiện phụ trợ giảm từ 15% xuống 9%
  • Chi tiêu cho HBM của bốn đơn vị thiết kế tăng từ khoảng 12 tỷ USD trong năm 2024 lên 32 tỷ USD trong năm 2025, nhanh hơn các linh kiện khác về tốc độ tăng trưởng theo năm
  • Tổng chi tiêu cho linh kiện chip AI tăng từ khoảng 22 tỷ USD trong năm 2024 lên khoảng 52 tỷ USD trong năm 2025, trong đó riêng chi tiêu cho HBM chiếm khoảng 20 tỷ USD phần tăng thêm

Áp lực chi phí trong năm 2026

Cách tính và phạm vi dữ liệu

  • Với mỗi chip AI do Nvidia, AMD, Google và Amazon thiết kế, chi phí trên mỗi chip của bộ nhớ, logic die, đóng gói tiên tiến và linh kiện phụ trợ được ước tính
  • Tổng chi tiêu linh kiện theo từng danh mục được tính bằng cách nhân chi phí linh kiện của từng chip với sản lượng ước tính theo quý, rồi tính tỷ trọng so với tổng chi tiêu linh kiện trong giai đoạn từ quý 1/2024 đến quý 4/2025
  • Các ước tính chi phí linh kiện được lấy từ AI Chip Components explorer, nơi xây dựng thông số linh kiện theo từng chip dựa trên công bố tài chính, tài liệu nhà cung cấp và báo cáo phân tích
  • Có thể xem phương pháp luận chi tiết tại explorer’s methodology documentation

Các danh mục linh kiện

  • Bộ nhớ

    • Bao gồm các stack HBM, cụ thể là HBM3 và HBM3e

  • Logic

    • Bao gồm logic die tiến trình tiên tiến 3~5nm

  • Đóng gói

    • Bao gồm đóng gói tiên tiến TSMC CoWoS

  • Linh kiện phụ trợ

    • Bao gồm substrate, cấp điện và các thành phần đầu vào khác không thuộc logic hoặc bộ nhớ

Xử lý bất định

  • Có bất định về chi phí trong đơn giá của từng linh kiện như giá stack HBM, giá logic die và giá gói CoWoS
  • Chi phí của từng linh kiện trên mỗi chip được mô hình hóa bằng khoảng tin cậy 90%
  • Tỷ trọng linh kiện là giá trị lấy chi phí của linh kiện đó chia cho tổng chi phí, nên cả tử số lẫn mẫu số đều có bất định
  • Hai loại khoảng được đưa ra cùng nhau
    • Khoảng chỉ thay đổi chi phí của chính linh kiện đó: tỷ trọng khi chi phí của linh kiện đó ở phân vị thứ 5 hoặc 95, còn ba linh kiện kia ở giá trị trung vị
    • Khoảng mọi linh kiện cùng biến động cực trị: tỷ trọng khi linh kiện đó ở một đầu cực của khoảng tin cậy, còn tất cả linh kiện còn lại đồng thời ở đầu cực ngược lại

Tỷ trọng linh kiện theo quý

  • Quý 1/2024

    • Tỷ trọng bộ nhớ là 52%, với khoảng 48~56% nếu chỉ chi phí linh kiện đó thay đổi, và 42~62% nếu mọi linh kiện cùng biến động cực trị
    • Tỷ trọng logic là 14%, với khoảng 12~17% nếu chỉ chi phí linh kiện đó thay đổi, và 10~20% nếu mọi linh kiện cùng biến động cực trị
    • Tỷ trọng đóng gói là 19%, với khoảng 14~24% nếu chỉ chi phí linh kiện đó thay đổi, và 12~27% nếu mọi linh kiện cùng biến động cực trị
    • Tỷ trọng linh kiện phụ trợ là 15%, với khoảng 13~18% nếu chỉ chi phí linh kiện đó thay đổi, và 11~21% nếu mọi linh kiện cùng biến động cực trị

  • Quý 4/2025

    • Tỷ trọng bộ nhớ là 63%, với khoảng 60~67% nếu chỉ chi phí linh kiện đó thay đổi, và 54~73% nếu mọi linh kiện cùng biến động cực trị
    • Tỷ trọng logic là 13%, với khoảng 10~16% nếu chỉ chi phí linh kiện đó thay đổi, và 9~19% nếu mọi linh kiện cùng biến động cực trị
    • Tỷ trọng đóng gói là 15%, với khoảng 11~19% nếu chỉ chi phí linh kiện đó thay đổi, và 9~22% nếu mọi linh kiện cùng biến động cực trị
    • Tỷ trọng linh kiện phụ trợ là 10%, với khoảng 8~10% nếu chỉ chi phí linh kiện đó thay đổi, và 7~12% nếu mọi linh kiện cùng biến động cực trị

Giả định và giới hạn

  • Chi phí linh kiện có thể thay đổi theo hợp đồng, nhà cung cấp và thời điểm, nên có bất định trong ước tính chi phí trên mỗi chip
  • Ước tính sản lượng chip theo quý và cơ cấu loại chip cũng có bất định, và phần bất định này được phản ánh trong các tỷ trọng được báo cáo

Dữ liệu và công cụ khám phá

Bài viết liên quan

1 bình luận

 
GN⁺ 2 giờ trước
Ý kiến Hacker News

  • Có vẻ như suy luận và huấn luyện AI có một lộ trình để giảm chi phí phần cứng khoảng 3 lần và tổng chi phí khoảng 2 lần ngay cả khi không có đổi mới công nghệ nào thực sự
    Chỉ cần nguồn cung DRAM bắt kịp nhu cầu; dù là mở rộng sản xuất hay đáp ứng phần nhu cầu tăng vọt bằng tốc độ sản xuất hiện tại, vấn đề chỉ là cần thời gian

    • Nếu tính cả biên lợi nhuận của Nvidia hiện đang bị đội lên do sự khan hiếm của các chip tối tân, dư địa giảm chi phí có thể còn lớn hơn rất nhiều
      Có nhiều điều đáng phê phán trong những gì Sam Altman đã phổ biến về mặt văn hóa, nhưng xét về dài hạn, tôi thấy câu “hiện tại là thời điểm tệ nhất trong phần còn lại của tương lai” là một điểm khá thú vị và bị đánh giá thấp
      Trong 10 năm nữa, việc huấn luyện các LLM ở mức hiện tại có lẽ sẽ trở thành một giả định cơ bản giống như việc vận hành cơ sở dữ liệu ngày nay. Mức hiện tại vốn đã khá tinh vi, và ngay cả tách biệt với tiến bộ phần cứng, chỉ cần xây dựng được khung huấn luyện học tăng cường tốt hơn thì vẫn còn rất nhiều dư địa đi lên
      Rất nên xem GitHub và các dự án HF của Allen Institute. Có các tài liệu huấn luyện mã nguồn mở như dữ liệu huấn luyện LLM từ đầu bằng Common Crawl và các tinh chỉnh thú vị của qwen, giúp hình dung được những gì chẳng bao lâu nữa có thể trở thành dự án buổi chiều hoặc tài liệu giảng dạy
    • Các hãng bộ nhớ sẽ không tăng mạnh nguồn cung để khớp với nhu cầu
      Ngành này có xu hướng duy trì thị trường trong trạng thái thiếu cung, vì nếu không thì tình trạng dư cung sau đó sẽ làm các công ty lao đao. Thay vào đó, nguồn cung từ các lĩnh vực lợi nhuận thấp hơn như di động và máy tính cá nhân sẽ chỉ được tái phân bổ sang những mảng có lợi nhuận cao hơn
    • Có vẻ như nước đi khéo léo của Sam Altman nhằm kiểm soát thị trường bộ nhớ đã tạo ra hệ quả ngoài dự kiến
    • Tôi tự hỏi liệu việc chấp nhận các định dạng dấu phẩy động thay thế có tăng lên không
      Dấu phẩy động IEEE nổi tiếng là kém ở độ rộng bit thấp, đặc biệt là 16 bit trở xuống. Những định dạng như posit tốt hơn nhiều ở 16 bit hay 8 bit. Nếu có thể huấn luyện bằng 16 bit thay vì 32 bit cho mỗi giá trị, mà mức mất độ chính xác nhỏ hơn rất nhiều so với khi chuyển từ IEEE32 sang IEEE16, thì điều đó khá đáng kể
    • Tôi tò mò tuổi thọ và khả năng tân trang của các linh kiện vốn đầu tư như mô-đun “GPU” hay DRAM được hàn bên trong chúng là đến mức nào

  • Vài năm trước tôi mua 96GB RAM với giá khoảng 250 đô la, còn bây giờ chính số RAM đó là 1.200 đô la

    • Ngày 22 tháng 10 năm ngoái tôi đã mua bộ RAM Crucial 96GB DDR5 5600MHz SO-DIMM với giá 279 đô la
      Trên Amazon hiện bộ tương tự có giá 1.048,90 đô la
    • Tôi cực kỳ bực vì đã không tranh thủ nhồi đầy máy chủ chính của mình lên mức tối đa khi còn có cơ hội
      Các mô-đun bộ nhớ doanh nghiệp đã qua sử dụng trên eBay khi đó thật sự rẻ như cho
    • Một năm trước tôi mua 192GB DDR3 đúng nghĩa đen với giá 60 đô la, tức 5 đô la mỗi mô-đun
      Giờ thì khoảng 22 đô la mỗi mô-đun, tức tổng cộng cỡ 350 đô la. Tôi thực sự không hiểu ai đang làm gì với DDR3 nữa
    • Giả định cũ rằng có thể kiếm được vài chục GB RAM với giá rẻ đã hoàn toàn sụp đổ
      Giá trị của các SSD siêu nhanh như Optane có thể tăng lên rất nhiều
    • Trong lúc dọn gara tôi phát hiện ra hai ổ Samsung EVO 4TB chưa dùng đến

  • Mỗi tài liệu tôi đọc đều cho thấy dung lượng RAM sẽ tăng khoảng 20~25% mỗi năm, nhưng chừng đó có vẻ không đủ
    Ngay cả với nhu cầu tiêu dùng, điện thoại và laptop mà gấp đôi RAM thì cũng sẽ tốt hơn hẳn, chưa nói tới nhu cầu AI là cực lớn
    Xu hướng này không có vẻ sẽ biến mất. Có thể nó sẽ không tăng nhanh như hiện tại, nhưng cũng sẽ không biến mất. Tôi hiểu vì sao các hãng bộ nhớ không muốn tự đẩy mình đến phá sản, nhưng hẳn phải có cách chuyển rủi ro đó sang các nhà cung cấp mô hình hoặc những bên tham gia khác trong hệ sinh thái để tăng dung lượng RAM gần mức 50% mỗi năm

    • Chỉ riêng các thương vụ với OpenAI cũng có thể hấp thụ hai năm tăng trưởng như vậy
      Trong một thị trường cạnh tranh, việc các hãng RAM không bán hết trong khi vẫn còn người mua là điều kém hiệu quả
      Tôi không biết tốc độ tăng trưởng thực tế trước tháng 10 là bao nhiêu, nhưng chắc ở đây sẽ có người biết
    • Rủi ro lớn nhất là phía CXML của Trung Quốc có thể hưởng lợi, chiếm lấy thị trường mà các công ty khác bỏ mặc, rồi khi chi phí bắt đầu trở lại bình thường thì cạnh tranh và đẩy các công ty hiện tại ra ngoài
      Về ý kiến cho rằng tăng trưởng 20~25% là không đủ, tôi không nghĩ đó là con số quá xa rời nếu giả định kế hoạch mở rộng trung tâm dữ liệu đụng trần và cơn sốt AI hạ nhiệt mạnh
      Trong ngắn hạn, 20~25% có thể là không đủ, nhưng nếu việc mở rộng AI dừng lại trong năm nay thì sẽ không còn thiếu cung mà là dư cung khổng lồ
    • Về lý thuyết, một thị trường kỳ hạn mới cho linh kiện chip có thể sẽ hữu ích
      Vì nó cho phép các nhà cung cấp DRAM phòng hộ rủi ro đó
    • Theo một bài báo gần đây, HBM kém hiệu quả gấp 3 lần LPDDR nếu tính theo diện tích wafer, nhưng băng thông lại hơn 3 lần
      Nếu tất cả mọi người mua ít máy tính hơn, ví dụ chậm lại còn 1/3, và chuyển hết sang HBM thì sao?
      Khoảng cách giữa năng lực tính toán và bộ nhớ đã nới rộng từ rất lâu, và có lẽ chuyển sang HBM, dù đau đớn, lại chính là điều cần thiết
      Liệu tốt hơn là có 3 máy tính tầm trung với băng thông bộ nhớ thấp, hay chờ thêm một chút để về mặt thống kê mọi người đều mua máy mới chậm đi theo tỷ lệ diện tích 1/3 nhưng đổi lại có băng thông cao hơn rất nhiều?

  • Nhìn xu hướng hiện giờ, tôi thật sự tò mò không biết sẽ xoay xở thế nào với thị trường tiêu dùng như game hay machine learning
    Cloud gaming chắc chắn sẽ đến trong tương lai, và có lẽ chỉ những người theo chủ nghĩa thuần túy như tôi mới mua RTX 5090 và trả thêm tiền cho việc chơi game ngoại tuyến

    • Về dài hạn, cloud gaming là điều không thể tránh khỏi
      Vì việc khấu hao chi phí phần cứng cần cho render đồ họa trên nhiều người dùng, không để phần cứng nằm không khi không sử dụng, và đặt nó cùng tài sản game tại POP sẽ hiệu quả kinh tế hơn
      Nếu đủ năng lực tính toán cho game chạy ở edge, thì các trò chơi tiến bộ hơn về mặt kỹ thuật mà hiện nay khó khả thi về kinh tế cũng sẽ trở nên khả thi. Tôi nghĩ lý do hiện giờ chưa có nhiều game như vậy chủ yếu là vì thị trường và mức độ chấp nhận cloud gaming còn thấp, kéo theo thiếu cả bí quyết công nghệ
      Khi chi phí để render các trò chơi mà người dùng muốn bằng phần cứng tiêu dùng trở nên khó gánh nổi, cuối cùng ngay cả những người cố bám trụ cũng sẽ bị thuyết phục và mô hình này có thể sẽ bén rễ

  • Tôi sẽ không rời khỏi bản dựng DDR4 cho đến khi giá ít nhất quay về mức hợp lý phần nào
    Tôi vẫn còn 32GB bộ nhớ dự phòng DDR4 2133MHz mua từ trước, và hiện đang dùng 3200MHz. Điều này cũng có nghĩa là các hãng CPU sẽ không lấy được tiền của tôi. 5800X vẫn đủ dùng trong một thời gian dài, và tôi cũng không có lý do mua GPU mới. Tất nhiên B580 không hoàn hảo, nhưng mà

    • Nếu bây giờ lại chính là mức giá thấp nhất của tương lai thì sao?

  • Việc Iran chặn nguồn cung helium thật sự rất mỉa mai
    Đồng thời Iran lại dựa vào tuyên truyền chất lượng thấp do AI tạo ra để gây bất ổn cho các đối thủ. Có vẻ như đây là một trong những sự mỉa mai của lịch sử chỉ lộ rõ về sau

  • Đây thật sự là giai đoạn khủng khiếp đối với các game thủ và người chơi PC không quá sa đà vào AI

    • Điều này sẽ giết chết 100% thị trường PC tự lắp tại nhà
      Khi tôi bắt đầu tự lắp PC chơi game, card đồ họa đầu bảng có giá 750 đô New Zealand. Giờ thì riêng GPU đã là 10.000 đô la, còn RAM thêm 1.000~2.000 đô nữa
      PC chơi game từng là một thú vui có thể kham nổi, còn giờ thì đến mức thú chơi hàng không hạng phổ thông trông còn như một phương án thay thế
    • Tôi lại thấy ngược lại
      Đúng là trong ngắn hạn giới chơi hobby bị ép mạnh, nhưng lượng vốn cần để đẩy công nghệ tiên tiến lên phía trước vẫn là nhỏ nếu so với các công ty Fortune 500. Chẳng bao lâu nữa giới hobby cũng sẽ được hưởng lợi, đặc biệt là nếu thị trường sụp đổ thì càng như vậy
    • Đây cũng là giai đoạn khủng khiếp với cả những người hoàn toàn sa vào AI

  • Tôi thắc mắc vì sao các hyperscaler không tích hợp theo chiều dọc nhiều hơn và tự xây fab
    Ngay cả nếu một fab tốn 1 tỷ đô la, thì hiện họ vẫn đang chi hàng trăm tỷ để mua chip từ Nvidia và các hãng khác

    • Tôi không chắc nhất thiết phải tích hợp theo chiều dọc; có lẽ tài trợ trực tiếp cho mở rộng năng lực sản xuất sẽ tốt hơn, giống như cách Apple làm khi mở rộng công nghệ mới cho iPhone
      Nhưng việc các hyperscaler và công ty AI không làm như vậy nói lên rất nhiều về mức độ họ thực sự tin vào nhu cầu AI trong tương lai
      Các công ty AI nói rằng cần mở rộng ở quy mô khổng lồ, nhưng lại không muốn gánh rủi ro vốn cần thiết cho sự mở rộng đó
      Ta nghe rất nhiều lời than buồn bã từ phía AI rằng các hãng sản xuất chip đang cản chân họ, nhưng thực tế ai là người có tiền để dễ dàng tài trợ cho việc mở rộng đó? Các hãng chip đã chơi trò này lâu hơn rất nhiều. Khi Sam Altman đi khắp nơi nói rằng cần các fab trị giá 7 nghìn tỷ đô la, các công ty AI đã cho thấy họ sẵn sàng đưa ra những tuyên bố vô lý và vì thế đánh mất uy tín
      Điều cần làm lúc này là bơm trực tiếp chỉ một phần rất nhỏ trong đống tiền mặt khổng lồ mà họ đang giữ vào tài trợ fab
    • Fab thuộc hàng công nghệ phức tạp nhất trong số những công nghệ tiên tiến đang tồn tại
      Đây giống như “khoa học tên lửa” của thời nay, không phải cứ có tiền là làm được. Khả năng rất lớn là bạn sẽ đốt hàng tỷ đô mà không ra kết quả gì
      Chỉ cần nhìn Intel đã chật vật thế nào trong cạnh tranh những năm gần đây là đủ. Họ là công ty đã làm việc này hàng chục năm rồi
    • Ngay cả khi có đủ bí quyết, xây fab cũng mất vài năm
      Nếu không có bí quyết, sẽ cần thêm các thử nghiệm trước khi có thể cạnh tranh với nhà sản xuất hiện hữu. Đến lúc sản xuất được con chip đủ dùng thì tình trạng thiếu cung có thể đã kết thúc
    • Biên lợi nhuận trung bình của fab rất mỏng so với biên lợi nhuận của các công ty big tech, và rủi ro cũng lớn tương ứng
      Có lẽ đây không phải là loại hình kinh doanh mà họ muốn tích hợp vào
    • Một fab tốn 15~20 tỷ đô la và mất ít nhất 5 năm để xây
      Hơn nữa, nó đòi hỏi chuyên môn mà không công ty nào trong số đó hiện có

  • Một tuần trước tôi mua một máy chủ Dell cũ
    Giá của cả bộ máy gồm CPU 12 nhân và 32GB DDR4 ECC RAM gần bằng giá mua riêng 64GB DDR RAM. Tôi mong tình trạng phi lý này sớm chấm dứt. Nếu không, nỗi đau sẽ lan sang các thị trường khác. Cách đây không lâu tôi đọc được rằng doanh số vỏ PC đã sụt hơn 40%

    • Do đơn giá RAM tăng, người nghèo đã đang bị đẩy khỏi cả thị trường điện thoại giá rẻ
      https://www.cnet.com/tech/mobile/smartphone-sales-to-plummet...
    • Tôi có cảm giác rằng đến lúc bong bóng AI vỡ ra thì thị trường PC sẽ bị phá hủy đến mức không thể phục hồi
      Những nhà sản xuất từng làm linh kiện “enterprise” sẽ không quay lại thị trường linh kiện tiêu dùng nữa. Đến lúc đó sẽ chẳng còn thị trường để quay lại
      Và khi các trung tâm dữ liệu không kiếm được tiền từ những sản phẩm tạo sinh chất lượng thấp trở nên dư thừa, chúng sẽ được tái sử dụng cho SaaS. Kiểu như OnShape mở rộng ra thành mọi ứng dụng
      Phần lớn người dùng dường như không quá bận tâm đến việc lưu mọi thứ họ tạo ra lên dịch vụ đám mây, và điều này có thể dễ dàng được bán như một lựa chọn thay thế cho việc sở hữu phần cứng desktop hay laptop “đắt đỏ”
    • Cũng có thể nhìn theo hướng khác
      Nếu hyperscaler dùng nhiều RAM hơn và lượng RAM đó không đến tay người tiêu dùng, thì điều đó có nghĩa là toàn bộ công việc nặng sẽ diễn ra trên đám mây
      Tại sao hyperscaler và người tiêu dùng lại phải cùng lúc sở hữu RAM? Người tiêu dùng sẽ muốn nhiều RAM hơn để chạy mô hình cục bộ, nhưng nếu vậy thì công suất của hyperscaler sẽ bị bỏ không

  • Các nhà sản xuất bộ nhớ đang nắm trong tay cả núi tài sản trí tuệ
    Vì thế nếu ai đó có công suất fab dư và muốn nhảy vào sản xuất bộ nhớ, họ sẽ phải chiến đấu với một rào cản bằng sáng chế khổng lồ
    Hầu hết các công ty bộ nhớ đều có những thỏa thuận ngầm để bù trừ việc xâm phạm bằng sáng chế của nhau
    Tôi không rõ một nhà sản xuất bộ nhớ mới có thể xuất hiện mà không chìm nghỉm trong chi phí cấp phép bằng cách nào