5 điểm bởi GN⁺ 2025-07-19 | 2 bình luận | Chia sẻ qua WhatsApp
  • Chi tiêu vốn cho trung tâm dữ liệu AI đã chiếm tỷ trọng chưa từng có trong nền kinh tế Mỹ và toàn cầu
  • Đầu tư vào trung tâm dữ liệu liên quan đến AI tại Mỹ năm 2025 tương đương khoảng 2% GDP, và được ước tính đóng góp 0,7% vào tăng trưởng GDP
  • Khoản đầu tư khổng lồ này đang được rút từ các lĩnh vực sản xuất, hạ tầng và các khoản đầu tư mạo hiểm khác hiện có để tập trung vào AI
  • Hiện tượng này đang lan rộng nhanh đến mức có thể so sánh với các cơn sốt đầu tư vào đường sắt và hạ tầng viễn thông, và đã vượt qua cả đỉnh đầu tư hạ tầng viễn thông trong quá khứ
  • Kết quả là đầu tư vào trung tâm dữ liệu AI vừa làm giảm nhẹ đà suy yếu của nền kinh tế, vừa gây ra tình trạng cạn vốn ở các ngành khác, tái cơ cấu quy mô lớn và sụt giảm việc làm

Cập nhật & Xóa bỏ

  • Trong bối cảnh tranh cãi quanh dự án cải tạo tòa nhà của Fed tại Mỹ vẫn tiếp diễn, các chỉ trích đối với chi tiêu công tiếp tục gia tăng
  • Trong các bài báo gần đây, việc cải tạo tòa nhà ngân hàng trung ương đang khiến các quan chức chính phủ bày tỏ sự bất mãn
  • Tình hình hiện tại là sự đan xen giữa châm biếm và bất mãn xoay quanh vai trò lãnh đạo của Chủ tịch Fed Powell và dự án cải tạo tòa nhà

Honey, AI Capex Ate the Economy

Tình hình chi tiêu vốn cho trung tâm dữ liệu AI

  • Quy mô đầu tư vào trung tâm dữ liệu AI lớn đến mức ngay cả Tập Cận Bình của Trung Quốc cũng đã cảnh báo các chính quyền địa phương phải thận trọng với đầu tư vào AI, điện toán và ngành năng lượng mới
  • Chỉ riêng số trung tâm dữ liệu mới tại Trung Quốc đã vượt quá 250, và làn sóng đầu tư vào hạ tầng AI đang lan rộng trên toàn cầu
  • Với Mỹ, nếu ước tính dựa trên doanh thu trung tâm dữ liệu của Nvidia, thì chi tiêu vốn AI (Capex) trong năm 2025 được dự báo đạt mức 2% GDP của Mỹ, còn mức đóng góp của AI vào tăng trưởng GDP sẽ vào khoảng 0,7%

Xem xét cận dưới của quy mô đầu tư AI

  • GDP Mỹ dự kiến năm 2025 được ước tính ở mức $25T
  • Doanh thu thường niên của Nvidia từ mảng trung tâm dữ liệu: khoảng $156.4B, trong đó 99% liên quan đến AI
  • Tỷ trọng của Nvidia trong tổng chi tiêu vốn cho trung tâm dữ liệu: 25~35%
  • Khi áp dụng hệ số lan tỏa kinh tế (multiplier) 1,5~2 lần, tổng capex trung tâm dữ liệu mỗi năm được ước tính mở rộng lên khoảng $520B
  • Trước năm 2022, capex AI chiếm chưa đến 0,1% GDP, nhưng chỉ trong 3 năm đã tăng hơn 10 lần
  • Ngay cả khi so với các khoản đầu tư hạ tầng quy mô lớn trong quá khứ như đường sắt hay viễn thông, quy mô này cũng đang tăng mạnh
  • Đặc biệt, mức này đã vượt qua đỉnh đầu tư viễn thông thời bong bóng dot-com và vẫn đang tiếp tục đi lên
  • Giá trị đầu tư vào trung tâm dữ liệu tương đương 20% thời kỳ hoàng kim của đường sắt thế kỷ 19, nhưng đã tăng vọt trong một khoảng thời gian ngắn

Chi tiêu vốn AI đến từ đâu

  • Nguồn tiền cho đầu tư vào trung tâm dữ liệu và hạ tầng AI bao gồm:
    • Dòng tiền nội bộ (Microsoft, Google, Amazon, Meta và các công ty công nghệ lớn khác)
    • Phát hành nợ (trái phiếu v.v., tỷ trọng đang tăng)
    • Cổ phiếu và chào bán bổ sung
    • Venture capital/private equity (các startup hạ tầng AI như CoreWeave, Lambda)
    • SPV (pháp nhân mục đích đặc biệt), cho thuê, và tài chính thay thế bảo đảm bằng tài sản (như Meta)
    • Cam kết mức sử dụng cloud (chủ yếu từ các doanh nghiệp hyperscaler)
  • Do đầu tư tập trung vào AI, dòng vốn vào các ngành khác đang bị co hẹp
    • Vốn venture capital gần như không còn chảy vào các lĩnh vực ngoài AI
    • VC ngoài life sciences hiện trên thực tế gần như chỉ vận hành xoay quanh đầu tư AI
    • Các công ty cloud compute đang dồn vốn vào IDC xoay quanh GPU thay vì mảng cloud truyền thống
    • Tại các công ty lớn như Amazon và Microsoft, chi phí trung tâm dữ liệu AI tăng đang kéo theo tái cơ cấu nhân sự và hoạt động kinh doanh
    • Hệ số P/E của các công ty niêm yết liên quan đến AI đã tăng vọt, trong khi các công ty ở lĩnh vực khác ngày càng khó huy động vốn
    • Khi vốn đầu tư đổ dồn vào các công ty AI, sản xuất/các hạ tầng khác rơi vào tình trạng thiếu vốn tương đối

Thay đổi cấu trúc kinh tế do đầu tư AI

  • Cơn sốt đầu tư AI đang thúc đẩy sự thu hẹp đầu tư ở các lĩnh vực hạ tầng khác và tái cấu trúc công nghiệp
  • Điều này tương tự tiền lệ trong quá khứ khi bong bóng hạ tầng viễn thông dẫn tới sự sụt giảm mạnh ở các khoản đầu tư hạ tầng khác
  • Làn sóng đầu tư vào trung tâm dữ liệu AI lần này cũng làm dấy lên lo ngại về các tác động dây chuyền tiêu cực như cạn vốn ở lĩnh vực ngoài AI, tái cơ cấu quy mô lớnsuy giảm việc làm

Lời giải cho bí ẩn kinh tế

  • Gần đây, giữa hàng loạt yếu tố bất ổn như tranh chấp thương mại, bất định chính trị và rủi ro quan liêu, việc lo ngại suy thoái lại tương đối thấp từng là một điều khó lý giải
  • Nguyên nhân là vì đang diễn ra một “gói kích thích kinh tế tư nhân” quy mô lớn do khu vực tư nhân dẫn dắt thông qua đầu tư vào trung tâm dữ liệu AI
  • Mức này đã vượt qua đỉnh đầu tư viễn thông thời bong bóng dot-com và đang tiến gần đến đỉnh đầu tư đường sắt của thế kỷ 19
  • Nếu tính ngược lại, rất có thể nếu không có đầu tư vào trung tâm dữ liệu AI, tăng trưởng GDP quý 1/2025 của Mỹ có thể đã giảm xuống tới –2,1%
  • Kết quả là chi tiêu vốn cho AI đang bù đắp đà giảm của nền kinh tế, đồng thời trên thực tế che giấu phần nào sự mong manh về kinh tế

Kết luận

  • Việc đầu tư vào AI và trung tâm dữ liệu tăng bùng nổ trong thời gian ngắn là một khoảnh khắc bất thường hiếm thấy trong lịch sử kinh tế
  • Bất kể quan điểm ủng hộ hay phản đối sự tăng trưởng bùng nổ của AI và trung tâm dữ liệu, tốc độ phát triển công nghệ và mức độ đổ vốn hiện nay là lớn một cách bất thường
  • Trung tâm dữ liệu AI không phải là loại hạ tầng được sử dụng hàng chục hay hàng trăm năm như đường sắt hay đường bộ, mà có đặc trưng là vòng đời ngắnkhấu hao nhanh
  • Khi các khoản đầu tư lớn được triển khai theo chu kỳ công nghệ ngắn như vậy, tình trạng suy giảm đầu tư ở các ngành khác, sa thải quy mô lớntăng trưởng chậm lại ở các lĩnh vực ngoài AI đang diễn ra song song
  • Hiện nay, vốn đang được tái phân bổ rất nhanh về phía CNTT từ nguồn venture và ngân sách nội bộ, và kết quả là một số lĩnh vực đang chịu tác động của cạn kiệt đầu tư dài hạntái cơ cấu quy mô lớn
  • Dù AI vẫn chưa được ứng dụng thực sự rộng rãi, một nghịch lý đang diễn ra khi suy giảm việc làmtái cấu trúc ngành lại tiến triển rất nhanh

Ghi chú thêm

2 bình luận

 
youknowone 2025-07-20

Nhìn phần tóm tắt bình luận thì có vẻ nhiều người nghĩ mức 2% hiện giờ không phải là lớn, nhưng tôi nghĩ cần phải tính xem nếu tăng với tốc độ này thì đến năm 2026 sẽ thành bao nhiêu. Nếu AGI không phải là thứ có thể đạt được trong tương lai rất gần, thì đến năm 2026, thậm chí có thể cả năm 2027, sự đối đầu giữa phe lạc quan và phe bi quan có lẽ sẽ thực sự rất hỗn loạn.

 
GN⁺ 2025-07-19
Ý kiến trên Hacker News
  • Có vẻ phát biểu của Tập Cận Bình đã bị lấy từ một bài viết cường điệu của FT. Bài báo gốc bằng tiếng Trung có giọng điệu nhẹ nhàng hơn nhiều. AI và EV không phải chủ đề chính trong cuộc họp hay báo cáo, mà chỉ được nhắc đến. Cảnh báo của Tập Cận Bình nhắm vào hiện tượng “chạy đua thành tích chính trị” đang lại xuất hiện trong ngành AI và EV. Khi chính quyền trung ương đặt ra mục tiêu chính sách công nghiệp, chính quyền địa phương cấu kết với doanh nghiệp để đẩy các “dự án” mang tính phô trương, và cuối cùng phần lớn chỉ dừng ở việc xây nhà máy rồi bỏ đó. Đây từ lâu đã là vấn đề đau đầu lớn với chính quyền trung ương, và cảnh báo cốt lõi của Tập là AI và EV cũng đang gặp đúng vấn đề đó. Bài gốc: https://paper.people.com.cn/rmrb/pc/content/202507/17/content_30088242.html

  • 1,2% GDP không có vẻ cực đoan đến thế. So với các dự án đổi mới khác thì còn thấp hơn nhiều. Ví dụ, chương trình Apollo là 4%, đường sắt là 6%, gói kích thích kinh tế thời COVID là 27%, còn chi tiêu quốc phòng trong Thế chiến II từng lên tới 40%

    • Phản ứng đầu tiên của tôi cũng tương tự. 1,2% không có vẻ là nhiều. Có lẽ chỉ là báo chí giật tít cho kêu. Nếu nhìn vào các con số như lượng nước và năng lượng tiêu thụ thì có khi còn đáng lo hơn. Hơi lạc đề một chút, nhưng khoảng 9% GDP Mỹ đến từ dịch vụ tài chính, và cá nhân tôi thấy đó là con số đáng cảnh giác hơn

    • Nếu nhìn theo tỷ lệ trên toàn bộ GDP thì có vẻ nhỏ, nhưng đó là vì GDP của chúng ta vốn đã quá lớn. Khoản 1,2% này cũng tương đương toàn bộ GDP của Na Uy. Nghe có vẻ không đáng kể, nhưng nếu so với chi tiêu quân sự năm nay là 3,4% thì vẫn là số tiền rất lớn

    • Tôi nghĩ lúc này không nên chỉ nhìn vào con số, mà nên chú ý đến xu hướng thay đổi, dòng chảy và ý nghĩa của độ dốc đó. Vốn đang dịch chuyển từ nhiều lĩnh vực sang AI, và thời gian tồn tại giá trị của tài sản cũng khác nhau rất nhiều (đường sắt là hàng chục năm đến hàng thế kỷ, còn AI thì chưa rõ kéo dài được mấy năm). Tác giả cũng có luận điểm rằng “nếu không có đầu tư vào trung tâm dữ liệu AI thì mức giảm GDP quý 1 đã có thể xuống tới –2,1%”

    • Mới chỉ bắt đầu được 2 năm thôi! 1,2% đã là con số khổng lồ rồi. Việc có thể đem ra so sánh như vậy tự nó đã đáng kinh ngạc

    • Trọng tâm của bài viết là đặt câu hỏi liệu khoản đầu tư khổng lồ này có thể được biện minh hay không. Phản bác kiểu chỉ nói mấy phần trăm GDP nên ổn là đang né tránh bản chất vấn đề

  • Đường sắt phân tán vốn ra toàn xã hội và dẫn tới tăng trưởng của cải dài hạn cho số đông. Nhưng AI lại khiến vốn tập trung vào những người vốn đã giàu, và cuối cùng có thể làm tầng lớp trung lưu bị suy giảm tài sản về dài hạn. Nếu sức mua của dân số giảm thì điều đó không giúp ích cho tăng trưởng kinh tế, nên tôi nghi ngờ làn sóng đầu tư AI này

    • Tôi nghi ngờ ý “đường sắt là phân tán vốn”. Trước đây đường sắt cũng là các đại độc quyền kiểu Vanderbilt. Tình trạng thông đồng giá cả và tăng phí vận chuyển với nông dân lan tràn đến mức chính phủ phải đưa ra quy định chống độc quyền. Điểm “AI làm trầm trọng thêm sự tập trung tư bản” thì đúng, nhưng thực ra mọi ngành thâm dụng vốn đều như vậy. Không có lý do gì phải chỉ nhắm riêng AI, và AI cũng không phải độc quyền tự nhiên, vẫn có thể cạnh tranh được
  • Tôi hy vọng khi cơn sốt AI và trung tâm dữ liệu qua đi thì công suất đó có thể được dùng cho những thứ hữu ích hơn, ví dụ như phát triển thuốc mới

    • Thời bong bóng dot-com những năm 1990 cũng từng có việc kéo mạng cáp quang quá mức một cách bừa bãi, và sau khi bong bóng vỡ thì các tài sản đó bị thanh lý với giá rẻ, giúp các startup mới xây dựng mạng lưới toàn quốc với chi phí thấp. Những “di vật” của bong bóng như vậy đã trở thành nhiên liệu giá rẻ cho thế hệ công ty tiếp theo. Trung tâm dữ liệu cũng sẽ đi theo mô thức này; dù hiện tại có thừa mứa thì sau này chắc chắn vẫn sẽ được dùng vào mục đích mới

    • Nói về trào lưu, tôi không hiểu vì sao nhiều người lại ám ảnh với chuyện AI sẽ thay thế 100% lập trình viên và các công việc cổ cồn trắng khác. Nó giống một kiểu tưởng tượng tận thế và hư vô kỳ lạ, và tôi không đồng tình với sự thổi phồng đó. Không biết có phải chỉ mình tôi thấy vậy không

    • Ngay cả năng lực LLM (mô hình ngôn ngữ lớn) hiện tại cũng vẫn chưa được triển khai đầy đủ trên quy mô toàn cầu. Ngay cả nếu ở mức hiện nay mà chúng ta không tạo ra được thứ gì thông minh hơn, thì trong vài năm tới việc tự động hóa các tác vụ lặp đi lặp lại ở nhiều ngành khác nhau vẫn có khả năng tiếp tục diễn ra

    • Tôi ngạc nhiên khi ở đây cứ có người xem nhẹ AI và sự phát triển không thể ngăn cản của nó. Chỉ cần nhìn vào những ví dụ đã xảy ra như cờ vua, cờ vây, game chiến thuật, dự đoán cấu trúc protein, thì rõ ràng gần như mọi vấn đề có thể hình thức hóa và kiểm chứng đều rốt cuộc có thể được AI giải quyết. ASI (siêu trí tuệ nhân tạo) chuyên biệt theo từng lĩnh vực cũng theo tôi chỉ còn là vấn đề thời gian. Tôi rất khuyến nghị mọi người đọc The Bitter LessonVerifier’s Law

    • Chúng ta không thể làm vậy. Cuối cùng họ sẽ cắt giảm kỹ sư theo KPI và cũng sẽ loại bỏ luôn phần thiết bị dư thừa

  • Tôi ước gì các trung tâm dữ liệu mới bắt buộc phải được xây bằng năng lượng tái tạo. So với tổng chi phí thì phần tăng thêm chắc cũng không lớn đến vậy, và các tập đoàn cỡ này hoàn toàn gánh nổi. Biết đâu chính sách như vậy còn có thể thúc đẩy tiến bộ trong công nghệ phát điện bằng lò phản ứng mô-đun nhỏ thế hệ tiếp theo

    • Nhiều tập đoàn lớn đã quan tâm đến công nghệ điện hạt nhân quy mô nhỏ để cấp điện cho trung tâm dữ liệu. Vấn đề lớn nhất là chọn địa điểm cho lưới điện có thể vận hành các cơ sở như vậy. Chỉ cần nói chuyện 30 phút với người trong ngành là cuối cùng chủ đề cốt lõi cũng sẽ quay về hạt nhân. Nếu làn sóng này với lượng vốn đầu tư dồi dào kéo dài đủ lâu để các lò phản ứng uranium thực sự được triển khai ngoài thực địa thì đó sẽ là một tác động tích cực lớn. Tôi hy vọng sẽ có hạ tầng vật lý dư ra như đường sắt, cáp quang. Những “robber barons” ngày xưa ít nhất còn để lại hạ tầng vật lý, còn các cơn bùng nổ gần đây thì hầu như chẳng để lại gì

    • Ở châu Âu, tất cả trung tâm dữ liệu mới thực tế đã bị bắt buộc dùng năng lượng tái tạo. Tại Mỹ, Google, Microsoft, Meta và AWS cũng là những bên ký nhiều hợp đồng mua năng lượng tái tạo nhất thế giới. Riêng MS đã đầu tư khoảng 20 tỷ USD. Ở Mỹ, nút thắt không phải thiếu cầu mà là các vấn đề cấp phép và quy hoạch khiến việc lắp đặt năng lượng tái tạo bị nghẽn. Chỉ riêng công suất đang chờ được đấu nối vào lưới đã là 100GW, tương đương 10% tổng điện năng của Mỹ. Đặt hàng nhiều hơn không tự động giải quyết được chính điểm nghẽn khiến mọi thứ mất nhiều thời gian. Ngoại lệ là những nơi như xAI/Grok, vận hành cụm máy lớn bằng 100% khí đốt. Ở những nơi điện và làm mát đều kém, họ phải huy động 35 turbine khí đặt trên rơ-moóc và hơn 50 xe tải lạnh. Tôi cho rằng hiệu suất thấp và tác hại môi trường là quá lớn, và kiểu hệ thống này nên bị cấm

    • Ở Mỹ, ngay cả không cần ép buộc thì thị trường cũng đã tự dịch chuyển. 94% công suất phát điện mới trong năm 2024 và 93% trong năm 2025 là năng lượng tái tạo hoặc lưu trữ pin, và xu hướng sắp tới có lẽ cũng tương tự. Nhà máy điện nhiên liệu hóa thạch mới thì chỉ có thêm một ít khí tự nhiên, mà ngay cả vậy cũng thường là chuyển đổi từ nhà máy than cũ. Kế hoạch mở rộng điện khí mới cũng đang ở mức thấp nhất kể từ sau làn sóng shale boom. Năng lượng tái tạo đã thắng rồi

    • Trung tâm dữ liệu thích điện “firm” để tránh việc tài sản đắt đỏ bị nằm không. Điện mặt trời và điện gió là nguồn gián đoạn. Các nhà máy điện khí mới phải mất nhiều năm để lên kế hoạch. Việc có đủ pin cho hơn 12 giờ để bù cho sản lượng mặt trời mùa đông cũng không hoàn toàn miễn phí

    • Sẽ tốt hơn nữa nếu bản thân phần cứng cũng có thể tái tạo được

  • Lập luận rằng rất nhiều tiền đổ vào CapEx AI là do bị rút từ các ngành khác, khiến các ngành đó “đói” đầu tư, đồng thời lại nói khoản tiền này được nhân lên trong toàn bộ GDP, là điều mâu thuẫn. Nếu chỉ là vốn dịch chuyển thì hiệu ứng nhân lên cũng phải được áp dụng như nhau cho cả hai phía

    • Bởi vậy tiêu đề bài viết mới là “Honey, AI Capex is Eating the Economy.”
  • Luận điểm chính của bài viết dựa trên giả định rằng kinh tế là trò chơi zero-sum. Nhưng rõ ràng nền kinh tế không phải zero-sum. Việc đầu tư dồn vào AI không có nghĩa là có thể ngay lập tức chuyển đúng khoản đó sang lĩnh vực khác với hiệu quả tương đương. Những gì đang được đầu tư vào AI là vì người ta kỳ vọng nó có giá trị như vậy. Cá nhân tôi nghĩ giá trị đó sẽ còn lớn hơn đường sắt rất nhiều. Có thể có bong bóng hoặc đầu tư quá mức ở một số phần cứng hay khu vực cụ thể, nhưng tôi vẫn chưa thấy tình hình “sắp sụp đổ” như tác giả bài viết mô tả

    • Kinh tế luôn vận hành theo cách phức hợp nên không nên nhìn quá lạc quan. Như tác giả chỉ ra, trong ngắn hạn việc đầu tư cho AI làm giảm đầu tư ở các lĩnh vực khác là có thật

    • Ngay cả khi khoản đầu tư quy mô lớn là quá mức thì về dài hạn nó vẫn có khả năng trở nên hữu ích. Ban đầu người ta từng xây hạ tầng Internet quá đà cho pets.com, nhưng rồi những “killer app” thực sự như Amazon, YouTube, Zoom xuất hiện, biến khoản đầu tư sai lầm khi đó thành nền tảng cho xã hội tương lai. Khoản đầu tư AI hiện nay cũng có thể để lại ý nghĩa lịch sử tương tự. Liên quan đến chủ đề này, tôi khuyên đọc Technological Revolutions and Financial Capital của Carlota Perez

  • Vì vậy, sự phát triển của transistor, tức Moore’s Law, sẽ còn kéo dài thêm 10 năm nữa. Nó đã dẫn dắt giai đoạn tăng trưởng smartphone (2008~2023), và tiền đầu tư hiện nay đã được đổ vào sản xuất bán dẫn trong 2~3 năm tới (2nm, A20, tiếp theo sẽ là A18/14). Đến giai đoạn 2030~2032, động lực để tiến tới A10, A8 vẫn có thể được đảm bảo đầy đủ. Dù tốc độ có chậm lại thì vẫn còn dư địa kéo dài tới 2035. Ngay cả nếu đến năm 2035 đạt A5, thì đó cũng chỉ là tăng mật độ tích hợp khoảng 12 lần. Kể cả cộng thêm cải tiến về packaging, chiplet, interconnect, thì cũng chỉ ở mức 30~40 lần. Vẫn còn quá xa so với mức tính toán tăng 1000~10000 lần mà nhiều công ty AI yêu cầu. Mở rộng băng thông bộ nhớ cũng phải theo kịp ở quy mô tương ứng

  • Mặt nghịch lý của tự động hóa là thay vì chỉ mở rộng quy mô nền kinh tế, nó còn làm biến mất một số ngành. Hàng hóa có thể nhiều hơn, nhưng nếu chúng không còn giúp nâng vị thế xã hội thì giá trị của chúng lại giảm đi. Ngày xưa một cái đinh từng chiếm 0,5% nền kinh tế, nhưng giờ ngay cả chủ nhà máy đinh cũng có biên lợi nhuận thấp và không có vị thế xã hội; phát triển frontend phần mềm cũng vậy, nếu bị tự động hóa thì cả tỷ trọng kinh tế lẫn tỷ trọng xã hội đều sẽ giảm. Vị thế xã hội rốt cuộc là zero-sum, nên mọi người sẽ tìm kiếm nó ở nơi khác

    • Tôi nghe quan điểm “tự động hóa xóa sổ một phần nền kinh tế”, nhưng tôi lại nghĩ các năng lực mới sẽ kích thích nhu cầu tiềm ẩn và làm chiếc bánh tổng thể lớn hơn. Nhu cầu là vô hạn, và ngay cả tự động hóa bằng AI cũng khó mà bắt kịp được nhu cầu đó
  • Tôi đang mong chờ một cách tối ưu hóa điện toán có thể tái cấu hình bằng FPGA để giảm hơn 90% chi phí tính toán của LLM

    • Tôi ước trong lĩnh vực này có nhiều nghiên cứu khoa học máy tính lý thuyết (theoretical CS) hơn. Nếu nhận ra rằng mọi kỹ thuật machine learning rốt cuộc đều là kỹ thuật “nén”, thì về lý thuyết chúng ta phải có cách ước lượng kích thước tối thiểu của LLM chỉ từ lượng thông tin có thể mã hóa trong một kích thước tham số nhất định, mối quan hệ giữa mất mát thông tin và hiệu năng, và lượng thông tin của bộ dữ liệu gốc. Tôi nghĩ kích thước LLM hiện quá lớn, nhưng đồng thời dữ liệu mà nó phải chứa cũng khổng lồ, nên thực tế có thể nó phải lớn hơn ta tưởng. Vì loose compression là nguyên lý “khái quát hóa” của LLM, nên để chứa trọn vẹn thông tin thì cần dung lượng cực lớn

    • Tôi tò mò nguồn gốc của cải thiện hiệu năng đó sẽ đến từ đâu. Phần cứng hiện đã gần như tối ưu cho việc tính GEMM (nhân ma trận-ma trận tổng quát) nhanh nhất có thể rồi

    • Mấy người bạn làm chip quanh tôi hay than phiền rằng Qualcom nắm rất nhiều bằng sáng chế liên quan đến FPGA, nên những đổi mới FPGA thực sự có ý nghĩa đang bị cản trở

    • Không cần phải chờ. FPGA không được thiết kế cho kiểu kiến trúc này. Nó có hiệu quả điện năng cao, nhưng do overhead về bố trí và đi dây, bộ nhớ hạn chế (đa số FPGA trên thị trường không có HBM), xung nhịp chậm, trải nghiệm phát triển bất tiện, nên khó trở thành giải pháp chính

    • ASIC đã có rồi. Ví dụ có thể tham khảo Google TPU để ước lượng chi phí. Bản thân HBM (bộ nhớ băng thông cao) cũng rất đắt