- Mức năng lượng tiêu thụ cho mỗi truy vấn AI có vẻ rất nhỏ, nhưng khi cộng dồn thành hàng tỷ yêu cầu trên toàn cầu, nó đạt đến mức có tác động thực sự lên lưới điện
- Các công ty AI lớn đang đẩy nhanh đầu tư vào trung tâm dữ liệu và hạ tầng điện lực với quy mô hàng chục nghìn tỷ won, một số nơi thậm chí đang lên kế hoạch xây dựng nhà máy điện hạt nhân
- Mức tiêu thụ năng lượng của truy vấn AI khác biệt hơn hàng trăm lần tùy theo kích thước và độ phức tạp của mô hình, và với các mô hình đóng, mức tiêu thụ chính xác hầu như không được biết đến
- Phần lớn điện năng AI sử dụng phụ thuộc vào lưới điện dựa trên nhiên liệu hóa thạch, vì vậy cường độ phát thải carbon cao hơn mức trung bình 48%
- Nếu việc sử dụng AI tiếp tục mở rộng liên tục, đến năm 2028, hơn một nửa điện năng của các trung tâm dữ liệu tại Mỹ được dự báo sẽ dành cho AI
Making the Model: Điểm khởi đầu của việc huấn luyện mô hình AI
- Mô hình AI được huấn luyện trong nhiều tháng, tiêu thụ hàng chục gigawatt-giờ điện tại các trung tâm dữ liệu
- Chỉ riêng việc huấn luyện GPT-4 đã cần hơn 50 triệu USD và 50GWh điện, tương đương mức đủ để vận hành toàn bộ San Francisco trong 3 ngày
- Suy luận (inference) chiếm 80~90% tổng điện năng AI sử dụng, và vai trò của các trung tâm dữ liệu xoay quanh GPU là yếu tố then chốt
- GPU H100 của NVIDIA giữ vai trò trung tâm trong các tác vụ suy luận AI, hoạt động dưới dạng các cụm gồm hàng nghìn GPU kết nối với nhau
A Query: Năng lượng mà một câu hỏi tiêu thụ
- Ngay cả với cùng một mô hình AI, mức tiêu thụ năng lượng và phát thải carbon cũng khác nhau rất lớn tùy theo loại câu hỏi, vị trí và thời điểm
- Mô hình Llama 3.1 8B tiêu thụ trung bình 114 joule (J), còn Llama 3.1 405B tiêu thụ 6.706 joule
- Khi tạo một ảnh bằng Stable Diffusion 3 Medium sẽ tiêu thụ 2.282 joule, còn với ảnh chất lượng cao hoặc video thì tiêu thụ từ hàng trăm nghìn đến hàng triệu joule
- Tạo video tiêu tốn năng lượng gấp hơn 700 lần so với ảnh, và nếu tạo video AI trở nên phổ biến trong tương lai, mức tiêu thụ điện có thể tăng vọt
Fuel and Emissions: Nguồn gốc điện năng mà AI sử dụng
- Các trung tâm dữ liệu AI khó vận hành chỉ bằng các nguồn năng lượng gián đoạn như điện mặt trời hoặc điện gió, nên trung bình sử dụng nguồn điện có cường độ carbon cao hơn
- Ví dụ: năm 2024, 60% điện năng toàn nước Mỹ đến từ nhiên liệu hóa thạch, điện hạt nhân chiếm 20%, năng lượng tái tạo chiếm 20% còn lại
- Tùy theo khu vực như California và West Virginia, chênh lệch phát thải carbon có thể gần gấp đôi
- Trong tương lai, Meta, Google, Amazon và các công ty khác đã công bố đầu tư chung để mở rộng các nhà máy điện hạt nhân, nhưng sẽ mất hàng chục năm để hoàn thành
AI around the corner: Phổ cập AI đang đến gần và sự gia tăng điện năng
- ChatGPT hiện là website được truy cập nhiều thứ 5 trên toàn cầu, với hơn 1 tỷ truy vấn mỗi ngày
- Theo ước tính, mỗi truy vấn GPT tiêu tốn 1.080 joule năng lượng, tức 1.090GWh mỗi năm = lượng điện đủ để vận hành 10.400 hộ gia đình Mỹ trong 1 năm
- Nếu tính cả video và hình ảnh, sẽ có thêm hơn 35GWh mỗi năm, và con số này được dự báo còn tăng mạnh khi AI agent, chế độ giọng nói và AI dựa trên nhận diện video trở nên phổ biến
- Tương lai nơi AI tự thực hiện công việc và được cá nhân hóa bằng dữ liệu người dùng không thể được giải thích đầy đủ về nhu cầu năng lượng chỉ bằng dự báo trên đơn vị truy vấn đơn lẻ
The Future Ahead: Dự báo nhu cầu năng lượng đến năm 2028
- Các trung tâm dữ liệu phục vụ AI tại Mỹ đã sử dụng 76TWh trong năm 2024, tương đương quy mô 7,2 triệu hộ gia đình
- Đến năm 2028, mức sử dụng được dự báo đạt 165~326TWh, tương đương 22% lượng điện mà toàn bộ hộ gia đình Mỹ tiêu thụ
- Con số này tương đương lượng phát thải carbon của 300 tỷ dặm lái xe, và tỷ trọng điện năng của trung tâm dữ liệu được dự báo tăng gấp ba từ 4,4% lên 12%
- SoftBank, OpenAI và các công ty khác đang đầu tư khoảng 500 nghìn tỷ won vào trung tâm dữ liệu và hạ tầng điện lực, xây dựng hạ tầng quy mô cỡ sân bóng đá trên khắp thế giới
Transparency Gap: Thiếu công bố số liệu và gánh nặng với người dân
- Phần lớn các công ty AI không công bố mức tiêu thụ năng lượng khi mô hình suy luận, điều này dẫn tới khó dự báo đối với công chúng
- Ngay cả cơ quan năng lượng của chính phủ Mỹ (EIA) cũng không coi AI là một nhóm ngành riêng, nên số liệu thống kê còn thiếu
- Theo báo cáo của bang Virginia, chi phí năng lượng của trung tâm dữ liệu có thể khiến hóa đơn điện của các hộ gia đình thông thường tăng thêm 37,5 USD mỗi tháng
- Người dân có thể sẽ phải gánh chi phí của hạ tầng AI, và cần có thảo luận xã hội về vấn đề này
2 bình luận
Tự nhiên lại càng thấy Gemini của Google chạy trên TPU tự phát triển của họ thật ấn tượng...
Ý kiến trên Hacker News
Chia sẻ liên kết http://archive.today/mnHb8
Nhắc đến tin các công ty công nghệ như Meta, Amazon, Google công bố mục tiêu tận dụng điện hạt nhân để ứng phó với vấn đề nhiên liệu hóa thạch; giải thích rằng ba công ty đã tham gia cam kết tăng gấp ba công suất điện hạt nhân toàn cầu vào năm 2025, nhưng mốc thời gian này nghe khá kỳ theo bài báo hôm qua; chỉ ra rằng mục tiêu thực tế là năm 2050; dù bài viết có những chỗ kỳ quặc như vậy và lạm dụng nguồn từ "chuyên gia", việc có ai đó cố gắng định lượng vấn đề này vẫn được đánh giá tích cực
Điều kỳ lạ nhất trong bài này là việc các công ty big tech từ chối công khai loại dữ liệu này; không nên để các chuyên gia phải đoán mò; xã hội cần được tiếp cận thông tin về những quyết định có ảnh hưởng trên toàn thế giới
Bày tỏ tò mò không biết những chỗ kỳ quặc như vậy chỉ là lỗi gõ đơn thuần hay thực sự là điều gì đó bất thường
Có thời khi đăng bài lên Usenet, luôn kèm theo một cảnh báo kiểu: "Chương trình này sẽ gửi tin tức đến hàng nghìn máy tính trên toàn thế giới. Bài viết của bạn sẽ làm phát sinh chi phí hàng trăm, hàng nghìn đô la cho mạng lưới. Hãy cân nhắc kỹ xem bạn có thực sự muốn đăng không"; tưởng tượng rằng có lẽ giờ các ứng dụng khách LLM cũng cần một cảnh báo như thế, ví dụ tính xem một yêu cầu tạo ra bao nhiêu carbon trong khí quyển
Ở một số quốc gia có văn hóa 'rolling coal' (xe hơi cố tình xả khói đen quá mức); lo ngại rằng loại cảnh báo này có thể phản tác dụng
Cảnh báo được trích dẫn thực ra lại truyền tải một ý nghĩa trái ngược; cuối cùng lý do những cảnh báo như vậy biến mất có lẽ là vì chi phí đã giảm mạnh; điều tương tự cũng có thể xảy ra với AI
Gợi nhớ đến dòng chân trang khổng lồ trên email bảo hãy cân nhắc tác động môi trường trước khi in, nhưng trên thực tế lại làm tốn thêm đúng một trang giấy không cần thiết khi in ra
Thấy thông điệp cảnh báo này khá thú vị; bản thân thông điệp thực ra không tạo ra chi phí lớn, mà chính các máy tính truyền tải nó mới là nguồn chi phí; lượng tin nhắn truyền đi càng nhiều thì chi phí trên mỗi đơn vị lại càng thấp
Nhấn mạnh rằng nếu không gắn loại cảnh báo này vào mọi thứ thì chỉ trích riêng công nghệ AI vì tiêu thụ năng lượng là không công bằng
Cho rằng cốt lõi là phải nội hóa chi phí phát thải vào giá điện; việc từng người dùng tự trăn trở là hơi tản mạn; vì giao thông, sưởi ấm và công nghiệp đều sẽ điện hóa nên nhu cầu điện đằng nào cũng sẽ tăng vọt, do đó cần khử carbon cho điện thật nhanh
Đồng ý, nhưng giảm tiêu thụ hoặc cải thiện hiệu suất cũng là phần quan trọng trong quá trình chuyển đổi năng lượng; nếu không dùng thì cũng không cần sản xuất
Để nội hóa các chi phí như vậy, trước hết xã hội phải thống nhất chi phí phát thải thực sự là "gì"; trên thực tế, con đường dễ hơn có lẽ là làm cho điện trở nên cực kỳ dồi dào và hiệu quả; bản thân xã hội thì không dễ cải thiện
"DeepSeek có 600 tỷ tham số, nhưng thực tế dùng kiến trúc mixture-of-experts nên mỗi token chỉ sử dụng khoảng 12,5% (nếu nhớ không nhầm)"; cho rằng nếu không nói rõ điều này thì độ tin cậy của bài sẽ giảm; chia sẻ phân tích được xem là đáng tin nhất về mức tiêu thụ năng lượng của văn bản (liên kết epoch.ai), trong đó một câu hỏi thông thường tiêu tốn trung bình 0,3Wh và tối đa khoảng 40Wh với ngữ cảnh cực lớn; phần lớn cách dùng thực tế thấp hơn nhiều nên bản thân việc dùng năng lượng cho văn bản là nhỏ so với lợi ích; ngược lại, tạo video tiêu tốn năng lượng rất lớn; cũng tò mò muốn thấy phân tích số liệu tương tự cho việc sinh mã bằng LLM
Sự tương phản giữa số lượng bình luận trong luồng này đang biện minh cho mức tiêu thụ năng lượng khổng lồ và thực tế công nghệ hiện tại đang bị dùng quá nhiều cho những thứ vô cùng vô bổ (spam văn bản/hình ảnh) thật đáng ngạc nhiên khi so với tranh cãi năng lượng thời crypto; cũng có cảm giác điều này được dung thứ vì các công ty big tech là nhà tuyển dụng lớn
AI ít nhất còn có lợi ích về mặt lý thuyết, còn crypto thì lãng phí ngay từ trong thiết kế; nhưng cấu trúc chi phí - lợi ích thực tế của AI vẫn còn là ẩn số
Giá Bitcoin càng tăng thì năng lượng tiêu thụ cũng tăng theo, trong khi chi phí suy luận của LLM đang giảm nhanh (liên kết tham khảo); các công ty như Apple, Google cũng đang thử triển khai trung tâm dữ liệu riêng và AI on-device; đồng thời những thuật toán đắt đỏ hơn vẫn tiếp tục được phát triển; cũng có khả năng phần lớn tác vụ sẽ trở nên đủ rẻ để chạy ngay trên các thiết bị bị giới hạn pin như laptop hay điện thoại
Mối liên hệ với cơn sốt crypto khá thú vị; một khi các trào lưu kiểu này đã bắt đầu thì bản tính con người khiến chúng không dễ bị đảo ngược
Chia sẻ rằng nhớ không khí về crypto trên HN ngày trước không tiêu cực như bây giờ
Nói đùa rằng việc dùng năng lượng của crypto (đặc biệt là Bitcoin PoW) mới thực sự là lãng phí
Thật mỉa mai khi đang đọc bài này trong lúc CPU của tôi bị đẩy lên tối đa chỉ vì JavaScript mơ hồ nào đó trên trang này khiến nó chẳng làm được gì cả
Ước gì trình duyệt giới hạn nghiêm ngặt lượng CPU mà mỗi trang được dùng, và khi cần thêm tài nguyên CPU thì phải xin quyền rõ ràng như với camera
Đã nghĩ điều tương tự khi đọc bài này trước bữa trưa; chia sẻ một bài blog liên quan đến tabdouse, đồng thời nhắc rằng các mẹo như cgroups cũng có nhưng chưa thật sự thỏa đáng
Hiện tại AI giống như thời kỳ "mainframe" buổi đầu của máy tính: những cỗ máy lớn chiếm cả căn phòng, ngốn điện khủng khiếp mà năng lực còn kém cả smartphone ngày nay; cho rằng sắp tới việc tối ưu mô hình và chuyên dụng hóa phần cứng sẽ diễn ra nhanh; suy luận cục bộ bằng chip chuyên cho AI sẽ giúp giảm mạnh năng lượng cho phần lớn tác vụ, nhờ đó tài nguyên tính toán quy mô lớn có thể tập trung vào các bài toán khoa học phức tạp, điều này khá có ý nghĩa
Đường cong phát triển của CPU (tăng trưởng theo cấp số nhân) thường được viện dẫn, nhưng thực ra gần như không áp dụng cho các lĩnh vực khác; chất bán dẫn phát triển được là nhờ những điều kiện may mắn rất đặc biệt, còn pin, nhiệt hạch, điện toán lượng tử thì không như vậy; trong họ công nghệ bán dẫn, những "quả treo thấp" hầu như đã bị hái hết nên hiệu quả AI cũng khó mà tăng vọt nhanh như thế; khả năng thực tế hơn là tiến bộ chậm, dần dần trong vài thập kỷ tới; không có con đường nào xóa bỏ tức thì nhu cầu hàng tỷ tham số và hàng nghìn tỷ phép tính; có lẽ điện toán quang tử là một khả năng?
Cá nhân không thật sự hiểu câu chuyện về "chip chuyên cho AI"; LLM vốn dĩ là công nghệ được thiết kế để hợp với GPU, tức là phần cứng đã có sẵn rồi; vấn đề là GPU ngày càng lớn hơn, nóng hơn và tiêu thụ nhiều điện hơn; nếu đã có thứ gì tốt hơn GPU thì người ta đã chuyển sang từ lâu; nếu có cấu trúc nào quay lại CPU mà vẫn hiệu quả thì có lẽ nó đã được thay đổi từ trước
Ngạc nhiên vì ngay cả chiếc laptop cũ của mình (7 năm tuổi) vẫn có thể chạy khá dễ các mô hình Gemma nhỏ; tưởng tượng khả năng nâng hiệu quả bằng cách chỉ giao một số tác vụ cho LLM, còn lại xử lý bằng chương trình truyền thống
Đây là bài viết hay nhất mình từng thấy về việc AI dùng năng lượng; thấy ấn tượng với chuyện big tech ngần ngại cung cấp dữ liệu cần thiết cho việc ra quyết định xã hội; đề xuất loạt podcast Data Vampires đào sâu chủ đề liên quan
Thấy thú vị với nội dung bài báo nói rằng sau khi áp dụng AI từ năm 2017, các trung tâm dữ liệu được xây dựng bằng phần cứng thâm dụng năng lượng và đến năm 2023 mức dùng điện đã tăng gấp đôi; nhưng sự trỗi dậy thực sự của AI tạo sinh chỉ bắt đầu nghiêm túc sau khi ChatGPT ra mắt vào tháng 11/2022, nên phần lớn tăng trưởng AI trong 5 năm 2017~2022 có lẽ không phải là AI tạo sinh
Năm 2017 là năm sau khi AlphaGo đánh bại Lee Sedol, đồng thời là năm công bố bài báo 'attention is all you need'; trên thực tế trong công nghiệp đã có dấu hiệu báo trước từ lâu; OpenAI chỉ là bên tìm được product-market fit vào năm 2022, chứ ngành này không hề lang thang vô định
Cũng từ khoảng thời gian đó việc dùng GPU cho machine learning mới thực sự bùng lên
Meta đã tích cực áp dụng AI vào mọi mảng dịch vụ của mình như tìm kiếm, gợi ý, đồ thị...; nhờ vậy từ trước cả làn sóng LLM, họ đã có sẵn hàng chục nghìn đến hàng trăm nghìn GPU, và điều đó đặt họ vào vị thế thuận lợi để thực hiện các dự án lớn như Llama