Google lần đầu công bố mức năng lượng mà prompt AI tiêu thụ
(technologyreview.com)- Google đã công bố mức tiêu thụ điện, nước và phát thải carbon khi ứng dụng Gemini của hãng xử lý prompt, qua đó đưa ra bộ dữ liệu cụ thể đầu tiên về mức sử dụng năng lượng của AI
- Một prompt văn bản thông thường tiêu thụ 0.24Wh điện, tương đương khoảng 1 giây dùng lò vi sóng, đồng thời tạo ra 0.26ml nước và 0.03g carbon dioxide
- Các con số này là kết quả của một phân tích toàn diện bao gồm toàn bộ hạ tầng như chip AI (58%), CPU và bộ nhớ (25%), thiết bị dự phòng (10%) và vận hành trung tâm dữ liệu (8%)
- So với tháng 5/2024, đến tháng 5/2025 hiệu quả năng lượng đã được cải thiện gấp 33 lần, và Google cho biết nguyên nhân là nhờ tối ưu hóa phần mềm và cải tiến mô hình
- Thông báo lần này có ý nghĩa lớn ở khía cạnh mở rộng tính minh bạch của các công ty AI lớn, nhưng những thông tin cốt lõi như tổng số truy vấn vẫn chưa được công bố, từ đó làm dấy lên nhu cầu về một hệ thống đánh giá năng lượng AI được tiêu chuẩn hóa
Google công bố mức tiêu thụ năng lượng của prompt Gemini
- Google là công ty AI lớn đầu tiên công bố mức tiêu thụ điện, phát thải carbon và lượng nước sử dụng khi mô hình Gemini xử lý prompt văn bản
- Trung bình, mỗi prompt tạo ra 0.24Wh điện, 0.26ml nước và 0.03g CO₂, tương đương với 1 giây vận hành lò vi sóng hoặc năm giọt nước
- Thông báo này được trình bày chi tiết thông qua một cuộc phỏng vấn với MIT Technology Review, bao gồm cả dữ liệu và phương pháp tính toán
Cấu trúc chi tiết của mức sử dụng năng lượng
- Trong tổng mức tiêu thụ điện, chip AI (TPU) chiếm 58%, CPU và bộ nhớ chiếm 25%, thiết bị dự phòng chiếm 10%, còn vận hành trung tâm dữ liệu (làm mát và chuyển đổi điện) chiếm 8%
- Google cho biết họ đã phân tích theo cách tiếp cận toàn diện, bao gồm toàn bộ hạ tầng phần cứng
- Đây được đánh giá là một đóng góp nghiên cứu cho ngành, vì công ty đã công bố dữ liệu nội bộ mà giới nghiên cứu khó tiếp cận
Khác biệt theo từng prompt và các giới hạn
- Các số liệu được công bố là giá trị trung vị (median), nên một số truy vấn có thể tiêu tốn năng lượng cao hơn nhiều
- Ví dụ: tóm tắt hàng chục cuốn sách hoặc các phép tính phức tạp sử dụng mô hình reasoning
- Báo cáo lần này chỉ nhắm tới prompt văn bản, không bao gồm tạo ảnh hay video
- Vì vậy, vẫn còn những giới hạn trong việc nắm bắt tổng mức sử dụng thực tế của Gemini
Cải thiện hiệu quả và ước tính phát thải carbon
- Google cho biết từ tháng 5/2024 đến tháng 5/2025, mức tiêu thụ năng lượng trên mỗi prompt đã giảm 33 lần
- Điều này được lý giải là kết quả của việc cải tiến kiến trúc mô hình và tối ưu hóa phần mềm
- Ước tính phát thải được tính theo phương pháp dựa trên thị trường, phản ánh tỷ trọng năng lượng sạch mà Google đã mua thay vì mức trung bình của lưới điện Mỹ, nên được tính ở mức khoảng 1/3 so với lưới điện thông thường
Phản ứng từ giới nghiên cứu và ngành công nghiệp
- Các thành viên dự án ML.Energy của University of Michigan đánh giá đây là phân tích toàn diện và quan trọng nhất cho tới nay
- Các nhà nghiên cứu của Hugging Face nhấn mạnh sự cần thiết của một hệ thống xếp hạng năng lượng AI được tiêu chuẩn hóa, đồng thời chỉ ra rằng hiện nay mức công bố vẫn phụ thuộc vào lựa chọn của từng công ty
- Báo cáo lần này đã mở rộng hiểu biết về mức tiêu thụ tài nguyên thực tế của việc sử dụng AI, nhưng sự thiếu vắng dữ liệu cốt lõi như tổng số truy vấn vẫn là một hạn chế lớn
1 bình luận
Ý kiến trên Hacker News
Không tìm thấy liên kết đến thông cáo báo chí và báo cáo liên quan trong bài gốc nên tự đính kèm
Khi đọc các bài về quá tải hạ tầng điện, tôi có cảm giác đây giống một chiến lược “dog whistle” nhằm nhấn mạnh hàm ý rằng các công ty công nghệ có hại cho môi trường
Người ta lấy chuyện dùng nước, dùng điện ra làm vấn đề, nhưng thường nhấn quá mức theo hướng giật gân
Ví dụ điển hình là chỉ trích mức tiêu thụ nước của trung tâm dữ liệu ở The Dalles
Những tòa nhà này nằm cạnh sông Columbia, gần đó có đập The Dalles phát điện trung bình 700 megawatt
Họ dùng nước sông để làm mát, rồi trả lại ra sông sau khi tăng nhiệt độ lên một chút
Xét cho cùng, đó là trả lại phần nhiệt mà dòng nước sẽ mang đi khi chảy xuống dốc, nên không hẳn là bị lãng phí hoàn toàn
Bài liên quan, Thông tin về đập The Dalles
Có thể xem bản PDF báo cáo kỹ thuật chính thức của Google tại đây
Tôi thắc mắc vì sao họ công bố mức tiêu thụ năng lượng của prompt trung vị thay vì giá trị trung bình
Giá trị trung bình sẽ trực quan hơn để thể hiện mức tiêu thụ thực tế trung bình
Về EV, kỳ vọng rằng xe điện sẽ trở thành xu hướng chủ đạo vào năm 2030 vốn không thực tế
Từ mở rộng sản xuất pin đến hạ tầng đều chưa được chuẩn bị gì cả
Trung tâm dữ liệu có thể đột ngột cần một lượng điện rất lớn tại một khu vực nhỏ cụ thể
Những hạng mục khác như xe điện, bơm nhiệt... được triển khai dần dần nên có thể ứng phó bằng cách tăng công suất nhẹ theo từng năm
Trung tâm dữ liệu khó phân tán nên gánh nặng hạ tầng lớn hơn
Gần đây tôi khá sốc khi nghe thế hệ Gen Z nói AI đang “phá hủy” nước
Tôi từng làm việc với trung tâm dữ liệu nên biết họ dùng nước để làm mát, nhưng chưa bao giờ có cảm giác là họ phá hủy nước ở quy mô lớn
Mức độ nhận thức về GenAI và nước còn sâu hơn tôi nghĩ
Có người còn nói kiểu như “vì AI mà sau này chúng ta sẽ sống trong địa ngục hạn hán”
Thực ra tôi lại tò mò hơn một video TikTok tiêu tốn bao nhiêu năng lượng, nhưng có vẻ kiểu so sánh đó là lệch trọng tâm
Khi tôi hỏi nước thực sự biến mất theo con đường nào, có thành hơi nước không, thì rất nhiều người dường như chỉ cần nó bốc hơi là coi như “mất vĩnh viễn”, điều này làm tôi thấy lạ
Phân tử nước không bị “phá hủy”, nhưng nó thường biến mất hoàn toàn khỏi nơi mà đáng ra còn có thể được sử dụng hữu ích
Biển Aral là ví dụ điển hình đã biến mất vì tưới tiêu nông nghiệp
Video YouTube
Vấn đề thiếu nước mang tính cực kỳ cục bộ
Ví dụ, nếu vận hành trung tâm dữ liệu ở Arizona thì có thể thật sự gặp vấn đề về nước, nhưng vẫn có thể giảm nhẹ bằng tái sử dụng nước thải...
Nhà máy điện Palo Verde cũng dùng nước thải cho bộ trao đổi nhiệt
Tôi cũng ngạc nhiên khi gần đây bị hỏi về mức tiêu thụ nước của AI
Tìm nhanh thì trung tâm dữ liệu thực sự dùng khá nhiều nước, khoảng 1 lít cho mỗi 1kWh điện
Tôi có nghe nói các hyperscaler làm tốt hơn mức này và đang hướng tới net positive, nhưng hầu như không thấy tài liệu nào cho thấy bản thân con số này là bịa đặt
“1 lít/kWh” thì khó hình dung, nhưng với một trung tâm dữ liệu lớn sẽ là 278L/s. Lưu lượng vòi sen là 0.16L/s, còn toàn bộ ngành hạnh nhân California trung bình năm là 200,000L/s
Tức là tương đương một trang trại hạnh nhân rộng 4 dặm vuông, nhưng tôi cũng không cảm thấy nó cực đoan đến mức đó, và dữ liệu của hyperscaler có lẽ còn tốt hơn
Trung tâm dữ liệu dùng làm mát bay hơi
Không đơn thuần là làm nóng nước rồi tuần hoàn lại, mà là cho bay hơi hoàn toàn qua khí quyển
(bản thân phân tử nước vẫn còn, nhưng hơi nước trong khí quyển là dạng khó tái sử dụng)
Lập luận rằng AI phá hủy nước ban đầu xuất phát từ góc nhìn NIMBY, rồi sau đó được một số nhóm Gen Z có xu hướng chống tư bản mạnh hấp thụ thành lập luận phản đối AI
Năm 2011, Google từng công bố rằng mỗi truy vấn tìm kiếm dùng 0.3Wh, và đầu năm nay Sam Altman cũng nói truy vấn OpenAI trung bình là 0.3Wh
Điều đáng ngạc nhiên là hai con số này khá giống nhau
Tôi từng nghĩ truy vấn LLM sẽ tiêu tốn năng lượng hơn nhiều so với tìm kiếm Google thông thường, nhưng điều đó cũng cho thấy bản thân Google Search là một hạ tầng khổng lồ
Ví dụ, nếu chỉ hỏi những câu đơn giản như nghĩa của một từ, thì một LLM nhỏ chạy trên iPhone có thể chỉ cần 0.03Wh, tức thấp hơn Google Search 10 lần
(giả sử chip A16 chạy 5 watt trong 20 giây thì là 0.03Wh)
Điều tôi tò mò là liệu chi phí huấn luyện, đặc biệt là các lượt huấn luyện thất bại, có được tính vào những ước lượng kiểu này không
Bài blog chính thức của Google
Cũng cần lưu ý rằng 14 năm tiến bộ về hiệu suất năng lượng chắc chắn có tác động lớn
Khoảng năm 2008, quá trình cốt lõi của tìm kiếm là grep toàn bộ tài liệu
Theo cách phân tán, tài liệu được đưa lên RAM rồi grep trên 1000 máy
Inverted index không phù hợp lắm với các “truy vấn mà thứ tự từ là quan trọng” nên không được dùng nhiều
Các quy trình như xếp hạng thì còn phức tạp hơn
0.3Wh là 1080 joule. Trong 1 lít xăng có hơn 30 triệu joule, nên thực tế nó tương đương 0.034 mililit xăng
Tuy vậy, điện hiệu quả hơn động cơ đốt trong rất nhiều
Mỗi lần tôi gửi truy vấn vào LLM chạy cục bộ, đèn văn phòng như chớp nháy và tôi có cảm giác nó còn tốn nhiều năng lượng hơn cả việc bật lò nướng 1 giây
Tôi tự hỏi liệu vào khoảng năm 2008 Google đã dùng tìm kiếm dựa trên deep learning hay chưa
Có lẽ mức điện tiêu thụ trên mỗi truy vấn đã thay đổi khi các tính năng được đưa vào
Thật tiếc là trong toàn bộ báo cáo họ không giải thích prompt nào được coi là “trung vị”
Tôi muốn biết số token của prompt, phân bố độ dài ra sao, và liệu qua từng năm có thể giữ nguyên như vậy hay không
Nếu chỉ nêu mỗi giá trị trung vị mà thiếu những thông tin này thì ý nghĩa thực tế giảm đi nhiều
Nếu là giá trị trung bình thì ít nhất còn có thể nhân với số truy vấn để ước tính tổng mức sử dụng
Sam Altman cũng vừa công bố trong blog gần đây mức điện tiêu thụ trung bình cho mỗi truy vấn ChatGPT
Trung bình mỗi truy vấn ChatGPT là 0.34Wh, tương đương 1.5 giây dùng lò nướng và lượng nước của vài phút dùng bóng đèn hiệu suất cao
Mức tiêu thụ nước là 0.000085 gallon mỗi truy vấn (1/15 thìa cà phê)
Blog của Altman
Cá nhân tôi nghĩ điều thực sự quan trọng không phải inference mà là training, fine-tuning và scraping dữ liệu
Lập luận kiểu “prompt đang phá hủy môi trường” cho tôi cảm giác quá giật gân
Tôi mừng vì ngày càng có nhiều fact-check tốt hơn
Nhưng trên thực tế, tác động của các trung tâm dữ liệu mới lên lưới truyền tải và phân phối điện cũng không phải chuyện có thể xem nhẹ
Nếu công nghệ này về bản chất thực sự tiết kiệm năng lượng như vậy, có lẽ các tập đoàn lớn đã không phải lao vào đầu tư điện hạt nhân tư nhân hay cạnh tranh năng lượng như hiện nay
Muốn đặt ra tiêu chuẩn mục tiêu cho đúng thì không nên chỉ nhìn tổng lượng nước và năng lượng tiêu thụ, mà phải xem tương đối là khu vực đó có đủ tài nguyên nước và năng lượng hay không
Google có công bố chính thức tổng lượng nước dùng của toàn bộ trung tâm dữ liệu
Tính đến năm 2024 là khoảng 10 tỷ gallon (cỡ 0.03% tổng mức sử dụng của Mỹ, và còn phải tính đến việc không phải mọi trung tâm dữ liệu đều nằm ở Mỹ)
Bản thân con số này không có vẻ quá khổng lồ, nhưng riêng tại Council Bluffs, IA đã hơn 1 tỷ gallon, nên cần xác minh hệ sinh thái ở những khu vực như vậy có chịu nổi hay không và việc quản lý có trách nhiệm hay không
Google thừa nhận 28% lượng nước được dùng ở “các khu vực có rủi ro cạn kiệt hoặc khan hiếm nước từ trung bình trở lên”
Báo cáo môi trường 2025 của Google
Chỉ cần truy cập website thôi là prompt cũng có thể bị gửi lên máy chủ ngoài ý muốn
Tôi thấy đáng tiếc là dịch vụ càng được cung cấp rẻ ở quy mô lớn thì lại càng có xu hướng bị dùng quá mức
Tôi không đồng ý với lập luận rằng nếu mức tiêu thụ năng lượng thực sự thấp thì đã không có chuyện cạnh tranh dữ dội quanh trung tâm dữ liệu mới và hạ tầng năng lượng
Lưới điện Mỹ từ lâu đã không có nhiều công suất dư thừa
Đó là hệ quả của cải thiện hiệu quả năng lượng và suy giảm công nghiệp
Vấn đề lớn hơn không phải bản thân trung tâm dữ liệu mà là hạ tầng phân phối điện
Có thể phát điện, nhưng lại có rất nhiều vấn đề trong việc phân phối tới nơi cần thiết
Tranh cãi quanh nhà máy điện tư nhân cũng chủ yếu là vấn đề phân phối hơn là phát điện
Nếu prompt trung vị là 0.24Wh, thì đó là lượng năng lượng tương đương với:
Nếu tôi tính đúng, thì 1kWh cho phép thực hiện khoảng 4,000 truy vấn
Nếu lấy giá điện công nghiệp là $0.04/kWh, thì $1 có thể chạy 100,000 truy vấn
Tính cả chi phí xây dựng trung tâm dữ liệu các thứ, tôi có cảm giác gói thuê bao $20/tháng cũng không hẳn quá đắt
Không biết tôi tính có đúng không
Tính vậy là đúng
Sai lầm cốt lõi của kiểu bi quan về năng lượng và nước của AI là điện, nước, đất đai đều quy đổi thành chi phí, trong khi AI lại đang được cung cấp như một dịch vụ không miễn phí
Nếu AI thực sự ngốn sạch điện và nước trên quy mô đó, các công ty đã không thể cứ vận hành trong tình trạng chỉ lỗ mãi được
Nhưng chi phí training chẳng phải nên tính riêng sao?
Nếu muốn bỏ qua bài báo trung gian của bên thứ ba, bạn có thể xem trực tiếp
bài blog của Google và
bản PDF bài báo chính thức
Điều tôi tò mò hơn là tổng số truy vấn Gemini mỗi ngày, tức tổng lượng thực tế
Chỉ với con số prompt trung vị thì không thể ước tính tổng nhu cầu năng lượng
Nếu không có số lượng truy vấn tổng thể thì bản thân giá trị trung vị cũng không mang nhiều ý nghĩa
Có khi vì giá trị trung bình cao hơn nên họ cố tình không công bố cũng nên