Ngạc nhiên vì Manhattan Project và Apollo Program hóa ra lại “rẻ” hơn tưởng tượng
Việc chi phí đưa con người lên Mặt Trăng vào thập niên 1960 lại ở mức tương đương với đợt mua lại cổ phiếu gần đây của Apple là điều khá kỳ lạ
Có thể là vì lạm phát đã bị đánh giá thấp trong khoảng 100 năm qua. Theo thời gian, chênh lệch đó sẽ tích lũy theo lãi kép rất lớn
Cách so sánh công bằng hơn là xem nó tương đương bao nhiêu năm lương của một công dân bình thường
Manhattan Project có giá 2 tỷ USD vào năm 1944, và theo thu nhập hộ gia đình trung vị trong điều tra dân số năm 1940 thì tương đương 121 nghìn hộ-gia đình-năm
Đợt mua lại cổ phiếu của Apple là 110 tỷ USD vào năm 2024, và theo điều tra dân số năm 2022 thì tương đương 122.910 hộ-gia đình-năm
Tức là trong 80 năm, số liệu lạm phát chính thức đã ước tính chi phí thấp đi khoảng 3,5 lần
Khi đó nước Mỹ nghèo hơn rất nhiều và mức sống cũng thấp hơn nhiều. Vì vậy tiền lương, ngay cả sau khi điều chỉnh theo giá cả, vẫn thấp hơn đáng kể; thêm vào đó là thời chiến nên những người bị động viên phải làm việc với mức lương thấp mà không có quyền lựa chọn. Điều này giải thích được khá nhiều
Thực ra hoàn toàn không hề rẻ, chỉ là chi phí bị dời sang tương lai. Việc làm sạch khu Hanford được ước tính sẽ tốn từ 16,8 tỷ đến 550 tỷ USD Cơ sở Santa Susana, nơi từng thử nghiệm tên lửa Apollo, cũng sẽ cần hàng tỷ USD để xử lý ô nhiễm, và ở đó còn có những yếu tố chi phí khác nữa
Trong hoàn cảnh chịu áp lực, hiệu quả trên chi phí là điều cốt lõi. So với WWII và giai đoạn hậu chiến thập niên 60, một xã hội tương đối giàu có và ít bị thúc ép như hiện nay khiến mọi chi phí đều tăng lên
Khi đó người ta có thể xây đường bộ, đường sắt, tàu thuyền, còn bây giờ thì có hàng trăm quy định, các nhóm vận động hành lang và các bên liên quan đều đòi phần của mình
Một khi vấn đề sinh tồn tạm thời được giải quyết, động lực tài chính sẽ trở nên quan trọng hơn rất nhiều
Manhattan Project và Apollo Program đều ở mức 0,4% GDP. Nếu lấy GDP hiện nay là 27 nghìn tỷ USD thì tỷ lệ tương đương sẽ là 108 tỷ USD, và số tiền Meta chi cho GPU còn chưa tới một phần ba mức đó
Vậy tức là một công ty đã chi khoảng 0,1% GDP của Mỹ cho một dự án mang tính sở thích mà thậm chí còn không phải bên dẫn đầu thị trường sao?
Quy mô này thật khó tin, và không phải điều tốt
Meta đang thanh toán số GPU này trong nhiều năm chứ không phải một năm. Chi tiêu vốn hằng năm của Meta vào khoảng 30 tỷ USD, và cũng không phải toàn bộ đều đổ vào GPU
Ngoài ra, Meta chắc chắn cũng không trả giá bán lẻ
Vậy thì 110 tỷ USD mua lại cổ phiếu của Apple còn lớn hơn nữa
Nếu cộng chi tiêu hoặc doanh thu của mọi công ty lại thì tổng số đó hoàn toàn có thể vượt xa GDP
Có vẻ chúng ta lại không thật sự cảm nhận được mức độ phức tạp áp đảo của GPU, CPU, SoC hiện đại
So với quy trình sản xuất chip 3nm chứa hàng chục tỷ transistor, Manhattan Project khó có thể xem là một dự án khổng lồ. Nó mang tính đột phá, nhưng để gọi là “khổng lồ” so với việc phát triển wafer EUV thì khá khó
Thành tựu lớn nhưng ít được nhắc đến của Manhattan Project cũng đáng để nói tới. Cốt lõi không phải là các nhà khoa học mà là Hanford và Oak Ridge
Hanford không chỉ có lò phản ứng mà còn là một dự án xây dựng cả một thành phố hơn 43 nghìn người từ đúng nghĩa là vùng đất trắng
Ở Oak Ridge có K-25, tòa nhà lớn nhất thế giới thời đó, và phải hơn 20 năm sau mới bị Boeing Everett Factory vượt qua
Hai nơi này cũng là các trung tâm chi phí chính của dự án. Khoa học thì rẻ, nhưng làm giàu uranium và sản xuất plutonium, đặc biệt là khi làm những việc chưa ai từng làm, thì không hề rẻ
10% là mức độ phức tạp áp đảo, còn 90% là biên lợi nhuận của Nvidia
Mỗi khi nhìn vào chất lượng và tay nghề thủ công của những sản phẩm được tạo ra vào khoảng trước thập niên 1960, tôi đều thấy kinh ngạc
Không rõ vì sao xã hội thời đó lại biến thành xã hội hiện đại lãng phí, chậm chạp, đắt đỏ và kém tham vọng như bây giờ, nhưng nếu có thể quay lại thì tôi muốn quay lại
Tôi cho là do tầng lớp quản lý chuyên nghiệp. Trong sản xuất và các lĩnh vực khác đã có nhiều cuộc cải tổ lớn nhân danh quản lý “hiệu quả hơn”, rồi sau đó cách này được áp vào cả lao động tri thức
Đặc biệt trong công việc quan liêu của khối văn phòng, mức độ chuyên môn hóa đã giảm đi. Giờ thì mọi người, kể cả bác sĩ, đều tự làm luôn vai trò thư ký cho chính mình
Theo những giai thoại từ những người đã trực tiếp chứng kiến giai đoạn chuyển đổi, một trong những thứ bị nền văn hóa quản lý mới này phá hỏng chính là việc quản lý, đặc biệt là cấp quản lý thấp và trung
Trước đây, thời gian mà quản lý dành cho các cuộc họp với đồng nghiệp hay cấp trên chỉ chênh lệch nhẹ theo cấp bậc; quản lý cấp thấp có ít cuộc họp kiểu đó hơn và tập trung vào nhu cầu của nhân viên cùng việc duy trì vận hành
Sau thay đổi đó, mọi tầng quản lý đều bị hút vào văn hóa họp, họp, và lại họp, mà phần lớn có giá trị thấp. Sự phô trương và đấu đá chính trị cũng ngấm xuống tận các tầng dưới của tổ chức mạnh hơn nhiều so với trước
Người ta nói đằng sau Apollo 11 là 400.000 con người. Nếu gần nửa triệu người dành cả đời mình để làm ra một thứ duy nhất, thì có lẽ ngày nay vẫn có thể tạo ra những sản phẩm chất lượng cao, được làm rất chỉn chu
Nvidia: 26.000 người
TSMC: 73.000 người
Intel: 124.000 người
AMD: 25.000 người
Qualcomm: 50.000 người
ASML: 42.000 người
Xét về quy mô nhân lực thì toàn bộ ngành bán dẫn toàn cầu có thể cũng ở mức tương tự
Đây không chỉ là vấn đề chất lượng sản phẩm và tay nghề thủ công. Lương của người lao động không tăng, trong khi năng suất tăng; người giàu thì giàu hơn, còn 90% nhóm thu nhập thấp hơn thì không khá lên được
Việc có quá nhiều chỉ số xấu đi đều đặn kể từ năm 1971 thực sự khá điên rồ[1]
[1] https://wtfhappenedin1971.com/
Thời hậu chiến có rất nhiều máy công cụ dư thừa, và kinh nghiệm về quy trình chế tạo kim loại cũng rất phong phú
Nhựa nhiệt dẻo ép phun phù hợp cho nhiều mục đích rộng hơn nhiều so với đồ chơi thì lại khan hiếm
Chi phí lao động tương đối cao có thể đã làm giảm động lực tiết kiệm chi phí vật liệu
Người tiêu dùng sẵn sàng trả giá cao hơn cho hàng chế tạo, đổi lại họ kỳ vọng nó có thể sửa chữa được và dùng bền lâu
Thiết bị điện tử dùng đèn chân không thường cần điện áp cao và các biến áp hoặc pin nặng, điều này định hình vỏ ngoài là kim loại hoặc gỗ và cách sử dụng là không mang tính di động. Ví dụ, radio dân dụng thường được tích hợp vào đồ nội thất
Tôi có vài giả thuyết của riêng mình, nhưng có lẽ tốt hơn là giữ chúng cho riêng mình và cố gắng hết sức với dự án của mình
I had no idea of the power of large companies. Only recently I learned that in constant dollars the development of the IBM 360 has been more expensive than the Manhattan Project.
Đoạn ngay sau đó cũng rất thú vị
I was beginning to see American publications in the first issue of Communications of the ACM. I was shocked by the clumsy, immature way in which they talked about computing. There was a very heavy use of anthropomorphic terminology, the "electronic brain" or "machines that think." That is absolutely killing. The use of anthropomorphic terminology forces you linguistically to adopt an operational view. And it makes it practically impossible to argue about programs independently of their being executed.
Nếu kiểm tra kỹ thì https://thehistoryofcomputing.net/the-ibm-system360 nói rằng “IBM đã chi 5 tỷ USD theo giá trị tiền tệ giữa thập niên 1960”, còn Manhattan Project là 2 tỷ USD
Theo https://en.wikipedia.org/wiki/Manhattan_Project, đó là USD năm 1945, và theo máy tính CPI của https://www.bls.gov/data/inflation_calculator.htm thì tương đương khoảng 3,5 tỷ USD năm 1965
Tính ngược lại thì 30 tỷ USD chi cho việc huấn luyện GPU này chỉ còn là 3 tỷ USD theo USD năm 1965, nên vẫn rẻ hơn 360
Dù chi nhiều như vậy mà sao vẫn chưa bắt kịp OpenAI? Vì sao OpenAI lại làm tốt đến thế?
Tôi không phải chuyên gia machine learning, nhưng nói là “không làm được” thì có vẻ hơi nặng. Nếu nghe podcast có Mark Zuckerberg, có thể hiểu là Meta không muốn đối đầu trực diện với OpenAI
Chỉ riêng các dịch vụ AI hiện có như hệ thống gợi ý cũng đã tiêu tốn rất nhiều tài nguyên. Quảng cáo hiện tại vẫn là, và sau này vẫn sẽ là, nguồn tạo tiền mặt, còn mô hình ngôn ngữ lớn thì đến giờ vẫn chưa tạo ra doanh thu lớn
Doanh thu của OpenAI năm 2023 vào khoảng 2 tỷ USD và sẽ tăng mạnh trong năm 2024, nhưng Meta đã đạt lợi nhuận ròng 40 tỷ USD trong năm 2023. Về mặt tài chính, hiện vẫn chưa có lý do để cạnh tranh
Llama 400B vẫn đang được huấn luyện và có thể vượt trội hơn GPT-4 trong nhiều trường hợp sử dụng
Không biết mọi người đã thử meta.ai miễn phí chưa. Xét về năng lực thì nó đã khá cạnh tranh rồi, chỉ là Meta chưa thực sự chú tâm hoặc quảng bá mạnh
Llama 3 405B vẫn đang được huấn luyện cũng không phải là không có khả năng vượt qua mẫu OpenAI tốt nhất hiện nay
Với tiếng Anh, Llama 3 70B đã đánh bại mọi mô hình của Google và Anthropic, chỉ thua các phiên bản GPT-4 mới nhất. Đây là theo kết quả của Open LLM Arena
LLAMA 3 khá tốt, và các tác vụ thị giác như segment anything cũng đang ở trình độ tiên tiến nhất. Facebook đã có sẵn con đường kiếm tiền rất vững, nên không nhất thiết phải công bố bài báo hay làm demo
Có công khai Meta đang dùng số GPU này cho vận hành nội bộ ở mức nào và họ đang tiết kiệm được gì từ đó không?
Ngoài ô chat “meta ai” gây thất vọng, có vẻ còn vô số lĩnh vực có thể tận dụng H100, từ bộ máy đề xuất nội dung đến chống lạm dụng, rồi tối ưu băng thông mạng và luồng lưu lượng
@MetaAI khi tham gia nhóm chat với vai trò thành viên nhóm lại khá ổn. Có thể cùng nó đùa với hình ảnh, viết truyện, bắt chước nhà văn hoặc viết các chương cho một cuốn sách dở tệ
Một vài nhóm chat cũ đã nhiều ngày không có tin nhắn bỗng sống lại thành nơi mọi người tiếp tục nghịch AI
Tôi thấy những so sánh kiểu này khó diễn giải. Ngay cả khi bỏ qua lạm phát thì chính nền kinh tế chứa khoản chi tiêu đó cũng đang tăng trưởng
Nếu biểu diễn chi phí này dưới dạng tỷ lệ so với kinh tế toàn cầu, kinh tế của các khối xã hội như châu Âu hay khu vực Đại Trung Hoa, hoặc so với kinh tế quốc gia, thì có lẽ sẽ rõ ràng hơn
Có thể tôi đã bỏ sót điều gì đó
Tôi không hiểu vì sao ai cũng chỉ nói về lạm phát. Nếu vào thời Manhattan Project mà muốn tạo ra một thiết bị như GPU hiện đại, người ta sẽ phải xây một siêu máy tính còn lớn và đắt hơn chính dự án đó rất nhiều
Công nghệ đơn giản là đã rẻ đi khủng khiếp, vật liệu cần dùng cũng ít hơn, và chi phí nghiên cứu thì đã được trả từ trước
Nếu điều đó là thật thì tôi muốn nói thêm: đó đều là tiền được tài trợ bằng sự chú ý của con người bị quảng cáo chiếm đoạt và bằng việc khai thác dữ liệu riêng tư của người dùng. Xin chúc mừng, nhân loại
Nếu số tiền đó được dùng vào lĩnh vực hữu ích thì chúng ta đã có thể làm được những gì?
Đúng hơn là các lĩnh vực công nghiệp nặng khác của nền kinh tế đã bị độc quyền sẵn rồi, nên rất khó để làm nên chuyện
Khi Google bước vào lĩnh vực viễn thông, ai cũng tưởng họ sẽ dễ dàng quật ngã những ký sinh trùng lâu năm như AT&T, Verizon và Comcast, nhưng thực tế đã ra sao?
Chuyện Apple muốn bước vào ô tô, ngân hàng (thẻ tín dụng) và nội dung cũng tương tự
Vì vậy số tiền đó rốt cuộc chỉ có thể được tiêu theo kiểu này. Không thể động vào Exxon, Monsanto, Pfizer hay Boeing, và cũng chẳng thể làm gì với nhà ở, giáo dục, y tế hay ngân hàng
Cuối cùng, đốt tiền vào cái mới trở thành con đường mặc định có ít lực cản nhất. Mọi “lĩnh vực hữu ích” đều đã bị tường chặn kín
Meta không bán dữ liệu cá nhân, họ chỉ dùng nó cho quảng cáo
1 bình luận
Ý kiến trên Hacker News
Ngạc nhiên vì Manhattan Project và Apollo Program hóa ra lại “rẻ” hơn tưởng tượng
Việc chi phí đưa con người lên Mặt Trăng vào thập niên 1960 lại ở mức tương đương với đợt mua lại cổ phiếu gần đây của Apple là điều khá kỳ lạ
Cách so sánh công bằng hơn là xem nó tương đương bao nhiêu năm lương của một công dân bình thường
Manhattan Project có giá 2 tỷ USD vào năm 1944, và theo thu nhập hộ gia đình trung vị trong điều tra dân số năm 1940 thì tương đương 121 nghìn hộ-gia đình-năm
Đợt mua lại cổ phiếu của Apple là 110 tỷ USD vào năm 2024, và theo điều tra dân số năm 2022 thì tương đương 122.910 hộ-gia đình-năm
Tức là trong 80 năm, số liệu lạm phát chính thức đã ước tính chi phí thấp đi khoảng 3,5 lần
Cơ sở Santa Susana, nơi từng thử nghiệm tên lửa Apollo, cũng sẽ cần hàng tỷ USD để xử lý ô nhiễm, và ở đó còn có những yếu tố chi phí khác nữa
Khi đó người ta có thể xây đường bộ, đường sắt, tàu thuyền, còn bây giờ thì có hàng trăm quy định, các nhóm vận động hành lang và các bên liên quan đều đòi phần của mình
Một khi vấn đề sinh tồn tạm thời được giải quyết, động lực tài chính sẽ trở nên quan trọng hơn rất nhiều
Manhattan Project và Apollo Program đều ở mức 0,4% GDP. Nếu lấy GDP hiện nay là 27 nghìn tỷ USD thì tỷ lệ tương đương sẽ là 108 tỷ USD, và số tiền Meta chi cho GPU còn chưa tới một phần ba mức đó
Quy mô này thật khó tin, và không phải điều tốt
Ngoài ra, Meta chắc chắn cũng không trả giá bán lẻ
https://fred.stlouisfed.org/series/FYONGDA188S
Có vẻ chúng ta lại không thật sự cảm nhận được mức độ phức tạp áp đảo của GPU, CPU, SoC hiện đại
So với quy trình sản xuất chip 3nm chứa hàng chục tỷ transistor, Manhattan Project khó có thể xem là một dự án khổng lồ. Nó mang tính đột phá, nhưng để gọi là “khổng lồ” so với việc phát triển wafer EUV thì khá khó
Hanford không chỉ có lò phản ứng mà còn là một dự án xây dựng cả một thành phố hơn 43 nghìn người từ đúng nghĩa là vùng đất trắng
Ở Oak Ridge có K-25, tòa nhà lớn nhất thế giới thời đó, và phải hơn 20 năm sau mới bị Boeing Everett Factory vượt qua
Hai nơi này cũng là các trung tâm chi phí chính của dự án. Khoa học thì rẻ, nhưng làm giàu uranium và sản xuất plutonium, đặc biệt là khi làm những việc chưa ai từng làm, thì không hề rẻ
Mỗi khi nhìn vào chất lượng và tay nghề thủ công của những sản phẩm được tạo ra vào khoảng trước thập niên 1960, tôi đều thấy kinh ngạc
Không rõ vì sao xã hội thời đó lại biến thành xã hội hiện đại lãng phí, chậm chạp, đắt đỏ và kém tham vọng như bây giờ, nhưng nếu có thể quay lại thì tôi muốn quay lại
Đặc biệt trong công việc quan liêu của khối văn phòng, mức độ chuyên môn hóa đã giảm đi. Giờ thì mọi người, kể cả bác sĩ, đều tự làm luôn vai trò thư ký cho chính mình
Theo những giai thoại từ những người đã trực tiếp chứng kiến giai đoạn chuyển đổi, một trong những thứ bị nền văn hóa quản lý mới này phá hỏng chính là việc quản lý, đặc biệt là cấp quản lý thấp và trung
Trước đây, thời gian mà quản lý dành cho các cuộc họp với đồng nghiệp hay cấp trên chỉ chênh lệch nhẹ theo cấp bậc; quản lý cấp thấp có ít cuộc họp kiểu đó hơn và tập trung vào nhu cầu của nhân viên cùng việc duy trì vận hành
Sau thay đổi đó, mọi tầng quản lý đều bị hút vào văn hóa họp, họp, và lại họp, mà phần lớn có giá trị thấp. Sự phô trương và đấu đá chính trị cũng ngấm xuống tận các tầng dưới của tổ chức mạnh hơn nhiều so với trước
Nvidia: 26.000 người
TSMC: 73.000 người
Intel: 124.000 người
AMD: 25.000 người
Qualcomm: 50.000 người
ASML: 42.000 người
Xét về quy mô nhân lực thì toàn bộ ngành bán dẫn toàn cầu có thể cũng ở mức tương tự
Việc có quá nhiều chỉ số xấu đi đều đặn kể từ năm 1971 thực sự khá điên rồ[1]
[1] https://wtfhappenedin1971.com/
Nhựa nhiệt dẻo ép phun phù hợp cho nhiều mục đích rộng hơn nhiều so với đồ chơi thì lại khan hiếm
Chi phí lao động tương đối cao có thể đã làm giảm động lực tiết kiệm chi phí vật liệu
Người tiêu dùng sẵn sàng trả giá cao hơn cho hàng chế tạo, đổi lại họ kỳ vọng nó có thể sửa chữa được và dùng bền lâu
Thiết bị điện tử dùng đèn chân không thường cần điện áp cao và các biến áp hoặc pin nặng, điều này định hình vỏ ngoài là kim loại hoặc gỗ và cách sử dụng là không mang tính di động. Ví dụ, radio dân dụng thường được tích hợp vào đồ nội thất
Vậy thì vẫn ít hơn số tiền IBM đã chi cho System/360 sao?
Trích lời Dijkstra https://cacm.acm.org/news/an-interview-with-edsger-w-dijkstr...
Dù chi nhiều như vậy mà sao vẫn chưa bắt kịp OpenAI? Vì sao OpenAI lại làm tốt đến thế?
Chỉ riêng các dịch vụ AI hiện có như hệ thống gợi ý cũng đã tiêu tốn rất nhiều tài nguyên. Quảng cáo hiện tại vẫn là, và sau này vẫn sẽ là, nguồn tạo tiền mặt, còn mô hình ngôn ngữ lớn thì đến giờ vẫn chưa tạo ra doanh thu lớn
Doanh thu của OpenAI năm 2023 vào khoảng 2 tỷ USD và sẽ tăng mạnh trong năm 2024, nhưng Meta đã đạt lợi nhuận ròng 40 tỷ USD trong năm 2023. Về mặt tài chính, hiện vẫn chưa có lý do để cạnh tranh
Với tiếng Anh, Llama 3 70B đã đánh bại mọi mô hình của Google và Anthropic, chỉ thua các phiên bản GPT-4 mới nhất. Đây là theo kết quả của Open LLM Arena
Có công khai Meta đang dùng số GPU này cho vận hành nội bộ ở mức nào và họ đang tiết kiệm được gì từ đó không?
Ngoài ô chat “meta ai” gây thất vọng, có vẻ còn vô số lĩnh vực có thể tận dụng H100, từ bộ máy đề xuất nội dung đến chống lạm dụng, rồi tối ưu băng thông mạng và luồng lưu lượng
Một vài nhóm chat cũ đã nhiều ngày không có tin nhắn bỗng sống lại thành nơi mọi người tiếp tục nghịch AI
Tôi thấy những so sánh kiểu này khó diễn giải. Ngay cả khi bỏ qua lạm phát thì chính nền kinh tế chứa khoản chi tiêu đó cũng đang tăng trưởng
Nếu biểu diễn chi phí này dưới dạng tỷ lệ so với kinh tế toàn cầu, kinh tế của các khối xã hội như châu Âu hay khu vực Đại Trung Hoa, hoặc so với kinh tế quốc gia, thì có lẽ sẽ rõ ràng hơn
Có thể tôi đã bỏ sót điều gì đó
Tôi không hiểu vì sao ai cũng chỉ nói về lạm phát. Nếu vào thời Manhattan Project mà muốn tạo ra một thiết bị như GPU hiện đại, người ta sẽ phải xây một siêu máy tính còn lớn và đắt hơn chính dự án đó rất nhiều
Công nghệ đơn giản là đã rẻ đi khủng khiếp, vật liệu cần dùng cũng ít hơn, và chi phí nghiên cứu thì đã được trả từ trước
Nếu điều đó là thật thì tôi muốn nói thêm: đó đều là tiền được tài trợ bằng sự chú ý của con người bị quảng cáo chiếm đoạt và bằng việc khai thác dữ liệu riêng tư của người dùng. Xin chúc mừng, nhân loại
Nếu số tiền đó được dùng vào lĩnh vực hữu ích thì chúng ta đã có thể làm được những gì?
Khi Google bước vào lĩnh vực viễn thông, ai cũng tưởng họ sẽ dễ dàng quật ngã những ký sinh trùng lâu năm như AT&T, Verizon và Comcast, nhưng thực tế đã ra sao?
Chuyện Apple muốn bước vào ô tô, ngân hàng (thẻ tín dụng) và nội dung cũng tương tự
Vì vậy số tiền đó rốt cuộc chỉ có thể được tiêu theo kiểu này. Không thể động vào Exxon, Monsanto, Pfizer hay Boeing, và cũng chẳng thể làm gì với nhà ở, giáo dục, y tế hay ngân hàng
Cuối cùng, đốt tiền vào cái mới trở thành con đường mặc định có ít lực cản nhất. Mọi “lĩnh vực hữu ích” đều đã bị tường chặn kín