- Tại Thung lũng Silicon, đang lan rộng một văn hóa tin rằng AGI (trí tuệ nhân tạo tổng quát) là mục tiêu có thể đạt được
- Bên trong OpenAI, đã hình thành niềm tin dựa trên “giả thuyết ngôn ngữ thuần túy”, cho rằng việc mở rộng các mô hình ngôn ngữ có thể dẫn tới AGI
- Niềm tin này được dùng làm cơ sở để biện minh cho mở rộng trung tâm dữ liệu quy mô khổng lồ và các vấn đề bóc lột môi trường và lao động
- Logic giá trị kỳ vọng (Expected Value) của AGI dựa vào các ước tính xác suất và giá trị không có căn cứ, đồng thời bỏ qua thiệt hại môi trường và chi phí xã hội trong thực tế
- Cần từ bỏ ảo tưởng AGI và chuyển sang cách tiếp cận kỹ thuật thực chất để giải quyết vấn đề bằng các mô hình nhỏ, định hướng mục đích
Niềm tin AGI và văn hóa của OpenAI
- Những người liên quan đến OpenAI thực sự tin rằng AGI có thể mang lại thịnh vượng hoặc diệt vong cho nhân loại
- Elon Musk mô tả Demis Hassabis là “kẻ phản diện muốn thống trị thế giới”, xem OpenAI là “thiện”, còn DeepMind là “ác”
- Ilya Sutskever nói với nhân viên rằng “hãy cảm nhận AGI (Feel the AGI)”, đồng thời tiến hành một nghi thức đốt hình nộm gỗ tượng trưng cho AGI
- Những hành động này cho thấy sự tưởng tượng mang màu sắc khoa học viễn tưởng đã trở thành niềm tin chủ lưu ở Thung lũng Silicon
“Giả thuyết ngôn ngữ thuần túy” và việc mở rộng LLM
- Theo cuốn sách Empire of AI của Karen Hao, GPT-2 dựa trên “giả thuyết ngôn ngữ thuần túy (pure language hypothesis)”
- Tiền đề là con người suy nghĩ và giao tiếp bằng ngôn ngữ, nên chỉ với dữ liệu ngôn ngữ cũng có thể đạt tới AGI
- Ngược lại, “giả thuyết grounding (grounding hypothesis)” cho rằng AGI phải có khả năng nhận thức thế giới
- Việc mở rộng thành công từ GPT sang GPT-2 đã củng cố niềm tin trong nội bộ OpenAI rằng chỉ cần nhiều dữ liệu hơn, nhiều tham số mô hình hơn và nhiều tài nguyên tính toán hơn là có thể đạt tới AGI
Cuộc đua mở rộng và các vấn đề môi trường, lao động
- Niềm tin vào AGI và thành quả của LLM được dùng để biện minh cho xây dựng trung tâm dữ liệu quy mô lớn
- Một số cơ sở sử dụng hàng trăm lít nước mỗi giây và vận hành máy phát điện khí gây ô nhiễm do thiếu điện
- Điều này dẫn tới mức tiêu thụ điện tương đương cả một thành phố và gia tăng phát thải CO₂
- Để ChatGPT tạo ra đầu ra an toàn, những lao động thực hiện công việc kiểm duyệt và làm sạch dữ liệu phải chịu bóc lột và sang chấn tinh thần
- Khi nhu cầu dữ liệu tăng lên, các công ty thu thập tràn lan toàn bộ Internet và dùng RLHF (Reinforcement Learning from Human Feedback) để kiểm soát kết quả
Vấn đề của logic giá trị kỳ vọng
- Giá trị kỳ vọng (Expected Value) thường được viện dẫn như cơ sở chính đáng cho phát triển AGI
- Logic là: “Ngay cả khi chỉ có xác suất 0,001% tạo ra giá trị khổng lồ, EV vẫn rất lớn”
- Tuy nhiên, các phép tính như vậy có xác suất và giá trị mang tính tùy tiện, không thể kiểm chứng
- Trong khi đó, sự tàn phá môi trường và chi phí xã hội lại tồn tại như giá trị âm chắc chắn và thiệt hại hiện hữu
Chuyển sang kỹ thuật thực tế
- Kỹ sư cần giải quyết vấn đề một cách hiệu quả, tối ưu và không gây hại
- Cách tiếp cận coi LLM là AGI thất bại ở cả ba tiêu chí này
- Nó gây ra lãng phí tính toán quá mức, bóc lột lao động và tổn hại môi trường
- Cần thoát khỏi ảo tưởng AGI và đánh giá LLM cùng các mô hình tạo sinh như công cụ để giải quyết các vấn đề cụ thể
- Sử dụng các mô hình tạo sinh nhỏ, định hướng mục đích hoặc các mô hình không tạo sinh (mô hình phân biệt)
- Cần thực hiện kỹ thuật thực chất thông qua phân tích chi phí - lợi ích và các đánh đổi kỹ thuật cần thiết
3 bình luận
Ý kiến trên Hacker News
Nếu phải đưa lời khuyên cho những người hoài nghi AI, tốt nhất nên tránh tranh luận về lượng nước mà trung tâm dữ liệu tiêu thụ
Những cụm như “hàng triệu lít mỗi năm” nghe rất đáng sợ nếu thiếu ngữ cảnh, nhưng so với nông nghiệp hay sân golf thì là mức rất nhỏ
Thảo luận về mức tiêu thụ năng lượng hay phát thải CO₂ thì ổn, nhưng nếu chỉ nhấn mạnh vào nước thì độ tin cậy của toàn bộ lập luận sẽ giảm đi
Tuy vậy, điều tôi biết sau đó là trung tâm dữ liệu thường sử dụng nước uống được mà nhiều khi không thể dùng cho nông nghiệp
Dù thế, tôi vẫn nghĩ việc đưa ra những con số như “hàng triệu gallon” mà không có ngữ cảnh là một phản mẫu
Điều này có vẻ là kết quả của việc tranh luận công nghệ bị biến thành chính trị bản sắc
Trên HN, nên bỏ qua lập trường chính trị và tranh luận bằng cơ sở kỹ thuật
Có lẽ thái độ này xuất hiện như một phản ứng trước sự thổi phồng AI quá mức
ông ấy lại lập luận rằng khi nhu cầu quy mô lớn xuất hiện, hạ tầng cấp nước địa phương có thể được mở rộng để giảm giá nước uống được
Theo ý kiến bổ sung của ông, chỉ trích rằng “AI chỉ dùng nguồn nước quý giá” thực ra là nhìn ngược vấn đề
Có trường hợp một trung tâm dữ liệu của Google ở một thành phố tại Chile đã làm trầm trọng thêm hạn hán trong khu vực,
và ở nơi khác tình hình nghiêm trọng tới mức phải trộn nước biển vào nước sinh hoạt
Tôi rõ ràng cho rằng việc dùng lượng nước tương đương cả một thành phố là có vấn đề
Cả sân golf lẫn trung tâm dữ liệu đều phải trả chi phí ngoại tác,
và nếu không hiệu quả kinh tế ở vùng khô hạn thì như vậy còn tốt hơn
Nếu là nước có thể dùng cho nông nghiệp thì cũng có thể dùng để làm mát
Vấn đề tiêu thụ năng lượng cũng có phần bị phóng đại — rốt cuộc năng lượng tái tạo giá rẻ sẽ có sức cạnh tranh
Tôi nghĩ giới hạn của LLM là vấn đề phần cứng
Nơ-ron trong não người có thể đồng thời xử lý hàng nghìn đầu vào và đầu ra, còn nơ-ron của LLM chỉ có một đầu vào và một đầu ra
Não người hoạt động với khoảng 20W, trong khi LLM phải tiêu thụ tới vài MW
Với GPU hay TPU thì khó có thể đạt tới AGI, và cần một mô hình phần cứng hoàn toàn mới
Đây không đơn thuần là vấn đề thiếu năng lực tính toán
Trong môi trường chỉ phục vụ hoạt động trí tuệ, có thể không cần nhiều nơ-ron đến vậy
Vấn đề không nằm ở quy mô mà ở cấu trúc bố trí (Electronic Design Automation)
Xem bài wiki về EDA
Não có nhiều đường đầu vào và nhiều kiểu tín hiệu khác nhau, nên độ phức tạp thiết kế lớn hơn rất nhiều
Diễn ngôn về AGI giống như phần kéo dài của một xung lực tôn giáo
Con người vẫn luôn khao khát một đáp án tuyệt đối có thể giải quyết mọi vấn đề
Nếu bị dồn nén, nó sẽ quay lại dưới những hình thức tệ hơn
Thiền, tiết chế, và đạo đức với người khác là “tôn giáo” của riêng tôi
Đó là nỗ lực tái tạo các hệ thống tự nhiên như mặt trời hay bộ não bằng công nghệ
Cũng như tôn giáo, cấu trúc quyền lực dùng niềm tin để duy trì sự kiểm soát
Sự cuồng tín và lừa bịp của con người lặp lại qua mọi thời đại
Tham khảo: Extraordinary Popular Delusions and the Madness of Crowds
Một xã hội đã mất tôn giáo trước tiên đi qua giai đoạn chỉ còn cái vỏ của các giá trị,
rồi sau đó rơi vào giai đoạn phi tôn giáo và xuất hiện khoảng trống đạo đức
Một số người muốn phục tùng AI, nhưng kiểu “vì AI nói vậy” là một đức tin vô hồn
Là một kỹ sư, tôi cũng muốn giải quyết vấn đề hiệu quả và vô hại, nhưng thực tế rất phức tạp
Tôi từng cấu hình Bluetooth trên Raspberry Pi và giải quyết được nhờ sự trợ giúp của GPT và Claude
Stack Overflow hay các diễn đàn không còn sôi động như trước, còn tài liệu thì rải rác
Công nghệ đã trở nên quá phức tạp đến mức cuối cùng ta rơi vào tình huống phải phụ thuộc vào LLM
về dài hạn, một xã hội không thể duy trì nếu thiếu AI sẽ không thể bền vững
Công nghệ cần quay lại với sự đơn giản
Ví dụ có thể xem ArchWiki Bluetooth hoặc Debian BluetoothUser
Ngay trong công ty cũng đã xuất hiện mô hình AI agent thay con người chạy công cụ
Cuối cùng con người có nguy cơ không còn hiểu được logic bên trong
Tuy nhiên, để thay thế hoàn toàn con người thì vẫn còn giới hạn nền tảng
Và cuối cùng LLM rất có thể cũng sẽ đi theo con đường tương tự
Một bộ phận trong ngành cho rằng LLM là ngõ cụt về nền tảng,
nhưng vì bị trói buộc bởi cổ phiếu và danh tiếng nên họ không thừa nhận thực tế
LLM cũng có thể là công nghệ trung gian trên con đường tới AGI
Nó vẫn có thể trở thành thành phần cốt lõi của một hệ thống AGI
Nhờ Whisper mà công việc làm phụ đề video của tôi được rút ngắn một cách đột phá
Việc từng mất hàng giờ giờ chỉ còn vài phút
Nhờ MacWhisper có UI tốt nên khả năng tiếp cận cũng cao hơn
Ví dụ có những trường hợp luật sư dùng LLM để tìm ra tài liệu chứng minh vô tội
Điều quan trọng là ứng dụng thực tế thay vì mở rộng quá đà
Chỉ trong vài năm nữa, chúng ta sẽ bước vào thời kỳ LLM cá nhân chạy được ở mức laptop
Tôi nghĩ cách nói rằng các kiểm duyệt viên nội dung bị bóc lột là cường điệu
Đây là công việc kiểm duyệt Internet đã tồn tại suốt 30 năm nay
Nó có thể khó chịu, nhưng không phải điều gì mới mẻ hay khủng khiếp
Đây là vai trò cần thiết, tách biệt với mục tiêu theo đuổi AGI
Thật vui khi thấy một cuộc thảo luận AI thực tế hơn
Vấn đề không phải là bản thân công nghệ transformer vô dụng,
mà là sự thổi phồng quá mức kiểu “AGI sắp đến rồi”
HN đã chống chọi khá tốt với hầu hết các trào lưu, nhưng lần này có vẻ là ngoại lệ
Chúng ta nên dám làm không phải vì nó dễ mà vì nó khó
Ngay cả khi AGI là ảo tưởng, trong quá trình đó vẫn có thể giải quyết được những vấn đề hữu ích
Phát thải carbon từ trung tâm dữ liệu có nhiều phần bị phóng đại,
và về dài hạn, trung tâm dữ liệu dùng năng lượng sạch sẽ kinh tế hơn
Đây là gánh nặng trực tiếp với người thu nhập thấp
AI hiện tại chưa đủ sức thuyết phục ở điểm đó
DeepMind và Demis Hassabis thực sự đang tạo ra thành tựu khoa học
Ví dụ: AlphaFold, AlphaEvolve, v.v.
Có những nghiên cứu như vậy mà chỉ nói “AI là ảo tưởng” thì không công bằng
Ý chính của bài viết là phê phán sự ám ảnh với AGI
Hassabis dường như thật sự quan tâm đến tiến bộ khoa học
Trong khi đó, một số công ty khác trông giống PR kiếm tiền hơn
Nói về AGI mà ai cũng đang kể mình đã làm được gì.
Thay vì lôi ra những thứ kỳ quặc như vấn đề môi trường hay bóc lột lao động khi nói về kỹ thuật, thì thà đưa ra báo cáo rằng nó sẽ sụp đổ rồi thể hiện bằng hành động như đánh lệnh short còn hơn..