- Brendan Gregg, chuyên gia nổi tiếng về quản lý hiệu năng Linux và là một trong những người đóng góp chính cho BPF, giải thích lý do ông gia nhập OpenAI
- Ông gia nhập OpenAI để giải quyết vấn đề chi phí và mức tiêu thụ năng lượng của các trung tâm dữ liệu AI đang tăng vọt, và ban đầu tập trung vào tối ưu hiệu năng ChatGPT
- Ông cho rằng chỉ dựa vào kỹ thuật hiệu năng truyền thống là chưa đủ, nên hướng đến các phương pháp kỹ thuật mới nhằm nhanh chóng tìm ra những hiệu quả tối ưu lớn hơn
- Qua các trường hợp người dùng đời thường sử dụng ChatGPT rộng rãi — như thợ làm tóc, môi giới bất động sản, chuyên viên thuế, người nuôi ong — ông cảm nhận rõ sự lan tỏa xã hội của công nghệ này
- Sau 26 cuộc phỏng vấn, ông so sánh năng lực kỹ thuật của nhiều công ty AI và đánh giá mật độ nhân tài cùng môi trường hợp tác của OpenAI là ấn tượng nhất
- Ông xem vai trò tại OpenAI là bước ngoặt của cuộc đời, vì có cơ hội đóng góp vào việc nâng cao hiệu quả ở quy mô toàn cầu và đảm bảo tính bền vững
Thách thức của trung tâm dữ liệu AI và kỹ thuật hiệu năng
- Chi phí và tốc độ tăng trưởng của các trung tâm dữ liệu AI đang diễn ra nhanh chưa từng có trong lịch sử; đây không chỉ là vấn đề cắt giảm chi phí mà còn là vấn đề bảo vệ môi trường Trái Đất
- Ông gia nhập OpenAI để trực tiếp giải quyết vấn đề này, và ban đầu tập trung vào việc cải thiện hiệu năng ChatGPT
- Vượt qua giới hạn của kỹ thuật hiệu năng truyền thống, ông tìm kiếm cách tiếp cận mới để đạt mức tối ưu lớn hơn và cải tiến nhanh hơn
- Ông nhấn mạnh một cấu trúc cởi mở, hầu như không có rào cản ngăn cản thay đổi, ngay cả trong môi trường quy mô lớn
- Ông mô tả điều đó bằng tinh thần: “Hãy thử bất cứ điều gì, ở quy mô lớn, và làm ngay bây giờ”
Sự phổ biến thường nhật của ChatGPT và động lực cá nhân
- Trong lúc còn hoài nghi về việc chấp nhận AI, ông đã trực tiếp cảm nhận mức độ phổ biến của ChatGPT qua cuộc trò chuyện với cô thợ làm tóc Mia
- Mia chia sẻ nhiều cách dùng khác nhau, như dùng ChatGPT để kiểm tra thông tin điểm đến du lịch của bạn bè và duy trì cảm giác kết nối cảm xúc
- Cô mô tả tính năng ghi nhớ của ChatGPT như một trải nghiệm đang trò chuyện với con người
- Môi giới bất động sản, chuyên viên thuế, người nuôi ong và nhiều người khác cũng đang tích cực sử dụng ChatGPT trong công việc
- Ví dụ: một người nuôi ong dùng ChatGPT để xử lý công việc giấy tờ cho doanh nghiệp nhỏ
- Từ những trải nghiệm đó, ông nhận ra ChatGPT đã trở thành một công cụ hằng ngày, và tin chắc vào ý nghĩa xã hội của những đóng góp kỹ thuật của mình
Lý do chọn OpenAI và quá trình phỏng vấn
- Theo gợi ý của nhiều chuyên gia trong ngành, ông đã thực hiện 26 cuộc phỏng vấn với các tập đoàn công nghệ AI lớn, bao gồm cả OpenAI
- Ông nhận thấy ở đó có môi trường đám mây quy mô lớn, thay đổi mã nguồn nhanh và quyền tự chủ cao của kỹ sư, tương tự thời còn ở Netflix
- Không chỉ GPU, mà còn có nhiều bài toán rộng hơn liên quan đến hiệu năng của toàn bộ ngăn xếp công nghệ
- Tại OpenAI đã có nhiều đồng nghiệp kỹ sư giỏi mà ông vốn quen biết từ trước
- Kinh nghiệm từng hợp tác với những người như Vadim, đồng nghiệp cũ ở Netflix, cũng tác động tích cực đến quyết định gia nhập của ông
- OpenAI vốn đã có một đội ngũ kỹ sư hiệu năng dày dạn kinh nghiệm, và ông nói mình chỉ là “người gia nhập gần đây nhất” trong số đó
Giấc mơ thời thơ ấu về ‘Orac’ và mối liên hệ với AI
- Ông hồi tưởng việc từng say mê siêu máy tính Orac trong series khoa học viễn tưởng Anh Blake’s 7 từ nhỏ, và từ đó nuôi giấc mơ phát triển AI
- Thời đại học, ông từng định tự phát triển phần mềm xử lý ngôn ngữ tự nhiên nhưng phải dừng lại vì giới hạn bộ nhớ
- Khi sử dụng ChatGPT, ông nhớ đến Orac và kinh ngạc khi ChatGPT tái hiện hoàn hảo tính cách của Orac trong câu trả lời
- Sau đó ông cá nhân hóa cài đặt ChatGPT để dùng ở chế độ Orac
- Ông cũng nhắc đến tin tức về việc Blake’s 7 sẽ được làm lại
Hiện tại và kế hoạch sắp tới tại OpenAI
- Hiện ông đang làm việc từ xa tại Sydney và giữ vai trò Member of Technical Staff trong nhóm kỹ thuật hiệu năng của ChatGPT
- Dự án ban đầu là cải thiện hiệu năng thông qua hợp tác liên phòng ban và xây dựng chiến lược cắt giảm chi phí
- Ông có kế hoạch áp dụng các công nghệ hiện có như eBPF, Ftrace, PMC theo nhu cầu của OpenAI
- Ông cũng đang sử dụng Codex cho nhiều công việc ngoài lập trình
- Sau khi rời Intel, tại Linux Plumber’s Conference, nhiều người đã tò mò về bước đi tiếp theo của ông, và đó cũng là cơ duyên để ông viết bài này
- Cuối cùng, khi hỏi lại cô thợ làm tóc Mia rằng cô còn dùng ChatGPT không, ông nhận được câu trả lời: “Tôi dùng nó suốt 24 giờ một ngày.”
- Ông nhấn mạnh đây là ghi chép mang tính cá nhân, được viết tự nguyện chứ không phải theo yêu cầu của công ty
3 bình luận
Dù có nói rằng một công ty đã gom tới 40% bộ nhớ của toàn thế giới đang quan tâm đến lợi ích công cộng của Trái Đất...
Cái này lại là gì nữa... Từ chipset đến data center, với OpenAI vốn chẳng có gì tự làm để tự dùng, nếu software stack được tối ưu hóa thì họ sẽ scale up đúng bằng phần dư ra, nên mục tiêu là tối đa hóa lợi nhuận hơn là bảo vệ môi trường (giống nghịch lý Jevons như trong bình luận trên HN).
Bài viết mang tính tự PR quá mức nên đọc cũng thấy ngượng.
Ý kiến trên Hacker News
Câu nói “không phải để cắt giảm chi phí mà là để cứu Trái Đất” nghe hơi gượng gạo
Khiến người ta nghĩ rằng có khi rốt cuộc vẫn chỉ là vì tiền
Có đam mê với công việc thì tốt, nhưng cũng đâu cần phải tỏ ra như Mẹ Teresa
Nhân tiện, điều này làm tôi nhớ đến một cảnh nhại trong series Silicon Valley
Mục tiêu của các tập đoàn lớn không phải là cứu thế giới mà là theo đuổi lợi nhuận
Khi hiệu suất phần cứng tăng lên thì cuối cùng cũng chỉ để nhồi thêm nhiều workload hơn
Dù vậy, tôi vẫn mong chờ những đổi mới mới sẽ xuất hiện trong lĩnh vực này
Là fan sách của Brendan, tôi vẫn ủng hộ việc anh ấy gia nhập OpenAI, nhưng rất khó đồng tình với phần phân tích
Nếu OpenAI mua được lượng năng lượng Y với số tiền X đô, thì cải thiện hiệu suất rốt cuộc cũng chỉ dẫn đến việc tạo ra nhiều token hơn
Tôi thấy điều này gần với nghịch lý Jevons hơn là tiết kiệm năng lượng
Tuy vậy, chi phí năng lượng cho các yêu cầu kiểu “hỏi chatbot tỉ số bóng rổ” có lẽ sẽ giảm xuống
Có nhắc đến chuyện đãi ngộ, nhưng tiền không phải là lý do duy nhất
Tôi muốn trực tiếp giải quyết vấn đề chi phí năng lượng của các trung tâm dữ liệu AI
Trong 20 năm qua tôi đã viết giáo trình gần như ở mức lương tối thiểu, giúp đỡ các lập trình viên khác,
đồng thời xây nền móng cho vô số startup bằng mã nguồn mở
Tôi cũng đã góp phần vào việc lan rộng văn hóa làm việc từ xa
Khi hiệu suất tăng thì cuối cùng cấu trúc vận hành vẫn sẽ dẫn đến việc mua thêm GPU
Để giảm bớt tác dụng phụ kiểu này, tôi cho rằng cần có quy định pháp lý
những lời kiểu “làm việc vì thế giới” nghe thật rỗng tuếch
Dù thất vọng, tôi vẫn tôn trọng lựa chọn của bạn
Liên kết liên quan
nhưng cũng có khả năng OpenAI sẽ giữ một phần không công khai để duy trì lợi thế cạnh tranh
Giọng văn tự phô trương trong bài quá mạnh nên đọc khá khó chịu
Đoạn “thợ làm tóc Mia im lặng khi nghe tôi nói mình là Intel Fellow” thật sự rất ngượng
Cảm giác như anh ấy muốn làm cô ấy ấn tượng nhưng vì không có phản ứng nên mới quyết định chuyển việc
Khi va chạm với thế giới bên ngoài ngành công nghệ thì phản ứng như vậy là rất tự nhiên
Ngược lại, thương hiệu kéo mà cô thợ làm tóc nhắc tới có khi lại xa lạ với chúng ta
Cách tuyển dụng ở Silicon Valley kích thích hình ảnh bản ngã của con người,
khiến họ tin rằng mình là người đang thay đổi thế giới,
và vì thế khó nhìn thẳng vào tác động tiêu cực mà họ gây ra
Thật sốc khi một người từng là kỹ sư hệ thống xuất sắc lại viết theo kiểu thiếu cảm giác thực tế như vậy
Có cảm giác chính trị và tự quảng bá còn được ưu tiên hơn cả sự thật kỹ thuật
Việc quảng bá bản thân hay ý tưởng suy cho cùng cũng có thể xem là phần mở rộng của kỹ thuật
Tôi đọc bài này với tư cách một người hâm mộ, nhưng câu “cứu thế giới” nghe như tự hợp lý hóa
Nó nghe như một phép ví von mỉa mai kiểu “tôi sẽ rút tối đa nhiệt lượng từ vụ cháy lốp xe để cứu Trái Đất”
Đoạn nói rằng vì bạn mình đang đi xa nên đã trò chuyện với ChatGPT về thành phố đó và cảm thấy có sự kết nối khiến tôi thấy buồn
Một mục đích như vậy đâu cần đến điện năng ở cấp gigawatt
Một mô hình cục bộ nhỏ là đủ rồi
Giao tiếp bất đồng bộ giữa con người với nhau vốn đã là vấn đề được giải quyết từ lâu
Ít u sầu hơn so với việc xem các chương trình du lịch