- Greg Brockman cho rằng để OpenAI đạt được sứ mệnh AGI, họ cần vượt qua giới hạn của mô hình phi lợi nhuận để có được pháp nhân vì lợi nhuận và năng lực compute quy mô lớn
- Các bước ngoặt kỹ thuật của OpenAI nối tiếp từ mở rộng PPO trong Dota, việc các mô hình ngôn ngữ học được ngữ nghĩa, đến việc xem xét lại tiêu chuẩn AGI sau GPT-4
- Việc phát triển AI đã được chính AI tăng tốc; viết mã đang nhanh chóng bị thay thế, nhưng thiết kế cấu trúc mã thì các chuyên gia con người vẫn được xem là mạnh hơn
- Trong thời gian tới, ràng buộc cốt lõi sẽ là compute, và OpenAI muốn phân phối rộng rãi lợi ích công nghệ thông qua trung tâm dữ liệu và khả năng truy cập miễn phí
- Triển khai lặp lại, an toàn, tính trung lập và quy định đều là các bài toán cốt lõi của cả sản phẩm lẫn xã hội, và tiêu chí thành công là AGI mang lại lợi ích cho toàn nhân loại
Sự thành lập của OpenAI và quá trình chuyển đổi cấu trúc
-
Lý do chuyển từ Stripe sang AI
- Greg Brockman cho rằng những vấn đề ông giải quyết ở Stripe không phải là thứ ông muốn theo đuổi suốt đời, và nếu có thể tác động đến cách AI được triển khai trong thế giới, đó sẽ là một cuộc đời có ý nghĩa
- Khi Brockman định rời Stripe, Patrick Collison đã bảo ông thử nói chuyện với Sam Altman, và chỉ sau vài phút Sam đã thấy rằng Brockman thực ra đã quyết định ra đi
- Khi Brockman nói mình đang nghĩ đến một công ty AI, Sam cũng nói rằng mình đang định bắt đầu điều gì đó trong AI và hai người nên giữ liên lạc, từ đó dẫn tới các cuộc thảo luận về việc lập viện nghiên cứu vào năm 2015
-
Thành lập viện nghiên cứu năm 2015 và đội ngũ ban đầu
- Khi đó, DeepMind trông giống như một “con khỉ đột 10.000 pound” với nhà nghiên cứu, vốn, dữ liệu và thành tích, và ngay cả trước khi AlphaGo được công bố thì đà tiến cũng đã rất rõ ràng
- Câu hỏi cốt lõi là: “Đã quá muộn để tập hợp nhiều nhà nghiên cứu hàng đầu và khởi động một viện nghiên cứu chưa, điều đó có khả thi không?”, và tuy có nhiều lý do khiến việc này khó khăn, nhưng không đi đến kết luận rằng nó là bất khả thi
- Sam Altman và Brockman kết luận rằng “phải làm”, và từ ngày hôm sau Brockman bắt đầu toàn thời gian xây dựng tổ chức
- Ý tưởng ban đầu bao gồm Ilya Sutskever, Dario Amodei, Chris, Greg Brockman, nhưng không thành hiện thực hoàn toàn; Chris sang Google Brain, còn John Schulman và những người khác bày tỏ sự quan tâm
- Khi khoảng 10 người đang hỏi “ai sẽ cùng tham gia”, Sam đề xuất một buổi offsite, và tập hợp mọi người ở Napa mà chưa có đề nghị chính thức, chưa có cấu trúc tổ chức hay danh sách người xác nhận tham gia
- Tại buổi offsite ở Napa, họ đã vạch ra một định hướng gần như trở thành kế hoạch công nghệ kéo dài 10 năm sau đó, với trọng tâm là giải quyết học tăng cường, giải quyết học không giám sát, và chiến lược dần dần học các đối tượng ngày càng phức tạp hơn
-
Giới hạn của cấu trúc phi lợi nhuận và pháp nhân vì lợi nhuận
- Năm 2017, OpenAI bắt đầu tính toán các điều kiện cần thiết và quy mô compute để thực sự tạo ra AGI, và đi đến kết luận rằng cần những cỗ máy tính rất lớn
- Họ cho rằng phần cứng điện toán độc đáo do Cerebras phát triển có thể vượt xa mức tính toán cần thiết trên giấy tờ, và nhận định rằng quyền tiếp cận độc quyền hoặc việc bảo đảm các trung tâm dữ liệu quy mô lớn có thể tạo ra lợi thế rất lớn trong việc xây dựng AGI
- Họ thấy việc gây quỹ theo mô hình phi lợi nhuận có giới hạn trần, và Elon Musk, Sam Altman, Ilya Sutskever, Greg Brockman đã đồng thuận rằng con đường duy nhất để hoàn thành sứ mệnh OpenAI là tạo ra một pháp nhân vì lợi nhuận gắn với OpenAI
- Để tạo ra AGI thì cần vốn, nhưng chỉ với cấu trúc phi lợi nhuận thì có thể xoay được 100 triệu hoặc 500 triệu USD, còn 1 tỷ USD thì bị xem là rất khó
-
Căng thẳng nội bộ và vụ sa thải Sam Altman
- Trong một tổ chức tin rằng mình có thể tạo ra cỗ máy có trí tuệ ngang con người, các vấn đề chính trị nội bộ thường thấy ở doanh nghiệp như ai có quyền quyết định, những giá trị nào đi vào quyết định, hay cách phân chia công lao đều mang sức nặng mang tính hiện sinh
- Brockman nhìn thấy hội đồng quản trị đang họp qua video call mà không có Sam, và được thông báo rằng hội đồng đã quyết định loại Sam Altman khỏi vị trí của mình
- Khi yêu cầu thêm thông tin, ông nhận được câu trả lời rằng không còn gì để chia sẻ, đồng thời cũng được báo rằng bản thân ông sẽ bị loại khỏi hội đồng nhưng nên ở lại công ty vì ông quan trọng với sứ mệnh
- Không nhận được lý do hay phản hồi nào, Brockman nói chuyện với vợ ngay sau cuộc gọi và đi đến kết luận rằng mình phải từ chức
- Trong ngày từ chức, hàng loạt tin nhắn đổ về nói rằng Sam và Brockman sẽ cùng nhau làm bất cứ điều gì tiếp theo, và các cộng sự thân cận cũng từ chức cùng ngày
- Năm người, bao gồm cả Sam, bắt đầu phác thảo một công ty mới, còn Brockman đánh giá khả năng giành lại công ty chỉ là 10%
- Tối Chủ nhật, khi hội đồng thay Mira, người đang là CEO tạm quyền, bằng một nhân vật mới, công ty đã phản ứng dữ dội; kế hoạch ban đầu chỉ nhận những người dự kiến tham gia như một “xuồng cứu sinh” nhỏ đã phình to thành tình huống phải đón gần như tất cả mọi người
- Ngay trước lễ Tạ ơn, nhiều nhân viên vẫn hủy vé máy bay về quê để tụ tập tại văn phòng, và tài liệu kiến nghị bị treo do quá nhiều người cùng lúc cố gắng ký trên Google Docs
- Brockman kiểm tra Twitter vào rạng sáng và cảm thấy nhẹ nhõm rất nhiều khi thấy Ilya đăng rằng ông đã ký vào bản kiến nghị và muốn công ty hợp nhất trở lại
-
Hàn gắn quan hệ với Ilya Sutskever, và bài học về lãnh đạo
- Ilya từng thân thiết đến mức làm chủ hôn trong lễ kết hôn dân sự của Brockman, và hai người đã cùng nhau đi qua những giai đoạn khó khăn
- Sau đó, cả hai đã dành nhiều thời gian để hiểu và diễn đạt những điều đã tích tụ hoặc chưa từng được nói ra, và Brockman cảm thấy mình đã đi đến sự khép lại thông qua quá trình đó
- Sau biến cố, các đối thủ đã cố gắng lôi kéo người của OpenAI và có thể đã đưa ra nhiều tiền hơn hoặc đề nghị tốt hơn, nhưng trong suốt cuối tuần đó OpenAI không mất một ai, và không ai chấp nhận lời mời từ đối thủ
- Khi Ilya rời đi, đó gần như là khoảnh khắc duy nhất trong lịch sử OpenAI khiến Brockman cảm thấy mình không còn muốn tiếp tục nữa, và ông phải tìm lại lý do vì sao công việc này quan trọng cũng như vì sao đáng để chịu đựng nỗi đau đó
- Trong thời gian nghỉ, ông đã huấn luyện mô hình ngôn ngữ trên chuỗi DNA, đồng thời cùng vợ quan tâm đến việc AI có thể làm gì với các vấn đề sức khỏe ở động vật, qua đó áp dụng công nghệ vào những lĩnh vực có ý nghĩa cá nhân
- Nhìn lại, những điều ông làm sai phần lớn đều là các quyết định mà ông biết mình cần đưa ra nhưng đã trì hoãn quá lâu, và bài học lặp đi lặp lại ông rút ra là hãy đưa ra những quyết định khó và thực hiện những cuộc trò chuyện khó
Bước ngoặt kỹ thuật và sự tăng tốc trong phát triển AI
-
Những khoảnh khắc liên tiếp khiến người ta cảm thấy “đây là thật”
- Sự phát triển của OpenAI không phải là một lần giác ngộ duy nhất, mà là một quá trình gồm nhiều khoảnh khắc liên tiếp khiến người ta cảm thấy “đây là thật”
- Giai đoạn ra mắt ban đầu là khoảnh khắc họ có thể tập hợp đội ngũ và theo đuổi sứ mệnh, nhưng ngay ngày hôm sau trong văn phòng họ còn chưa biết phải làm gì, thậm chí đến bảng trắng cũng không có
-
Dota và khả năng mở rộng mà PPO cho thấy
- Dota là thành quả lớn đầu tiên, và cho thấy rằng khi tăng compute thì kết quả cũng tăng theo
- Ban đầu, dự án Dota là một nỗ lực nhằm phát triển phương pháp mới vì họ cho rằng học tăng cường hiện có sẽ không thể mở rộng, và thuật toán được sử dụng là PPO
- PPO lập kế hoạch cho mọi bước thời gian và không có cấu trúc phân cấp, khác với cách con người lên kế hoạch cho một ngày, lại có nhiều khiếm khuyết và từng bị cho là sẽ không thể mở rộng, nhưng họ quyết định đẩy đường cơ sở này đến giới hạn
- Kết quả của việc tiếp tục mở rộng PPO là nó đã vượt qua hiệu năng của những tuyển thủ con người hàng đầu, dẫn đến phát hiện rằng thuật toán đơn giản cùng compute quy mô lớn thực sự có thể hoạt động trong thế giới thực
- Môi trường Dota là một môi trường phức tạp, nơi rất khó lập trình cứng, nhìn xa trước hoặc tìm kiếm, và gần như đòi hỏi trực giác giống con người
- Mạng nơ-ron được dùng có số lượng khớp thần kinh gần như chỉ ở mức “bộ não côn trùng nhỏ”, và điều đó để lại câu hỏi rằng sẽ ra sao nếu cùng cách tiếp cận tính toán này được mở rộng lên gần hơn với quy mô não người
-
Mô hình ngôn ngữ, học ngữ nghĩa và sự thay đổi tiêu chuẩn sau GPT-4
- Bài báo unsupervised sentiment neuron năm 2017 được xem là khoảnh khắc đầu tiên họ thấy ngữ nghĩa xuất hiện từ mục tiêu mô hình hóa ngôn ngữ
- Mạng nơ-ron chỉ được huấn luyện để dự đoán ký tự tiếp theo, nhưng rồi lại hiểu được sắc thái tích cực hay tiêu cực của câu, cho thấy nó có thể học không chỉ dấu phẩy, danh từ hay vị trí động từ mà còn cả ý nghĩa của câu
- Trong lúc làm việc với GPT-4, đã xuất hiện câu hỏi “tại sao cái này vẫn chưa phải AGI”, và dù nó có thể trò chuyện lưu loát về chủ đề mong muốn, rõ ràng vẫn còn thiếu điều gì đó
- Có khả năng tiêu chuẩn AGI mà họ nắm giữ hai tháng trước khi công bố GPT-4 đã không còn khớp với năng lực thực tế của GPT-4, và họ cho rằng phía trước vẫn còn những khoảnh khắc đột phá cho phép tiến sang giai đoạn tiếp theo
-
Mối liên kết giữa dự đoán, học không giám sát và học tăng cường
- Việc dự đoán từ tiếp theo nghe có vẻ bình thường, nhưng đã xuất hiện quan điểm rằng nếu thật sự có thể dự đoán lời tiếp theo của Einstein thì ít nhất cũng thông minh ngang Einstein
- Cốt lõi của dự đoán không nằm ở việc đoán đúng điều đã biết, mà là dự đoán điều gì sẽ đến tiếp theo trong những tình huống hoàn toàn mới chưa từng gặp
- Việc huấn luyện mô hình được chia thành học không giám sát, nơi mô hình học từ dữ liệu tĩnh, mang tính quan sát để dự đoán điều gì đến tiếp theo, và học tăng cường, nơi AI tự chọn hành động, nhận quan sát từ thế giới và học từ chính dữ liệu của mình
- Kỹ thuật dùng trong hai giai đoạn này về bản chất là giống nhau, và điều thay đổi là cấu trúc dữ liệu
-
Giai đoạn AI tăng tốc việc phát triển AI
- Họ cho rằng hiện đã bước vào giai đoạn áp dụng AI vào chính quy trình phát triển nội bộ, khiến tốc độ phát triển ngày càng nhanh hơn
- Sau ChatGPT, quy trình phát triển nội bộ đã nhanh hơn 10~20%, và các công cụ lập trình gần đây đang thay đổi mạnh cách làm kỹ thuật phần mềm
- Trong quá trình sản xuất mô hình, phần lớn nút thắt cổ chai nằm ở phần mềm như triển khai hệ thống, mở rộng quy mô và quản lý các máy tính cỡ lớn
- Họ cho rằng chẳng bao lâu nữa AI sẽ bước tới giai đoạn tự đề xuất ý tưởng nghiên cứu, tự chạy thí nghiệm và tự kiểm thử
- Hiện nay rất khó biết phần mã nào không do AI viết vì tỷ lệ đó đã ở mức “gần như biến mất”, và họ cho rằng nếu được cung cấp đúng ngữ cảnh và cấu trúc thì AI viết mã thực tế tốt hơn con người
- Tuy vậy, trong thiết kế cấu trúc mã như bố trí mô-đun, quan hệ giữa các thành phần hay định nghĩa giao diện cụ thể, họ cho rằng chuyên gia con người vẫn giỏi hơn nhiều
-
Ý tưởng mới và việc không công khai chain of thought
- Họ cho rằng AI đang tiến gần đến giai đoạn có thể đưa ra những ý tưởng mới mà con người chưa nghĩ tới
- Năm 2024, trong thiết kế chip nội bộ, họ đã áp dụng công nghệ OpenAI để giảm diện tích mạch; các tối ưu do mô hình tạo ra thực ra đã có sẵn trong danh sách của con người, nhưng giúp hiện thực hóa nhanh hơn những việc họ chưa kịp làm vì thiếu thời gian
- Trong toán học và vật lý, họ đang giải quyết các bài toán mở trong toán học và các bài toán mở trong vật lý, và gần đây được cho là đã giải một vấn đề cụ thể trong vật lý lượng tử theo hướng ngược với dự đoán của cộng đồng, thậm chí còn đưa ra một công thức thanh nhã
- OpenAI nỗ lực làm cho việc chưng cất trở nên khó hơn, và đặc biệt bảo vệ những thành phần là một phần của mô hình nhưng không thiết yếu để trả kết quả cho người dùng, như chain of thought
- Lợi thế cốt lõi của OpenAI không nằm ở một mô hình cụ thể, mà nằm ở cỗ máy tạo ra mô hình
- Một trong những lý do không hiển thị reasoning là để ngăn chưng cất, và một lý do quan trọng hơn là khả năng diễn giải
- Nếu chain of thought được huấn luyện để trông đẹp mắt, tính trung thực sẽ biến mất, và mô hình có thể tạo ra reasoning theo hình dạng người dùng muốn thấy thay vì lý do thực sự
- OpenAI đã sớm quyết định tránh cám dỗ huấn luyện chain of thought theo dạng dễ trình bày cho người dùng xem, và vì lý do cạnh tranh lẫn an toàn, họ nghiêng về phía không công khai quá trình suy nghĩ trung gian
Giới hạn compute, trung tâm dữ liệu, trọng tâm sản phẩm
-
Thế giới nơi compute trở thành ràng buộc cốt lõi
- Trong tương lai, nhìn chung chúng ta đang tiến tới một thế giới bị giới hạn bởi compute
- Giá trị mà mô hình tạo ra mở rộng vượt xa việc chỉ trả lời câu hỏi, sang khả năng tiếp cận thông tin sức khỏe, tích hợp nhiều nguồn dữ liệu, tìm kiếm kho tri thức doanh nghiệp, giải quyết các vấn đề khó và viết phần mềm tốt hơn con người
- Tiến bộ từ GPT-5 đến 5.1, 5.2, 5.3 Codex, rồi 5.4 là rất lớn, và năng lực hiểu ý định người dùng cũng như căn chỉnh theo mục tiêu của mô hình đã được cải thiện đáng kể
- Khi đưa mô hình lên các bề mặt như Codex, nhà phát triển có thể đạt được nhiều hơn rất nhiều so với trước đây
- Ngay cả khi muốn cấp cho mỗi người trên thế giới một GPU thì cũng cần 8 tỷ GPU, nhưng quỹ đạo hiện tại còn chưa tiến gần đến mức đó
- Ngày nay, hàng trăm nghìn GPU đã là quy mô lớn, và trong tương lai có thể sẽ có hàng triệu GPU, nhưng thế giới vẫn còn quá ít compute, và để đưa công nghệ này đến với tất cả mọi người thì cần nhiều hơn nữa
-
Chiến lược trung tâm dữ liệu và hạ tầng vật lý
- OpenAI đã đầu tư rất nhiều công sức để xây dựng compute nhằm đón đầu những gì sắp đến, và muốn tập trung vào sứ mệnh phổ cập rộng rãi các mô hình đến mọi người
- Chiến lược đổ nhiều công sức và tiền bạc vào trung tâm dữ liệu từng bị các đối thủ chế giễu, nhưng giờ đây được xem là lợi thế không chỉ cho kinh doanh mà còn cho việc thực hiện sứ mệnh đưa công nghệ đến với tất cả mọi người
- Trung tâm dữ liệu cho AI gần như là “cỗ máy lớn nhất mà nhân loại tạo ra”, và mục đích của nó là giúp giải quyết những vấn đề quan trọng với con người như chữa ung thư, vận hành doanh nghiệp, hay các truy vấn thường nhật, đồng thời hỗ trợ đạt được mục tiêu
- Về các trung tâm dữ liệu chuyên cho từng vấn đề cụ thể, chẳng hạn một trung tâm dữ liệu khổng lồ ở Dakota chỉ chuyên giải quyết ung thư, ông cho rằng không thể loại trừ khả năng điều đó xảy ra ngay trong năm nay
- Hiện nay trung tâm dữ liệu là những cỗ máy khổng lồ rất tinh vi, và trước đây từng có trường hợp cáp bị căng quá mức gây ra vấn đề toàn vẹn tín hiệu khiến máy tính không hoạt động
- Việc bảo trì hệ thống hiện vẫn do con người trực tiếp thực hiện về mặt vật lý, nhưng trong tương lai có thể chuyển sang robotics
- Trung tâm dữ liệu ngoài không gian còn có nhiều vấn đề kỹ thuật, nhưng nhu cầu compute quá lớn nên cần phải cân nhắc mọi lựa chọn
-
Phân bổ compute và khả năng tiếp cận
- Trong bối cảnh compute bị hạn chế, việc phân bổ compute vào đâu giữa những nhu cầu khác nhau như “tạo ảnh” và “giải quyết ung thư” trở thành một câu hỏi quan trọng về mặt xã hội
- OpenAI cho rằng mọi người đều nên có quyền tiếp cận compute, và lý do ChatGPT có gói miễn phí cũng là để công nghệ được sử dụng rộng rãi, để mọi người tự mình hiểu và định hình cách sử dụng nó
- Cách tiếp cận kiểu “tháp ngà” là giải quyết vấn đề trước rồi mới phân phối kết quả cũng có ưu điểm, nhưng trọng tâm của OpenAI là phân bổ rộng rãi lợi ích của công nghệ
-
Sự kết hợp giữa doanh nghiệp và người tiêu dùng
- Ở giai đoạn tiếp theo của OpenAI, mảng doanh nghiệp là cực kỳ quan trọng, và nền kinh tế đang chuyển đổi ngay trước mắt sang một nền kinh tế dựa trên compute
- Trong kỹ thuật phần mềm, sự thay đổi đã xuất hiện, và trong mọi lĩnh vực làm việc bằng máy tính, cách làm việc sẽ chuyển từ “con người làm việc với máy tính” sang máy tính làm việc cho con người
- Ranh giới giữa doanh nghiệp và người tiêu dùng có thể mờ đi, và sự thay đổi khiến việc khởi nghiệp trở nên dễ dàng hơn rất nhiều đã bắt đầu xuất hiện
- Một người bạn đã nhập vào Codex ý tưởng ứng dụng mà em gái mình mong muốn trong lúc nghe cô ấy nói, rồi vài giờ sau cho cô xem ứng dụng; khi cô hỏi “ai làm ra nó?”, anh ấy đáp rằng “chính em làm ra nó”
- Codex được giới thiệu không chỉ là công cụ dành cho kỹ sư phần mềm, mà còn là công cụ giúp bất kỳ ai có tầm nhìn và ý chí thực thi đều có thể trở thành builder
-
AI cá nhân và một hệ thống công nghệ thống nhất
- Trong mảng người tiêu dùng mà OpenAI đặc biệt tập trung, trọng tâm không phải giải trí hay tự thể hiện mà là giải quyết mục tiêu
- Nếu có khoảng 4 tỷ người dùng smartphone, thì ai cũng nên có một AI cá nhân hoặc AGI cá nhân hiểu rõ họ, hiểu ngữ cảnh cá nhân của họ, đáng tin cậy và là nơi họ có thể tìm lời khuyên
- AI cá nhân có thể chủ động hành động, chẳng hạn mua vé khi nhạc sĩ yêu thích đến thành phố; trong một số trường hợp nó sẽ hỏi xác nhận trước, còn trong một số trường hợp khác có thể thực hiện ngay theo sự phê duyệt từ trước
- Mục tiêu vẫn phải do người dùng quyết định, và tiền đề là người dùng phải nắm quyền kiểm soát
- Những người cần có quyền tiếp cận AI cá nhân hoặc AGI cá nhân sẽ không chỉ là 4 tỷ người mà là 8 tỷ người, tức toàn bộ hành tinh
- Dù dùng trong công việc hay đời sống cá nhân, có thể sẽ có nhiều instance khác nhau, nhưng về căn bản đó vẫn là một hệ thống công nghệ thống nhất
Triển khai, an toàn, tính trung lập, quy định
-
Triển khai lặp lại
- Triển khai lặp lại (iterative deployment) là một trong những trụ cột cốt lõi mà OpenAI đã sử dụng để biến công nghệ thành điều có ích cho con người và hoàn thành sứ mệnh của mình
- Cũng có con đường là bí mật tạo ra AGI, không triển khai gì cả rồi đến một thời điểm nào đó bấm nút phát hành, nhưng trong trường hợp đó sẽ phải xử lý ngay lần tiếp xúc đầu tiên giữa hệ thống mạnh mẽ và thế giới thực
- Ngược lại, nếu triển khai nhiều lần các hệ thống ngày càng mạnh hơn thì sẽ rơi vào tình huống xử lý “hệ thống thứ 100”, có thể học từ 99 lần giải quyết vấn đề trước đó và thế giới cũng có thời gian để thích nghi
- Trước khi phát hành GPT-3, người ta đã nghĩ nhiều đến bức tranh lớn như thông tin sai lệch, nhưng trên thực tế kiểu lạm dụng lớn nhất lại là spam y tế quảng cáo nhiều loại thuốc cho mọi người
- Triển khai lặp lại là cách đưa các phiên bản trung gian ra thế giới để quan sát và học hỏi từ các hành vi lạm dụng và rủi ro thực tế, chứ không có nghĩa là cứ phát hành bừa bãi
- Với công nghệ mạnh và được triển khai nhanh như AI, không có playbook sẵn, và OpenAI cũng đang ở trong tình thế phải vừa làm vừa học
-
An toàn là tính năng sản phẩm
- An toàn không chỉ là yếu tố bổ sung mà là tính năng cốt lõi của sản phẩm, và không ai muốn một mô hình không đồng bộ với chính mình
- Người dùng muốn một mô hình đáng tin cậy trong mọi tình huống và luôn làm điều đúng đắn
- OpenAI cho rằng họ đã đầu tư vào an toàn nhiều hơn rất nhiều so với những gì mọi người hình dung, thậm chí có thể nhiều hơn bất kỳ phòng nghiên cứu nào khác
- Vì ChatGPT là ví dụ triển khai mô hình ngôn ngữ được nhiều người dùng nhất trên thế giới, OpenAI cho biết họ buộc phải chú ý đến an toàn và trên thực tế luôn chú ý đến điều đó
- Họ cho rằng sẽ không tồn tại trạng thái bền vững nào mà một nhà phát triển AI tạo ra sản phẩm thành công lại không đầu tư rất mạnh vào an toàn
-
Khả năng phục hồi của xã hội và OpenAI Foundation
- An toàn không chỉ liên quan đến bản thân mô hình mà còn gắn với cách xã hội xây dựng khả năng phục hồi
- Ô tô cần dây an toàn và đường sá, điện cần các tiêu chuẩn an toàn và những quy tắc như bố trí cột điện, đường dây cao thế
- Với AI cũng vậy, điều quan trọng không chỉ là bản thân mô hình mà còn là cách nó được tích hợp vào thế giới và cách xã hội có được khả năng phục hồi
- OpenAI Foundation đặt một trong những trọng tâm cốt lõi là giúp xã hội đầu tư và xây dựng một tầng khả năng phục hồi cho AI
-
Thiên lệch chính trị của mô hình, tính trung lập và học theo sở thích người dùng
- OpenAI cho biết họ nỗ lực rất nhiều để mô hình giữ được tính trung lập và phản ánh sự thật, đồng thời các giá trị và cách hành xử được đưa vào mô hình có thể xem trong đặc tả công khai trên website và cũng có thể gửi phản hồi
- Các ảnh chụp màn hình trên Twitter đôi khi không hoàn toàn trung thực vì câu trả lời có thể đã được điều chỉnh theo một hướng nhất định bởi bộ nhớ phía sau, chỉ dẫn ẩn và ngữ cảnh hội thoại trước đó
- Có những câu hỏi không có đáp án đúng, và nếu bị yêu cầu trả lời bằng một từ thì dù trả lời thế nào cũng có thể bị cáo buộc là thiên lệch
- Điều cốt lõi mà OpenAI coi trọng là AI đại diện cho sự thật và đại diện cho người dùng
- Cách huấn luyện mô hình theo sở thích người dùng đã tiến hóa theo thời gian, và từng có lúc mô hình nghiêng về hướng nói những gì người dùng muốn nghe
- Mục tiêu là để mô hình hỗ trợ mục tiêu dài hạn và sự an lành dài hạn của người dùng, và họ đã có các cải tiến kỹ thuật để tránh việc “hack người chấm điểm” chỉ nhằm đạt sự thỏa mãn ngắn hạn
-
Quy định, lo ngại về trung tâm dữ liệu, chiến lược quốc gia
- Quy định về AI phải bảo đảm rằng công nghệ rốt cuộc mang lại lợi ích cho con người, đồng thời phải xử lý thực tế rằng những thể chế, nghề nghiệp và lộ trình cuộc sống từng được xem là ổn định có thể không còn ổn định nữa
- Việc mọi người có nên đều được tiếp cận compute hay không, và khi công nghệ tạo ra nhiều giá trị kinh tế hơn thì làm sao để giá trị đó không chỉ tích tụ ở một nơi, sẽ là những câu hỏi cốt lõi của quy định
- Có những người nói rằng việc dùng ChatGPT đã cứu mạng họ hoặc người thân của họ, và những cách sử dụng như vậy cần được hỗ trợ và bảo vệ
- Các cuộc trao đổi với bác sĩ hoặc luật sư là những cuộc trò chuyện đặc quyền được pháp luật bảo vệ, nhưng với AI thì vẫn chưa có một hệ thống như vậy
- Có lo ngại rằng các trung tâm dữ liệu làm tăng hóa đơn tiền điện, và OpenAI nói rằng họ có cam kết không để điều đó xảy ra
- Có rất nhiều câu chuyện về lượng nước mà trung tâm dữ liệu sử dụng, nhưng OpenAI cho biết các trung tâm dữ liệu của họ dùng rất ít nước, và những lời nói rằng họ dùng nhiều là thông tin sai lệch
- Lý do lượng nước sử dụng thấp là vì cấu trúc vòng kín, tức là bơm vào một lượng nước cỡ như hồ bơi rồi tiếp tục tuần hoàn nó
- Họ cho rằng tình hình hiện nay gần với một thời kỳ phục hưng AI toàn cầu hơn là một “cuộc đua AI toàn cầu”, và tương quan giữa các quốc gia vẫn chưa hoàn toàn được định hình
- Họ cho rằng việc Mỹ dẫn đầu trong AI là quan trọng để các giá trị dân chủ được bảo vệ và gìn giữ
- Các nước đang nhận ra rằng nếu AI đang trở thành nền tảng của an ninh kinh tế và an ninh quốc gia thì họ phải tham gia dưới hình thức nào đó, và cần có chiến lược AI chủ quyền
- Nếu hạn chế quá mạnh việc xuất khẩu chip và công nghệ thì các nước khác sẽ tự tạo đối thủ cạnh tranh hoặc phụ thuộc vào nhà cung cấp khác; còn nếu quá lỏng lẻo thì Mỹ có thể mất lợi thế
- Lãnh đạo không chỉ là đi trước mà còn bao gồm cả việc đưa cả thế giới cùng tiến lên
Việc làm, năng lực cần thiết và tương lai mong muốn
-
Bất an về việc làm và những gì sẽ đạt được
- Chưa rõ AI sẽ phát triển chính xác theo cách nào và nó có thể xuất hiện theo những cách đáng ngạc nhiên; AI và thế giới hiện tại cũng khác với hình dung mà khoa học viễn tưởng từng dự đoán
- Không thể phủ nhận rằng thay đổi đang đến, và những gì mất đi thì dễ thấy, nhưng những gì đạt được lại khó nhìn thấy trước hơn nhiều
- Nếu giải thích cho một người năm 1950 rằng sau máy tính, điện thoại di động và GPS, họ sẽ có thể gọi xe đến vị trí hiện tại của mình chỉ trong 3 phút thì nghe có vẻ kỳ lạ, nhưng trên thực tế những khoản đầu tư công nghệ như vậy đã dẫn tới hàng nghìn, hàng vạn, hàng triệu ứng dụng
- Cốt lõi của AI nằm ở việc tăng cường năng lực và tính chủ thể của con người; một số thể chế và nghề nghiệp có thể không ổn định như người ta nghĩ, và điều đó sẽ ảnh hưởng đến mọi người
- Khi nhìn vào nhiều thế hệ công nghệ AI, có thể thấy những người học thành thạo thế hệ công nghệ trước trước tiên thường có xu hướng thu được lợi ích lớn nhất ở thế hệ tiếp theo
- Năng lực cốt lõi là tính chủ thể, tầm nhìn và ý tưởng; rào cản để bắt tay thử nghiệm hiện nay thấp hơn bao giờ hết
- Thế giới cần suy nghĩ về cách hỗ trợ tất cả những người đang đi qua bất định và chuyển đổi, và nền kinh tế sẽ thay đổi thành nền kinh tế dựa trên compute
-
Những điều thế hệ trẻ cần học
- Với học sinh trung học, sinh viên đại học và những người ở giai đoạn đầu sự nghiệp, năng lực quan trọng là sử dụng AI một cách sâu sắc và hiểu cách khai thác tối đa AI
- Ông cho rằng trong tương lai, chúng ta có thể bước vào một thế giới nơi ai cũng là người quản lý các agent, và hơn nữa là CEO của một doanh nghiệp AI tự trị
- Có thể hình dung một tình huống trong đó lực lượng lao động của một công ty quy mô 100.000 người đều vận hành 24 giờ mỗi ngày cho riêng mình, và để làm được điều đó thì cần token và compute
- Việc mọi người đều có thể tiếp cận compute là vấn đề cốt lõi mà thế giới phải giải quyết cho đúng
- Những năng lực quan trọng trong tương lai là biết cách tận dụng AI, biết cách kết hợp mới các công nghệ, biết cách tương tác và quản lý agent, và biết mình muốn gì cũng như mục đích của bản thân là gì
-
Rủi ro và tương lai mong muốn
- Cho đến nay, công nghệ phần lớn là kiểu con người phải uốn cơ thể và cuộc sống để phù hợp với máy móc; hình ảnh ngồi gõ trước một cái hộp, chịu hội chứng ống cổ tay và vai khom là điều không tự nhiên với con người
- Trong tương lai, chúng ta sẽ chuyển sang một thế giới không phải con người làm việc với máy tính mà là máy tính làm việc cho con người, và điều này vừa tạo ra cơ hội vừa tạo ra rủi ro
- Nếu máy móc giúp con người hiện thực hóa mục tiêu của mình, thì cần xác định ranh giới về cách điều phối các mục tiêu xung đột lẫn nhau, AI sẽ giúp điều gì và sẽ không giúp điều gì
- Cần tìm ra cách để AI đi vào xã hội như thế nào, và làm sao để lợi ích không chỉ dồn về một công ty hay một nhóm mà nâng tất cả mọi người lên
- Cần nâng mặt sàn để mọi người đều có thể có một cuộc sống tốt đẹp, tiếp cận công nghệ này và làm được điều gì đó với nó; từ đó trần cũng sẽ được nâng lên
- Về khả năng tiếp cận y tế, ông cho rằng một thế giới nơi ai cũng có trong túi mình một bác sĩ giỏi hơn bất kỳ ê-kíp bác sĩ nào hiện nay là điều khả thi
- Những thay đổi này mang tính phá vỡ và không đến miễn phí, và các lỗi ban đầu đã bắt đầu xuất hiện
- Ông cho rằng trong 2 năm tới, đây có thể là một lực lượng vì điều tốt, nhưng để đạt được tiềm năng đi lên đó, cũng phải thừa nhận những cách nó có thể đi sai và các rủi ro đi kèm
-
Tiêu chuẩn cá nhân và định nghĩa thành công
- Chỉ viết bài báo, được trích dẫn và được chú ý tại các hội nghị thôi thì chưa thể hoàn thành sứ mệnh; điều đó chỉ đủ khi được kết nối với câu hỏi “hoạt động đó giúp AGI đi theo hướng tốt đẹp hơn cho thế giới như thế nào”
- Theo cách diễn đạt của Ilya, có một góc nhìn rằng “phải chịu đau khổ”, gần với ý rằng nếu không có đau khổ thì có lẽ bạn chưa tạo ra giá trị
- Ông cho rằng cách làm của OpenAI không phải là che đậy vấn đề rồi cứ thế thúc tiến một cách mù quáng, mà gần hơn với việc đối diện những sự thật khó khăn và hiểu hiện thực đúng như nó vốn có
- Ý nghĩa của AI mà ông muốn truyền đạt tới người không làm kỹ thuật là nó sẽ giúp ích cho đời sống cá nhân, thúc đẩy khoa học và y học, và trở thành một lực lượng vì điều tốt nâng tất cả mọi người lên
- Thành công là sứ mệnh của OpenAI, tức bảo đảm rằng trí tuệ nhân tạo tổng quát mang lại lợi ích cho toàn thể nhân loại
1 bình luận
Ý kiến trên Hacker News
Tôi nhớ thời các tạp chí máy tính ngày xưa nhắm đến lập trình viên và còn đăng cả danh sách mã nguồn
Rồi đến một lúc nào đó họ chỉ toàn nói về vụ kiện IBM với Microsoft, sau đó dường như họ tìm ra công thức là chỉ bàn chuyện đấu đá nội bộ của các công ty máy tính. Kiểu đưa tin doanh nghiệp đối đầu doanh nghiệp này rất chán, giống như truyền hình thực tế của giới công nghệ. Kiểu như tối nay Debra bị loại hay Deborah bị loại vậy
Thứ mà thế giới nhìn thấy gần với mức độ điên rồ của tiền bạc, quyền lực, tầm ảnh hưởng và âm mưu mà công nghệ đó tạo ra hơn là bản thân công nghệ thực tế. Thời IBM đấu với Microsoft quy mô đó đã lớn rồi, nhưng quy mô ở thời OpenAI bây giờ còn vượt xa sức tưởng tượng. Cũng có cả một thế hệ gắn với kỹ thuật và công nghệ chỉ vì họ quan tâm đến mặt kia. Tôi nhớ thời Byte magazine ngày xưa
Nếu không muốn nghe toàn bộ thì có thể xem ở đây: https://apecast.app/podcast/the-knowledge-project/episode/op...
Cũng có cả nhật ký cá nhân được công bố trong quá trình vụ kiện của Musk, cho thấy Brockman nhìn về quá khứ như thế nào
Ví dụ có câu như “Financially what will take me to $1B?”. Nhân tiện, Musk thua kiện vì nộp đơn quá muộn
Tôi không hiểu vì sao không ai hỏi về thâm tâm của Ilya
Tôi không hiểu được diễn biến là ông ấy sa thải Sam, rồi lại ký vào lá thư đoàn kết nói rằng nếu Sam bị sa thải thì ông ấy sẽ rời OpenAI. Mọi thông tin khác đều chỉ như cưỡi ngựa xem hoa
Có lẽ trên thực tế việc đó sẽ khó hơn nhiều để triển khai, nhưng có thể đã khiến người ta tin rằng đó là kết cục không thể tránh khỏi
Không rõ vì sao nhưng tập này khiến tôi thấy khá chán
Có lẽ vì hầu như không chia sẻ gì bất ngờ hay chưa được biết đến
Tôi không nghĩ chuyện đó sẽ giết chết OpenAI. Ngược lại, nó sẽ sửa nó lại cho đúng
Điều thú vị là họ thực ra gần như đã tình cờ tìm ra lời giải. Pretraining là học không giám sát ở quy mô lớn, còn RLHF là học tăng cường. Chỉ là khi đó họ chưa biết công thức thôi
Tôi không hiểu vì sao một tổ chức phi lợi nhuận lại có thể làm chuyện như vậy
Như thế chẳng phải sẽ thành tiền lệ rằng phi lợi nhuận thực ra không có ý nghĩa gì sao. Cứ dùng cấu trúc có lợi, rồi đến khi họ sắp giàu thì đổi sang cấu trúc khác là được
OpenAI được thành lập năm 2015 dưới dạng tổ chức phi lợi nhuận tại Delaware, và đến năm 2017 khi phát hiện ra các quy luật mở rộng quy mô, họ nhận ra cần nhiều năng lực tính toán và vốn hơn rất nhiều so với dự kiến. Sau đó là các cuộc đàm phán thay đổi cấu trúc để huy động thêm vốn, và Musk rời đi vì các nhà sáng lập khác không muốn trao quyền kiểm soát cho ông. Năm 2018, dù Elon ngừng đóng góp, họ vẫn cố tăng mạnh việc gây quỹ nhưng chỉ huy động được 50 triệu USD trên mục tiêu 100 triệu USD. Năm 2019, để thu hút vốn thương mại, họ lập công ty con capped-profit, và tổ chức phi lợi nhuận đã thuê đơn vị thẩm định độc lập định giá tài sản trí tuệ rồi chuyển sang pháp nhân vì lợi nhuận với giá trị hợp lý khoảng 60 triệu USD. Đổi lại, tổ chức phi lợi nhuận nhận quyền được hưởng lợi nhuận lên tới 100 lần khoản đầu tư tài sản trí tuệ ban đầu, tức tối đa 6 tỷ USD, cùng quyền nhận phần lợi nhuận còn lại sau khi các nhà đầu tư tương lai đạt trần. Microsoft đã đầu tư 1 tỷ USD năm 2019, 2 tỷ USD năm 2021 và 10 tỷ USD năm 2023, mỗi khoản đều có trần 20 lần hoặc 6 lần, đưa tổng mục tiêu hoàn trả lên 92 tỷ USD. Đến năm 2025, họ tái cơ cấu vốn từ mô hình capped-profit sang public benefit corporation với cổ phần truyền thống, và tổ chức phi lợi nhuận đổi quyền hưởng lợi nhuận còn lại cùng quyền trần lợi nhuận 100 lần từ khoản chuyển giao 60 triệu USD trước đó để lấy 26% cổ phần của pháp nhân vì lợi nhuận, hiện được định giá khoảng 200 tỷ USD. Những thông tin này đến từ hồ sơ vụ Musk v. Altman, và kết luận là tổ chức phi lợi nhuận đã đổi tài sản trí tuệ trị giá khoảng 60 triệu USD vào năm 2019 lấy quyền hưởng 6 tỷ USD lợi nhuận tương lai, rồi sau tái cơ cấu lại nắm cổ phần trị giá 200 tỷ USD. Trong chủ đề này nhiều người cho rằng tổ chức phi lợi nhuận không còn tồn tại nữa, nhưng điều đó không đúng
Nói về mặt thủ tục một chút thì công ty AI quan trọng nhất lúc này là Anthropic