Vì sao chính phủ, doanh nghiệp và tổ chức phi lợi nhuận nên đầu tư vào AI tự do và mã nguồn mở
(siegelendowment.org)- Phần mềm vừa là tài sản thương mại, vừa là hệ thống tri thức càng được chia sẻ càng phát triển; như GCC và GNU/Linux đã cho thấy, mã nguồn mở đã trở thành nền tảng nâng đỡ Internet hiện đại và ngành công nghệ
- Khi mã được công khai, các nhà phát triển trên toàn thế giới có thể tìm và sửa lỗi, còn thế hệ kỹ sư tiếp theo có thể học cách xây dựng các hệ thống tiên tiến, vì vậy tính minh bạch đóng góp cho cả bảo mật lẫn đào tạo nhân tài
- Nếu AI tiên tiến nhất tập trung vào các mô hình đóng của một số ít công ty, các nhà nghiên cứu sẽ khó kiểm tra quá trình xây dựng và dữ liệu huấn luyện, và những phán đoán trong khoa học, y tế, kỹ thuật và tư pháp dựa vào AI cũng khó được kiểm toán đầy đủ
- Bản thân phần mềm AI chính là năng lực, nên việc công khai có rủi ro; nhưng các mô hình đóng cũng dễ bị rò rỉ và jailbreak, đồng thời còn dẫn tới sự tập trung quyền lực, nơi một số ít công ty quyết định công nghệ nào được phép tồn tại
- Không phải mọi AI mã nguồn mở đều cần bắt kịp quy mô của các mô hình tiên tiến nhất; chính phủ, doanh nghiệp và tổ chức phi lợi nhuận nên đầu tư vào hỗ trợ điện toán công, tài trợ nghiên cứu tại đại học và tổ chức phi lợi nhuận, cùng nguyên tắc mặc định công khai AI được xây dựng bằng ngân sách công
Cuộc tranh luận quanh phần mềm tự do
- Khi tranh luận với Richard Stallman trong khoảng 2 năm tại MIT AI Lab vào thập niên 1980, quan điểm phổ biến lúc đó là sự phát triển phần mềm cần doanh nghiệp kiểm soát độc quyền mã nguồn
- Stallman cho rằng phần mềm là phương tiện chứa đựng tri thức, nên ai cũng phải có thể sử dụng, học hỏi và cải tiến; việc giấu mã trong nội bộ doanh nghiệp đồng nghĩa với che giấu chính tri thức
- Cả hai phía đều đồng ý rằng máy tính sẽ trở thành phương tiện cốt lõi thúc đẩy sự phát triển của con người, nhưng khác nhau ở cách đạt tới mục tiêu đó
- Qua các cuộc tranh luận, ý tưởng rằng phần mềm không chỉ là tài sản thương mại mà là một hệ thống tri thức trở nên mạnh hơn khi được chia sẻ đã trở nên thuyết phục
- Nguyên tắc của Stallman rằng người dùng phải được bảo đảm quyền tự do nghiên cứu, thay đổi, cải tiến và chia sẻ phần mềm đã trở thành nền tảng của phong trào phần mềm tự do và sau đó là mã nguồn mở
Phát triển công khai được GCC và GNU/Linux chứng minh
- GCC do Stallman tạo ra chuyển đổi mã của thế giới thành mã máy mà máy tính có thể thực thi, và đến nay vẫn là một chương trình cốt lõi được sử dụng rộng rãi
- Thành công này không chỉ đến từ công sức của một cá nhân mà còn nhờ đóng góp của hàng nghìn người
- GNU/Linux, ra đời từ cùng tinh thần phát triển công khai đó, hiện đang vận hành phần lớn Internet
- Môi trường công nghệ hiện đại phụ thuộc rất nhiều vào các nguyên tắc phát triển công khai và mã nguồn mở
Tác động của tính mở đối với bảo mật và học tập
- Ban đầu, phản biện chính là logic bảo mật nhờ che giấu, cho rằng muốn bảo vệ máy tính an toàn thì phải giấu phần mềm
- Phần mềm minh bạch cho phép cộng đồng nhà phát triển toàn cầu phát hiện và sửa vấn đề, trong khi phần mềm đóng phải kỳ vọng rằng không ai nhìn đủ sâu vào bên trong
- Cộng đồng mã nguồn mở lan tỏa rộng rãi tri thức về cách xây dựng, đồng thời đóng vai trò như giáo trình trên thực tế để một thế hệ kỹ sư học hỏi
- Nếu mọi hệ thống tiên tiến nhất đều bị che giấu, sẽ có rất ít điều để học từ các hệ thống bị khóa, khiến việc đào tạo thế hệ nhà đổi mới tiếp theo trở nên khó khăn
Hệ sinh thái mã nguồn mở nâng đỡ ngành công nghệ
- Những tiến bộ công nghệ trong nhiều thập kỷ qua đến từ một hệ sinh thái tinh tế, nơi doanh nghiệp tư nhân, đại học và hàng chục nghìn tình nguyện viên đóng góp vào nền tảng phần mềm dùng chung
- Nhiều công ty thành công trên toàn cầu đã xây dựng dịch vụ trên các công nghệ lõi được công khai và tạo ra doanh thu
- Phần mềm độc quyền cũng có vai trò, nhưng mã nguồn mở là nền tảng đã gánh phần tải trọng của ngành công nghệ hiện đại, nên không được để nó suy yếu
AI bị đóng ngay từ giai đoạn đầu
- AI cũng là phần mềm, nhưng các mô hình tiên tiến nhất phát triển nhất đang hoàn toàn đóng, và tốc độ đóng lại ngày càng nhanh
- Các lựa chọn công khai thay thế có thể sử dụng thực tế còn hiếm; các mô hình hiện nay tuy xuất sắc nhưng vẫn chưa hoàn thiện, và cách xây dựng chúng cũng chưa được xác lập
- Nếu đóng kín ngay bây giờ một lĩnh vực khoa học còn ở giai đoạn đầu, nơi những đột phá sâu sắc nhất vẫn nằm phía trước, tri thức chung cần cho sự phát triển có thể biến mất
- Khoa học trong đại học đã phát triển bằng cách công bố kết quả nghiên cứu và để cả thế giới thực hiện nghiên cứu tiếp nối
- Nếu phần lớn khoa học tương lai phụ thuộc vào AI, việc nhốt AI bên trong một số ít công ty có nguy cơ hạn chế cả tiến bộ khoa học
Ai kiểm soát thư viện của tương lai
- Thư viện là tài nguyên chung, nơi bất kỳ ai cũng có thể sử dụng miễn phí tri thức mà nhân loại đã tích lũy
- Sẽ khó chấp nhận nếu một số ít công ty mua lại toàn bộ thư viện, quyết định sách nào được đọc và âm thầm sửa nội dung
- AI đóng cũng giống như thư viện của tương lai, nơi chỉ có thể truy cập theo các điều kiện do chủ sở hữu đặt ra
- Nếu một số ít công ty đặt phạm vi được phép của mô hình hoặc điều chỉnh cách tạo ra câu trả lời, người phụ thuộc vào mô hình sẽ không thể hiểu đầy đủ kết quả
- Bác sĩ dùng mô hình để chẩn đoán
- Kỹ sư giao việc thiết kế cho mô hình
- Thẩm phán tham khảo mô hình khi ra phán quyết
- Người dùng phổ thông hỏi mình nên tin điều gì đều đối mặt với cùng một vấn đề
Lời giải thích của mô hình không phải là nhật ký kiểm toán
- Ngay cả khi mô hình có thể nêu lý do, giải thích và kiểm toán (audit) không giống nhau
- Lý do mà mô hình đưa ra không phải là bản ghi trung thực về phép tính thực sự đã tạo ra câu trả lời, mà là một câu chuyện nghe có vẻ hợp lý được lắp ráp sau khi đã có kết quả
- Nếu hỏi cùng một câu vào năm sau và câu trả lời thay đổi, có thể không có cách nào xác nhận liệu thực tế đã thay đổi hay nhà cung cấp đã thay đổi mô hình
- Người dùng phụ thuộc vào các hệ thống như vậy không còn sử dụng một công cụ có thể hiểu được, mà phải tin vào một hệ thống giống như quỹ tín thác không thể điều tra bên trong
Rủi ro do AI mở và AI đóng tạo ra
- Phản biện rằng AI quá nguy hiểm để công khai xứng đáng được xem xét nghiêm túc
- Bài báo nghiên cứu mô tả năng lực, nhưng phần mềm AI nền tảng tự thân nó là năng lực, nên có sự bất đối xứng thực sự giữa công bố nghiên cứu thông thường và công khai AI
- Tuy vậy, đóng kín không tất yếu là đáp án
- Các phát hiện khoa học cũng có thể bị lạm dụng, nhưng thay vì biến toàn bộ vật lý học thành bí mật, xã hội áp dụng giám sát và quy tắc trong khi vẫn công khai tri thức nền tảng
- Mô hình đóng cũng có thể bị rò rỉ hoặc jailbreak, nên không an toàn chỉ vì đã bị đóng
- Việc một số ít công ty quyết định phần còn lại của xã hội có thể xây dựng gì cũng tạo ra một rủi ro riêng về tập trung quyền lực
- Tiêu chí phán đoán không phải là mô hình công khai có hoàn toàn không có rủi ro hay không, mà là liệu nó có tạo thêm rủi ro đáng kể so với những năng lực vốn đã sẵn có hay không
Khác biệt giữa mã thực thi và mã xây dựng
- Đằng sau một mô hình có hai loại mã: mã chạy mô hình và mã đã tạo ra mô hình
- Việc có thể tự chạy mô hình cũng hữu ích, nhưng điều quan trọng hơn cho tính minh bạch là mã xây dựng và dữ liệu huấn luyện cho thấy mô hình đã được tạo ra như thế nào
- Các mô hình của những viện nghiên cứu lớn ở Trung Quốc và một số công ty Mỹ hiện được gọi là mô hình mở cung cấp mã thực thi, nhưng không công khai mã xây dựng và dữ liệu huấn luyện
- Thứ người dùng nhận được là một tập hợp số khổng lồ tạo ra trí tuệ nhưng không cho biết quá trình hình thành; dù có thể chạy, nó gần với những con số ma thuật không thể giải thích
- Ngay cả việc công khai mã thực thi cũng không phải là một cam kết liên tục, mà là thiện chí tùy theo quyết định của doanh nghiệp; không có gì bảo đảm các mô hình mạnh nhất trong tương lai cũng sẽ tiếp tục được công khai
- Tính mở có thể bị dừng bất cứ lúc nào không thể trở thành nền tảng, vì vậy cần cả hai điều
- Mô hình công khai mà bất kỳ ai cũng có thể sử dụng và mở rộng
- Mã nguồn và dữ liệu huấn luyện công khai để bất kỳ ai cũng có thể kiểm tra quá trình tạo ra
Đầu tư AI mã nguồn mở như một hàng hóa công
- Điều này không phản đối sự tồn tại của doanh nghiệp AI hay bản thân AI tư nhân, nhưng AI tư nhân đóng không được trở thành lựa chọn duy nhất
- AI tư nhân tại Mỹ đang nhận đủ hỗ trợ, nhưng AI mã nguồn mở có nền tảng vận động yếu nên dễ bị bỏ ngoài chính sách và đầu tư
- Các mô hình tiên tiến nhất có thể sẽ tiếp tục lớn hơn và tốn kém hơn, nên cuộc cạnh tranh ở quy mô đó có thể vẫn thuộc về các tập đoàn khổng lồ
- Để AI mã nguồn mở hữu ích, nó không nhất thiết phải có cùng quy mô với các mô hình tiên tiến nhất; nhiều công việc mà thế giới cần có thể không đòi hỏi hiệu năng tuyệt đối ở tuyến đầu
- Nếu cần tài nguyên điện toán quy mô lớn để duy trì các lựa chọn công khai đáng tin cậy, thì đó là hàng hóa công đáng để chi trả
- Chính phủ, khu vực tư nhân và tổ chức phi lợi nhuận cần chủ động đầu tư vào AI tự do và mã nguồn mở
- Cung cấp trợ cấp điện toán công cho nghiên cứu công khai
- Doanh nghiệp và quỹ từ thiện tài trợ cho các đại học và tổ chức phi lợi nhuận thực hiện nghiên cứu liên quan
- Áp dụng nguyên tắc rằng AI được xây dựng bằng ngân sách công mặc định phải được công khai
- Cần tiếp tục trong AI cách chúng ta đã đầu tư vào phần mềm mã nguồn mở để dẫn dắt tiến bộ công nghệ
1 bình luận
Ý kiến trên Hacker News
Các công ty AI tư nhân đều huấn luyện mô hình trên dữ liệu về thực chất đã lấy đi từ mọi người và còn gây ra rủi ro lớn, nên cần buộc họ phát hành mô hình dưới dạng trọng số công khai với giấy phép phi thương mại
Chứ không phải kiểu chiếm đoạt quy định mà Dario đang theo đuổi, đây mới nên là trọng tâm của chính sách an toàn
Nếu thật sự tức giận vì việc huấn luyện trên mọi dữ liệu sẵn có mà không bồi thường, thì chỉ có thể nói là gieo gì gặt nấy
Cần đồng tài trợ giải thưởng khuyến khích theo mục tiêu cho các mô hình công khai, theo cách của nhà Nobel Michael Kremer
Cứ mỗi 6~12 tháng, trao 200.000 USD cho mô hình đầu tiên vượt ngưỡng trên 5~10 benchmark khó và một benchmark bí mật, với các mức 16GB·32GB·64GB·128GB VRAM và độ dài ngữ cảnh tối thiểu 200K. Có thể tự do chọn cách lượng tử hóa, nhưng trên phần cứng chuẩn phải dùng chính xác lượng VRAM đó, không được đẩy sang RAM hay đĩa
Nguồn tiền có thể huy động qua crowdfunding, đồng thời thêm các giải chuyên theo nhu cầu doanh nghiệp như xử lý PDF để trợ giá chéo. Ví dụ, chuyển 25% giải thưởng doanh nghiệp vào quỹ giải thưởng chung. Với các công ty làm mô hình công khai, tiền là hữu ích, nhưng chứng nhận rõ ràng từ bên ngoài có thể còn giá trị hơn vì giúp mô hình nổi bật và tăng mức độ sử dụng
Việc chia hạng phần cứng rõ ràng là điểm khác biệt tốt, nhưng benchmark nhất định phải được giữ bí mật. Ngay cả trong đánh giá nội bộ của các viện nghiên cứu nghiêm túc, việc tạo và quản lý một bộ đánh giá tốt cho từng giai đoạn cũng đã khó; để tạo lòng tin thì sau mỗi kỳ phải công khai nó và làm mới bộ đánh giá kế tiếp. Làm được, nhưng chi phí quản lý đánh giá có thể còn lớn hơn tổng tiền thưởng, và lại phải lặp đi lặp lại
FOSS là một phép so sánh sai. Việc xây dựng mô hình ngôn ngữ lớn tiên tiến nhất gần với một chương trình nghiên cứu khoa học hơn là một lĩnh vực kỹ thuật đơn thuần
Thực tế đã có những chương trình nghiên cứu vận hành gần như theo kiểu mã nguồn mở, gồm cả các dự án lớn như trường đại học và CERN. AI cũng trưởng thành từ đại học, nhưng rồi lộ ra rằng lượng vốn cần thiết chỉ khu vực tư nhân mới có thể cung cấp
Một chương trình nghiên cứu AI công cộng nghiêm túc vẫn khả thi, nhưng sẽ không chỉ là tăng nhẹ ngân sách nghiên cứu đại học, mà phải gần với Kế hoạch Manhattan hay Chương trình Apollo vốn đã là hình mẫu cho các phòng thí nghiệm tiên tiến ngày nay
Trong thời kỳ đỉnh cao Chiến tranh Lạnh, toàn bộ Chương trình Apollo tốn khoảng 300 tỷ USD theo giá trị hiện tại, tức là tương đương số tiền OpenAI và Anthropic cộng lại đã huy động cho tới nay. Tôi nghi ngờ liệu trong môi trường chính trị và kinh tế hiện nay, chính phủ có thể chi mức đó cho AI hay không. So ra thì LHC rẻ hơn nhiều, chưa đến 10 tỷ USD trong một khoảng thời gian dài hơn rất nhiều
Nghe có vẻ cùng một ý, nhưng góc nhìn khác nhau. Nếu đó là một chương trình nghiên cứu học thuật, họ đã không chi hàng tỷ USD cho datacenter chỉ để cung cấp AI miễn phí cho công chúng
Người ta đã đầu tư vào AI mã nguồn mở rồi, nhưng không có gì thật sự miễn phí. AI thương mại với các nhà phát triển được trả lương làm toàn thời gian nhìn chung gần như chắc chắn sẽ chiếm ưu thế; thiện chí và đóng góp bán thời gian khó ổn định vượt qua động lực mưu sinh và lợi nhuận
Nếu bốn người Altman, Amodei, Zuckerberg và Musk, những người gần như độc quyền kiểm soát các mô hình đóng tiên tiến nhất, không phải đang lừa nhà đầu tư mà thật sự tạo ra AGI, thì lựa chọn mà mô hình đóng để lại chỉ là một chính phủ cực mạnh hoặc một chế độ quả đầu/ quân chủ cực mạnh
Musk và Zuckerberg về mặt cấu trúc đã nắm quyền chỉ huy. Sau thanh trừng đối thủ và tư nhân hóa, Altman trên thực tế cũng đã giành được quyền chỉ huy và lòng trung thành của tổ chức, còn Amodei có ảnh hưởng đủ lớn để có thể lật ngược cấu trúc quyền lực hiện tại
Phần mềm đóng mã nguồn không có nghĩa là tri thức cũng không thể chia sẻ. Vẫn có thể giải thích các mẫu kiến trúc hay thực tiễn tốt mà không cần nhìn vào mã nền tảng
Phép so sánh với thư viện chỉ thật sự chuẩn nếu các nhà cung cấp mô hình ngôn ngữ lớn từ chối trả lời câu hỏi về học tăng cường hay Transformer
Tôi ủng hộ mạnh các mô hình mã nguồn mở/trọng số mở, nhưng lý do chính là vì tôi nghĩ đó là sản phẩm tốt hơn. Chi phí huấn luyện và vận hành rẻ hơn rất nhiều, và với phần lớn tác vụ có thể không cần mức thông minh tiên tiến nhất. Nếu để thị trường quyết định, mô hình ngôn ngữ lớn sẽ trở nên giống ngôn ngữ lập trình, còn các phòng thí nghiệm lớn nhiều khả năng sẽ kiếm tiền từ fine-tune theo mục đích cụ thể hoặc triển khai cho khách hàng
Theo đúng logic thúc đẩy AI, chỉ với vài prompt mô hình ngôn ngữ lớn được chọn kỹ là có thể tái tạo công việc của nhà phát triển mã nguồn mở, vậy tại sao chúng ta phải tài trợ cho họ? Chẳng phải các công ty AI nên tài trợ cho FOSS để họ có thêm lời giải mà ghi nhớ hay sao
Chỉ cần bỏ chữ “AI” khỏi tiêu đề là được. Chính phủ, doanh nghiệp và tổ chức phi lợi nhuận nên đầu tư vào tự do và mã nguồn mở
Bản thân phép so sánh với thư viện là đúng, nhưng điểm khó chịu là phần lớn mô hình công khai gần với việc nhận một tệp nhị phân đã biên dịch hơn là nhận một thư viện
Nếu công chúng muốn giữ lại dù chỉ một chút quyền kiểm soát, thì hợp tác xã do thành viên sở hữu có thể là con đường phía trước
Khoảng 2 năm trước, trong bài nói chuyện https://youtu.be/0z60xUDo-NI?si=PTDe11-sn2P53qo5&t=420, David Siegel nói rằng việc mở rộng datacenter AI là quá sớm
Ông ví cách tiếp cận hiện tại, ngay cả khi vẫn tiếp tục scale, giống như hồi đầu thời máy tính có ai đó phát minh ra bubble sort O(n²) để sắp xếp số, rồi các công ty công nghệ quyết định không đi tìm cách O(n log n) mà thay vào đó xây luôn các datacenter khổng lồ chỉ để sắp xếp số. Hoàn toàn đúng, và cũng đúng với AI mã nguồn mở