- Trong giai đoạn đầu của điện toán hiệu năng cao, các công ty công nghệ lớn đã tự phát triển các phiên bản Unix đóng của riêng mình
- Theo thời gian, Linux mã nguồn mở bắt đầu trở nên phổ biến và hiện là tiêu chuẩn cho điện toán đám mây và hệ điều hành di động
- AI được dự đoán cũng sẽ phát triển theo cách tương tự
- Hiện nay nhiều công ty công nghệ đang phát triển các mô hình đóng, nhưng mã nguồn mở đang nhanh chóng bắt kịp
- Năm ngoái, Llama 2 còn tụt lại so với các mô hình thế hệ trước, nhưng năm nay Llama 3 đã đạt đến mức có thể cạnh tranh với những mô hình tiên tiến nhất
- Từ năm sau, các mô hình Llama được kỳ vọng sẽ trở thành những mô hình dẫn đầu trong ngành
- Llama đã dẫn đầu về độ mở, khả năng chỉnh sửa và hiệu quả chi phí
- Giờ đây chúng ta đang thực hiện bước tiếp theo để AI mã nguồn mở trở thành tiêu chuẩn của ngành
- Hôm nay, Meta công bố Llama 3.1 405B, mô hình AI mã nguồn mở tiên tiến hàng đầu đầu tiên, cùng với các mô hình Llama 3.1 70B và 8B
- So với các mô hình đóng, chúng có hiệu năng trên chi phí vượt trội hơn nhiều, và việc mô hình 405B là mã nguồn mở khiến nó trở thành lựa chọn tốt nhất để tinh chỉnh và chưng cất các mô hình nhỏ hơn
- Đang hợp tác với nhiều công ty để mở rộng hệ sinh thái ở quy mô lớn hơn
- Hợp tác với Amazon, Databricks, NVIDIA và nhiều bên khác để cung cấp trọn bộ dịch vụ hỗ trợ tinh chỉnh và chưng cất mô hình AI
- Groq đang xây dựng dịch vụ suy luận độ trễ thấp, chi phí thấp
- Có thể sử dụng các mô hình trên mọi nền tảng đám mây lớn như AWS, Azure, Google, Oracle
- Scale.AI, Dell, Deloitte và nhiều bên khác hỗ trợ doanh nghiệp triển khai Llama và huấn luyện các mô hình tùy biến bằng dữ liệu riêng
- Khi cộng đồng phát triển và ngày càng nhiều doanh nghiệp xây dựng các dịch vụ mới, chúng ta có thể đưa Llama trở thành tiêu chuẩn ngành và mang lợi ích của AI đến với tất cả mọi người
- Meta cam kết với AI mã nguồn mở.
- Lý do vì sao họ tin rằng mã nguồn mở là ngăn xếp phát triển phù hợp nhất cho bạn,
- Vì sao việc đưa Llama thành mã nguồn mở là điều tốt cho Meta,
- Và vì sao AI mã nguồn mở là điều tốt cho thế giới,
- Do đó bài viết giải thích về nền tảng sẽ tồn tại lâu dài trong tương lai
Vì sao AI mã nguồn mở tốt cho nhà phát triển
- Có thể tự huấn luyện, tinh chỉnh và chưng cất mô hình: Mỗi tổ chức có thể dùng dữ liệu riêng để điều chỉnh theo kích thước mô hình tối ưu
- Giữ được tính độc lập mà không phụ thuộc vào nhà cung cấp đóng: Mã nguồn mở mang lại hệ sinh thái toolchain tương thích, cho phép tự do chuyển đổi
- Bảo vệ dữ liệu: Có thể xử lý dữ liệu nhạy cảm trên mô hình riêng mà không cần gửi lên API đám mây
- Hiệu quả chi phí: Mô hình Llama 3.1 405B có thể suy luận với chi phí rẻ hơn khoảng 50% so với các mô hình đóng
- Đầu tư vào tiêu chuẩn dài hạn: Mã nguồn mở đang phát triển nhanh hơn các mô hình đóng
Vì sao AI mã nguồn mở tốt cho Meta
- Mô hình kinh doanh của Meta là cung cấp những trải nghiệm và dịch vụ tốt nhất.
- Để làm được điều đó, họ luôn phải có quyền tiếp cận công nghệ tiên tiến nhất và không bị trói buộc trong hệ sinh thái đóng của đối thủ
- Từ kinh nghiệm xây dựng dịch vụ trên nền tảng Apple, họ từng trải qua những hạn chế của hệ sinh thái đóng.
- Xây dựng một hệ sinh thái mở sẽ giúp cung cấp dịch vụ tốt hơn
- Có lo ngại rằng open source đồng nghĩa với việc từ bỏ lợi thế công nghệ, nhưng đó là cách nhìn bỏ lỡ bức tranh lớn hơn
- Phát triển hệ sinh thái: Llama cần phát triển thành một hệ sinh thái hoàn chỉnh với công cụ, cải tiến hiệu suất, tối ưu hóa silicon và các tích hợp khác. Nếu chỉ có Meta là công ty duy nhất dùng Llama thì hệ sinh thái sẽ không phát triển
- Duy trì năng lực cạnh tranh: Việc phát triển AI sẽ cực kỳ cạnh tranh, nên open source không đồng nghĩa với việc từ bỏ một lợi thế công nghệ lớn. Llama phải luôn cạnh tranh được, hiệu quả và cởi mở qua từng thế hệ
- Khác biệt về mô hình kinh doanh: Việc bán quyền truy cập mô hình AI không phải là mô hình kinh doanh của Meta, nên open source Llama không làm suy giảm doanh thu, tính bền vững hay khả năng đầu tư vào nghiên cứu. Đây cũng là một trong những lý do nhiều nhà cung cấp đóng đang vận động chính phủ phản đối mã nguồn mở
- Kinh nghiệm mã nguồn mở: Meta có lịch sử thành công với các dự án mã nguồn mở. Thông qua Open Compute Project, họ đã công khai thiết kế máy chủ, mạng và trung tâm dữ liệu, giúp tiết kiệm hàng tỷ USD. Họ cũng open source các công cụ như PyTorch, React và hưởng lợi từ đổi mới trong hệ sinh thái. Cách tiếp cận này về lâu dài luôn mang lại lợi ích nhất quán cho Meta
Vì sao AI mã nguồn mở tốt cho thế giới
- Mã nguồn mở là yếu tố thiết yếu cho một tương lai AI tích cực
- AI có thể nâng cao năng suất, sự sáng tạo và chất lượng cuộc sống, thúc đẩy tăng trưởng kinh tế, đồng thời tạo điều kiện cho các tiến bộ trong y tế và nghiên cứu khoa học
- Mã nguồn mở giúp nhiều người hơn có thể tiếp cận lợi ích và cơ hội từ AI, đồng thời bảo đảm quyền lực không bị tập trung vào một số ít công ty
- Nó giúp công nghệ AI được triển khai rộng hơn, công bằng hơn và an toàn hơn trong toàn xã hội, đồng thời mã nguồn mở an toàn hơn vì được phát triển một cách minh bạch
- Khuôn khổ của tôi để hiểu về an toàn là phải bảo vệ trước hai nhóm tác hại
- Tác hại không chủ ý: Khi hệ thống AI vô tình gây hại
- Ví dụ: đưa ra lời khuyên sức khỏe sai, tự sao chép hoặc tối ưu hóa mục tiêu quá mức
- Tác hại có chủ ý: Khi người dùng ác ý sử dụng mô hình AI để gây hại
- Tác hại không chủ ý chiếm phần lớn các mối lo ngại
- Ví dụ: tác động của hệ thống AI lên con người, các kịch bản khoa học viễn tưởng về việc AI gây hại cho con người
- Mã nguồn mở an toàn hơn trong việc ngăn ngừa tác hại không chủ ý vì hệ thống minh bạch hơn và có thể được rà soát rộng rãi hơn
- Các mô hình mã nguồn mở như Llama có thể còn an toàn và bảo mật hơn mô hình đóng nhờ các hệ thống an toàn như Llama Guard
- Chúng tôi nỗ lực đánh giá mức độ gây hại của mô hình và giảm thiểu rủi ro, bao gồm thử nghiệm nghiêm ngặt và các hoạt động red team
- Mô hình được công khai để bất kỳ ai cũng có thể kiểm thử.
- Vì mô hình AI học từ thông tin trên internet, cần cân nhắc liệu mô hình có thể gây hại nhiều hơn so với lượng thông tin vốn đã tồn tại hay không
- Các cân nhắc về tác hại có chủ ý
- Cần phân biệt sự khác nhau giữa các tác nhân quy mô nhỏ và các tác nhân quy mô lớn
- Trong tương lai, các cá nhân ác ý có thể dùng mô hình AI để tạo ra những dạng tác hại mới
- AI cần được triển khai rộng rãi để các tác nhân lớn có thể kiềm chế sức mạnh của những tác nhân ác ý nhỏ lẻ
- Khi các tổ chức lớn triển khai AI trên quy mô rộng, điều đó sẽ thúc đẩy an ninh và sự ổn định trên toàn xã hội
- Phản ứng của Mỹ và các quốc gia dân chủ
- Điểm mạnh của Mỹ là đổi mới mở theo hướng phi tập trung
- Có ý kiến cho rằng cần đóng mô hình lại để Trung Quốc không thể tiếp cận, nhưng điều đó không hiệu quả
- Do hoạt động gián điệp rất mạnh, các mô hình rất dễ bị đánh cắp
- Một thế giới chỉ có các mô hình đóng sẽ khiến chỉ một số ít công ty lớn và các quốc gia đối địch có thể tiếp cận mô hình, còn startup, trường đại học và doanh nghiệp nhỏ có khả năng bỏ lỡ cơ hội
- Nếu giới hạn đổi mới của Mỹ vào phát triển đóng, sẽ khó duy trì vị thế dẫn đầu
- Cần xây dựng một hệ sinh thái mở và hợp tác với chính phủ cùng các nước đồng minh để tối đa hóa lợi ích từ công nghệ tiên tiến
- AI mã nguồn mở là cách tốt nhất trên thế giới để tận dụng tối đa cơ hội kinh tế và an ninh
- Các công ty công nghệ lớn và hoạt động nghiên cứu khoa học ngày nay đều dựa trên phần mềm mã nguồn mở
- Thế hệ công ty và nghiên cứu tiếp theo cũng sẽ sử dụng AI mã nguồn mở
Hãy cùng xây dựng điều đó
- Meta đang theo đuổi một cách tiếp cận khác so với các mô hình Llama trước đây
- Chúng tôi đang xây dựng các đội ngũ nội bộ để hỗ trợ càng nhiều nhà phát triển và đối tác càng tốt sử dụng Llama
- Chúng tôi đang chủ động thiết lập các quan hệ đối tác để nhiều doanh nghiệp hơn trong hệ sinh thái có thể cung cấp các tính năng độc đáo cho khách hàng của họ
- Chúng tôi tin rằng bản phát hành Llama 3.1 sẽ là bước ngoặt của ngành, nơi phần lớn nhà phát triển bắt đầu chủ yếu sử dụng mã nguồn mở
5 bình luận
Xét những gì Meta đã làm, có vẻ họ rất có khả năng dung túng cho tác hại, चाहे là ngoài ý muốn hay có chủ ý. Theo đánh giá cá nhân của tôi, Zuckerberg là người không đáng tin cậy.
Llama có phải là mã nguồn mở không? No.
Dữ liệu huấn luyện = mã nguồn
Mô hình Llama 3.1 lần này đã được công bố dưới dạng mã nguồn mở. Tuy nhiên, dữ liệu huấn luyện thì không được công khai. Trong AI và deep learning, dữ liệu huấn luyện mới là “mã nguồn”, còn mô hình giống như một ứng dụng (app). Vì vậy, trên thực tế không thể gọi Llama là mã nguồn mở. Chỉ là phát hành một ứng dụng mô hình ngôn ngữ miễn phí mà thôi.
Meta có khả năng công khai dữ liệu huấn luyện của Llama không? No.
Chỉ riêng dữ liệu văn bản huấn luyện của Llama đã là 15 nghìn tỷ token, và để huấn luyện đa phương thức thì hẳn còn có cả dữ liệu hình ảnh, video và âm thanh. Một phần đáng kể trong số đó có thể là dữ liệu người dùng từ Facebook hay Instagram. Vì thế, việc công khai các dữ liệu này sẽ tạo ra những vấn đề lớn về quyền sở hữu dữ liệu và bản quyền trong xã hội, nên dự đoán là dù Meta có muốn cũng sẽ không thể công khai dữ liệu.
Meta ngầu thật đấy
Ý kiến trên Hacker News
Cách dùng từ về AI mã nguồn mở đang gây nhầm lẫn
Có lợi ích rất lớn cho các startup AI và các nhà phát triển
Meta là một trong số ít công ty AI lớn cung cấp mô hình mở
Mô hình doanh thu quảng cáo của Meta là điểm cần được chú ý
Meta muốn định vị mình là người dẫn đầu của AI mã nguồn mở