Apple muốn AI chạy trực tiếp trên phần cứng của mình thay vì trên đám mây

Apple muốn chạy AI trực tiếp trên phần cứng thay vì trên đám mây

• Apple gần đây đã công bố kế hoạch bắt kịp các đối thủ trong lĩnh vực trí tuệ nhân tạo bằng cách, thông qua nghiên cứu mới, đưa ra phương pháp chạy các mô hình ngôn ngữ lớn trên smartphone
• Bài nghiên cứu "LLM in a Flash" đưa ra lời giải cho các nút thắt tính toán hiện tại và mở ra cách suy luận LLM hiệu quả trên các thiết bị có bộ nhớ hạn chế
• Cách tiếp cận này mở đường cho việc các kho dữ liệu quy mô lớn vận hành các ứng dụng như ChatGPT phản hồi với câu hỏi của người dùng, tức là cách chúng suy luận

Nghiên cứu AI của Apple và triển vọng thị trường

• Apple đang cho thấy những động thái mới trong nghiên cứu AI, chẳng hạn như cho phép mô hình tạo ảnh Stable Diffusion chạy trên chip tự phát triển của hãng
• Các hãng sản xuất smartphone và chip kỳ vọng các tính năng AI mới sẽ hồi sinh thị trường smartphone; theo Counterpoint Research, trong năm 2024 sẽ có hơn 100 triệu smartphone lấy AI làm trung tâm được xuất xưởng
• Dù đã ra mắt Siri từ năm 2011, Apple vẫn bị nhìn nhận là phần nào đứng ngoài làn sóng hứng khởi với trí tuệ nhân tạo đã lan khắp Silicon Valley sau khi OpenAI ra mắt ChatGPT

Thách thức kỹ thuật và quyền riêng tư

• Việc chạy các mô hình AI quy mô lớn như ChatGPT hay Bard của Google trên thiết bị cá nhân là một thách thức kỹ thuật rất lớn, vì smartphone không có nguồn lực tính toán và năng lượng dồi dào như các trung tâm dữ liệu
• Nếu giải được bài toán này, trợ lý AI có thể phản hồi nhanh hơn so với dùng đám mây và vẫn hoạt động khi ngoại tuyến; đồng thời, vì trả lời câu hỏi ngay trên thiết bị cá nhân nên không cần gửi dữ liệu lên đám mây, qua đó cũng có thể hỗ trợ bảo vệ quyền riêng tư

Kết luận của bài nghiên cứu

• Các nhà nghiên cứu của Apple đã viết trong phần kết luận như sau

  “Nghiên cứu của chúng tôi không chỉ đưa ra lời giải cho những nút thắt hiện tại của máy tính mà còn thiết lập tiền lệ cho các nghiên cứu trong tương lai. Chúng tôi tin rằng khi quy mô và độ phức tạp của LLM tiếp tục gia tăng, những cách tiếp cận như công trình này sẽ trở nên thiết yếu để khai thác tối đa tiềm năng của LLM trên nhiều loại thiết bị và ứng dụng.”

Ý kiến của GN⁺

• Nghiên cứu lần này của Apple mở ra khả năng mang đến trải nghiệm AI nhanh hơn và mang tính cá nhân hơn cho người dùng smartphone.
• Xét đến những lo ngại của người dùng về quyền riêng tư, việc xử lý dữ liệu trên thiết bị cá nhân thay vì trên đám mây có thể là một lựa chọn hấp dẫn với nhiều người.
• Nếu công nghệ này được thương mại hóa, người dùng sẽ có thể sử dụng các tính năng AI tiên tiến ngay cả khi không có kết nối Internet, từ đó được kỳ vọng sẽ cải thiện đáng kể tính hữu dụng và sự tiện lợi của smartphone.

[GN⁺]

Ý kiến trên Hacker News

• Nói rằng Apple đang tụt lại trong lĩnh vực trí tuệ nhân tạo (AI) là điều vô lý.

  • OpenAI đang được chú ý, nhưng tìm kiếm dựa trên quảng cáo liên kết và bán dữ liệu nên kém hứa hẹn hơn đối với AI.
  • AI “lớn” hiện nay đang bị cản trở bởi chi phí đám mây cho việc huấn luyện, và các ông lớn đang chật vật chuyển phần mềm sang phần cứng.
  • OpenAI hợp tác với các đối tác thương mại trên toàn thế giới và nói về AGI (trí tuệ nhân tạo tổng quát), nhưng điều đó cũng thiếu thực tế chẳng khác gì tiền mã hóa thay thế ngân hàng trung ương.
  • Trong khi đó, Apple đã tích hợp bộ xử lý thần kinh trên thiết bị hơn 4 năm nay, và các tính năng AI đã có mặt trong mọi chiến dịch marketing.
  • Thực tế tăng cường của VisionOS mở ra một không gian mới cho các tiện ích AI, không chỉ hướng đến sự thú vị mà còn nhắm đến công việc khi làm việc từ xa trở thành chuẩn mực.
  • Apple là hệ sinh thái duy nhất hiện nay vừa an toàn vừa bảo vệ quyền riêng tư.

• Tôi vui khi AI chạy trực tiếp trên phần cứng được đưa vào như một phần của iOS mới nhất.

  • Có người chia sẻ trải nghiệm Siri mô tả chính xác nội dung bức ảnh khi họ nhận được tin nhắn lúc đang lái xe.
  • Vì tính năng này được mã hóa đầu cuối (E2E), nên có lẽ việc nhận diện đã diễn ra cục bộ chứ không phải trong lúc tin nhắn đang được truyền đi.
  • Đây là một bản cập nhật nâng cao chất lượng khá thú vị, và người đó kỳ vọng AI sẽ còn phát triển hơn nữa khi có thể xử lý nhiều hơn trên phần cứng.

• Có người khuyên nên thử dùng Mistral 7B trên thiết bị di động.

  • Họ đã dùng ứng dụng đó trên iPhone 15 và đánh giá hiệu năng rất tốt.
  • Nhược điểm là ứng dụng cần gần như toàn bộ bộ nhớ của điện thoại, nên nếu chuyển sang ứng dụng khác rồi quay lại, trạng thái sẽ bị đặt lại và phải nạp lại mô hình từ đầu.

• Tôi nghĩ bước tiếp theo là chạy AI ngay trên thiết bị trong thế giới hiện nay, nơi điện thoại/thiết bị đã rất mạnh.

  • Có người đang dùng một chiếc điện thoại đời 2021 với cấu hình mạnh và cho rằng Apple sẽ muốn chuyển các ứng dụng AI đắt đỏ sang những thiết bị người dùng mạnh như vậy.
  • Điều này được xem là một chiến thắng về quyền riêng tư với những ai không muốn dữ liệu cá nhân bị dùng để huấn luyện, đồng thời họ thích có quyền kiểm soát với mô hình đang dùng và các chuẩn mực đạo đức mà mô hình đó tuân theo.

• Thư viện CoreML của Apple đã tồn tại nhiều năm và bao gồm cả mô hình BERT.

  • Có người mong iOS và iPadOS sẽ đưa vào các mô hình transformer tiên tiến hơn BERT.
  • iPad Pro có 16GB RAM và có thể chạy mô hình 13B.
  • Sau khi mua Mac Mini 32GB, họ cảm thấy các mô hình có thể chạy được đã cải thiện đáng kể chỉ trong 6 tuần.
  • Kỳ vọng dành cho tương lai là rất lớn.

• Thật thú vị khi AI có thể tạo ra một chu kỳ nâng cấp mới cho smartphone.

  • Liệu các tính năng AI có thật sự đủ để biện minh cho việc nâng cấp hay không vẫn còn là dấu hỏi, và nếu nó ảnh hưởng đến thời lượng pin thì giá trị mang lại có thể cũng không thay đổi nhiều.

• Có người cho rằng khi AI tạo ra rủi ro về quyền riêng tư, chạy cục bộ là cách tốt nhất.

  • Trong tương lai, họ muốn AI giúp tăng năng lực nhận thức lên gấp 10 lần, và để làm được vậy thì thông tin phải được trao đổi với não bộ theo thời gian thực.
  • Họ không muốn kết nối với đồng bộ dữ liệu đám mây để các nhà quảng cáo và cơ quan do thám có thể nhìn trộm suy nghĩ của mình.

• Apple tiết kiệm được chi phí vận hành hạ tầng để cung cấp các tùy chọn AI/ML cho người dùng iPhone.

  • Điều này giúp tiết kiệm chi phí bằng cách phân tán tính toán và tận dụng khoản chi đã bỏ ra cho việc sản xuất thiết bị.
  • Dữ liệu không rời khỏi điện thoại nên cũng đảm bảo quyền riêng tư cho người dùng.

• Có người tò mò các công ty như OpenAI sẽ phản ứng ra sao nếu AI trên thiết bị trở thành xu hướng chủ đạo.

  • Vì mô hình kinh doanh của họ dựa trên quyền truy cập API, họ có thể bắt đầu bán các mô hình ngoại tuyến.
  • Nhưng nếu vậy thì vấn đề vi phạm bản quyền cũng có thể xuất hiện.

• Apple đã thể hiện rõ ý định muốn chạy AI trên thiết bị dù ở thế hệ mới nhất hãng hầu như không phân bổ thêm nhiều diện tích die cho Neural Engine.

  • Có một vài cách giải thích khả dĩ cho điều này, và người viết muốn nghe góc nhìn từ ai đó hiểu rõ hơn.
  • Có thể Apple cho rằng phần cứng hiện tại đã đủ mạnh, hoặc mức độ sử dụng ANE chưa đủ để biện minh cho việc tăng thêm tài nguyên.
  • Cũng có thể họ định khái quát hóa lại việc tính toán AI thông qua những thứ như phép toán vector.
  • Theo kịch bản bi quan nhất, có thể họ đang để dành một cú tăng lớn cho lúc cần ép người dùng nâng cấp.