Tensor G3 của Pixel 8 Pro chuyển các tác vụ AI tạo sinh lên đám mây

 (notebookcheck.net)
1 điểm bởi GN⁺ 2023-10-23 | 1 bình luận | Chia sẻ qua WhatsApp
  • Các tính năng AI tạo sinh mới của Pixel 8 Pro không được xử lý trực tiếp trên Tensor G3 mà đi qua máy chủ của Google, cho thấy khoảng cách giữa cách Google tiếp thị con chip lấy AI làm trung tâm và trải nghiệm thực tế
  • AI Wallpaper và Magic Editor cần kết nối Internet liên tục, điểm tranh luận cốt lõi là tác vụ người dùng yêu cầu được xử lý trên đám mây thay vì bên trong thiết bị
  • Google giới thiệu Tensor G3 là chip “AI-first”, nhấn mạnh machine learning trên thiết bị và nền tảng cho AI tạo sinh, nhưng một số tính năng tiêu biểu lại khá xa với việc chạy cục bộ
  • Notebookcheck đã bổ sung một video xác nhận ngắn rằng Magic Editor và AI Wallpaper yêu cầu kết nối Internet liên tục để xử lý dựa trên đám mây
  • Theo Geekbench 6, dù Tensor G3 có kiến trúc CPU mới nhất, hiệu năng của nó gần với Snapdragon 7+ Gen 2 hơn là Snapdragon 8 Gen 2, khiến tranh luận về quảng bá tính năng AI và hiệu năng chip cùng lúc nổi lên

Màn ra mắt Pixel 8 Pro và chỉ trích Tensor G3

  • Pixel 8 Pro được xem là một trường hợp có màn ra mắt nhiều trắc trở hơn thường lệ đối với dòng flagship của Google
  • Arun Maini, được biết đến với tên @Mrwhosetheboss, từng trao danh hiệu “Best Smartphone of 2022” cho Pixel 7 Pro năm trước, nhưng không dành mức khen ngợi tương tự cho Pixel 8 Pro
  • Cũng có những yếu tố được đánh giá tích cực ở dòng Pixel 8
    • Thiết kế
    • Lớp hoàn thiện kính mờ ở mặt lưng Pixel 8 Pro
    • Phần mềm cao cấp
    • Hiệu năng chụp ảnh tĩnh
    • Các tính năng dựa trên AI như Best Photo, Magic Editor, Audio Magic Eraser
  • Những điểm đáng tiếc gồm xử lý zoom thiếu tự nhiên khi chuyển ống kính và chống rung video trông có vẻ nhân tạo
  • Chỉ trích lớn nhất tập trung vào bộ xử lý Tensor G3 của dòng Pixel 8

Tính năng AI tạo sinh phụ thuộc vào máy chủ

  • Maini cho rằng các tính năng AI tạo sinh mới như AI Wallpaper và Magic Editor đòi hỏi nhiều năng lực tính toán hơn khả năng mà Tensor G3 SoC có thể cung cấp
  • Các tính năng này cần kết nối Internet liên tục
    • Mọi thao tác của người dùng đều phải đi qua máy chủ Google
    • Ông đánh giá rằng việc không chạy trên thiết bị khiến chúng tạo cảm giác chậm đến mức có thể nhận thấy
  • Ý chính trong phần trích dẫn của Maini như sau
    • Tính năng tạo thứ gì đó bằng AI tạo sinh cần kết nối Internet thường trực
    • Tác vụ được xử lý thông qua máy chủ Google
    • Ông nói điều này khiến người dùng nhận ra Tensor G3 không ở đẳng cấp flagship

Xung đột với cách Google tiếp thị Tensor G3

  • Google quảng bá Tensor G3 là “AI-first” và nhấn mạnh năng lực xử lý AI
  • Trong blog chính thức của Google, Monika Gupta, Phó chủ tịch Quản lý sản phẩm của Google, nêu các nội dung sau
    • Nhiều đổi mới AI gần đây được xây dựng trên năng lực tính toán cấp trung tâm dữ liệu
    • Để dùng sức mạnh biến đổi của AI trong đời sống hằng ngày, nó phải có thể truy cập được trên các thiết bị sử dụng mỗi ngày
    • Tensor G3 là chip silicon tùy biến mới nhất của Google
  • Google giải thích rằng Tensor G3 mở rộng ranh giới của machine learning trên thiết bị
    • Giới thiệu rằng chip này đưa trực tiếp những kết quả mới nhất từ nghiên cứu Google AI lên Pixel 8 và Pixel 8 Pro
    • Cho biết mục tiêu của Tensor không phải là tốc độ hay các chỉ số hiệu năng truyền thống, mà là thúc đẩy trải nghiệm điện toán di động tiến lên
    • Giải thích rằng các phân hệ chính đã được nâng cấp và đã đặt nền móng cho AI tạo sinh trên thiết bị
    • Bao gồm CPU Arm mới nhất, GPU được nâng cấp, ISP và Imaging DSP mới, cùng TPU thế hệ kế tiếp được thiết kế để chạy các mô hình Google AI

Luận điểm AI trên thiết bị nhìn từ giải thích của Arm

  • Cách Pixel 8 Pro xử lý các tác vụ AI tạo sinh xung đột với thông điệp AI trên thiết bị mà Google nhấn mạnh
  • Google xem nhẹ tầm quan trọng của các chỉ số hiệu năng, nhưng Arm nhấn mạnh vai trò của CPU và GPU trong các tác vụ AI
  • Arm giải thích rằng khi tính toán AI dịch chuyển từ đám mây đến nơi dữ liệu được thu thập, công nghệ CPU và MCU của Arm đang xử lý phần lớn workload AI·ML ở edge và endpoint
  • Theo giải thích của Arm, CPU là trung tâm của mọi hệ thống AI, dù xử lý AI một mình hay cùng các bộ xử lý phụ như GPU hoặc NPU cho những tác vụ cụ thể
  • Trong bối cảnh này, có sự khác biệt giữa cách Google mô tả khiến AI dường như được xử lý chỉ bằng TPU và giải thích của Arm

Chặn benchmark và kết quả Geekbench 6

  • Trong thời gian embargo đánh giá, việc cài các ứng dụng benchmark phổ biến qua Play Store không dễ dàng
  • Hạn chế này tiếp diễn cả sau khi ra mắt, nhưng sau bài viết của Notebookcheck, Google đã gỡ chặn
  • Trong Geekbench 6, benchmark đa nền tảng của Primate Labs, Tensor G3 cho điểm CPU thấp hơn kỳ vọng dù có kiến trúc CPU mới nhất
  • Hiệu năng Tensor G3 được cho là gần với chip tầm trung Snapdragon 7+ Gen 2 hơn là chip flagship hiện tại Snapdragon 8 Gen 2
  • Các video ngắn được bổ sung trong bản cập nhật xác nhận rằng những tính năng AI mới của Pixel 8 Pro, gồm Magic Editor và AI Wallpaper, cần kết nối Internet liên tục

Bài viết liên quan

1 bình luận

 
GN⁺ 2023-10-23
Ý kiến trên Hacker News

  • Google đã nói như sau: “Với chip Tensor G3 mới, chúng tôi đã nâng cấp mọi hệ thống con quan trọng để mở đường cho AI tạo sinh trên thiết bị”
    Đây rõ ràng là một cách diễn đạt chừa khá nhiều đường lui, và không nhất thiết có nghĩa là mọi AI tạo sinh đều chạy trên Tensor G3. Họ cũng có thể lập luận rằng việc làm một tác vụ trên G3 là bước chuẩn bị cho các con chip tương lai. Dù vậy, việc chạy AI tạo sinh trên thiết bị trên một SoC di động, nhất là với hiệu năng và mức tiêu thụ điện chấp nhận được, vẫn có vẻ còn khá xa vời

    • Trên iOS có các ứng dụng chạy mô hình kiểu Stable Diffusion cục bộ ngay trên thiết bị
      https://apps.apple.com/ca/app/draw-things-ai-generation/id64...
      Có vẻ các chip Tensor cũng đủ mạnh để làm điều tương tự, nhưng có lẽ hiệu quả kém nên họ tránh chạy cục bộ
    • Tôi không hiểu vì sao đây lại là phàn nàn chính. Lệnh cấm vận sau khi ra mắt nhằm che giấu hiệu năng thực tế với người tiêu dùng mới là vấn đề lớn hơn nhiều

  • Nếu nhìn vào trích dẫn của Google, họ nói rằng “Tensor không nhằm vào tốc độ hay các thước đo hiệu năng truyền thống, mà để thúc đẩy trải nghiệm điện toán di động tiến lên phía trước… mở đường cho AI tạo sinh trên thiết bị… tích hợp TPU thế hệ mới được thiết kế riêng để chạy các mô hình AI của Google”
    Vậy thì tại sao lại cần kết nối Internet? Tôi tự hỏi đây là do họ thất bại vào phút chót nên buộc phải phát hành như vậy, hay ngay từ đầu chỉ là câu chữ quảng cáo

    • Trong khi nói “Tensor không phải về tốc độ hay các thước đo hiệu năng truyền thống”, thì ở [1] họ lại nói “Pixel 8 và Pixel 8 Pro được trang bị Google Tensor G3, con chip nhanh nhất, hiệu quả nhất và an toàn nhất của Google… mọi thành phần chính đều được nâng cấp để cải thiện hiệu năng và hiệu quả… số lượng mô hình machine learning trên thiết bị đã tăng hơn gấp đôi từ năm 2021, đồng thời độ phức tạp và tinh vi cũng tăng lên”
      Nghe khá là nói về hiệu năng đấy chứ
      [1] https://store.google.com/intl/en/ideas/articles/google-tenso...
    • Có vẻ rất có thể là vậy. Nếu hiệu năng chip thấp hơn kỳ vọng thì chỉ cần chặn các ứng dụng benchmark, rồi nói với báo chí rằng ngay từ đầu mình đâu có quan tâm đến tốc độ. Xong vấn đề
    • Có sự khác biệt khá lớn giữa chip trên thiết bị cho một số tác vụ AI và các card đồ họa/GPU/bộ tăng tốc cao cấp cấp máy chủ tiêu thụ hàng trăm watt để chạy AI tạo sinh
      Ngay cả trình độ mới nhất của AI tạo sinh cấu hình thấp cũng là chạy mô hình đã tối ưu trên GPU cấp desktop mà vẫn cho kết quả không mấy tốt. Điện thoại thì rất khó làm được điều đó. Nhiều tác vụ machine learning đang chạy trên thiết bị và ngày càng nhiều hơn, nhưng AI tạo sinh có vẻ vẫn chưa tới giai đoạn đó
    • Khá rõ ràng. Một số tác vụ machine learning đủ nhẹ để chạy trên điện thoại, ví dụ nhận dạng giọng nói. Một số thì không, ví dụ inpainting
      Google có dùng cách diễn đạt hơi lắt léo, nhưng việc một mô hình machine learning cần GTX 4090 không chạy được trên điện thoại thì chẳng có gì đáng ngạc nhiên
    • Cách này y hệt vụ negative latency của Stadia, và đến tận khi Stadia bị khai tử thì nó vẫn chưa bao giờ thực sự được triển khai

  • Khi dùng Magic Editor, đã có ai thực sự xem lưu lượng mạng để xác nhận việc xử lý bị đẩy ra ngoài chưa? Hay đây chỉ là kết luận suy ra từ việc cần có kết nối Internet?
    Có khả năng là Internet chỉ cần để tải mô hình mới về, còn việc xử lý vẫn diễn ra trên thiết bị không?

    • Magic Editor, tức nút cầu vồng trong Google Photos, chỉ hoạt động khi bật sao lưu đám mây, nên có lẽ là vậy
    • Đây có vẻ là câu trả lời hợp lý nhất, nhưng dường như ở đây không được chú ý nhiều

  • Nói ở mức nào đó thì cũng hợp lý. AI tạo sinh rất tốn kém
    Nhưng tạo sinh chỉ là một loại tác vụ AI, còn dự đoán và suy luận có lẽ mới là nơi Tensor chủ yếu được dùng. Trong Magic Eraser, phần “tìm vật thể trong ảnh” có thể chạy trên thiết bị, còn phần “quyết định điền gì vào chỗ đã xóa vật thể” có thể diễn ra trên máy chủ

    • Có suy luận và huấn luyện, và tạo sinh cũng là suy luận

  • Nếu đẩy lên đám mây thì bộ xử lý AI của Tensor G3 rốt cuộc dùng để làm gì?

    • Nó được dùng cho một số tác vụ không tạo sinh như nhận dạng giọng nói, nhưng các chip khác cũng làm được những việc đó
      Điểm duy nhất có vẻ tốt hơn của Tensor G3 là Qualcomm có thói quen ngừng hỗ trợ sớm các chip smartphone cho người tiêu dùng, còn nó thì tránh được điều đó
    • Không biết có hỗ trợ tăng tốc phần cứng cho tác vụ HTTP không nữa
    • Độ tin cậy phục vụ marketing

  • Theo câu trả lời AI của Google, Google Pixel 8 Pro có thể chạy mô hình AI tạo sinh cục bộ trên thiết bị, nhưng không phải tất cả
    Google đã công bố tại sự kiện Made by Google tháng 10/2023 rằng chip Tensor G3 tùy biến của Pixel 8 Pro có thể chạy phiên bản chưng cất của các mô hình tạo văn bản và hình ảnh của Google. Những mô hình này có thể vận hành các tính năng như chỉnh sửa ảnh và trả lời thông minh trong Gboard. Tuy nhiên, một số tác vụ AI tạo sinh như chạy mô hình ngôn ngữ lớn kiểu Bard vẫn đòi hỏi năng lực tính toán quá lớn để chạy cục bộ trên smartphone, nên được đẩy lên đám mây
    Các ví dụ có thể chạy cục bộ gồm Magic Eraser, Zoom Enhance, Best Take, Audio Magic Eraser, Gboard Smart Replies và phần tóm tắt AI trong Google Recorder. Khi chip Tensor được cải thiện, nhiều tính năng AI tạo sinh hơn có thể sẽ chạy trên thiết bị trên các máy Pixel tương lai ʘ ‿ ʘ

  • Không phải “Tensor” đang offload thứ gì đó, mà các ứng dụng Android mới là thứ chuyển việc đó sang Google Cloud. Tôi không rõ SoC liên quan gì ở đây

    • Ai là người làm ra các ứng dụng Android đó?
    • Nhưng vậy thì tại sao các ứng dụng đó không dùng engine AI cục bộ?

  • Vừa nhìn tiêu đề là tôi nghĩ ngay tới Juicero
    Làm sao có thể quảng cáo là trên thiết bị mà rồi lại lập tức gửi dữ liệu đi nơi khác?

  • Chẳng phải điều này là hiển nhiên sao? Nếu các tính năng tạo sinh chất lượng cao chạy được trên thiết bị thì đó mới thực sự là một bước nhảy vọt lớn

  • Tôi thấy câu kiểu “các tính năng AI tạo sinh thực sự phải tạo ra thứ gì đó bằng AI, như tạo AI Wallpaper hay Magic Editor, thì cần kết nối Internet liên tục… chậm đến mức luôn cảm nhận được là không chạy on-device” là chấp nhận được
    Lý do AI tạo sinh trở nên tốt hơn là vì nó đã phình ra rất nhiều và ngốn cực nhiều tài nguyên. Ngay cả trên GPU tiêu dùng giá hơn 1000 USD, nó cũng không đặc biệt nhanh. Biết rõ kết quả sẽ tệ đi nhiều mà vẫn cố thu gọn các tác vụ tạo sinh như vậy cho phù hợp với môi trường on-device nhỏ bé thì có cảm giác như lãng phí khủng khiếp về thời gian và công sức. Dù vậy, như thế thì vẫn còn câu hỏi Tensor thực sự làm tốt chính xác điều gì ở edge, và đây là câu hỏi khá đáng bận tâm vì các hãng chip như AMD, Qualcomm và ARM cũng đang đưa vào các mạng nơ-ron lớn và Tensor core

    • Bất cứ thứ gì nhạy cảm với độ trễ thì theo đúng nghĩa đen đều phù hợp với xử lý tại edge. Nhận dạng giọng nói off-device sẽ là trải nghiệm khủng khiếp khi kết nối không hoàn hảo
      Hãy tưởng tượng trong Photoshop, bạn bấm vào một đối tượng và dùng AI để tìm đường biên, nhưng mỗi lần bấm lại phải gom ảnh rồi tải lên đám mây, và với mỗi lần chọn lại phải đợi 5 giây cho việc xếp lịch, xử lý và trả kết quả. Tính năng lấy nét nhận diện đối tượng bằng machine learning trong ứng dụng camera cũng vô lý tương tự nếu đám mây phải theo dõi đối tượng trong khung ngắm với độ trễ 3 giây
    • Dù có chấp nhận đi nữa thì điều đó cũng có nghĩa đây là một bộ xử lý kém cỏi không thể làm được những gì đã quảng cáo. G3 thua Snapdragon Gen 2 về hiệu năng, và có thể còn gần với Gen 1 hơn. Tôi cũng không chắc mức tiêu hao pin có tương tự hay không, trong khi Snapdragon Gen 3 cũng sắp ra mắt
    • Có nhận dạng giọng nói, phát hiện từ khóa gọi máy, nhận dạng đối tượng, tự động hoàn thành, v.v.
      Đặc biệt, phát hiện từ khóa gọi máy là quá trình liên tục chạy một mạng nơ-ron tích chập tương đối nhỏ trên một cửa sổ cố định, nên hiệu quả điện năng là cực kỳ quan trọng
    • Nếu quảng cáo thứ “phép màu” này là on-device thì không ổn
      Ngay trước khi Pixel 8 ra mắt, sau khi đọc các bài báo RealFill[0] và Break-A-Scene[1] do các nhà nghiên cứu Google công bố và thử nhanh việc hiện thực hóa model ensemble, tôi đã kỳ vọng Tensor core của G3 hoặc đã có bước nhảy vọt như các core xử lý ngôn ngữ tự nhiên và nhận biết ngữ cảnh của Moto X năm 2013[2], hoặc sẽ cho hiệu năng suy luận tốt đến mức gây sốc như Coral[3], TPU edge do Google phát triển. Moto X cung cấp các triển khai tốt hơn 95% thiết bị di động hiện nay ở Active Display, nhận diện cử chỉ và nhận dạng giọng nói trong môi trường ồn ào; Coral cũng rất ấn tượng, nhưng vì thiếu chip, tính khí thất thường của công ty và việc rút khỏi IoT nên hoạt động sản xuất phần cứng đã được chuyển cho ASUS vào năm 2022
      Điểm mấu chốt là các giả định về hiệu năng suy luận trên phần cứng giá hơn 1000 USD này về cơ bản là sai. Cách họ bám vào từ buzzword “tạo sinh” cho thấy dường như đã học sai từ các influencer Twitter hoặc các nỗ lực triển khai mô hình ngôn ngữ lớn mới nhất. Ngay cả trên thiết bị di động, phần cứng tùy biến cho các tác vụ cụ thể cũng đã từng khả thi trong quá khứ và thực sự đã được phát triển. Nếu không đáp ứng được yêu cầu về hiệu năng, điện năng và thời gian xử lý, thì họ đáng ra nên chỉnh lại thông điệp tiếp thị thay vì tự đặt mình vào nguy cơ bị kiện tập thể liên quan đến phần cứng theo cách như vậy
      [0] https://realfill.github.io/
      [1] https://omriavrahami.com/break-a-scene/static/paper/Break-A-...
      [2] https://en.wikipedia.org/wiki/Moto_X_(1st_generation)#Hardwa...
      [3] https://coral.ai/