Tóm tắt Google Web AI Summit 2024: AI phía client dành cho nhà phát triển

• Vào ngày 18 tháng 10 năm 2024, Google đã tổ chức Web AI Summit đầu tiên
• Ở phía client, việc sử dụng các mô hình machine learning ngay trong trình duyệt giúp cung cấp khả năng suy luận độ trễ thấp ngay cả khi ngoại tuyến, đồng thời giảm chi phí và bảo vệ quyền riêng tư

Tóm tắt các phiên công bố chính

• Transformers.js: machine learning hiện đại cho web

  • Transformers.js là một thư viện JavaScript tương đương về mặt tính năng với thư viện Python Transformers của Hugging Face, có thể dùng trực tiếp trên web
  • Hỗ trợ hơn 1.000 mô hình đã được huấn luyện sẵn, bao phủ nhiều tác vụ và modality như văn bản, hình ảnh, giọng nói
  • Người dùng có thể chọn mô hình huấn luyện sẵn hoặc chạy mô hình tùy chỉnh trực tiếp trong trình duyệt
  • Nhờ hỗ trợ WebGPU, có thể tận dụng các tính năng GPU hiện đại để chạy mô hình nhanh và hiệu quả

• Web Neural Network (WebNN) API: hiện tại và tương lai

  • WebNN API là một API mới được đề xuất như một tiêu chuẩn web, là công cụ để chạy các tác vụ machine learning phía client nhanh và hiệu quả
  • Cung cấp khả năng tăng tốc AI trong trình duyệt bằng WebAssembly và WebGPU
  • Hỗ trợ các bộ tăng tốc phần cứng như CPU, GPU và NPU để chạy tác vụ AI trên nhiều loại thiết bị
  • Đề cập đến các cập nhật phát triển mới nhất của API, hỗ trợ thiết bị, khả năng tương thích framework và cách triển khai trên trình duyệt

• Công nghệ Web AI PC của Intel

  • Intel tận dụng WebNN API để cung cấp khả năng tăng tốc web ML phía client, cho phép thực thi hiệu năng cao trên CPU, GPU và NPU
  • Hiện được cung cấp ở dạng bản developer preview trên trình duyệt Chrome và Edge
  • Tích hợp với ONNX Runtime Web để có thể dùng trong nhiều framework machine learning khác nhau
  • Thông qua bản demo và phản hồi ban đầu từ người dùng, công nghệ này cho thấy hiệu năng “gần như native” và minh họa tiềm năng cho các trải nghiệm web mới

• ml5.js: machine learning thân thiện với web

  • ml5.js là một thư viện mã nguồn mở được xây dựng trên TensorFlow.js, được thiết kế để giúp machine learning trở nên dễ tiếp cận hơn
  • Cung cấp giao diện đơn giản và trực quan cho nghệ sĩ, creative coder và sinh viên
  • Kế thừa triết lý của p5.js và Processing, giúp mã nguồn dễ tiếp cận hơn và đơn giản hóa quá trình học tập
  • Bao gồm nhiều tính năng như nhận dạng hình ảnh, phân tích văn bản, ước lượng tư thế, và người mới bắt đầu cũng có thể dễ dàng sử dụng

• WebLLM: engine suy luận LLM hiệu năng cao trong trình duyệt

  • WebLLM là một engine suy luận hiệu năng cao cho phép chạy mô hình ngôn ngữ lớn (LLM) trực tiếp trong trình duyệt
  • Cung cấp hiệu năng suy luận nhanh bằng cách tận dụng tăng tốc GPU thông qua WebGPU
  • Mọi phép tính đều diễn ra ở phía client, giúp tăng cường quyền riêng tư và không cần thiết lập
  • Cung cấp giao diện theo kiểu OpenAI API, cho phép tích hợp theo chuẩn hóa và hỗ trợ nhiều trường hợp sử dụng như ứng dụng chat, tạo JSON có cấu trúc

• Cải thiện ứng dụng LLM trong trình duyệt với LangChain

  • LangChain là một framework để phát triển ứng dụng tận dụng các LLM cỡ nhỏ chạy trong trình duyệt
  • Để vượt qua giới hạn của các mô hình nhỏ, framework này sử dụng LangGraph.js để thiết kế ứng dụng theo trạng thái và cung cấp kỹ thuật prompt tối ưu
  • Trình bày phương pháp giải quyết vấn đề hiệu năng hạn chế trong khi vẫn tận dụng các ưu điểm của LLM cục bộ như độ trễ thấp và quyền riêng tư

• Visual Blocks: tạo prototype trực quan cho pipeline AI

  • Visual Blocks là một nền tảng lập trình trực quan cho phép nhanh chóng tạo prototype pipeline AI thông qua giao diện kéo thả đơn giản
  • Có thể tăng cường dữ liệu và kiểm thử theo thời gian thực, đồng thời phát triển các giải pháp sáng tạo thông qua nhiều node và pipeline tùy chỉnh
  • Trình diễn nhiều ứng dụng AI như đồ họa tương tác, chuỗi LLM, thị giác máy tính và giải pháp multimodal
  • Khuyến khích đóng góp từ cộng đồng nhằm xây dựng hệ sinh thái pipeline ML phong phú hơn

• Tổng quan các tính năng AI tích hợp sẵn trong Chrome

  • Chia sẻ trạng thái hiện tại và phản hồi ban đầu từ người dùng về Prompt API và các API tác vụ cấp cao như tóm tắt, viết lại văn bản
  • Giải thích nhiều ứng dụng tận dụng các tính năng AI tích hợp sẵn của Chrome cùng với kế hoạch trong tương lai
  • Giới thiệu các tối ưu hóa và cải tiến API nhằm mang lại hiệu năng cao và hoạt động ổn định

• TensorFlow.js và các trường hợp ứng dụng trong ngành hàng tiêu dùng

  • Trường hợp một doanh nghiệp hàng tiêu dùng lớn tại Brazil đã dùng TensorFlow.js để cải thiện chiến lược marketing trong cửa hàng
  • Tận dụng công nghệ AI để nhận diện và phân tích sản phẩm theo thời gian thực
  • Dự án này đã được phát hành dưới dạng mã nguồn mở để các doanh nghiệp khác cũng có thể sử dụng, đồng thời mở rộng sang nhiều trường hợp ứng dụng khác trong ngành

• Trải nghiệm sử dụng các API tích hợp sẵn của Chrome

  • Trình bày kinh nghiệm phát triển ứng dụng AI bằng các API của Chrome và những bài học rút ra
  • Giới thiệu kỹ thuật tối ưu hiệu năng và tinh chỉnh prompt cho ứng dụng dựa trên AI
  • Thông qua ứng dụng Synonym Finder, chia sẻ cách sử dụng linh hoạt Prompt API cùng các mẹo thực tiễn

• Tiềm năng ứng dụng AI trong web extension

  • Chrome extension có thể điều khiển trình duyệt, quan sát nội dung web và thêm UI, nên khi kết hợp với AI sẽ mang lại khả năng mở rộng hữu ích
  • Giải thích các ví dụ về extension dùng AI hiện đang có trên Web Store và các khả năng trong tương lai
  • Giới thiệu cách tích hợp AI với Chrome extension để cải thiện trải nghiệm duyệt web và tăng năng suất

• Đổi mới khả năng tiếp cận y tế với WebAI

  • Bằng công nghệ WebAI, IncludeHealth cung cấp vật lý trị liệu theo hình thức ảo, giúp bệnh nhân nhận được điều trị cá nhân hóa ở mọi lúc mọi nơi
  • Phá bỏ rào cản về chi phí và khả năng tiếp cận, mở ra cơ hội để nhiều bệnh nhân hơn được điều trị
  • Tận dụng dữ liệu cá nhân hóa để mang lại phương pháp điều trị chính xác và hiệu quả hơn

• Simple ML cho Google Sheets

  • Simple ML, được cung cấp dưới dạng tiện ích bổ sung cho Google Sheets, cho phép người dùng thực hiện các tác vụ machine learning trực tiếp trong bảng tính
  • Sử dụng WebAssembly, JavaScript và AI tích hợp sẵn của Chrome để đơn giản hóa các tác vụ machine learning phức tạp
  • Thông qua thư viện mã nguồn mở, hỗ trợ các nhà phát triển khác dễ dàng xây dựng giải pháp ML của riêng mình

[brain1401]

Mê JS