Google Chrome thêm mô hình AI Gemini Nano `window.ai` ngay trong trình duyệt

• Từ phiên bản Chrome 127, thông qua window.ai, mô hình AI Gemini Nano có thể được sử dụng ngay trong trình duyệt
• Trang demo chatbot được xây dựng bằng Next.js + Vercel AI SDK
• Ví dụ sử dụng

import { streamText } from "ai";  
import { chromeai } from "chrome-ai";  
  
const { textStream } = await streamText({  
  model: chromeai(),  
  prompt: "what is a large language model?",  
});   

[cosine20]

https://huggingface.co/wave-on-discord/gemini-nano
Tham khảo là tệp mô hình đã được trích xuất cách đây không lâu.

[edunga1]

https://developer.chrome.com/docs/ai/built-in

Có vẻ như cần đăng ký riêng mới có thể dùng thử.

[cometkim]

https://github.com/explainers-by-googlers/prompt-api

[GN⁺]

Ý kiến trên Hacker News

• Việc tích hợp sẵn vào trình duyệt một tính năng có thể áp dụng chiến lược AI của Apple cho người dùng web cũng là điều tích cực

  • Có thể tăng cường quyền riêng tư và bảo mật bằng cách dùng mô hình cục bộ
  • Nếu Google triển khai tốt thì sẽ rất thú vị

• Khi Vercel công bố window.ai, họ đã giới thiệu lớp trừu tượng riêng thay vì dùng Chrome API

  • API window.ai rất đơn giản nên không cần wrapper
  • Mã ví dụ:

    const model = await window.ai.createTextSession();
    const result = await model.prompt("What do you think is the meaning of life?");
    

• Việc API của Google không cho chỉ định mô hình là một thiếu sót lớn

  • Nếu mô hình tiếp tục được nâng cấp thì việc kiểm thử và bảo trì sẽ trở nên khó khăn
  • Mã được đề xuất:

    const supportedModels = await window.ai.getSupportedModels();
    if (supportedModels.includes("gemini-nano:0.4")) {
      const model = await window.ai.createTextSession("gemini-nano:0.4");
      // ...
    }
    

• Việc website dùng CPU của người dùng cho xử lý LLM phân tán là một vấn đề

• Tài liệu công khai về API window.ai còn thiếu

  • Không rõ mô hình Gemini Nano là phiên bản nào

• Với công nghệ hiện tại, mô hình instruct kém hữu ích hơn mô hình base

  • Cần các tính năng như chạy LoRAs, điều chỉnh nhiệt độ, thiết lập prompt template
  • Công nghệ đang thay đổi quá nhanh nên có thể còn quá sớm để tích hợp vào trình duyệt
  • Cần tách mô hình khỏi giao diện để có thể dùng cả các mô hình cục bộ khác

• Thiếu tiêu chuẩn hóa

  • Cần một cách tiếp cận như WebNN của Microsoft
  • Các vendor khác cũng cần hiện thực hóa điều này, giống như nỗ lực đưa Metal của Apple ra WebGPU

• Tính năng "Create theme with AI" của Chrome không khác gì chọn theme ngẫu nhiên

  • Có kế hoạch tạo một API trả về ảnh ngẫu nhiên từ pixabay

• Mô hình mục đích chung càng lớn thì càng hữu ích

  • Mô hình on-device được fine-tune cho tác vụ cụ thể sẽ chính xác hơn

• eval(window.ai("js code to remove all adds in the following page" + document.documentElement.outerHTML))