- Chia sẻ kết quả sau khi áp dụng Priority PayGo của Vertex AI vào chatbot AI đang vận hành thực tế và phân tích theo khung giờ khoảng 27.000 bản ghi tích lũy trong gần 2 tuần
- Xét theo trung vị (Median), thời gian phản hồi của ON_DEMAND(Standard) và ON_DEMAND_PRIORITY hầu hết đều trong khoảng 100~300ms, về thực chất là hiệu năng tương đương nhau
- Khung giờ mà Priority nhanh hơn một cách có ý nghĩa gần như chỉ có 16 giờ (-338ms); còn lại 23 giờ thì tương tự hoặc thậm chí Standard còn nhanh hơn
- Tỷ lệ yêu cầu vượt quá 10 giây là 3,4% với Standard và 5,9% với Priority, cho thấy Priority lại kém ổn định hơn 1,7 lần
- Đặc biệt vào ban đêm (22~23 giờ), tỷ lệ vượt quá 10 giây của Priority vượt 12%, cao hơn hơn 3 lần so với Standard
- Nếu tính đến đơn giá theo token cao hơn 1,8 lần, có thể đánh giá rằng ở thời điểm hiện tại Priority PayGo không có lợi thế về hiệu năng so với chi phí
- Đây là kết quả trong môi trường gemini-3-flash-preview (mô hình preview) + asia-northeast3 (vùng Seoul), nên có thể sẽ thay đổi sau khi bản GA được phát hành
Chưa có bình luận nào.