Gần đây, khi các dịch vụ AI tạo sinh bùng nổ, vai trò của PM đang trải qua một sự thay đổi mang tính căn bản.
Điều này cũng đúng với cả vai trò QA.
Nếu trước đây PM định nghĩa yêu cầu (Spec) và QA kiểm chứng việc chức năng hoạt động bình thường (Pass/Fail), thì chất lượng trong thời đại AI đã trở thành lĩnh vực mà PM phải trực tiếp “định nghĩa” và “đánh giá”.
- Vì sao không phải QA mà PM chịu trách nhiệm về chất lượng?
- Không có đáp án duy nhất: Câu trả lời của AI không phải vấn đề đúng hay sai, mà nằm trên một phổ từ “tốt đến kém”.
- Tính chủ quan của đánh giá: Các tiêu chí định tính như “có tự nhiên không?”, “có hữu ích không?” chỉ PM — người hiểu rõ nhất tầm nhìn của sản phẩm — mới có thể định nghĩa.
- Định nghĩa chính là chất lượng: Trong dịch vụ AI, chất lượng không phải thứ được bắt lỗi bằng kiểm thử, mà bắt đầu từ việc xác định ngay từ đầu thế nào là “kết quả tốt”.
- So sánh quản lý chất lượng giữa dịch vụ thông thường và dịch vụ AI
Từ góc nhìn về chất lượng đến cách thức quản lý, dịch vụ phần mềm truyền thống và dịch vụ AI có sự khác biệt rất lớn.
-
Tiêu chuẩn và cách phán đoán chất lượng: Với dịch vụ thông thường, tài liệu đặc tả gần như chính là đáp án. Có thể phân định rõ “đúng/sai (Pass or Fail)” như một bài trắc nghiệm O/X, ví dụ nút có hoạt động không, thanh toán có thực hiện được không. Ngược lại, với dịch vụ AI, thay vì một đáp án rõ ràng thì chỉ có “bài làm mẫu”. Chất lượng nằm trên một phổ liên tục, nên việc đánh giá gần với cách chấm bài tự luận — không phải xem có đúng đáp án hay không, mà là kết quả đã được tối ưu đến mức nào.
-
Trọng tâm và trách nhiệm trong quản lý chất lượng: Ở dịch vụ thông thường, “đảm bảo chất lượng (QA)” — tức xác minh chức năng đã hoàn thiện đúng theo kế hoạch — là điều quan trọng, và trách nhiệm chủ yếu thuộc về bộ phận QA. Nhưng với dịch vụ AI, cốt lõi lại là “thiết kế đánh giá” để đặt ra tiêu chuẩn cho thế nào là kết quả tốt. Vì vậy, PM — người hiểu rõ nhất tầm nhìn sản phẩm — trở thành người chịu trách nhiệm cuối cùng về chất lượng.
-
Sự thay đổi trong cách kiểm chứng: Trước đây, người ta kiểm thử xem chức năng có chạy theo kịch bản đã định hay không; còn với dịch vụ AI, cần trải qua đánh giá định tính (Human Eval), nơi con người trực tiếp xem và phán đoán kết quả đầu ra. Xa hơn, có thể dùng LLM được học theo các tiêu chí do PM thiết lập như một người chấm điểm (LLM Judge) để kiểm chứng khối lượng lớn dữ liệu theo cách tự động và liên tục cải thiện chất lượng.
- 5 bước quản lý chất lượng dành cho AI PM
- Tự trực tiếp chấm điểm theo hướng dẫn: Chọn dữ liệu mẫu và tự chấm để nhận diện tiêu chí phán đoán của bản thân.
- Văn bản hóa tiêu chí: Định nghĩa những cảm nhận mơ hồ như “tính cụ thể”, “tính thực tế” bằng ngôn ngữ có thể giải thích được.
- Xây dựng dataset: Tạo danh sách các câu hỏi cốt lõi mà dịch vụ cần giải quyết cùng với các câu trả lời mẫu.
- Tự động hóa đánh giá (LLM Judge): Dựa trên các tiêu chí đã định nghĩa để LLM đánh giá khối lượng lớn kết quả.\
- Hoài nghi chỉ số: Ngay cả khi điểm đánh giá tăng lên nhưng mức độ hài lòng của người dùng vẫn thấp, hãy xem lại chính bộ tiêu chí đó.
💡 Insight giờ đây
PM không còn chỉ là người tạo ra tính năng, mà là người thiết kế “tiêu chuẩn phán đoán giá trị của sản phẩm”. Kinh nghiệm định nghĩa thế nào là kết quả tốt và xây dựng cấu trúc để đo lường điều đó sẽ trở thành năng lực cạnh tranh mạnh mẽ nhất của PM trong thời đại AI.
2 bình luận
Đọc toàn bộ bài blog thì thấy đây vốn là công việc mà PM trước nay vẫn làm. Chỉ là khi thời đại AI đến, cách làm có vẻ đang thay đổi từng chút một. Cảm ơn vì những góc nhìn sâu sắc rất hay.
Cảm ơn bạn.
Dù cách làm trong khâu lập kế hoạch hay thiết kế vẫn luôn thay đổi, nhưng có cảm giác tốc độ đang ngày càng nhanh hơn.