• Giải quyết độ phức tạp của mô hình production: Hệ thống gợi ý hiện có của Netflix phụ thuộc vào hàng nghìn đặc trưng thủ công và kiến trúc phức tạp, khiến chi phí bổ sung các trường hợp sử dụng mới rất cao; GenRec dựa trên mô hình ngôn ngữ lớn (LLM) đã được phát triển để thay thế điều này.
• Pipeline cốt lõi của GenRec: GenRec chuyển đổi lịch sử người dùng, metadata của item và ngữ cảnh thành prompt ngôn ngữ tự nhiên (Verbalization), rồi kết hợp foundation LLM được fine-tune trên dữ liệu riêng của Netflix với đầu chấm điểm nhận biết catalog (Scoring Head) để tạo ra thứ hạng gợi ý.
• Khung huấn luyện 2 giai đoạn: Ở Phase 1, một LLM mã nguồn mở được thích ứng với corpus của Netflix để học nội dung và mẫu hành vi; ở Phase 2, post-training được thực hiện dựa trên dữ liệu ranking và mục tiêu phần thưởng.
• Áp dụng context engineering: Để giải quyết ràng buộc về ngân sách token, Netflix áp dụng context engineering bằng cách giữ lại các tương tác có tín hiệu cao, lược bỏ các sự kiện tín hiệu thấp hoặc nén các hành vi lặp lại, qua đó giảm mạnh số token và chi phí mà không làm giảm chất lượng.
• Hàm mục tiêu ranking có trọng số phần thưởng: Bằng cách sử dụng hàm loss có trọng số phần thưởng phản ánh proxy cho mức độ hài lòng dài hạn của thành viên và các mục tiêu kinh doanh (điều chỉnh lại theo loại nội dung và từng giai đoạn phát hành), hệ thống đạt được tối ưu hóa vượt ra ngoài các lượt click đơn thuần.
• Suy luận chỉ-prefill dựa trên vLLM: Trong stack phục vụ LLM nội bộ sử dụng vLLM, Netflix tối ưu chi phí phục vụ bằng cách chạy ở chế độ chỉ-prefill (prefill-only) thay vì giải mã tự hồi quy, nhờ đó tính điểm cho toàn bộ tập ứng viên chỉ với một forward pass duy nhất.
• Kết quả thử nghiệm A/B online: Trong thử nghiệm A/B quy mô lớn kéo dài 4 tuần trên khoảng 10% lưu lượng, GenRec ghi nhận cải thiện có ý nghĩa thống kê ở cả chỉ số online ngắn hạn và dài hạn so với mô hình xếp hạng production hiện có, dù chỉ dùng ít dữ liệu gán nhãn Phase 2 và ít tín hiệu đầu vào hơn nhiều.
Chưa có bình luận nào.