“Đe dọa ChatGPT sẽ cho câu trả lời tốt hơn?” Ảo giác hiệu quả của prompt mang tính đe dọa
(itworld.co.kr)Prompt đe dọa AI không hiệu quả: đưa ra ngữ cảnh lịch sự và cụ thể sẽ hữu ích hơn
- Việc dùng cách diễn đạt mang tính đe dọa từng có hiệu quả tạm thời, nhưng với các mô hình AI mới nhất thì không còn tác dụng
- LLM tạo phản hồi bằng cách đánh giá ngữ cảnh và mức độ quan trọng của từ ngữ
- So với đe dọa, “nhấn mạnh có lý do” cho kết quả tốt hơn
- Prompt mang tính đe dọa không có ý nghĩa, thậm chí còn có thể khiến phản hồi bị chặn
- Cung cấp ngữ cảnh lịch sự và cụ thể là cách viết prompt hiệu quả nhất
Mở đầu
Hiểu lầm về prompt đe dọa
- Sergey Brin cho rằng nếu đe dọa AI thì chất lượng phản hồi sẽ tốt hơn
- Trên thực tế, một số người dùng cũng từng trải nghiệm rằng việc nhấn mạnh tình huống cấp bách giúp phản hồi tốt hơn
- Tuy nhiên, đó không phải là tác dụng của lời đe dọa, mà là ảnh hưởng của “ngữ cảnh” được đưa vào prompt
- AI không hiểu lời đe dọa, mà chỉ phản ánh mức độ quan trọng trong ngữ cảnh
Nội dung chính
Ảo giác hiệu quả của prompt mang tính đe dọa
- Những câu chứa cảm giác khủng hoảng đóng vai trò gán mức độ quan trọng cho LLM
- Các cụm như “Nếu sai thì tôi sẽ bị sa thải” có thể dẫn đến phản hồi cẩn trọng hơn
- Tuy nhiên, hiệu ứng tương tự cũng có thể đạt được bằng các câu như “Hãy trả lời thật chính xác”, “Đây là một câu hỏi quan trọng”
Cách LLM hoạt động và sự kém hiệu quả của đe dọa
- LLM tạo câu dựa trên xác suất giữa các từ
- Lời đe dọa chỉ là tín hiệu thống kê về tính khẩn cấp, chứ mô hình không thật sự “hiểu” việc bị đe dọa
- Đe dọa cũng có thể bị xem là vi phạm chính sách và khiến phản hồi bị chặn
Những lựa chọn tốt hơn đe dọa
- Cách viết prompt hiệu quả nhất là cung cấp đầy đủ ngữ cảnh
- Những lời giải thích như “Chó con cần nghỉ thường xuyên nên điểm dừng rất quan trọng” hiệu quả hơn
- Yêu cầu lịch sự hoặc chỉ dẫn tiếp theo (“Hãy suy nghĩ cẩn thận hơn một chút”) cũng là chiến lược tốt
Lỗ hổng logic trong lập luận của Brin
- Nếu đe dọa thực sự hiệu quả, hẳn nó đã được phản ánh trong system prompt của Google Gemini
- Nhưng trong system prompt không có những câu mang tính đe dọa như vậy
- Đây là bằng chứng cho thấy chính Google cũng không tin vào hiệu quả của đe dọa
Kết luận
Đe dọa không hiệu quả và cũng không được khuyến khích
- LLM không thể hiểu bạo lực hay cảm xúc, nên đe dọa không phải là đầu vào có ý nghĩa
- Việc liên tục đe dọa làm lệch mục đích cuộc trò chuyện, khiến nó biến từ trao đổi thông tin thành một tương tác mang tính diễn xuất
- Nếu muốn có phản hồi tốt hơn, điều cốt lõi là cung cấp ngữ cảnh cụ thể và rõ ràng thay vì đe dọa
- Chất lượng phản hồi của AI được quyết định bởi “thông tin tốt”, chứ không phải “lời lẽ đáng sợ”.
3 bình luận
Đây là trải nghiệm cá nhân của tôi, nhưng vì phần lớn LLM được học từ các lời khen nên tôi nghĩ chúng phản ứng tốt hơn với những câu mang tính tiêu cực kiểu như nếu không làm ~ thì sẽ có chuyện không hay xảy ra.
Ví dụ như: hãy góp ý cho bộ slide thuyết trình này. Nếu có lỗi chính tả hoặc nội dung sai thì tôi sẽ bị mắng đấy!
Theo trải nghiệm gần đây của tôi thì nội dung bài viết cũng khá đáng đồng cảm.
Có vẻ việc cung cấp ngữ cảnh/thông tin rõ ràng là quan trọng.
Có lẽ ngay cả khi chỉ nói kiểu như "xin hãy phản hồi để không có lỗi chính tả hay nội dung sai" thì bạn cũng sẽ nhận được câu trả lời gần như tương tự với điều mình muốn.
Trước đây tôi từng thấy trên một cộng đồng nào đó một prompt dùng AI để viết tiểu thuyết.
Đã có lần tôi cười phá lên khi thấy một prompt kiểu như mẹ của AI đang mắc bệnh nan y, còn bạn phải kiếm tiền để trả viện phí nên phải viết bài đáp ứng mọi yêu cầu của người dùng. Giờ tự nhiên lại nhớ ra chuyện đó.