Lặp lại prompt giúp cải thiện độ chính xác của LLM, theo nghiên cứu từ nhóm Google

Một kỹ thuật rất đơn giản nhưng mạnh mẽ được phát hiện trong bài báo của nhóm Google Research ("Prompt Repetition Improves Non-Reasoning LLMs"):
nhập nguyên cùng một prompt hai lần liên tiếp có thể tăng đáng kể độ chính xác trên hầu hết các LLM hiện đại (Gemini, GPT-4o, Claude, DeepSeek, v.v.).

Các điểm chính:

• Do cấu trúc nhân quả (autoregressive) của LLM, mô hình dễ bị ảnh hưởng bởi thứ tự thông tin và việc chỉ nhìn thấy một lần → thường trả lời sai ở các tác vụ mà thông tin quan trọng nằm về phía sau hoặc cần tham chiếu.
• Khi lặp prompt hai lần → ở giai đoạn prefill (phân tích đầu vào), mô hình xử lý cùng một nội dung hai lần nên biểu diễn nội bộ trở nên chính xác hơn, giảm mạnh lỗi tham chiếu và lỗi ghi nhớ.
• Hầu như không ảnh hưởng đến giai đoạn sinh (tạo token đầu ra) → thời gian suy luận và độ dài đầu ra gần như không tăng (ngoại lệ là các trường hợp ngữ cảnh rất dài như Claude).
• Kết quả thực nghiệm: trong 70 tổ hợp từ 7 mô hình × nhiều benchmark, có 47 trường hợp cải thiện, và không có trường hợp nào giảm mạnh.
• Ví dụ cực đoan: tác vụ “Tên thứ 25 trong danh sách 50 cái tên là gì?”
  → Gemini 2.0 Flash Lite có độ chính xác cơ bản 21% → 97% sau khi lặp (gần như hoàn hảo)
• Hiệu quả nhỏ với các tác vụ suy luận phức tạp như Chain-of-Thought (khi mô hình vốn đã xử lý tham chiếu tốt).
• Nhược điểm: nếu prompt vốn đã rất dài thì thời gian prefill có thể tăng lên, hoặc khi lặp từ ba lần trở lên có thể chạm giới hạn token.

Kết luận
Đây là một mẹo tăng độ chính xác đáng ngạc nhiên vì đơn giản và gần như không tốn chi phí, có thể trở nên nổi tiếng như “Think step by step”.
Đặc biệt, đây là mẹo thực dụng có thể áp dụng ngay cho tham chiếu đơn giản, xử lý danh sách và câu hỏi về dữ liệu có cấu trúc.

https://aisparkup.com/posts/9574