Andrej Karpathy: LLM cần "học system prompt"

• Ông cho rằng LLM cần một mô hình học tập thứ ba vượt ra ngoài pretraining và fine-tuning truyền thống, tức là "System Prompt Learning"
• Pretraining học kiến thức, còn fine-tuning học các hành vi mang tính thói quen, và cả hai đều đi kèm với việc thay đổi tham số mô hình
• Trong khi đó, cách con người học lại giống với việc thay đổi system prompt hơn, theo dạng "đối mặt với vấn đề → nắm bắt tình huống rồi rút ra chiến lược → ghi nhớ một cách tường minh cho lần sau"
  • Ví dụ: giống như tự ghi chú kiểu "nếu gặp loại vấn đề này thì nên thử cách tiếp cận/giải pháp này"
• Khác với memory ngữ cảnh người dùng thông thường, cách này gần với việc lưu trữ một cách tường minh các chiến lược giải quyết vấn đề và quy trình suy luận tổng quát hơn
• Con người chủ động ghi nhớ hoặc ghi chép các chiến lược như vậy, còn LLM hiện vẫn giống nhân vật chính trong Memento, tức là chưa có scratchpad kiểu đó
• Kiểu học dựa trên chiến lược này có thể trở thành một kênh phản hồi ở cấp độ cao hơn và hiệu quả dữ liệu hơn nhiều so với reinforcement learning (RL) dựa trên tín hiệu phần thưởng
• System prompt của Claude bị rò rỉ gần đây có độ dài khoảng 17.000 từ, trong đó không chỉ nêu sở thích hành vi đơn thuần mà còn mô tả chi tiết các chiến lược giải quyết vấn đề tổng quát

  Ví dụ: khi được yêu cầu đếm số từ, Claude không trả lời ngay mà suy nghĩ theo từng bước,
  đánh số cho từng từ/chữ cái/ký tự rồi thực hiện quy trình đếm một cách tường minh trước khi phản hồi

• Loại tri thức này không nhất thiết phải được nội tại hóa ngay lập tức hoặc độc quyền vào trọng số, và cũng không nên được con người viết tay vào system prompt rồi gán thủ công từng mục một
• Thay vào đó, cách này có thể thực hiện thông qua một hình thức học mới là System Prompt Learning; xét về thiết lập thì nó giống RL, nhưng
  cách học lại gần với chỉnh sửa (edit) dựa trên văn bản hơn là gradient descent
• Phần lớn system prompt của LLM có thể được viết thông qua system prompt learning, và điều đó giống như để chính LLM tự viết ra cuốn sách về cách giải quyết vấn đề
• Cách để LLM tự chỉnh sửa/cập nhật prompt như vậy có thể trở thành một mô hình học tập mới đầy mạnh mẽ
  • Tuy vậy, vẫn còn những bài toán cần giải quyết:
    • Việc chỉnh sửa văn bản sẽ vận hành như thế nào?
    • Bản thân hệ thống chỉnh sửa này có thể được mô hình học hay không, hoặc có nên được học hay không?
    • Cần cơ chế nào để, giống con người, dần chuyển tri thức chiến lược tường minh thành thói quen/trọng số đã được nội tại hóa?

[parkindani]

Nếu ngay cả system prompt cũng có thể được chính LLM tự thay đổi, thì có lẽ con người vẫn sẽ phải đặt ra cả các quy tắc về chính sách đó; rốt cuộc có khi chỉ còn lại những thứ như Ba định luật robot.