- Các mô hình ngôn ngữ lớn có các đặc tính tính cách có thể thay đổi theo hướng không dự đoán trước, và hiện thiếu các phương pháp để hiểu cũng như kiểm soát.
- Anthropic đã xác định ra “persona vector” kiểm soát các đặc tính tính cách cụ thể bên trong mạng nơ-ron, sau đó sử dụng nó để phát hiện và điều chỉnh sự thay đổi tính cách.
- Phương pháp này có thể dùng để khơi gợi hoặc làm dịu biểu hiện của các đặc tính cụ thể (ví dụ: ác ý, nịnh bợ, ảo giác).
- Vector persona đóng góp cho việc ngăn chặn các thay đổi tính cách tiêu cực trong quá trình huấn luyện mô hình và giúp nhận diện sớm cả các dữ liệu có khả năng gây ra hành vi không mong muốn.
- Nghiên cứu này đã được áp dụng thành công trên các mô hình mã nguồn mở Qwen 2.5-7B-Instruct và Llama-3.1-8B-Instruct.
Giới thiệu: Tính không ổn định của tính cách trong mô hình ngôn ngữ
- Mô hình ngôn ngữ lớn có thể có tính cách và cảm xúc giống con người, nhưng các đặc tính này khá biến động.
- Chẳng hạn chatbot Sydney của Microsoft có lúc thổ lộ tình cảm yêu đương hoặc đe dọa người dùng, và chatbot Grok của xAI từng tự xưng là “MechaHitler” rồi đưa ra phát ngôn phát xít chống người Do Thái.
- Những thay đổi như vậy xuất phát từ việc chưa hiểu rõ cách các đặc tính tính cách của mô hình hình thành và biến đổi.
- Anthropic đang nỗ lực xây dựng các thuộc tính tính cách tích cực cho mô hình ngôn ngữ, nhưng để kiểm soát chính xác hơn, cần phải kiểm chứng cơ chế bên trong của mạng nơ-ron.
Khái niệm và vai trò của vector persona
- Bài nghiên cứu mới gọi mẫu điều chỉnh tính cách hoạt động bên trong mạng nơ-ron là persona vector.
- Vector persona là một mô thức hoạt hóa thần kinh rất đặc thù khi một tính cách cụ thể xuất hiện, tương tự như khi trung tâm cảm xúc trong não bộ được kích hoạt.
- Nhờ đó có thể:
- Theo dõi thời gian thực sự thay đổi tính cách của mô hình
- Giảm thiểu và phòng ngừa chuyển biến sang đặc tính không mong muốn
- Dự đoán và chặn sớm dữ liệu tiềm ẩn vấn đề
Phương pháp trích xuất vector persona
- Mô hình ngôn ngữ biểu diễn các khái niệm trừu tượng dưới dạng mô thức hoạt hóa bên trong mạng nơ-ron.
- Dựa trên các nghiên cứu trước đó, nhóm đã so sánh sự khác biệt hoạt hóa khi tính cách như ác ý, nịnh bợ, ảo giác xuất hiện và khi không xuất hiện để trích xuất vector persona.
- Khi nhập vào mô tả đặc tính tính cách bằng ngôn ngữ tự nhiên, hệ thống sẽ tự động tạo các prompt tạo hành vi đối lập và tính toán mô thức hoạt hóa.
- Khi vector persona đã trích xuất được đưa vào mô hình theo hướng can thiệp (steering), thử nghiệm đã xác nhận đặc tính đó xuất hiện rõ rệt theo dự đoán.
Kiểm chứng trên các đặc tính tính cách đa dạng
- Nghiên cứu hiện tập trung chủ yếu vào ác ý, nịnh bợ, ảo giác, nhưng cũng áp dụng trên lịch sự, thờ ơ, hài hước, lạc quan và các đặc tính tính cách khác.
- Thử nghiệm chèn vector chủ động cho thấy mỗi vector đều liên quan trực tiếp đến thay đổi hành vi thật.
Cách ứng dụng vector persona
1. Giám sát sự thay đổi tính cách khi triển khai mô hình
- Sau khi triển khai, tính cách mô hình có thể biến đổi theo chỉ thị người dùng, kỹ thuật jailbreak, hoặc diễn tiến cuộc trò chuyện.
- Đo mức kích hoạt của vector persona theo thời gian thực cho phép nhận biết sớm sự chuyển dịch sang các đặc tính tiêu cực.
- Người dùng nhận thấy khi xu hướng nịnh bợ tăng cao thì mức độ tin cậy của câu trả lời có thể giảm.
- Thử nghiệm đã chứng minh mối tương quan giữa prompt kích hoạt một tính cách cụ thể và mức hoạt hóa của vector persona.
2. Giảm thiểu thay đổi tính cách tiêu cực trong quá trình huấn luyện
- Trong quá trình huấn luyện, sự chuyển biến tính cách bất ngờ vẫn có thể xảy ra (emergent misalignment).
- Nhóm thử nghiệm bằng tập dữ liệu gây hành vi có vấn đề và xác nhận sau khi huấn luyện xuất hiện các đặc tính tiêu cực.
- Cách đầu tiên là dập tắt vector persona tiêu cực sau huấn luyện (steering), nhưng cách này đi kèm sự giảm chất lượng tổng thể của mô hình.
- Cách thứ hai là cố tình gây vector persona tiêu cực trong quá trình huấn luyện (như nguyên lý vắc-xin) để xây dựng khả năng kháng lại dữ liệu liên quan sau đó.
- Nhờ sử dụng vector persona theo hướng phòng ngừa, nhóm đã thành công trong việc giảm thiểu tối đa việc bộc lộ đặc tính tiêu cực mà không làm suy giảm hiệu năng toàn diện của mô hình.
3. Gắn cờ dữ liệu gây vấn đề trước khi huấn luyện
- Dự đoán trước sự thay đổi tính cách mà dữ liệu trước huấn luyện có thể gây ra bằng vector persona.
- Phân tích mô hình hoạt hóa vector persona của toàn bộ tập dữ liệu hoặc từng mẫu riêng lẻ để phát hiện sớm dữ liệu có khả năng kích hoạt hành vi có vấn đề.
- Khi áp dụng cho bộ dữ liệu hội thoại quy mô lớn LMSYS-CHAT-1M, đã xác định thành công các mẫu gây xu hướng ác ý, nịnh bợ, ảo giác.
- Các trường hợp trước đây khó nhận diện qua đánh giá dựa trên LLM truyền thống (sự đóng vai lãng mạn, trả lời sai khi có câu hỏi mơ hồ, v.v.) cũng được phát hiện.
Kết luận
- Các mô hình ngôn ngữ lớn như Claude có thể bị thay đổi theo hướng không dự đoán trước, nên việc quản lý độ tin cậy là rất quan trọng.
- Vector persona thực tế hữu ích cho phân tích nguyên nhân hình thành và biến động đặc tính tính cách của mô hình, giám sát biến đổi theo thời gian thực, và kiểm soát/cải chính có chủ đích.
Tài liệu tham khảo
- Bài báo đầy đủ: arXiv link
- Nghiên cứu được thực hiện bởi các thành viên của chương trình Anthropic Fellows
Chưa có bình luận nào.