Nghiên cứu về việc tự động phát hiện các token chưa được huấn luyện trong mô hình ngôn ngữ lớn
- Trong mô hình ngôn ngữ, sự không khớp giữa quá trình tạo tokenizer và huấn luyện mô hình có thể khiến một số đầu vào cụ thể như token 'SolidGoldMagikarp' gây ra hành vi không mong muốn
- Các 'glitch token' này tồn tại trong từ vựng của tokenizer nhưng gần như không xuất hiện hoặc hoàn toàn không xuất hiện trong quá trình huấn luyện; chúng đã được quan sát ở nhiều mô hình khác nhau, nhưng vẫn thiếu một phương pháp nhất quán để nhận diện chúng
- Nghiên cứu này tập trung vào bài toán phát hiện các token chưa được huấn luyện hoặc được huấn luyện chưa đầy đủ, đồng thời đưa ra một phân tích toàn diện về tokenizer của các mô hình ngôn ngữ lớn (LLM)
- Bằng cách kết hợp phân tích tokenizer, các chỉ số dựa trên trọng số mô hình và kỹ thuật prompting, nghiên cứu đã phát triển một phương pháp hiệu quả để tự động phát hiện các token có vấn đề này
- Kết quả nghiên cứu cho thấy các token như vậy xuất hiện khá phổ biến trên nhiều mô hình, đồng thời mang lại những hiểu biết giúp cải thiện hiệu quả và độ an toàn của mô hình ngôn ngữ
Ý kiến GN⁺
- Vấn đề glitch token phát sinh do sự không khớp giữa tokenizer và quá trình huấn luyện mô hình là một chủ đề rất đáng chú ý. Đây là một vấn đề quan trọng vì có thể ảnh hưởng đến hiệu năng và độ ổn định của mô hình ngôn ngữ
- Việc nghiên cứu đưa ra một phương pháp tự động hóa để giải quyết vấn đề này là rất ấn tượng. Cách tận dụng nhiều hướng tiếp cận như phân tích tokenizer, chỉ số dựa trên trọng số mô hình và kỹ thuật prompting cho thấy một hướng làm sáng tạo và thực tiễn
- Nghiên cứu này nêu ra một điểm quan trọng cần cân nhắc khi phát triển và triển khai mô hình ngôn ngữ. Đặc biệt, nó cho thấy việc duy trì tính nhất quán giữa tokenizer và quá trình huấn luyện mô hình là điều thiết yếu để đảm bảo độ ổn định và độ tin cậy của mô hình
- Tuy vậy, có vẻ vẫn cần thêm kiểm chứng về khả năng khái quát hóa của kết quả nghiên cứu. Cần xác nhận xem phương pháp được đề xuất có hoạt động hiệu quả trên các bộ dữ liệu thuộc nhiều miền và ngôn ngữ khác nhau hay không
- Bên cạnh vấn đề glitch token, dường như cũng cần thêm nghiên cứu về các yếu tố khác có thể làm suy giảm độ ổn định và độ tin cậy của mô hình ngôn ngữ. Cần có các cách tiếp cận từ nhiều góc độ như thiên lệch, quyền riêng tư và bảo mật
1 bình luận
Ý kiến trên Hacker News
Khó mà tin rằng mô hình của một công ty Canada lại có các token chưa được huấn luyện liên quan đến khúc côn cầu. Nhưng đây là một phát hiện thú vị vì nó giúp cải thiện hiểu biết về tác động của tokenization lên mô hình. Đặc biệt, các mô hình mã nguồn mở đời đầu thường có vấn đề carriage return xuất hiện do nguồn dữ liệu.
Video của Computerphile từ một năm trước giải thích rất rõ về glitch token.
Không chỉ các token chưa được huấn luyện, mà cần tìm cả sự mất cân bằng dữ liệu huấn luyện trong mọi trọng số của mọi tầng trong mạng. Khi phát hiện ra, việc loại bỏ các trọng số gần như không có luồng dữ liệu đi qua có thể giúp giảm kích thước mô hình hoặc cải thiện khả năng khái quát hóa.
Có một phương pháp dựa trên lý thuyết ma trận ngẫu nhiên để chẩn đoán quá trình huấn luyện. Phương pháp này sử dụng mật độ phổ của ma trận tương quan trọng số, và xem một tầng là đã được huấn luyện đúng khi mật độ phổ của tầng đó khớp với luật lũy thừa bị cắt và số mũ luật lũy thừa alpha lớn hơn 2 một chút.
Tiêu đề của bài báo này thật ấn tượng.
Chẳng phải giải pháp là huấn luyện tokenizer trên cùng một corpus với LLM sao? Tôi không rõ vì sao việc tái sử dụng tokenizer lại phổ biến đến vậy.