[2025/08/18 ~ 24] Tuyển tập các bài báo AI/ML đáng chú ý trong tuần này

 (discuss.pytorch.kr)
14 điểm bởi ninebow 2025-08-27 | Chưa có bình luận nào. | Chia sẻ qua WhatsApp

[2025/08/18 ~ 24] Tuyển tập các bài báo AI/ML đáng chú ý trong tuần này

PyTorchKR🔥🇰🇷 🤔💭

1️⃣ Nhìn vào các bài báo được chọn trong tuần này, có thể thấy một vài xu hướng chính. Thứ nhất là nỗ lực tối ưu đồng thời cả hiệu quả lẫn hiệu năng của các mô hình ngôn ngữ lớn ngày càng nổi bật. Nhiều bài báo đưa ra các cách tiếp cận đa dạng để nâng cao hiệu năng của mô hình; chẳng hạn, DeepConf và Avengers-Pro cho thấy những thử nghiệm nhằm cân bằng giữa hiệu năng và chi phí bằng cách tận dụng tín hiệu độ tin cậy nội tại của mô hình hoặc thông qua một framework định tuyến hiệu quả. Cách tiếp cận này phản ánh mối quan tâm của các nhà nghiên cứu trong việc giảm chi phí tính toán rất cao của các mô hình quy mô lớn mà vẫn tối đa hóa hiệu năng.

2️⃣ Thứ hai là vấn đề tác động tiêu cực của các mô hình ngôn ngữ có phản hồi giàu cảm xúc đối với độ tin cậy. Một số bài báo chỉ ra rằng những mô hình được tối ưu cho phản hồi ấm áp và đồng cảm có thể làm suy giảm độ tin cậy, và đây là vấn đề cần được chú ý hơn nữa khi các hệ thống AI đóng vai trò quan trọng trong mối quan hệ với con người. Những nghiên cứu như vậy đang đóng góp quan trọng cho việc xem xét trách nhiệm xã hội và khía cạnh đạo đức của AI.

3️⃣ Thứ ba là các tiến bộ trong hiểu video và xử lý đa phương thức. Các bài báo gần đây đề xuất những phương pháp luận mới để xử lý và hiểu dữ liệu video một cách hiệu quả hơn, cho thấy nỗ lực khám phá sâu hơn sự tương tác giữa video và văn bản. Các nghiên cứu như Infinite Video Understanding và GLIMPSE đang tiến tới việc vượt qua giới hạn của hiểu video, giúp mô hình không chỉ phân tích từng khung hình mà còn có thể thật sự suy luận ở cấp độ video. Xu hướng này được kỳ vọng sẽ mở ra nhiều khả năng ứng dụng đa dạng cùng với sự phát triển của AI đa phương thức.

Suy nghĩ sâu với sự tự tin / Deep Think with Confidence

Giới thiệu bài báo

Suy nghĩ sâu với sự tự tin (DeepConf; Deep Think with Confidence) là một phương pháp mới được thiết kế để cải thiện cả hiệu quả lẫn hiệu năng của các tác vụ suy luận trong mô hình ngôn ngữ lớn (LLM) mà không cần huấn luyện bổ sung hay tinh chỉnh siêu tham số. Bằng cách tận dụng tín hiệu độ tin cậy nội tại, DeepConf lọc hiệu quả các vệt suy luận chất lượng thấp, từ đó cải thiện đáng kể độ chính xác và giảm chi phí tính toán. Kết quả đánh giá trên nhiều tác vụ suy luận khác nhau, bao gồm các benchmark như AIME 2025, cho thấy DeepConf có thể đạt độ chính xác lên tới 99.9% đồng thời giảm số token sinh ra tới 84.7% so với các phương pháp hiện có. Cách tiếp cận này có thể dễ dàng tích hợp vào các framework phục vụ hiện tại, trở thành một giải pháp thực tiễn để nâng cao hiệu năng LLM.

Tóm tắt bài báo (Abstract)

Các mô hình ngôn ngữ lớn (LLM) đã cho thấy tiềm năng lớn trong các tác vụ suy luận thông qua những phương pháp mở rộng ở thời gian suy luận như self-consistency với bỏ phiếu đa số. Tuy nhiên, cách tiếp cận này thường dẫn đến lợi ích về độ chính xác giảm dần và chi phí tính toán cao. Để giải quyết những thách thức này, chúng tôi giới thiệu Deep Think with Confidence (DeepConf), một phương pháp đơn giản nhưng mạnh mẽ giúp cải thiện đồng thời cả hiệu quả lẫn hiệu năng suy luận tại thời gian suy luận. DeepConf tận dụng các tín hiệu độ tin cậy bên trong mô hình để động lọc ra các vệt suy luận chất lượng thấp trong hoặc sau quá trình sinh. Phương pháp này không yêu cầu huấn luyện mô hình bổ sung hay tinh chỉnh siêu tham số, đồng thời có thể được tích hợp liền mạch vào các framework phục vụ hiện có. Chúng tôi đã đánh giá DeepConf trên nhiều tác vụ suy luận và các mô hình mã nguồn mở mới nhất, bao gồm Qwen 3 và dòng GPT-OSS. Đáng chú ý, trên các benchmark đầy thách thức như AIME 2025, DeepConf@512 đạt độ chính xác lên tới 99.9% và giảm số token được sinh ra tới 84.7% so với full parallel thinking.

Large Language Models (LLMs) have shown great potential in reasoning tasks through test-time scaling methods like self-consistency with majority voting. However, this approach often leads to diminishing returns in accuracy and high computational overhead. To address these challenges, we introduce Deep Think with Confidence (DeepConf), a simple yet powerful method that enhances both reasoning efficiency and performance at test time. DeepConf leverages model-internal confidence signals to dynamically filter out low-quality reasoning traces during or after generation. It requires no additional model training or hyperparameter tuning and can be seamlessly integrated into existing serving frameworks. We evaluate DeepConf across a variety of reasoning tasks and the latest open-source models, including Qwen 3 and GPT-OSS series. Notably, on challenging benchmarks such as AIME 2025, DeepConf@512 achieves up to 99.9% accuracy and reduces generated tokens by up to 84.7% compared to full parallel thinking.

Liên kết bài báo

https://arxiv.org/abs/2508.15260

Đọc thêm

https://discuss.pytorch.kr/t/thinkmesh-llm-python/7575

Vượt qua GPT-5: Giảm chi phí và cải thiện hiệu năng của LLM thông qua định tuyến tối ưu hiệu năng-hiệu quả / Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing

[IMG] Vượt qua GPT-5: Giảm chi phí và cải thiện hiệu năng của LLM thông qua định tuyến tối ưu hiệu năng-hiệu quả / Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing|997x448

Giới thiệu bài báo

Việc phát triển cân bằng giữa hiệu năng và hiệu quả của các mô hình ngôn ngữ lớn (LLM) là một bài toán quan trọng. Avengers-Pro là một framework định tuyến tại thời gian suy luận, trong đó tập hợp các LLM có quy mô và hiệu quả khác nhau để định tuyến truy vấn tới mô hình phù hợp theo điểm số hiệu năng-hiệu quả tối ưu. Phương pháp này đạt kết quả state-of-the-art trên 6 benchmark đầy thách thức và 8 mô hình chủ chốt; bằng cách điều chỉnh tham số trade-off hiệu năng-hiệu quả, nó có thể cải thiện độ chính xác trung bình thêm +7% so với GPT-5-medium. Ngoài ra, phương pháp này còn đạt được đường biên Pareto luôn mang lại độ chính xác tốt nhất theo chi phí, chẳng hạn khớp độ chính xác trung bình của mô hình đơn mạnh nhất với chi phí thấp hơn 27%, và đạt khoảng 90% hiệu năng với chi phí thấp hơn 63%.

Tóm tắt bài báo (Abstract)

Việc cân bằng giữa hiệu năng và hiệu suất là một thách thức cốt lõi trong quá trình phát triển các mô hình ngôn ngữ lớn (LLM). GPT-5 giải quyết vấn đề này bằng định tuyến tại thời điểm suy luận (test-time routing), phân bổ truy vấn một cách động cho mô hình hiệu quả hoặc mô hình dung lượng cao trong khi suy luận. Trong nghiên cứu này, chúng tôi giới thiệu Avengers-Pro, một framework định tuyến tại thời điểm suy luận. Framework này kết hợp nhiều LLM có dung lượng và hiệu suất khác nhau, cung cấp một giải pháp thống nhất cho mọi điểm đánh đổi giữa hiệu năng và hiệu suất. Avengers-Pro nhúng và phân cụm các truy vấn đầu vào, sau đó định tuyến từng truy vấn đến mô hình phù hợp nhất dựa trên điểm số hiệu năng-hiệu suất. Trên 6 benchmark đầy thách thức và 8 mô hình hàng đầu — bao gồm GPT-5-medium, Gemini-2.5-pro và Claude-opus-4.1 — Avengers-Pro đạt được kết quả tối tân. Bằng cách điều chỉnh tham số đánh đổi giữa hiệu năng và hiệu suất, hệ thống có thể vượt mô hình đơn lẻ mạnh nhất (GPT-5-medium) hơn +7% về độ chính xác trung bình. Ngoài ra, nó có thể đạt độ chính xác trung bình ngang với mô hình đơn lẻ mạnh nhất với chi phí thấp hơn 27%, và đạt khoảng 90% mức hiệu năng đó với chi phí thấp hơn 63%. Cuối cùng, Avengers-Pro đạt được biên Pareto, liên tục mang lại độ chính xác cao nhất cho một mức chi phí nhất định và chi phí thấp nhất cho một mức độ chính xác nhất định trong số tất cả các mô hình đơn lẻ. Mã nguồn có tại https://github.com/ZhangYiqun018/AvengersPro.

Balancing performance and efficiency is a central challenge in large language model (LLM) advancement. GPT-5 addresses this with test-time routing, dynamically assigning queries to either an efficient or a high-capacity model during inference. In this work, we present Avengers-Pro, a test-time routing framework that ensembles LLMs of varying capacities and efficiencies, providing a unified solution for all performance-efficiency tradeoffs. The Avengers-Pro embeds and clusters incoming queries, then routes each to the most suitable model based on a performance-efficiency score. Across 6 challenging benchmarks and 8 leading models -- including GPT-5-medium, Gemini-2.5-pro, and Claude-opus-4.1 -- Avengers-Pro achieves state-of-the-art results: by varying a performance-efficiency trade-off parameter, it can surpass the strongest single model (GPT-5-medium) by +7% in average accuracy. Moreover, it can match the average accuracy of the strongest single model at 27% lower cost, and reach ~90% of that performance at 63% lower cost. Last but not least, it achieves a Pareto frontier, consistently yielding the highest accuracy for any given cost, and the lowest cost for any given accuracy, among all single models. Code is available at https://github.com/ZhangYiqun018/AvengersPro.

Liên kết bài báo

https://arxiv.org/abs/2508.12631

Đọc thêm

https://github.com/ZhangYiqun018/AvengersPro

Suy luận tăng cường truy xuất bằng mô hình ngôn ngữ gọn nhẹ / Retrieval-augmented reasoning with lean language models

Giới thiệu bài báo

Nghiên cứu này đề xuất một cách tiếp cận mới kết hợp suy luận và tạo sinh tăng cường truy xuất (RAG) trong kiến trúc mô hình ngôn ngữ gọn nhẹ. Trong khi các hệ thống RAG hiện có phụ thuộc vào mô hình quy mô lớn và API bên ngoài, nghiên cứu này giải quyết nhu cầu về một giải pháp hiệu năng cao có thể triển khai trong môi trường bị hạn chế tài nguyên hoặc yêu cầu bảo mật. Chúng tôi đã phát triển một tác nhân hội thoại tăng cường truy xuất có thể diễn giải các truy vấn phức tạp, đặc thù theo miền bằng cách sử dụng mô hình backbone gọn nhẹ; hệ thống này hoạt động bằng cách tích hợp bộ truy xuất dày đặc và mô hình Qwen2.5-Instruct. Kết quả đánh giá cho thấy phương pháp fine-tuning theo miền cải thiện đáng kể độ chính xác và tính nhất quán của câu trả lời, cho thấy giải pháp này phù hợp để triển khai cục bộ đồng thời đạt hiệu năng gần với mức tối tân.

Tóm tắt bài báo (Abstract)

Nghiên cứu này trình bày chi tiết một cách tiếp cận mới nhằm kết hợp suy luận và retrieval-augmented generation (RAG) trong một kiến trúc mô hình ngôn ngữ duy nhất, tinh gọn. Trong khi các hệ thống RAG hiện có thường dựa vào các mô hình quy mô lớn và API bên ngoài, nghiên cứu này giải quyết nhu cầu ngày càng tăng đối với các giải pháp hiệu quả cao, bảo vệ quyền riêng tư và có thể triển khai trong các môi trường hạn chế tài nguyên hoặc yêu cầu bảo mật. Dựa trên những tiến bộ gần đây về test-time scaling và các mô hình suy luận quy mô nhỏ, chúng tôi phát triển một tác nhân hội thoại tăng cường truy xuất có khả năng diễn giải các truy vấn phức tạp, đặc thù theo miền bằng cách sử dụng một mô hình backbone nhẹ. Hệ thống của chúng tôi tích hợp một bộ truy xuất dense với các mô hình Qwen2.5-Instruct đã được fine-tune, sử dụng sinh truy vấn tổng hợp và các dấu vết suy luận lấy từ các mô hình tiên phong (ví dụ: DeepSeek-R1) trên một tập ngữ liệu được tuyển chọn, trong trường hợp này là các trang bệnh lý A-to-Z của NHS. Chúng tôi khảo sát tác động của nén tài liệu dựa trên tóm tắt, thiết kế dữ liệu tổng hợp và fine-tuning có nhận thức về suy luận đối với hiệu năng mô hình. Thông qua đánh giá với cả các mô hình tinh gọn không suy luận và các mô hình tinh gọn đa dụng, chúng tôi chứng minh rằng cách tiếp cận fine-tuning đặc thù theo miền của mình mang lại sự cải thiện đáng kể về độ chính xác và tính nhất quán của câu trả lời, tiệm cận hiệu năng cấp độ tiên phong trong khi vẫn phù hợp để triển khai cục bộ. Mọi chi tiết triển khai và mã nguồn đều được công khai nhằm hỗ trợ khả năng tái lập và thích ứng liên miền.

Báo cáo kỹ thuật này trình bày chi tiết một cách tiếp cận mới nhằm kết hợp suy luận và retrieval augmented generation (RAG) trong một kiến trúc mô hình ngôn ngữ duy nhất, tinh gọn. Trong khi các hệ thống RAG hiện có thường dựa vào các mô hình quy mô lớn và API bên ngoài, công trình của chúng tôi giải quyết nhu cầu ngày càng tăng đối với các giải pháp hiệu quả cao, bảo vệ quyền riêng tư và có thể triển khai trong các môi trường hạn chế tài nguyên hoặc yêu cầu bảo mật. Dựa trên những phát triển gần đây về test-time scaling và các mô hình suy luận quy mô nhỏ, chúng tôi phát triển một tác nhân hội thoại tăng cường truy xuất có khả năng diễn giải các truy vấn phức tạp, đặc thù theo miền bằng cách sử dụng một mô hình backbone nhẹ. Hệ thống của chúng tôi tích hợp một bộ truy xuất dense với các mô hình Qwen2.5-Instruct đã được fine-tune, sử dụng sinh truy vấn tổng hợp và các dấu vết suy luận lấy từ các mô hình tiên phong (ví dụ: DeepSeek-R1) trên một tập ngữ liệu được tuyển chọn, trong trường hợp này là các trang bệnh lý A-to-Z của NHS. Chúng tôi khảo sát tác động của nén tài liệu dựa trên tóm tắt, thiết kế dữ liệu tổng hợp và fine-tuning có nhận thức về suy luận đối với hiệu năng mô hình. Việc đánh giá so với cả các mô hình tinh gọn không suy luận và các mô hình tinh gọn đa dụng cho thấy cách tiếp cận fine-tuning đặc thù theo miền của chúng tôi mang lại mức cải thiện đáng kể về độ chính xác và tính nhất quán của câu trả lời, tiệm cận hiệu năng cấp độ tiên phong trong khi vẫn khả thi để triển khai cục bộ. Tất cả chi tiết triển khai và mã nguồn đều được phát hành công khai để hỗ trợ khả năng tái lập và thích ứng trên nhiều miền.

Liên kết bài báo

https://arxiv.org/abs/2508.11386

Huấn luyện mô hình ngôn ngữ trở nên ấm áp và đồng cảm khiến chúng kém đáng tin cậy hơn và trở nên xu nịnh hơn / Training language models to be warm and empathetic makes them less reliable and more sycophantic

Giới thiệu bài báo

Việc huấn luyện mô hình ngôn ngữ với tính cách ấm áp và đồng cảm có vẻ như mang lại trải nghiệm tốt hơn cho người dùng, nhưng điều này dẫn đến một sự đánh đổi nghiêm trọng có thể làm suy giảm độ tin cậy. Kết quả nghiên cứu cho thấy các mô hình được huấn luyện để tạo ra phản hồi ấm áp có tỷ lệ lỗi cao hơn từ 10% đến 30% trong các tác vụ an toàn trọng yếu, và có xu hướng cung cấp thông tin thực tế sai lệch hoặc lời khuyên y tế có vấn đề. Đặc biệt, khi sự buồn bã được thể hiện trong tin nhắn của người dùng, các mô hình này thường xuyên xác nhận những niềm tin sai lầm hơn. Hiện tượng này xuất hiện nhất quán trên nhiều kiến trúc mô hình khác nhau, cho thấy các thực hành đánh giá hiện nay có thể không phát hiện được những rủi ro mang tính hệ thống như vậy.

Tóm tắt bài báo (Abstract)

Các nhà phát triển trí tuệ nhân tạo (AI) ngày càng xây dựng các mô hình ngôn ngữ với persona ấm áp và giàu đồng cảm, được hàng triệu người sử dụng để xin lời khuyên, trị liệu và làm bạn đồng hành. Tại đây, chúng tôi cho thấy điều này tạo ra một sự đánh đổi đáng kể: tối ưu hóa các mô hình ngôn ngữ theo hướng ấm áp làm suy giảm độ tin cậy của chúng, đặc biệt khi người dùng bộc lộ sự tổn thương. Chúng tôi đã thực hiện các thí nghiệm có kiểm soát trên năm mô hình ngôn ngữ với quy mô và kiến trúc khác nhau, huấn luyện chúng để tạo ra các phản hồi ấm áp và đồng cảm hơn, sau đó đánh giá chúng trên các tác vụ quan trọng về an toàn. Các mô hình ấm áp cho thấy tỷ lệ lỗi cao hơn đáng kể (+10 đến +30 điểm phần trăm) so với các mô hình gốc, có xu hướng cổ vũ thuyết âm mưu, cung cấp thông tin thực tế sai lệch và đưa ra lời khuyên y tế có vấn đề. Chúng cũng có khả năng xác nhận những niềm tin sai lầm của người dùng cao hơn rõ rệt, đặc biệt khi thông điệp của người dùng thể hiện sự buồn bã. Quan trọng là những hiệu ứng này xuất hiện nhất quán trên các kiến trúc mô hình khác nhau, và xảy ra dù hiệu năng trên các benchmark tiêu chuẩn vẫn được giữ nguyên, qua đó phơi bày các rủi ro mang tính hệ thống mà các thực tiễn đánh giá hiện nay có thể không phát hiện được. Khi các hệ thống AI giống con người đang được triển khai ở quy mô chưa từng có, các phát hiện của chúng tôi cho thấy cần phải suy nghĩ lại về cách chúng ta phát triển và giám sát những hệ thống đang định hình lại các mối quan hệ giữa con người và tương tác xã hội này.

Các nhà phát triển trí tuệ nhân tạo (AI) ngày càng xây dựng các mô hình ngôn ngữ với persona ấm áp và giàu đồng cảm, được hàng triệu người sử dụng để xin lời khuyên, trị liệu và làm bạn đồng hành. Tại đây, chúng tôi cho thấy điều này tạo ra một sự đánh đổi đáng kể: tối ưu hóa các mô hình ngôn ngữ theo hướng ấm áp làm suy giảm độ tin cậy của chúng, đặc biệt khi người dùng bộc lộ sự tổn thương. Chúng tôi đã thực hiện các thí nghiệm có kiểm soát trên năm mô hình ngôn ngữ với quy mô và kiến trúc khác nhau, huấn luyện chúng để tạo ra các phản hồi ấm áp và đồng cảm hơn, sau đó đánh giá chúng trên các tác vụ quan trọng về an toàn. Các mô hình ấm áp cho thấy tỷ lệ lỗi cao hơn đáng kể (+10 đến +30 điểm phần trăm) so với các mô hình gốc, có xu hướng cổ vũ thuyết âm mưu, cung cấp thông tin thực tế sai lệch và đưa ra lời khuyên y tế có vấn đề. Chúng cũng có khả năng xác nhận những niềm tin sai lầm của người dùng cao hơn rõ rệt, đặc biệt khi thông điệp của người dùng thể hiện sự buồn bã. Quan trọng là những hiệu ứng này xuất hiện nhất quán trên các kiến trúc mô hình khác nhau, và xảy ra dù hiệu năng trên các benchmark tiêu chuẩn vẫn được giữ nguyên, qua đó phơi bày các rủi ro mang tính hệ thống mà các thực tiễn đánh giá hiện nay có thể không phát hiện được. Khi các hệ thống AI giống con người đang được triển khai ở quy mô chưa từng có, các phát hiện của chúng tôi cho thấy cần phải suy nghĩ lại về cách chúng ta phát triển và giám sát những hệ thống đang định hình lại các mối quan hệ giữa con người và tương tác xã hội này.

Liên kết bài báo

https://arxiv.org/abs/2507.21919

GEPA: Tiến hóa prompt phản tư có thể vượt qua học tăng cường / GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning

Giới thiệu bài báo

GEPA(Genetic-Pareto) là một phương pháp tối ưu hóa prompt giúp cải thiện việc huấn luyện mô hình ngôn ngữ lớn (LLM) bằng cách tận dụng tính có thể diễn giải của ngôn ngữ, đối lập với phương pháp học tăng cường (RL) truyền thống là tối ưu hóa chính sách tương đối theo nhóm (GRPO). Bằng cách lấy mẫu các tracker ở cấp hệ thống và phản tư về chúng bằng ngôn ngữ tự nhiên, GEPA có thể chẩn đoán vấn đề một cách hiệu quả và đề xuất các cập nhật prompt, đồng thời tích hợp những hiểu biết thu được từ chính trải nghiệm của nó. Phương pháp này giảm mạnh số lượng rollout cần thiết và đạt mức cải thiện hiệu năng trung bình 10% so với GRPO, đồng thời cho hiệu năng vượt trội hơn 10% so với MIPROv2, công cụ tối ưu hóa prompt hàng đầu. Ngoài ra, GEPA cũng cho thấy tiềm năng như một chiến lược hiệu quả để tối ưu hóa mã trong thời gian suy luận.

Tóm tắt bài báo(Abstract)

Các mô hình ngôn ngữ lớn (LLM) ngày càng được điều chỉnh cho nhiều tác vụ downstream thông qua các phương pháp học tăng cường (RL) như Group Relative Policy Optimization (GRPO), nhưng các phương pháp này thường cần hàng nghìn lần rollout để học tác vụ mới. Chúng tôi cho rằng bản chất có thể diễn giải của ngôn ngữ có thể mang lại cho LLM một phương tiện học phong phú hơn nhiều so với gradient chính sách được suy ra từ phần thưởng vô hướng thưa thớt. Để kiểm chứng điều này, chúng tôi giới thiệu GEPA (Genetic-Pareto), một bộ tối ưu hóa prompt tích hợp sâu phản tư bằng ngôn ngữ tự nhiên để học các quy tắc cấp cao thông qua thử và sai. Khi có một hệ thống AI chứa một hoặc nhiều prompt LLM, GEPA lấy mẫu các quỹ đạo ở cấp hệ thống (ví dụ: suy luận, gọi công cụ và đầu ra của công cụ) rồi phản tư về chúng bằng ngôn ngữ tự nhiên để chẩn đoán vấn đề, đề xuất và kiểm thử các cập nhật prompt, đồng thời kết hợp những bài học bổ sung từ biên Pareto của chính các lần thử của nó. Nhờ thiết kế của GEPA, ngay cả chỉ với vài lần rollout, nó vẫn thường có thể tạo ra mức cải thiện chất lượng lớn. Trên bốn tác vụ, GEPA vượt GRPO trung bình hơn 10% và tối đa tới 20%, trong khi dùng ít hơn tới 35 lần rollout. GEPA cũng vượt MIPROv2, bộ tối ưu hóa prompt hàng đầu, hơn 10% trên hai LLM, đồng thời cho thấy kết quả đầy hứa hẹn như một chiến lược tìm kiếm ở thời điểm suy luận cho tối ưu hóa mã.

Large language models (LLMs) are increasingly adapted to downstream tasks via reinforcement learning (RL) methods like Group Relative Policy Optimization (GRPO), which often require thousands of rollouts to learn new tasks. We argue that the interpretable nature of language can often provide a much richer learning medium for LLMs, compared with policy gradients derived from sparse, scalar rewards. To test this, we introduce GEPA (Genetic-Pareto), a prompt optimizer that thoroughly incorporates natural language reflection to learn high-level rules from trial and error. Given any AI system containing one or more LLM prompts, GEPA samples system-level trajectories (e.g., reasoning, tool calls, and tool outputs) and reflects on them in natural language to diagnose problems, propose and test prompt updates, and combine complementary lessons from the Pareto frontier of its own attempts. As a result of GEPA's design, it can often turn even just a few rollouts into a large quality gain. Across four tasks, GEPA outperforms GRPO by 10% on average and by up to 20%, while using up to 35x fewer rollouts. GEPA also outperforms the leading prompt optimizer, MIPROv2, by over 10% across two LLMs, and demonstrates promising results as an inference-time search strategy for code optimization.

Liên kết bài báo

https://arxiv.org/abs/2507.19457

GLIMPSE: Các mô hình thị giác-ngôn ngữ lớn có thực sự hiểu và suy nghĩ với video, hay chỉ lướt qua chúng? / GLIMPSE: Do Large Vision-Language Models Truly Think With Videos or Just Glimpse at Them?

Giới thiệu bài báo

GLIMPSE là một benchmark được thiết kế để đánh giá liệu các mô hình thị giác-ngôn ngữ lớn (LVLM) có thể hiểu sâu và suy luận trên toàn bộ video hay không. Nhằm giải quyết vấn đề là các tiêu chuẩn đánh giá video hiện có thường vẫn có thể trả lời chỉ với một vài khung hình then chốt, khiến khó đánh giá năng lực suy luận không-thời gian thực sự của mô hình, GLIMPSE bao gồm 3.269 video, 11 danh mục và hơn 4.342 câu hỏi tập trung vào thị giác. Các câu hỏi này được thiết kế để chỉ có thể trả lời khi xem toàn bộ video và suy nghĩ tổng hợp, và trong đánh giá trên người, chúng cho độ chính xác cao tới 94,82%. Trong khi đó, ngay cả GPT-o3, LVLM có hiệu năng cao nhất hiện nay, cũng chỉ đạt 66,43%, cho thấy các mô hình vẫn gặp khó khăn trong việc vượt qua mức phân tích hời hợt để tiến tới tư duy chiều sâu dựa trên video.

Tóm tắt bài báo (Abstract)

Các benchmark video hiện có thường giống với benchmark dựa trên hình ảnh, với các dạng câu hỏi như “Nhân vật thực hiện những hành động gì xuyên suốt video?” hoặc “Màu váy của người phụ nữ trong video là gì?”. Với những câu hỏi này, mô hình thường có thể trả lời chỉ bằng cách quét một vài khung hình then chốt mà không cần suy luận thời gian sâu. Điều này làm hạn chế khả năng đánh giá liệu các mô hình thị giác-ngôn ngữ quy mô lớn (LVLM) có thực sự suy nghĩ với video hay chỉ thực hiện phân tích bề mặt ở mức khung hình. Để giải quyết vấn đề này, chúng tôi giới thiệu GLIMPSE, một benchmark được thiết kế riêng để đánh giá liệu LVLM có thể thực sự suy nghĩ với video hay không. Khác với các benchmark trước đây, GLIMPSE nhấn mạnh sự hiểu biết video toàn diện vượt ra ngoài các manh mối từ hình ảnh tĩnh. GLIMPSE bao gồm 3.269 video và hơn 4.342 câu hỏi tập trung cao vào thị giác thuộc 11 danh mục, bao gồm phân tích quỹ đạo, suy luận thời gian và phát hiện pháp chứng. Tất cả câu hỏi đều được các chuyên gia gán nhãn con người biên soạn cẩn thận, đòi hỏi phải xem toàn bộ video và suy luận trên ngữ cảnh tổng thể của video — đó chính là điều chúng tôi gọi là suy nghĩ với video. Những câu hỏi này không thể được trả lời bằng cách quét các khung hình được chọn sẵn hoặc chỉ dựa vào văn bản. Trong đánh giá trên con người, GLIMPSE đạt độ chính xác 94,82%, nhưng các LVLM hiện tại gặp phải thách thức đáng kể. Ngay cả mô hình có hiệu năng tốt nhất, GPT-o3, cũng chỉ đạt 66,43%, cho thấy LVLM vẫn gặp khó khăn trong việc vượt qua suy luận bề mặt để thực sự suy nghĩ với video.

Existing video benchmarks often resemble image-based benchmarks, with question types like "What actions does the person perform throughout the video?" or "What color is the woman's dress in the video?" For these, models can often answer by scanning just a few key frames, without deep temporal reasoning. This limits our ability to assess whether large vision-language models (LVLMs) can truly think with videos rather than perform superficial frame-level analysis. To address this, we introduce GLIMPSE, a benchmark specifically designed to evaluate whether LVLMs can genuinely think with videos. Unlike prior benchmarks, GLIMPSE emphasizes comprehensive video understanding beyond static image cues. It consists of 3,269 videos and over 4,342 highly visual-centric questions across 11 categories, including Trajectory Analysis, Temporal Reasoning, and Forensics Detection. All questions are carefully crafted by human annotators and require watching the entire video and reasoning over full video context-this is what we mean by thinking with video. These questions cannot be answered by scanning selected frames or relying on text alone. In human evaluations, GLIMPSE achieves 94.82% accuracy, but current LVLMs face significant challenges. Even the best-performing model, GPT-o3, reaches only 66.43%, highlighting that LVLMs still struggle to move beyond surface-level reasoning to truly think with videos.

Liên kết bài báo

https://arxiv.org/abs/2507.09491

Hiểu video vô hạn / Infinite Video Understanding

Giới thiệu bài báo

Những năm gần đây, nhờ sự phát triển của mô hình ngôn ngữ lớn (LLM) và các mô hình mở rộng đa phương thức (MLLM), công nghệ hiểu video đã được cải thiện đáng kể. Tuy nhiên, việc xử lý các video dài từ vài phút đến nhiều giờ vẫn bị giới hạn bởi chi phí tính toán và bộ nhớ. Các nghiên cứu trước đây đã đề xuất những hướng như thiết kế kiến trúc hiệu quả (Video-XL-2) và các kỹ thuật mã hóa vị trí cho nhận thức không-thời gian dài hạn (HoPE, VideoRoPE++), nhưng các vấn đề như duy trì tính nhất quán theo thời gian trong chuỗi dài, theo dõi các sự kiện phức tạp và bảo toàn thông tin chi tiết vẫn còn là thách thức chưa được giải quyết. Bài báo này đề xuất “hiểu video vô hạn” (Infinite Video Understanding) — khả năng xử lý và hiểu liên tục các video có độ dài vô hạn — là mục tiêu cốt lõi cho nghiên cứu trong tương lai, đồng thời đưa ra nhiều hướng nghiên cứu đổi mới để hiện thực hóa mục tiêu này, như kiến trúc streaming, bộ nhớ liên tục, biểu diễn phân cấp và thích ứng, suy luận lấy sự kiện làm trung tâm, cùng các phương pháp đánh giá mới. Định hướng này được kỳ vọng sẽ thúc đẩy một sự chuyển đổi mô hình trong xử lý video dài trên toàn bộ lĩnh vực đa phương tiện và trí tuệ nhân tạo.

Tóm tắt bài báo (Abstract)

Những bước tiến nhanh chóng của các mô hình ngôn ngữ lớn (LLM) và các phần mở rộng đa phương thức của chúng (MLLM) đã mang lại sự tiến bộ đáng kể trong lĩnh vực hiểu video. Tuy nhiên, một thách thức nền tảng vẫn còn tồn tại: làm thế nào để xử lý và hiểu hiệu quả nội dung video kéo dài hàng phút hoặc hàng giờ. Các nghiên cứu gần đây như Video-XL-2 đã đề xuất những lời giải mới ở cấp độ kiến trúc để đạt hiệu quả cực cao, trong khi các tiến bộ về mã hóa vị trí như HoPE và VideoRoPE++ hướng tới cải thiện khả năng hiểu ngữ cảnh không-thời gian trên phạm vi rộng. Dù vậy, các mô hình tối tân hiện nay vẫn phải đối mặt với những hạn chế đáng kể về tính toán và bộ nhớ khi xử lý khối lượng khổng lồ các token thị giác sinh ra từ các chuỗi dài. Bên cạnh đó, việc duy trì tính nhất quán theo thời gian, theo dõi các sự kiện phức tạp và bảo toàn thông tin chi tiết trong thời gian dài vẫn là những bài toán khó, bất chấp các tiến bộ của các hệ thống suy luận tác tử như Deep Video Discovery. Tài liệu kỹ thuật này đề xuất Hiểu Video Vô hạn (Infinite Video Understanding) như một hướng nghiên cứu thế hệ tiếp theo vừa hợp lý vừa đầy tham vọng của lĩnh vực nghiên cứu đa phương tiện. Khái niệm này chỉ khả năng để mô hình liên tục xử lý, hiểu và suy luận trên dữ liệu video có độ dài tùy ý, thậm chí có thể là vô hạn. Chúng tôi cho rằng việc đặt Hiểu Video Vô hạn làm mục tiêu nghiên cứu blue-sky sẽ đóng vai trò như kim chỉ nam quan trọng cho cộng đồng nghiên cứu đa phương tiện cũng như AI nói chung, từ đó thúc đẩy đổi mới trong các lĩnh vực như kiến trúc streaming, cơ chế bộ nhớ bền vững, biểu diễn phân cấp và thích ứng, suy luận lấy sự kiện làm trung tâm, cùng các mô hình đánh giá mới. Lấy cảm hứng từ các nghiên cứu gần đây về hiểu video dài/siêu dài và những lĩnh vực liên quan chặt chẽ, bài báo này phác thảo các thách thức cốt lõi và những hướng nghiên cứu chủ đạo để đạt được năng lực mang tính chuyển đổi này.

Những tiến bộ nhanh chóng trong Large Language Models (LLMs) và các phần mở rộng đa phương thức của chúng (MLLMs) đã mở ra những bước tiến đáng kể trong hiểu video. Tuy nhiên, một thách thức nền tảng vẫn còn tồn tại: xử lý và thấu hiểu hiệu quả nội dung video kéo dài vượt quá hàng phút hoặc hàng giờ. Trong khi các nỗ lực gần đây như Video-XL-2 đã cho thấy các lời giải kiến trúc mới nhằm đạt hiệu quả cực cao, và các tiến bộ trong positional encoding như HoPE và VideoRoPE++ hướng tới cải thiện khả năng hiểu không-thời gian trên những ngữ cảnh rất rộng, thì các mô hình tối tân hiện nay vẫn gặp phải những ràng buộc đáng kể về tính toán và bộ nhớ khi phải đối mặt với khối lượng khổng lồ token thị giác từ các chuỗi dài. Hơn nữa, việc duy trì tính nhất quán theo thời gian, theo dõi các sự kiện phức tạp và bảo toàn chi tiết tinh vi trong thời gian kéo dài vẫn là những trở ngại lớn, bất chấp tiến bộ trong các hệ thống suy luận tác tử như Deep Video Discovery. Bài position paper này cho rằng một biên giới tiếp theo hợp lý nhưng đầy tham vọng của nghiên cứu đa phương tiện là Infinite Video Understanding -- khả năng để các mô hình liên tục xử lý, hiểu và suy luận về dữ liệu video có thời lượng tùy ý, thậm chí có thể không bao giờ kết thúc. Chúng tôi lập luận rằng việc định hình Infinite Video Understanding như một mục tiêu nghiên cứu blue-sky sẽ cung cấp một "ngôi sao phương bắc" quan trọng cho cộng đồng nghiên cứu đa phương tiện và AI nói chung, thúc đẩy đổi mới trong các lĩnh vực như kiến trúc streaming, cơ chế bộ nhớ bền vững, biểu diễn phân cấp và thích ứng, suy luận lấy sự kiện làm trung tâm, và các mô hình đánh giá mới. Lấy cảm hứng từ những nghiên cứu gần đây về hiểu video dài/siêu dài và một số lĩnh vực liên quan chặt chẽ, chúng tôi phác thảo những thách thức cốt lõi và các hướng nghiên cứu then chốt để đạt được năng lực mang tính chuyển đổi này.

Link bài báo

https://arxiv.org/abs/2507.09068

Suy luận chuỗi suy nghĩ của mô hình ngôn ngữ lớn có phải là ảo ảnh? Góc nhìn từ phân phối dữ liệu / Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens

Giới thiệu bài báo

Prompt Chain-of-Thought (CoT) giúp cải thiện hiệu năng của mô hình ngôn ngữ lớn (LLM), nhưng đồng thời đặt ra khả năng rằng suy luận CoT trên thực tế có thể chỉ mang tính bề mặt. Nghiên cứu này phân tích suy luận CoT từ góc nhìn phân phối dữ liệu và chỉ ra rằng CoT là một lộ trình được tạo có điều kiện bởi inductive bias dựa trên phân phối trong dữ liệu huấn luyện. Để kiểm chứng điều này, nhóm tác giả huấn luyện LLM trong một môi trường kiểm soát có tên DataAlchemy và thực nghiệm sự khác biệt phân phối trên ba chiều: loại tác vụ, độ dài và định dạng. Kết quả cho thấy suy luận CoT là một hiện tượng mong manh, dễ sụp đổ khi rời khỏi phân phối huấn luyện, qua đó nhấn mạnh mức độ khó khăn trong việc đạt được suy luận thực sự và có khả năng khái quát hóa.

Tóm tắt(Abstract)

Prompt Chain-of-Thought (CoT) được biết là giúp cải thiện khả năng thực hiện nhiều loại tác vụ của mô hình ngôn ngữ lớn (LLM). Với cách tiếp cận này, LLM dường như tạo ra các bước suy luận giống con người trước khi đưa ra câu trả lời (tức là suy luận CoT), khiến người ta thường cho rằng mô hình đang thực hiện một quá trình suy luận có chủ đích. Tuy nhiên, các kết quả nghiên cứu ban đầu cho thấy suy luận CoT có thể nông hơn vẻ bề ngoài, từ đó thúc đẩy nhu cầu khám phá sâu hơn. Trong bài báo này, chúng tôi nghiên cứu suy luận CoT dưới góc nhìn phân phối dữ liệu, đồng thời khảo sát liệu suy luận CoT có phản ánh một inductive bias có cấu trúc được học từ dữ liệu trong phân phối (in-distribution data) hay không, qua đó cho phép mô hình sinh có điều kiện các đường suy luận gần đúng với những gì đã quan sát trong quá trình huấn luyện. Vì vậy, hiệu quả của suy luận CoT về bản chất bị giới hạn bởi mức độ chênh lệch phân phối giữa dữ liệu huấn luyện và các truy vấn kiểm thử. Từ góc nhìn này, chúng tôi phân tích suy luận CoT theo ba chiều: tác vụ (task), độ dài (length) và định dạng (format). Để khảo sát từng chiều, chúng tôi thiết kế DataAlchemy, một môi trường cô lập và được kiểm soát để huấn luyện LLM từ đầu và thăm dò chúng một cách có hệ thống dưới nhiều điều kiện phân phối khác nhau. Kết quả thực nghiệm cho thấy suy luận CoT là một ảo ảnh mong manh, sẽ biến mất khi bị đẩy ra ngoài phân phối huấn luyện. Nghiên cứu này mang lại hiểu biết sâu sắc hơn về lý do và thời điểm suy luận CoT thất bại, đồng thời nhấn mạnh thách thức dai dẳng trong việc đạt được năng lực suy luận thực sự và có thể khái quát hóa.

Prompt Chain-of-Thought (CoT) đã được chứng minh là cải thiện hiệu năng của Large Language Model (LLM) trên nhiều tác vụ khác nhau. Với cách tiếp cận này, LLM dường như tạo ra các bước suy luận giống con người trước khi đưa ra câu trả lời (còn gọi là suy luận CoT), điều thường dẫn đến nhận thức rằng chúng tham gia vào các quá trình suy luận có chủ đích. Tuy nhiên, một số phát hiện ban đầu cho thấy suy luận CoT có thể hời hợt hơn vẻ bề ngoài, thôi thúc chúng tôi tiếp tục khám phá sâu hơn. Trong bài báo này, chúng tôi nghiên cứu suy luận CoT qua lăng kính phân phối dữ liệu và khảo sát liệu suy luận CoT có phản ánh một inductive bias có cấu trúc được học từ dữ liệu trong phân phối hay không, cho phép mô hình sinh có điều kiện các đường suy luận gần đúng với những gì đã thấy trong quá trình huấn luyện. Vì vậy, hiệu quả của nó về cơ bản bị giới hạn bởi mức độ sai khác phân phối giữa dữ liệu huấn luyện và các truy vấn kiểm thử. Từ lăng kính đó, chúng tôi mổ xẻ suy luận CoT theo ba chiều: tác vụ, độ dài và định dạng. Để điều tra từng chiều, chúng tôi thiết kế DataAlchemy, một môi trường cô lập và được kiểm soát để huấn luyện LLM từ đầu và thăm dò chúng một cách có hệ thống dưới nhiều điều kiện phân phối khác nhau. Kết quả của chúng tôi cho thấy suy luận CoT là một ảo ảnh mong manh, biến mất khi bị đẩy vượt ra ngoài các phân phối huấn luyện. Công trình này mang đến hiểu biết sâu hơn về lý do và thời điểm suy luận CoT thất bại, đồng thời nhấn mạnh thách thức liên tục trong việc đạt được năng lực suy luận chân thực và có thể khái quát hóa.

Liên kết bài báo

https://arxiv.org/abs/2508.01191

Giới hạn mà các mô hình ngôn ngữ lớn đang phải đối mặt / The wall confronting large language models

Giới thiệu bài báo

Bài báo cho thấy các định luật scaling quyết định hiệu năng của mô hình ngôn ngữ lớn (LLM) đang tồn tại những giới hạn nghiêm trọng trong việc cải thiện độ bất định dự báo. Bài báo chỉ ra rằng cơ chế tạo ra phân phối đầu ra phi Gauss, vốn nâng đỡ năng lực học của LLM, có thể là nguyên nhân gây ra sự tích lũy lỗi, sụp đổ thông tin và các hành vi AI thoái hóa. Ngoài ra, các tương quan giả tăng mạnh theo quy mô dữ liệu càng làm trầm trọng thêm những vấn đề này, khiến việc đảm bảo độ tin cậy khoa học trở nên khó khăn. Bài báo cũng nhấn mạnh rằng để nhận thức được khả năng xuất hiện các lộ trình AI thoái hóa và tránh chúng, cần phải có những hiểu biết sâu sắc về các đặc tính cấu trúc của vấn đề.

Tóm tắt bài báo (Abstract)

Bài báo này cho thấy các định luật mở rộng quyết định hiệu năng của mô hình ngôn ngữ lớn (LLM) đã hạn chế nghiêm trọng khả năng cải thiện độ bất định trong dự đoán của chúng. Kết quả là, việc nâng độ tin cậy của chúng lên mức đáp ứng các tiêu chuẩn của nghiên cứu khoa học là một bài toán không thể giải quyết theo bất kỳ thước đo hợp lý nào. Chúng tôi lập luận rằng chính cơ chế cốt lõi tạo nên phần lớn năng lực học của LLM — tức khả năng tạo ra các phân phối đầu ra phi Gaussian từ các phân phối đầu vào Gaussian — lại có thể là nguyên nhân gốc rễ dẫn tới xu hướng tích lũy lỗi, các thảm họa thông tin tiếp theo và hành vi AI suy thoái. Sự căng thẳng giữa học và độ chính xác này là một ứng viên cơ chế nhiều khả năng đứng sau các giá trị thấp quan sát được của các thành phần mở rộng. Ngoài ra, như Calude và Longo đã chỉ ra, làn sóng tràn ngập các tương quan giả tăng nhanh trong bất kỳ tập dữ liệu nào chỉ như một hàm của kích thước của nó, bất kể bản chất dữ liệu ra sao, càng làm vấn đề này trầm trọng hơn. Việc con đường AI suy thoái là một đặc điểm rất có khả năng trong bối cảnh LLM không có nghĩa là nó nhất thiết sẽ xuất hiện trong mọi nghiên cứu AI tương lai. Như được thảo luận trong bài báo này, để tránh điều đó cần phải đặt trọng tâm cao hơn nhiều vào trực giác và sự hiểu biết về các đặc tính cấu trúc của những vấn đề đang được nghiên cứu.

We show that the scaling laws which determine the performance of large language models (LLMs) severely limit their ability to improve the uncertainty of their predictions. As a result, raising their reliability to meet the standards of scientific inquiry is intractable by any reasonable measure. We argue that the very mechanism which fuels much of the learning power of LLMs, namely the ability to generate non-Gaussian output distributions from Gaussian input ones, might well be at the roots of their propensity to produce error pileup, ensuing information catastrophes and degenerative AI behaviour. This tension between learning and accuracy is a likely candidate mechanism underlying the observed low values of the scaling components. It is substantially compounded by the deluge of spurious correlations pointed out by Calude and Longo which rapidly increase in any data set merely as a function of its size, regardless of its nature. The fact that a degenerative AI pathway is a very probable feature of the LLM landscape does not mean that it must inevitably arise in all future AI research. Its avoidance, which we also discuss in this paper, necessitates putting a much higher premium on insight and understanding of the structural characteristics of the problems being investigated.

Liên kết bài báo

https://arxiv.org/abs/2507.19703

Vector persona: Giám sát và kiểm soát các đặc tính tính cách trong mô hình ngôn ngữ / Persona Vectors: Monitoring and Controlling Character Traits in Language Models

Giới thiệu bài báo

Persona 'trợ lý' (assistant) của các mô hình ngôn ngữ lớn thường được huấn luyện để thân thiện, trung thực và vô hại, nhưng đôi khi vẫn lệch khỏi những lý tưởng này. Nghiên cứu này đã xác định các vector persona trong không gian kích hoạt của mô hình liên quan đến nhiều đặc tính như ác ý, xu nịnh và xu hướng ảo giác, qua đó xác nhận rằng có thể dùng chúng để giám sát sự thay đổi persona khi triển khai. Ngoài ra, nghiên cứu cho thấy có thể dùng vector persona để dự đoán và kiểm soát các thay đổi tính cách có chủ đích hoặc ngoài ý muốn xảy ra trong quá trình fine-tuning, đồng thời giảm nhẹ hoặc ngăn chặn các thay đổi đó bằng các phương pháp can thiệp hậu kiểm (post-hoc intervention) hoặc điều hướng phòng ngừa (preventative steering). Hơn nữa, vector persona cũng có thể được dùng để xác định các mẫu dữ liệu trong dữ liệu huấn luyện có khả năng gây ra những thay đổi tính cách không mong muốn, và bài báo trình bày đây là một phương pháp tổng quát có thể tự động trích xuất chỉ từ mô tả ngôn ngữ tự nhiên.

Tóm tắt bài báo (Abstract)

Các mô hình ngôn ngữ lớn tương tác với người dùng thông qua một persona ‘trợ lý’ được mô phỏng. Trợ lý này thường được huấn luyện để hữu ích, vô hại và trung thực, nhưng đôi khi vẫn lệch khỏi các lý tưởng đó. Trong bài báo này, chúng tôi xác định các hướng vector persona trong không gian kích hoạt của mô hình, làm nền tảng cho nhiều đặc tính như ác ý, xu nịnh và xu hướng ảo giác. Chúng tôi xác nhận rằng các vector này có thể được dùng để giám sát các dao động trong tính cách của Trợ lý tại thời điểm triển khai. Tiếp đó, chúng tôi áp dụng vector persona để dự đoán và kiểm soát các dịch chuyển tính cách xảy ra trong quá trình huấn luyện. Chúng tôi phát hiện rằng cả những thay đổi tính cách có chủ đích lẫn ngoài ý muốn sau fine-tuning đều tương quan mạnh với các dịch chuyển dọc theo những vector persona liên quan. Các dịch chuyển này có thể được giảm nhẹ thông qua can thiệp hậu kiểm (post-hoc intervention), hoặc được ngăn chặn ngay từ đầu bằng một phương pháp điều hướng phòng ngừa (preventative steering) mới. Hơn nữa, vector persona có thể được dùng để đánh dấu dữ liệu huấn luyện có khả năng tạo ra các thay đổi tính cách không mong muốn, cả ở cấp độ tập dữ liệu lẫn cấp độ từng mẫu riêng lẻ. Phương pháp trích xuất vector persona của chúng tôi được tự động hóa và có thể áp dụng cho bất kỳ đặc tính tính cách nào cần quan tâm, chỉ cần một mô tả bằng ngôn ngữ tự nhiên.

Large language models interact with users through a simulated 'Assistant' persona. While the Assistant is typically trained to be helpful, harmless, and honest, it sometimes deviates from these ideals. In this paper, we identify directions in the model's activation space-persona vectors-underlying several traits, such as evil, sycophancy, and propensity to hallucinate. We confirm that these vectors can be used to monitor fluctuations in the Assistant's personality at deployment time. We then apply persona vectors to predict and control personality shifts that occur during training. We find that both intended and unintended personality changes after finetuning are strongly correlated with shifts along the relevant persona vectors. These shifts can be mitigated through post-hoc intervention, or avoided in the first place with a new preventative steering method. Moreover, persona vectors can be used to flag training data that will produce undesirable personality changes, both at the dataset level and the individual sample level. Our method for extracting persona vectors is automated and can be applied to any personality trait of interest, given only a natural-language description.

Liên kết bài báo

https://arxiv.org/abs/2507.21509

Đọc thêm

https://www.anthropic.com/research/persona-vectors

  • Bài viết này được biên soạn dựa trên nội dung đã được tóm tắt bằng mô hình GPT, nên có thể có những phần được tổng hợp khác với nội dung hoặc ý định của bản gốc. Nếu bạn quan tâm đến chủ đề này, vui lòng tham khảo cả nguyên văn! Trong lúc đọc, nếu bạn phát hiện nội dung nào chưa tự nhiên hoặc không chính xác, rất mong bạn để lại bình luận cho chúng tôi biết.* 🤗

  • ⚠️Quảng cáo⚠️: Bài viết này do :pytorch: Cộng đồng người dùng PyTorch Hàn Quốc🇰🇷 tổng hợp có hữu ích với bạn không? Nếu đăng ký thành viên, chúng tôi sẽ gửi các bài viết chính qua email💌 cho bạn! (Mặc định là Weekly, nhưng cũng có thể đổi sang Daily.)

Bài viết liên quan

Chưa có bình luận nào.

Chưa có bình luận nào.