[2024/06/03 ~ 06/09] Các bài báo ML nổi bật trong tuần (Top ML Papers of the Week)
(discuss.pytorch.kr)-
Tôi đã thử tự động dịch bài viết về các bài báo ML được DAIR.AI công bố hằng tuần.
-
Xét các bài báo được chọn trong tuần này, có xu hướng là phần lớn đều tập trung vào các mô hình ngôn ngữ lớn (LLMs). Cụ thể, có thể tóm lược thành các nghiên cứu về trích xuất khái niệm từ mô hình ngôn ngữ lớn (Extracting Concepts from GPT-4), nâng cao hiệu quả (MatMul-free LLMs), hiểu quá trình suy nghĩ của mô hình (Buffer of Thoughts), cấu trúc hình học của LLMs (The Geometry of Concepts in LLMs), và căn chỉnh các mô hình này (Aligning LLMs with Demonstrated Feedback, Towards Scalable Automated Alignment of LLMs). Những chủ đề này phản ánh các mối quan tâm hiện tại trong lĩnh vực trí tuệ nhân tạo về việc hiểu, cải thiện và khám phá khả năng ứng dụng của LLMs. Dù chưa đi sâu chi tiết vào toàn bộ nội dung của từng bài báo, chỉ riêng tiêu đề cũng đã đủ để nhận ra xu hướng của nghiên cứu gần đây.
-
Xu hướng này có thể được giải thích bằng một vài lý do. Trước hết, sau thành công của các mô hình ngôn ngữ lớn như GPT-4, sự quan tâm đến các mô hình như vậy trong lĩnh vực nghiên cứu trí tuệ nhân tạo đã tăng vọt. Những mô hình này đang đóng vai trò quan trọng không chỉ trong xử lý ngôn ngữ tự nhiên (NLP) mà còn trong việc đạt hiệu năng ở mức con người ở nhiều tác vụ tri thức khác nhau. Thứ hai, việc hiểu và phát triển LLMs mở ra cơ hội dẫn tới sự phát triển của các hệ thống AI có thể thực hiện những tác vụ phức tạp và sáng tạo hơn. Cuối cùng, các nghiên cứu như vậy có thể góp phần thúc đẩy những kỹ thuật cho phép hiểu và kiểm soát hành vi của mô hình, điều vốn thiết yếu để tăng cường tính an toàn và việc sử dụng AI một cách có đạo đức. Kết quả là, các bài báo được chọn trong tuần này phản ánh những nghiên cứu và thử nghiệm đang diễn ra ở tuyến đầu của công nghệ AI, đặc biệt là trong sự phát triển của các mô hình ngôn ngữ lớn.
NLLB: Mở rộng dịch máy nơ-ron lên 200 ngôn ngữ / Scaling neural machine translation to 200 languages
Giới thiệu bài báo
Đề xuất một mô hình đa ngôn ngữ quy mô lớn tận dụng học chuyển giao trên 200 ngôn ngữ; mô hình này dựa trên kiến trúc hỗn hợp chuyên gia thưa (sparsely Gated Mixture of Experts) và được huấn luyện trên dữ liệu bằng một phương pháp được thiết kế riêng cho các ngôn ngữ ít tài nguyên; đánh giá trên 40K bản dịch và đạt mức cải thiện trung bình 44% về chất lượng dịch.
> Proposes a massive multilingual model that leverages transfer learning across 200 languages; it’s based on a sparsely Gated Mixture of Experts architecture and trained on data via an approach tailored for low-resource languages; evaluates on 40K translations and achieves an average of 44% improvement in translation quality.
Tóm tắt bài báo (Abstract)
Sự phát triển của các kỹ thuật nơ-ron đã mở ra những hướng đi mới cho nghiên cứu dịch máy. Ngày nay, các hệ thống dịch máy nơ-ron (NMT) có thể tận dụng năng lực đa ngôn ngữ ở mức cao và thậm chí thực hiện cả dịch zero-shot, mang lại những kết quả đầy hứa hẹn về độ bao phủ ngôn ngữ lẫn chất lượng. Tuy nhiên, để mở rộng NMT chất lượng cao thì cần một lượng lớn dữ liệu song ngữ song song, trong khi nguồn dữ liệu này không sẵn có một cách đồng đều cho hơn 7.000 ngôn ngữ trên thế giới. Việc tập trung cải thiện chất lượng dịch cho một nhóm tương đối nhỏ các ngôn ngữ giàu tài nguyên sẽ phải đánh đổi bằng việc không dành đủ sự chú ý nghiên cứu cho các ngôn ngữ ít tài nguyên, từ đó làm trầm trọng thêm bất bình đẳng số về lâu dài. Để phá vỡ mô thức này, chúng tôi giới thiệu No Language Left Behind (NLLB) — một mô hình đa ngôn ngữ khổng lồ duy nhất tận dụng học chuyển giao giữa các ngôn ngữ. Chúng tôi đã phát triển một mô hình tính toán có điều kiện dựa trên kiến trúc Sparsely Gated Mixture of Experts, được huấn luyện trên dữ liệu thu được bằng các kỹ thuật khai thác dữ liệu mới thiết kế riêng cho các ngôn ngữ ít tài nguyên. Ngoài ra, chúng tôi cũng đưa ra nhiều cải tiến về kiến trúc và huấn luyện để chống overfitting khi huấn luyện trên hàng nghìn tác vụ. Chúng tôi đánh giá hiệu năng của mô hình trên hơn 40.000 hướng dịch bằng các công cụ được tạo riêng cho mục đích này — một bộ benchmark tự động (FLORES-200), một thước đo đánh giá bởi con người (XSTS), và một bộ phát hiện độc tính bao phủ mọi ngôn ngữ trong mô hình. So với các mô hình state-of-the-art trước đó, mô hình của chúng tôi đạt mức cải thiện trung bình 44% về chất lượng dịch theo thước đo BLEU. Bằng việc chứng minh cách mở rộng NMT lên 200 ngôn ngữ và công khai miễn phí toàn bộ các đóng góp trong nỗ lực này cho mục đích phi thương mại, công trình của chúng tôi đặt nền tảng quan trọng cho việc phát triển một hệ thống dịch phổ quát.
> The development of neural techniques has opened up new avenues for research in machine translation. Today, neural machine translation (NMT) systems can leverage highly multilingual capacities and even perform zero-shot translation, delivering promising results in terms of language coverage and quality. However, scaling quality NMT requires large volumes of parallel bilingual data, which are not equally available for the 7,000+ languages in the world. Focusing on improving the translation qualities of a relatively small group of high-resource languages comes at the expense of directing research attention to low-resource languages, exacerbating digital inequities in the long run. To break this pattern, here we introduce No Language Left Behind—a single massively multilingual model that leverages transfer learning across languages. We developed a conditional computational model based on the Sparsely Gated Mixture of Experts architecture, which we trained on data obtained with new mining techniques tailored for low-resource languages. Furthermore, we devised multiple architectural and training improvements to counteract overfitting while training on thousands of tasks. We evaluated the performance of our model over 40,000 translation directions using tools created specifically for this purpose—an automatic benchmark (FLORES-200), a human evaluation metric (XSTS) and a toxicity detector that covers every language in our model. Compared with the previous state-of-the-art models, our model achieves an average of 44% improvement in translation quality as measured by BLEU. By demonstrating how to scale NMT to 200 languages and making all contributions in this effort freely available for non-commercial use, our work lays important groundwork for the development of a universal translation system.
Liên kết bài báo
https://www.nature.com/articles/s41586-024-07335-x
Đọc thêm
https://github.com/facebookresearch/fairseq/tree/nllb
https://x.com/AIatMeta/status/1798420492774432769
Trích xuất khái niệm từ GPT-4 / Extracting Concepts from GPT-4
Giới thiệu nghiên cứu
Đề xuất một phương pháp mới có khả năng mở rộng dựa trên sparse autoencoder để trích xuất khoảng 16 triệu mẫu có thể diễn giải được từ GPT-4. Phương pháp này cho thấy khả năng mở rộng có thể dự đoán được và hiệu quả hơn so với các kỹ thuật trước đây.
> Proposes a new scalable method based on sparse autoencoders to extract around 16 million interpretable patterns from GPT-4; the method demonstrates predictable scaling and is more efficient than previous techniques.
Tóm tắt bài báo
SAE (Sparse AutoEncoder, bộ tự mã hóa thưa) cung cấp một cách tiếp cận không giám sát đầy hứa hẹn để trích xuất các đặc trưng có thể diễn giải từ mô hình ngôn ngữ bằng cách tái tạo các kích hoạt từ một tầng nút thắt cổ chai thưa. Vì mô hình ngôn ngữ học được rất nhiều khái niệm, bộ tự mã hóa cần phải rất lớn để khôi phục toàn bộ các đặc trưng liên quan. Tuy nhiên, việc nghiên cứu các thuộc tính mở rộng của bộ tự mã hóa là khó khăn do cần cân bằng giữa mục tiêu tái tạo và mục tiêu độ thưa, cũng như sự hiện diện của các latent chết. Chúng tôi đề xuất sử dụng k-sparse autoencoder [Makhzani and Frey, 2013] để kiểm soát trực tiếp độ thưa, từ đó đơn giản hóa quá trình tinh chỉnh và cải thiện đường biên giữa tái tạo và độ thưa. Ngoài ra, chúng tôi tìm ra các điều chỉnh giúp gần như không xuất hiện latent chết, ngay cả ở quy mô lớn nhất mà chúng tôi đã thử. Sử dụng các kỹ thuật này, chúng tôi tìm thấy các quy luật mở rộng rõ ràng theo kích thước bộ tự mã hóa và độ thưa. Chúng tôi cũng giới thiệu một số thước đo mới để đánh giá chất lượng đặc trưng, dựa trên khả năng khôi phục các đặc trưng được giả thuyết, tính dễ giải thích của các mẫu kích hoạt, và độ thưa của các hiệu ứng downstream. Tất cả các chỉ số này nhìn chung đều được cải thiện khi kích thước bộ tự mã hóa tăng lên. Để chứng minh khả năng mở rộng của cách tiếp cận này, chúng tôi huấn luyện một bộ tự mã hóa với 16 triệu latent trên các kích hoạt của GPT-4 cho 40 tỷ token. Chúng tôi công bố mã nguồn, các bộ tự mã hóa cho mô hình mã nguồn mở, cùng với một công cụ trực quan hóa.
> Sparse autoencoders provide a promising unsupervised approach for extracting interpretable features from a language model by reconstructing activations from a sparse bottleneck layer. Since language models learn many concepts, autoencoders need to be very large to recover all relevant features. However, studying the properties of autoencoder scaling is difficult due to the need to balance reconstruction and sparsity objectives and the presence of dead latents. We propose using k-sparse autoencoders [Makhzani and Frey, 2013] to directly control sparsity, simplifying tuning and improving the reconstruction-sparsity frontier. Additionally, we find modifications that result in few dead latents, even at the largest scales we tried. Using these techniques, we find clean scaling laws with respect to autoencoder size and sparsity. We also introduce several new metrics for evaluating feature quality based on the recovery of hypothesized features, the explainability of activation patterns, and the sparsity of downstream effects. These metrics all generally improve with autoencoder size. To demonstrate the scalability of our approach, we train a 16 million latent autoencoder on GPT-4 activations for 40 billion tokens. We release code and autoencoders for open-source models, as well as a visualizer.
Link nghiên cứu và bài báo
https://openai.com/index/extracting-concepts-from-gpt-4/
https://cdn.openai.com/papers/sparse-autoencoders.pdf
Đọc thêm
https://github.com/openai/sparse_autoencoder
https://openaipublic.blob.core.windows.net/sparse-autoencoder/…
https://x.com/OpenAI/status/1798762092528586945
Transformer là SSM: Các mô hình tổng quát hóa và thuật toán hiệu quả thông qua tính đối ngẫu trạng thái có cấu trúc / Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
Giới thiệu bài báo
Một kiến trúc mới kết hợp mô hình không gian trạng thái (SSM) và attention có cấu trúc, sử dụng trạng thái lớn hơn gấp 8 lần và huấn luyện nhanh hơn 50%. Tầng state space duality mới hiệu quả và có khả năng mở rộng tốt hơn so với cách tiếp cận được dùng trong Mamba, đồng thời cải thiện kết quả trên các tác vụ cần dung lượng trạng thái lớn.
> A new architecture that combines state space models (SSMs) and structured attention; it uses 8x larger states and trains 50% faster; the new state space duality layer is more efficient and scalable compared to the approach used in Mamba; it also improves results on tasks that require large state capacity.
Tóm tắt bài báo(Abstract)
Transformer là kiến trúc chủ đạo đứng sau thành công của deep learning trong mô hình hóa ngôn ngữ, nhưng gần đây các mô hình không gian trạng thái (SSM) như Mamba đã cho thấy khả năng đạt ngang bằng hoặc vượt Transformer ở quy mô nhỏ đến trung bình. Chúng tôi chỉ ra rằng hai họ mô hình này thực chất có quan hệ rất gần gũi, và phát triển một khung liên kết lý thuyết phong phú giữa SSM và các biến thể của attention, được kết nối thông qua nhiều phép phân rã khác nhau của một lớp ma trận semiseparable có cấu trúc đã được nghiên cứu kỹ. Khung state space duality (SSD) của chúng tôi cho phép thiết kế một kiến trúc mới (Mamba-2), trong đó tầng lõi là một phiên bản tinh chỉnh của selective SSM trong Mamba, nhanh hơn từ 2-8 lần nhưng vẫn duy trì khả năng cạnh tranh với Transformer trong mô hình hóa ngôn ngữ.
> While Transformers have been the main architecture behind deep learning's success in language modeling, state-space models (SSMs) such as Mamba have recently been shown to match or outperform Transformers at small to medium scale. We show that these families of models are actually quite closely related, and develop a rich framework of theoretical connections between SSMs and variants of attention, connected through various decompositions of a well-studied class of structured semiseparable matrices. Our state space duality (SSD) framework allows us to design a new architecture (Mamba-2) whose core layer is an a refinement of Mamba's selective SSM that is 2-8X faster, while continuing to be competitive with Transformers on language modeling.
Link bài báo
https://arxiv.org/abs/2405.21060
Đọc thêm
https://x.com/_albertgu/status/1797651223035904355
Mô hình hóa ngôn ngữ có khả năng mở rộng, không dùng phép nhân ma trận (MatMul) / Scalable MatMul-free Language Modeling
Giới thiệu bài báo
Bài báo đề xuất một cách triển khai loại bỏ các phép toán nhân ma trận khỏi LLM trong khi vẫn duy trì hiệu năng ở quy mô hàng tỷ tham số, đồng thời cho rằng khi kích thước mô hình tăng lên, chênh lệch hiệu năng giữa Transformer độ chính xác đầy đủ và mô hình không dùng MatMul sẽ thu hẹp lại; và khi dùng kernel được tối ưu hóa trong suy luận, mức tiêu thụ bộ nhớ giảm hơn 10 lần.
> Proposes an implementation that eliminates matrix multiplication operations from LLMs while maintaining performance at billion-parameter scales; the performance between full precision Transformers and the MatMul-free models narrows as the model size increases; claims that by using an optimized kernel during inference, memory consumption is reduced by more than 10x.
Tóm tắt bài báo (Abstract)
Thông thường, phép nhân ma trận (MatMul) chiếm phần lớn nhất trong tổng chi phí tính toán của các mô hình ngôn ngữ lớn (LLM). Chi phí này chỉ càng tăng khi LLM được mở rộng sang kích thước embedding và độ dài ngữ cảnh lớn hơn. Trong nghiên cứu này, chúng tôi cho thấy có thể loại bỏ hoàn toàn các phép toán MatMul khỏi LLM mà vẫn duy trì hiệu năng mạnh ở quy mô hàng tỷ tham số. Kết quả thực nghiệm cho thấy các mô hình không dùng MatMul do chúng tôi đề xuất đạt hiệu năng tương đương với các Transformer tiên tiến nhất, vốn đòi hỏi nhiều bộ nhớ hơn rất nhiều trong suy luận, ở quy mô ít nhất lên tới 2,7 tỷ tham số. Khi khảo sát các quy luật mở rộng, chúng tôi nhận thấy khoảng cách hiệu năng giữa các mô hình không dùng MatMul và Transformer độ chính xác đầy đủ thu hẹp dần khi kích thước mô hình tăng lên. Chúng tôi cũng cung cấp một cách triển khai hiệu quả trên GPU cho mô hình này, giúp giảm mức sử dụng bộ nhớ tới 61% so với đường cơ sở chưa tối ưu trong quá trình huấn luyện. Bằng cách tận dụng kernel được tối ưu hóa trong suy luận, mức tiêu thụ bộ nhớ của mô hình có thể giảm hơn 10 lần so với các mô hình chưa được tối ưu. Để định lượng đúng mức hiệu quả của kiến trúc này, chúng tôi xây dựng một giải pháp phần cứng tùy biến trên FPGA nhằm khai thác các phép toán nhẹ vượt ra ngoài khả năng của GPU. Chúng tôi đã xử lý các mô hình quy mô hàng tỷ tham số ở mức 13W với thông lượng vượt quá mức con người có thể đọc được, đưa LLM tiến gần hơn tới hiệu suất kiểu não bộ. Công trình này không chỉ cho thấy có thể tinh giản LLM đến mức nào mà vẫn duy trì hiệu năng hiệu quả, mà còn chỉ ra các loại phép toán mà các bộ tăng tốc trong tương lai nên được tối ưu hóa để xử lý thế hệ LLM nhẹ tiếp theo. Phần triển khai mã nguồn có tại \url{https://github.com/ridgerchu/matmulfreellm}.
> Matrix multiplication (MatMul) typically dominates the overall computational cost of large language models (LLMs). This cost only grows as LLMs scale to larger embedding dimensions and context lengths. In this work, we show that MatMul operations can be completely eliminated from LLMs while maintaining strong performance at billion-parameter scales. Our experiments show that our proposed MatMul-free models achieve performance on-par with state-of-the-art Transformers that require far more memory during inference at a scale up to at least 2.7B parameters. We investigate the scaling laws and find that the performance gap between our MatMul-free models and full precision Transformers narrows as the model size increases. We also provide a GPU-efficient implementation of this model which reduces memory usage by up to 61% over an unoptimized baseline during training. By utilizing an optimized kernel during inference, our model's memory consumption can be reduced by more than 10x compared to unoptimized models. To properly quantify the efficiency of our architecture, we build a custom hardware solution on an FPGA which exploits lightweight operations beyond what GPUs are capable of. We processed billion-parameter scale models at 13W beyond human readable throughput, moving LLMs closer to brain-like efficiency. This work not only shows how far LLMs can be stripped back while still performing effectively, but also points at the types of operations future accelerators should be optimized for in processing the next generation of lightweight LLMs. Our code implementation is available at \url{https://github.com/ridgerchu/matmulfreellm}.
Liên kết bài báo
https://arxiv.org/abs/2406.02528
Đọc thêm
https://github.com/ridgerchu/matmulfreellm
https://x.com/omarsar0/status/1798373841741185261
Bộ đệm suy nghĩ: Suy luận tăng cường tư duy với mô hình ngôn ngữ lớn / Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models
Giới thiệu bài báo
Bài báo trình bày một phương pháp suy luận tăng cường tư duy nhằm cải thiện độ chính xác, hiệu quả và độ vững của suy luận dựa trên LLM. Phương pháp này tận dụng một meta-buffer chứa các ý tưởng cấp cao (mẫu tư duy) được chắt lọc từ các quy trình giải quyết vấn đề, sau đó truy xuất mẫu tư duy phù hợp và khởi tạo nó với cấu trúc suy luận đặc thù theo tác vụ cho quy trình suy luận tăng cường tư duy. Phương pháp này chứng minh hiệu năng SOTA trên 10 tác vụ thách thức với chi phí chỉ bằng 12% so với các phương pháp prompt đa truy vấn như Tree-of-Thoughts.
> Presents a thought-augmented reasoning approach to enhance the accuracy, efficiency, and robustness of LLM-based reasoning; it leverages a meta-buffer containing high-level thoughts (thought templates) distilled from problem-solving processes; the relevant thought template is then retrieved and instantiated with task-specific reasoning structures for the thought-augmented reasoning process; it demonstrates SOTA performance on 10 challenging tasks while requiring 12% of the cost of multi-query prompting methods like Tree-of-Thoughts.
Tóm tắt bài báo (Abstract)
Giới thiệu Buffer of Thoughts (BoT), một phương pháp suy luận tăng cường tư duy mới và linh hoạt nhằm cải thiện độ chính xác, hiệu quả và độ vững chắc của các mô hình ngôn ngữ lớn (LLM). Cụ thể, nghiên cứu đề xuất một meta-buffer để lưu trữ một loạt các tư duy cấp cao giàu thông tin, tức các thought-template, được chắt lọc từ quá trình giải quyết vấn đề trên nhiều tác vụ khác nhau. Sau đó, với mỗi bài toán, hệ thống truy xuất một thought-template phù hợp và khởi tạo nó một cách thích ứng với các cấu trúc suy luận cụ thể để thực hiện suy luận hiệu quả. Ngoài ra, để bảo đảm khả năng mở rộng và tính ổn định, nghiên cứu tiếp tục đề xuất buffer-manager nhằm cập nhật động meta-buffer, qua đó nâng cao dung lượng của meta-buffer khi ngày càng nhiều tác vụ được giải quyết. Kết quả từ các thí nghiệm diện rộng trên 10 tác vụ khó, đòi hỏi suy luận chuyên sâu, cho thấy mức cải thiện hiệu năng đáng kể so với các phương pháp SOTA trước đó: 11% trên Game of 24, 20% trên Geometric Shapes và 51% trên Checkmate-in-One. Phân tích bổ sung cũng cho thấy BoT có khả năng khái quát hóa vượt trội và độ vững chắc mô hình cao, trong khi trung bình chỉ cần 12% chi phí so với các phương pháp prompting đa truy vấn (ví dụ: tree/graph of thoughts). Đáng chú ý, nhóm tác giả nhận thấy Llama3-8B+BoT có tiềm năng vượt qua mô hình Llama3-70B. Dự án hiện có tại: https://github.com/YangLing0818/buffer-of-thought-llm
> We introduce Buffer of Thoughts (BoT), a novel and versatile thought-augmented reasoning approach for enhancing accuracy, efficiency and robustness of large language models (LLMs). Specifically, we propose meta-buffer to store a series of informative high-level thoughts, namely thought-template, distilled from the problem-solving processes across various tasks. Then for each problem, we retrieve a relevant thought-template and adaptively instantiate it with specific reasoning structures to conduct efficient reasoning. To guarantee the scalability and stability, we further propose buffer-manager to dynamically update the meta-buffer, thus enhancing the capacity of meta-buffer as more tasks are solved. We conduct extensive experiments on 10 challenging reasoning-intensive tasks, and achieve significant performance improvements over previous SOTA methods: 11% on Game of 24, 20% on Geometric Shapes and 51% on Checkmate-in-One. Further analysis demonstrate the superior generalization ability and model robustness of our BoT, while requiring only 12% of the cost of multi-query prompting methods (e.g., tree/graph of thoughts) on average. Notably, we find that our Llama3-8B+BoT has the potential to surpass Llama3-70B model. Our project is available at: https://github.com/YangLing0818/buffer-of-thought-llm
Liên kết bài báo
https://arxiv.org/abs/2406.04271
Đọc thêm
https://github.com/YangLing0818/buffer-of-thought-llm
https://x.com/omarsar0/status/1799113545696567416
SaySelf: Huấn luyện LLM thể hiện độ tự tin bằng các cơ sở lý giải mang tính tự phản tư / SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales
Giới thiệu bài báo
Đây là một khung huấn luyện nhằm dạy LLM thể hiện các ước lượng độ tin cậy chi tiết và chính xác hơn cùng với các cơ sở lý giải mang tính tự phản tư; phương pháp này thực hiện supervised finetuning trên một tập dữ liệu chứa phần tóm tắt khác biệt giữa nhiều chuỗi suy luận, sau đó áp dụng reinforcement learning để hiệu chỉnh các ước lượng độ tin cậy, qua đó khuyến khích LLM tạo ra các dự đoán chính xác với độ tự tin cao và phạt hiện tượng quá tự tin với các đầu ra sai.
> A training framework to teach LLMs to express more accurate fine-grained confidence estimates and self-reflective rationales; it performs supervised finetuning on a dataset that contains summaries of the difference between multiple reasoning chains; reinforcement learning is then applied to calibrate confidence estimates, encouraging the LLM to produce accurate, high-confidence predictions and penalize overconfidence in erroneous outputs.
Tóm tắt bài báo (Abstract)
Các mô hình ngôn ngữ lớn (LLM) thường tạo ra thông tin không chính xác hoặc bị bịa đặt và nhìn chung không thể hiện mức độ tự tin của mình, điều này làm hạn chế khả năng ứng dụng rộng rãi của chúng. Các nghiên cứu trước đây rút ra mức độ tự tin từ LLM bằng cách prompting trực tiếp hoặc self-consistency, hoặc xây dựng các tập dữ liệu cụ thể cho supervised fine-tuning. Các phương pháp dựa trên prompting có hiệu năng kém hơn, còn các phương pháp dựa trên huấn luyện thì bị giới hạn ở các ước lượng độ tin cậy nhị phân hoặc không chính xác ở cấp độ nhóm. Trong nghiên cứu này, nhóm tác giả giới thiệu SaySelf nâng cao, một khung huấn luyện dạy LLM biểu đạt các ước lượng độ tin cậy chi tiết và chính xác hơn. Ngoài điểm số độ tin cậy, SaySelf còn khởi động quá trình hướng dẫn LLM tạo ra các lập luận tự phản tư, giúp xác định rõ những khoảng trống trong tri thức tham số của chúng và giải thích sự bất định. Điều này được thực hiện bằng cách dùng một LLM để tự động tóm tắt sự bất định trong tri thức cụ thể thông qua ngôn ngữ tự nhiên. Việc tóm tắt dựa trên phân tích sự không nhất quán trong nhiều chuỗi suy luận được lấy mẫu, và dữ liệu thu được sẽ được dùng cho supervised fine-tuning. Bên cạnh đó, nhóm tác giả sử dụng reinforcement learning với một hàm thưởng được thiết kế tỉ mỉ để hiệu chỉnh các ước lượng độ tin cậy, từ đó thúc đẩy LLM đưa ra dự đoán chính xác với độ tự tin cao và phạt sự quá tự tin ở các đầu ra sai. Kết quả thực nghiệm trên cả các bộ dữ liệu trong phân phối và ngoài phân phối cho thấy SaySelf hiệu quả trong việc giảm lỗi hiệu chỉnh độ tin cậy và vẫn duy trì hiệu năng tác vụ. Nghiên cứu cũng cho thấy các lập luận tự phản tư được tạo ra là hợp lý và có thể đóng góp thêm cho quá trình hiệu chỉnh. Mã nguồn được công khai tại https://github.com/xu1868/SaySelf.
> Large language models (LLMs) often generate inaccurate or fabricated information and generally fail to indicate their confidence, which limits their broader applications. Previous work elicits confidence from LLMs by direct or self-consistency prompting, or constructing specific datasets for supervised finetuning. The prompting-based approaches have inferior performance, and the training-based approaches are limited to binary or inaccurate group-level confidence estimates. In this work, we present the advanced SaySelf, a training framework that teaches LLMs to express more accurate fine-grained confidence estimates. In addition, beyond the confidence scores, SaySelf initiates the process of directing LLMs to produce self-reflective rationales that clearly identify gaps in their parametric knowledge and explain their uncertainty. This is achieved by using an LLM to automatically summarize the uncertainties in specific knowledge via natural language. The summarization is based on the analysis of the inconsistency in multiple sampled reasoning chains, and the resulting data is utilized for supervised fine-tuning. Moreover, we utilize reinforcement learning with a meticulously crafted reward function to calibrate the confidence estimates, motivating LLMs to deliver accurate, high-confidence predictions and to penalize overconfidence in erroneous outputs. Experimental results in both in-distribution and out-of-distribution datasets demonstrate the effectiveness of SaySelf in reducing the confidence calibration error and maintaining the task performance. We show that the generated self-reflective rationales are reasonable and can further contribute to the calibration. The code is made public at https://github.com/xu1868/SaySelf.
Liên kết bài báo
https://arxiv.org/abs/2405.20974
Đọc thêm
https://github.com/xu1868/SaySelf
https://x.com/omarsar0/status/1797682549608833477
Hình học của các khái niệm phân loại và phân cấp trong mô hình ngôn ngữ lớn / The Geometry of Categorical and Hierarchical Concepts in Large Language Models
Giới thiệu bài báo
Nghiên cứu cách cấu trúc hình học của các khái niệm phân loại và các quan hệ phân cấp giữa chúng được mã hóa trong LLM, đồng thời phát hiện rằng các khái niệm phân loại đơn giản được LLM biểu diễn dưới dạng simplex, còn các khái niệm phức tạp được biểu diễn dưới dạng polytope được cấu thành từ tổng trực tiếp của các simplex, phản ánh cấu trúc phân cấp.
> Studies the geometry of categorical concepts and how the hierarchical relations between them are encoded in LLMs; finds that simple categorical concepts are represented as simplices by the LLMs and complex concepts are represented as polytopes constructed from direct sums of simplices, which reflect the hierarchical structure.
Tóm tắt bài báo(Abstract)
Hiểu cách ý nghĩa ngữ nghĩa được mã hóa trong không gian biểu diễn của các mô hình ngôn ngữ lớn là một vấn đề nền tảng của khả năng diễn giải. Bài báo này nghiên cứu hai câu hỏi cơ bản trong lĩnh vực này. Thứ nhất, các khái niệm phân loại như {'động vật có vú', 'chim', 'bò sát', 'cá'} được biểu diễn như thế nào? Thứ hai, các quan hệ thứ bậc giữa các khái niệm được mã hóa ra sao? Ví dụ, việc 'chó' là một loại 'động vật có vú' được mã hóa như thế nào? Để trả lời các câu hỏi này, tác giả cho thấy cách mở rộng giả thuyết biểu diễn tuyến tính. Họ phát hiện một cấu trúc đơn giản đến đáng ngạc nhiên: các khái niệm phân loại đơn giản được biểu diễn dưới dạng simplex, các khái niệm có quan hệ thứ bậc là trực giao theo một nghĩa được xác định chính xác, và do đó các khái niệm phức tạp được biểu diễn dưới dạng polytope được xây dựng từ tổng trực tiếp của các simplex, phản ánh cấu trúc thứ bậc. Các kết quả lý thuyết này được kiểm chứng trên mô hình ngôn ngữ lớn Gemma, với việc ước lượng biểu diễn cho 957 khái niệm có quan hệ thứ bậc bằng dữ liệu từ WordNet.
> Understanding how semantic meaning is encoded in the representation spaces of large language models is a fundamental problem in interpretability. In this paper, we study the two foundational questions in this area. First, how are categorical concepts, such as {'mammal', 'bird', 'reptile', 'fish'}, represented? Second, how are hierarchical relations between concepts encoded? For example, how is the fact that 'dog' is a kind of 'mammal' encoded? We show how to extend the linear representation hypothesis to answer these questions. We find a remarkably simple structure: simple categorical concepts are represented as simplices, hierarchically related concepts are orthogonal in a sense we make precise, and (in consequence) complex concepts are represented as polytopes constructed from direct sums of simplices, reflecting the hierarchical structure. We validate these theoretical results on the Gemma large language model, estimating representations for 957 hierarchically related concepts using data from WordNet.
Liên kết bài báo
https://arxiv.org/abs/2406.01506
Đọc thêm
https://x.com/omarsar0/status/1798010546522103898
Chỉ cho thấy, đừng nói: Căn chỉnh mô hình ngôn ngữ bằng phản hồi qua minh họa / Show, Don't Tell: Aligning Language Models with Demonstrated Feedback
Giới thiệu bài báo
Bài báo đề xuất một phương pháp căn chỉnh LLM với một thiết lập cụ thể thông qua số lượng rất ít minh họa làm phản hồi, điều chỉnh đầu ra của LLM theo hành vi minh họa của người dùng, có thể học căn chỉnh phong cách và tác vụ ở mức tinh vi trên nhiều miền, và cho hiệu năng vượt trội hơn few-shot prompting, SFT và các phương pháp self-play trên những benchmark đã thử nghiệm.
> Proposes a method to align LLMs to a specific setting via a very small number of demonstrations as feedback; it aligns LLM outputs to a user’s demonstrated behaviors and can learn fine-grained style and task alignment across domains; outperforms few-shot prompting, SFT, and self-play methods on the tested benchmarks.
Tóm tắt bài báo (Abstract)
Các mô hình ngôn ngữ được căn chỉnh để mô phỏng tiếng nói tập thể của số đông, dẫn đến đầu ra không thực sự khớp với bất kỳ cá nhân nào. Việc điều hướng LLM rời khỏi kiểu đầu ra chung chung có thể thực hiện thông qua supervised finetuning hoặc RLHF, nhưng đòi hỏi các bộ dữ liệu quá lớn đối với những tác vụ ad-hoc mới. Thay vào đó, tác giả cho rằng có thể căn chỉnh một LLM với một thiết lập cụ thể bằng cách tận dụng một số lượng rất nhỏ minh họa ($<10$) làm phản hồi. Phương pháp của họ, Demonstration ITerated Task Optimization (DITTO), trực tiếp căn chỉnh đầu ra của mô hình ngôn ngữ theo hành vi minh họa của người dùng. Được phát triển từ các ý tưởng trong học bắt chước trực tuyến, DITTO tạo dữ liệu so sánh trực tuyến với chi phí thấp bằng cách xem các minh họa của người dùng là được ưu tiên hơn đầu ra từ LLM và các checkpoint trung gian của nó. Tác giả đánh giá khả năng của DITTO trong việc học căn chỉnh phong cách và tác vụ ở mức tinh vi trên các miền như bài báo tin tức, email và bài đăng blog. Ngoài ra, họ còn thực hiện một nghiên cứu người dùng, thu thập nhiều kiểu minh họa khác nhau từ những người tham gia ($N=16$). Trên các benchmark và trong nghiên cứu người dùng, DITTO cho thấy tỷ lệ thắng cao hơn few-shot prompting, supervised fine-tuning và các phương pháp self-play khác trung bình 19 điểm phần trăm. Bằng cách sử dụng trực tiếp các minh họa làm phản hồi, DITTO mang đến một phương pháp mới để tùy biến LLM hiệu quả.
> Language models are aligned to emulate the collective voice of many, resulting in outputs that align with no one in particular. Steering LLMs away from generic output is possible through supervised finetuning or RLHF, but requires prohibitively large datasets for new ad-hoc tasks. We argue that it is instead possible to align an LLM to a specific setting by leveraging a very small number ($<10$) of demonstrations as feedback. Our method, Demonstration ITerated Task Optimization (DITTO), directly aligns language model outputs to a user's demonstrated behaviors. Derived using ideas from online imitation learning, DITTO cheaply generates online comparison data by treating users' demonstrations as preferred over output from the LLM and its intermediate checkpoints. We evaluate DITTO's ability to learn fine-grained style and task alignment across domains such as news articles, emails, and blog posts. Additionally, we conduct a user study soliciting a range of demonstrations from participants ($N=16$). Across our benchmarks and user study, we find that win-rates for DITTO outperform few-shot prompting, supervised fine-tuning, and other self-play methods by an average of 19% points. By using demonstrations as feedback directly, DITTO offers a novel method for effective customization of LLMs.
Liên kết bài báo
https://arxiv.org/abs/2406.00888
Đọc thêm
https://x.com/arankomatsuzaki/status/1797833884463472653
Hướng tới căn chỉnh tự động có thể mở rộng cho LLM: bài báo khảo sát / Towards Scalable Automated Alignment of LLMs: A Survey
Giới thiệu bài báo
Cung cấp tổng quan về các phương pháp được dùng để căn chỉnh LLM và khảo sát 4 hướng sau: 1) căn chỉnh thông qua thiên kiến quy nạp, 2) căn chỉnh thông qua bắt chước hành vi, 3) căn chỉnh thông qua phản hồi từ mô hình, 4) căn chỉnh thông qua phản hồi từ môi trường.
> Provides an overview of methods used for alignment of LLMs; explores the 4 following directions: 1) aligning through inductive bias, 2) aligning through behavior imitation, 3) aligning through model feedback, and 4) aligning through environment feedback.
Tóm tắt bài báo (Abstract)
Căn chỉnh là bước quan trọng nhất trong việc xây dựng các mô hình ngôn ngữ lớn (LLM) đáp ứng nhu cầu của con người. Khi LLM phát triển nhanh chóng và dần vượt qua năng lực của con người, các phương pháp căn chỉnh truyền thống dựa trên gán nhãn thủ công ngày càng không thể đáp ứng yêu cầu về khả năng mở rộng. Vì vậy, nhu cầu khám phá các nguồn tín hiệu căn chỉnh tự động và các cách tiếp cận kỹ thuật mới là hết sức cấp thiết. Trong bài báo này, chúng tôi hệ thống hóa việc rà soát các phương pháp căn chỉnh tự động mới xuất hiện gần đây, nhằm tìm hiểu cách đạt được căn chỉnh tự động hiệu quả, có khả năng mở rộng khi năng lực của LLM vượt quá con người. Cụ thể, chúng tôi phân loại các phương pháp căn chỉnh tự động hiện có thành 4 nhóm lớn dựa trên nguồn tín hiệu căn chỉnh, đồng thời thảo luận hiện trạng và tiềm năng phát triển của từng nhóm. Ngoài ra, chúng tôi khảo sát các cơ chế nền tảng cho phép căn chỉnh tự động và bàn về những yếu tố cốt lõi giúp các công nghệ căn chỉnh tự động trở nên khả thi và hiệu quả từ vai trò nền tảng của căn chỉnh.
> Alignment is the most critical step in building large language models (LLMs) that meet human needs. With the rapid development of LLMs gradually surpassing human capabilities, traditional alignment methods based on human-annotation are increasingly unable to meet the scalability demands. Therefore, there is an urgent need to explore new sources of automated alignment signals and technical approaches. In this paper, we systematically review the recently emerging methods of automated alignment, attempting to explore how to achieve effective, scalable, automated alignment once the capabilities of LLMs exceed those of humans. Specifically, we categorize existing automated alignment methods into 4 major categories based on the sources of alignment signals and discuss the current status and potential development of each category. Additionally, we explore the underlying mechanisms that enable automated alignment and discuss the essential factors that make automated alignment technologies feasible and effective from the fundamental role of alignment.
Liên kết bài báo
https://arxiv.org/abs/2406.01252
Đọc thêm
https://x.com/omarsar0/status/1798014572663583165
AgentGym: Phát triển các tác nhân dựa trên mô hình ngôn ngữ lớn trong nhiều môi trường khác nhau / AgentGym: Evolving Large Language Model-based Agents across Diverse Environments
Giới thiệu bài báo
Đây là một framework mới hỗ trợ nhiều môi trường và tác vụ để khám phá tác nhân theo thời gian thực, đồng thời ở quy mô rộng; xây dựng một tác nhân dựa trên LLM có năng lực tổng quát cùng khả năng tự tiến hóa, và khám phá tiềm năng của nó vượt ra ngoài dữ liệu đã thấy trước đó trên nhiều tác vụ và môi trường.
> A new framework featuring various environments and tasks for broad, real-time, and concurrent agent exploration; builds a generally capable LLM-based agent with self-evolution abilities and explores its potential beyond previously seen data across tasks and environments.
Tóm tắt bài báo (Abstract)
Xây dựng các tác tử tổng quát có thể xử lý nhiều tác vụ khác nhau và tự tiến hóa trong nhiều môi trường là mục tiêu dài hạn của cộng đồng AI. Các mô hình ngôn ngữ lớn (LLM) được xem là nền tảng đầy hứa hẹn để xây dựng những tác tử như vậy nhờ năng lực tổng quát hóa của chúng. Các cách tiếp cận hiện nay либо yêu cầu tác tử dựa trên LLM bắt chước từng bước các quỹ đạo do chuyên gia cung cấp, cần có sự giám sát của con người nên khó mở rộng và hạn chế việc khám phá môi trường; либо để tác tử tự khám phá và học trong các môi trường cô lập, dẫn đến các tác tử chuyên biệt với khả năng khái quát hóa hạn chế. Trong bài báo này, chúng tôi thực hiện bước đầu tiên hướng tới việc xây dựng các tác tử dựa trên LLM có năng lực tổng quát cùng khả năng tự tiến hóa. Chúng tôi xác định bộ ba thành phần: 1) các môi trường đa dạng để tác tử khám phá và học hỏi, 2) một tập quỹ đạo nhằm trang bị cho tác tử các năng lực cơ bản và tri thức tiên nghiệm, 3) một phương pháp tiến hóa hiệu quả và có khả năng mở rộng. Nhóm tác giả đề xuất AgentGym, một framework mới cung cấp nhiều môi trường và tác vụ cho việc khám phá tác tử theo thời gian thực, định dạng thống nhất và đồng thời trên quy mô rộng. AgentGym cũng bao gồm một cơ sở dữ liệu với các chỉ dẫn mở rộng, một bộ benchmark và các quỹ đạo chất lượng cao xuyên suốt nhiều môi trường. Tiếp theo, nhóm tác giả đề xuất một phương pháp mới là AgentEvol để khảo sát tiềm năng tự tiến hóa của tác tử vượt ra ngoài dữ liệu đã từng thấy trước đó qua nhiều tác vụ và môi trường. Kết quả thực nghiệm cho thấy các tác tử đã tiến hóa có thể đạt kết quả tương đương các mô hình SOTA. Nhóm tác giả phát hành bộ AgentGym, bao gồm nền tảng, bộ dữ liệu, benchmark, checkpoint và phần triển khai thuật toán. Bộ AgentGym có tại https://github.com/WooooDyy/AgentGym.
> Building generalist agents that can handle diverse tasks and evolve themselves across different environments is a long-term goal in the AI community. Large language models (LLMs) are considered a promising foundation to build such agents due to their generalized capabilities. Current approaches either have LLM-based agents imitate expert-provided trajectories step-by-step, requiring human supervision, which is hard to scale and limits environmental exploration; or they let agents explore and learn in isolated environments, resulting in specialist agents with limited generalization. In this paper, we take the first step towards building generally-capable LLM-based agents with self-evolution ability. We identify a trinity of ingredients: 1) diverse environments for agent exploration and learning, 2) a trajectory set to equip agents with basic capabilities and prior knowledge, and 3) an effective and scalable evolution method. We propose AgentGym, a new framework featuring a variety of environments and tasks for broad, real-time, uni-format, and concurrent agent exploration. AgentGym also includes a database with expanded instructions, a benchmark suite, and high-quality trajectories across environments. Next, we propose a novel method, AgentEvol, to investigate the potential of agent self-evolution beyond previously seen data across tasks and environments. Experimental results show that the evolved agents can achieve results comparable to SOTA models. We release the AgentGym suite, including the platform, dataset, benchmark, checkpoints, and algorithm implementations. The AgentGym suite is available on https://github.com/WooooDyy/AgentGym.
Link bài báo
https://arxiv.org/abs/2406.04151
Đọc thêm
https://github.com/WooooDyy/AgentGym
https://x.com/arankomatsuzaki/status/1798904095669121443
Bản gốc
https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-90f
Bài viết này được tổng hợp bằng mô hình GPT nên có thể có một số điểm chưa chính xác, vì vậy hãy tham khảo thêm bản gốc ở phía dưới bài viết! Nếu trong lúc đọc bạn phát hiện nội dung chưa tự nhiên hoặc có sai sót, mong bạn để lại bình luận để góp ý. 🤗
⚠️Quảng cáo⚠️: Bạn thấy bài viết này do 🔥Cộng đồng người dùng PyTorch Hàn Quốc🇰🇷 tổng hợp hữu ích chứ? Nếu đăng ký thành viên, bạn sẽ nhận được các bài viết nổi bật qua email💌! (Mặc định là Weekly nhưng cũng có thể đổi sang Daily.)
Chưa có bình luận nào.