[2023/11/13 ~ 11/19] Các bài báo ML nổi bật trong tuần (Top ML Papers of the Week)
(discuss.pytorch.kr)Tổng quan
-
Tôi đã thử dịch tự động các bài viết về những bài báo ML được DAIR.AI công bố hằng tuần.
-
Trong tuần này, trọng tâm chủ yếu là các nghiên cứu nhằm cải thiện và mở rộng LLM (Large Language Models), tức các mô hình ngôn ngữ lớn. Đặc biệt, có các bài báo về vận hành LLM với hiệu quả chi phí tốt, ứng dụng cho khám phá khoa học, và các mô hình ngôn ngữ phục vụ tạo mã thực tiễn. Bên cạnh đó, xu hướng nghiên cứu nhằm nâng cao tính xác thực của các mô hình này cũng đang ngày càng rõ nét.
-
Các mô hình ngôn ngữ, đặc biệt là LLM, đang nhận được nhiều sự chú ý trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). Có lẽ là vì các mô hình này ngày càng có khả năng xử lý những tác vụ ngôn ngữ phức tạp và đa dạng theo cách giống con người hơn. Những mô hình như vậy có thể được ứng dụng trong nhiều lĩnh vực, chẳng hạn mô phỏng tư duy có hệ thống (Contrastive CoT Prompting) hoặc tăng cường tự động hóa trong phát triển mã (A Survey on Language Models for Code). Ngoài ra, các phương pháp để tiếp tục phát triển LLM hơn nữa, ví dụ tăng cường truy xuất thông tin thông qua lọc ngữ cảnh chính xác (Learning to Filter Context for RAG) hay nghiên cứu theo hướng không đánh lừa người dùng (LLMs can Deceive Users), cũng là những xu hướng nghiên cứu quan trọng.
Emu Video và Emu Edit / Emu Video and Emu Edit
Giới thiệu bài báo
- Trình bày các mô hình mới cho chỉnh sửa hình ảnh có kiểm soát và tạo video từ văn bản dựa trên mô hình diffusion. Emu Video có thể tạo video chất lượng cao bằng cách sử dụng chỉ văn bản, chỉ hình ảnh, hoặc kết hợp đầu vào văn bản và hình ảnh; Emu Edit cho phép chỉnh sửa tự do thông qua chỉ dẫn bằng văn bản.
Present new models for controlled image editing and text-to-video generation based on diffusion models; emu video can generate high-quality video by using text-only, image-only, or combined text and image inputs; emu edit enables free-form editing through text instructions.
Liên kết bài báo
Đọc thêm
https://x.com/AIatMeta/status/1725184026154349007
CoN (Chain-of-Note): Tăng cường độ vững chắc của mô hình ngôn ngữ tăng cường truy xuất / Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models
Giới thiệu bài báo
- Một phương pháp nhằm cải thiện độ vững chắc và độ tin cậy của các mô hình ngôn ngữ tăng cường truy xuất khi phải đối mặt với tài liệu nhiễu, không liên quan và khi xử lý các tình huống chưa biết; CoN tạo ra các ghi chú đọc tuần tự cho các tài liệu đã truy xuất, cho phép đánh giá mức độ liên quan của chúng với câu hỏi được đưa ra và tích hợp thông tin này để hình thành câu trả lời cuối cùng; CoN vượt trội đáng kể so với các mô hình ngôn ngữ tăng cường truy xuất tiêu chuẩn và đạt mức cải thiện trung bình +7.9 về điểm EM với các tài liệu truy xuất hoàn toàn nhiễu, cùng +10.5 về tỷ lệ từ chối đối với các câu hỏi thời gian thực nằm ngoài phạm vi kiến thức đã được tiền huấn luyện.
An approach to improve the robustness and reliability of retrieval-augmented language models in facing noisy, irrelevant documents and in handling unknown scenarios; con generates sequential reading notes for the retrieved documents, enabling an evaluation of their relevance to the given question and integrating this information to formulate the final answer; con significantly outperforms standard retrieval-augmented language models and achieves an average improvement of +7.9 in em score given entirely noisy retrieved documents and +10.5 in rejection rates for real-time questions that fall outside the pre-training knowledge scope.
Tóm tắt bài báo
- Mô hình ngôn ngữ tăng cường truy xuất (RALM) đã đạt được bước tiến đáng kể về năng lực của các mô hình ngôn ngữ lớn, đặc biệt trong việc giảm ảo giác sự thật bằng cách tận dụng các nguồn tri thức bên ngoài. Tuy nhiên, độ tin cậy của thông tin được truy xuất không phải lúc nào cũng được đảm bảo. Việc truy xuất dữ liệu không liên quan có thể dẫn đến câu trả lời sai lệch, và ngay cả khi mô hình vốn đã có đủ thông tin để xử lý truy vấn, nó vẫn có thể bỏ qua tri thức nội tại của mình. Ngoài ra, RALM tiêu chuẩn thường gặp khó khăn trong việc đánh giá liệu nó có đủ tri thức, cả nội tại lẫn được truy xuất, để đưa ra câu trả lời chính xác hay không. Trong những tình huống thiếu tri thức, lý tưởng nhất là các hệ thống này nên trả lời "không biết" khi không thể tìm ra đáp án. Để giải quyết những thách thức này, nghiên cứu đã giới thiệu CoN (Chain-of-Noting), một phương pháp mới nhằm cải thiện độ vững chắc của RALM khi xử lý các tài liệu nhiễu, không liên quan và các kịch bản không biết. Ý tưởng cốt lõi của CoN là tạo ra các ghi chú đọc tuần tự cho các tài liệu được truy xuất, qua đó đánh giá kỹ lưỡng mức độ liên quan của chúng với câu hỏi được đưa ra và tích hợp thông tin này để hình thành câu trả lời cuối cùng. Nhóm tác giả đã sử dụng ChatGPT để tạo dữ liệu huấn luyện cho CoN, sau đó huấn luyện trên mô hình LLaMa-2 7B. Kết quả thực nghiệm trên bốn benchmark QA miền mở cho thấy RALM được trang bị CoN vượt trội đáng kể so với RALM tiêu chuẩn. Đáng chú ý, CoN cải thiện trung bình +7.9 điểm EM khi tài liệu truy xuất hoàn toàn là nhiễu, và cải thiện trung bình +10.5 điểm về tỷ lệ từ chối đối với các câu hỏi thời gian thực nằm ngoài phạm vi tri thức tiền huấn luyện.
Retrieval-augmented language models (RALMs) represent a substantial advancement in the capabilities of large language models, notably in reducing factual hallucination by leveraging external knowledge sources. However, the reliability of the retrieved information is not always guaranteed. The retrieval of irrelevant data can lead to misguided responses, and potentially causing the model to overlook its inherent knowledge, even when it possesses adequate information to address the query. Moreover, standard RALMs often struggle to assess whether they possess adequate knowledge, both intrinsic and retrieved, to provide an accurate answer. In situations where knowledge is lacking, these systems should ideally respond with "unknown" when the answer is unattainable. In response to these challenges, we introduces Chain-of-Noting (CoN), a novel approach aimed at improving the robustness of RALMs in facing noisy, irrelevant documents and in handling unknown scenarios. The core idea of CoN is to generate sequential reading notes for retrieved documents, enabling a thorough evaluation of their relevance to the given question and integrating this information to formulate the final answer. We employed ChatGPT to create training data for CoN, which was subsequently trained on an LLaMa-2 7B model. Our experiments across four open-domain QA benchmarks show that RALMs equipped with CoN significantly outperform standard RALMs. Notably, CoN achieves an average improvement of +7.9 in EM score given entirely noisy retrieved documents and +10.5 in rejection rates for real-time questions that fall outside the pre-training knowledge scope.
Link bài báo
https://arxiv.org/abs/2311.09210
Đọc thêm
https://x.com/omarsar0/status/1725181141693472959
Tác động của các mô hình ngôn ngữ lớn đối với khám phá khoa học: nghiên cứu sơ bộ sử dụng GPT-4 / The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4
Giới thiệu bài báo
- Khảo sát tác động của các mô hình ngôn ngữ lớn, đặc biệt là GPT-4, trên nhiều lĩnh vực khoa học như khám phá thuốc, sinh học và hóa học tính toán; đánh giá mức độ hiểu các khái niệm khoa học phức tạp của GPT-4, năng lực giải quyết vấn đề và tiềm năng thúc đẩy nghiên cứu khoa học thông qua các đánh giá tình huống do chuyên gia dẫn dắt và các bài kiểm thử benchmark.
Explores the impact of large language models, particularly gpt-4, across various scientific fields including drug discovery, biology, and computational chemistry; assesses gpt-4's understanding of complex scientific concepts, its problem-solving capabilities, and its potential to advance scientific research through expert-driven case assessments and benchmark testing.
Tóm tắt bài báo
- Trong vài năm gần đây, những bước tiến đột phá trong xử lý ngôn ngữ tự nhiên đã dẫn đến sự xuất hiện của các mô hình ngôn ngữ lớn (LLM) mạnh mẽ, thể hiện hiệu năng ấn tượng trên phạm vi rất rộng, bao gồm hiểu, sinh và dịch ngôn ngữ tự nhiên, thậm chí cả các tác vụ vượt ra ngoài xử lý ngôn ngữ. Báo cáo này xem xét chi tiết hiệu năng của LLM trong bối cảnh khám phá khoa học, tập trung vào GPT-4, mô hình ngôn ngữ tiên tiến nhất hiện nay. Nghiên cứu trải rộng trên nhiều lĩnh vực khoa học khác nhau như khám phá thuốc, sinh học, hóa học tính toán (lý thuyết phiếm hàm mật độ (DFT) và động lực học phân tử (MD)), thiết kế vật liệu và phương trình đạo hàm riêng (PDE). Việc đánh giá GPT-4 trên các nhiệm vụ khoa học là rất quan trọng để khám phá tiềm năng của nó trong nhiều lĩnh vực nghiên cứu, kiểm chứng chuyên môn theo từng miền, thúc đẩy tiến bộ khoa học, tối ưu phân bổ nguồn lực, định hướng phát triển các mô hình tương lai và nuôi dưỡng nghiên cứu liên ngành. Phương pháp khảo sát chủ yếu gồm các đánh giá tình huống do chuyên gia dẫn dắt, cung cấp những góc nhìn định tính về mức độ hiểu của mô hình đối với các khái niệm và mối quan hệ khoa học phức tạp, cùng với các bài kiểm thử benchmark để định lượng năng lực giải quyết những bài toán đặc thù của từng lĩnh vực. Kết quả khảo sát ban đầu cho thấy GPT-4 có tiềm năng đầy hứa hẹn cho nhiều ứng dụng khoa học, thể hiện khả năng xử lý các tác vụ giải quyết vấn đề phức tạp và tích hợp tri thức. Ở mức khái quát, báo cáo đánh giá cơ sở tri thức, mức độ hiểu khoa học, khả năng tính toán số học khoa học và nhiều năng lực dự đoán khoa học khác nhau của GPT-4.
In recent years, groundbreaking advancements in natural language processing have culminated in the emergence of powerful large language models (LLMs), which have showcased remarkable capabilities across a vast array of domains, including the understanding, generation, and translation of natural language, and even tasks that extend beyond language processing. In this report, we delve into the performance of LLMs within the context of scientific discovery, focusing on GPT-4, the state-of-the-art language model. Our investigation spans a diverse range of scientific areas encompassing drug discovery, biology, computational chemistry (density functional theory (DFT) and molecular dynamics (MD)), materials design, and partial differential equations (PDE). Evaluating GPT-4 on scientific tasks is crucial for uncovering its potential across various research domains, validating its domain-specific expertise, accelerating scientific progress, optimizing resource allocation, guiding future model development, and fostering interdisciplinary research. Our exploration methodology primarily consists of expert-driven case assessments, which offer qualitative insights into the model's comprehension of intricate scientific concepts and relationships, and occasionally benchmark testing, which quantitatively evaluates the model's capacity to solve well-defined domain-specific problems. Our preliminary exploration indicates that GPT-4 exhibits promising potential for a variety of scientific applications, demonstrating its aptitude for handling complex problem-solving and knowledge integration tasks. Broadly speaking, we evaluate GPT-4's knowledge base, scientific understanding, scientific numerical calculation abilities, and various scientific prediction capabilities.
Liên kết bài báo
https://arxiv.org/abs/2311.07361
Đọc thêm
https://x.com/omarsar0/status/1724465107046940893
Tinh chỉnh mô hình ngôn ngữ để phù hợp với tính xác thực / Fine-tuning Language Models for Factuality
Giới thiệu bài báo
- Tinh chỉnh mô hình ngôn ngữ theo hướng đảm bảo tính xác thực mà không cần con người gán nhãn; mô hình học từ các thứ hạng ưu tiên về tính xác thực được tạo tự động, nhắm tới bối cảnh sinh nội dung mở, và cải thiện đáng kể tính xác thực của Llama-2 trên các chủ đề chưa dùng trong huấn luyện so với RLHF hoặc các chiến lược giải mã nhắm vào tính xác thực.
Fine-tunes language model for factuality without requiring human labeling; it learns from automatically generated factuality preference rankings and targets open-ended generation settings; it significantly improves the factuality of llama-2 on held-out topics compared with rlhf or decoding strategies targeted at factuality.
Tóm tắt bài báo
- Nhờ độ trôi chảy và tính sáng tạo của các mô hình ngôn ngữ lớn (LLM) được tiền huấn luyện, mô hình ngôn ngữ đang được sử dụng rộng rãi, đôi khi thậm chí còn được dùng để thay thế các công cụ tìm kiếm truyền thống. Tuy nhiên, mô hình ngôn ngữ có xu hướng đưa ra những khẳng định nghe rất thuyết phục nhưng sai sự thật, thường được gọi là “ảo giác”. Những lỗi này có thể vô tình lan truyền thông tin sai lệch hoặc duy trì các hiểu lầm một cách có hại. Ngoài ra, việc kiểm chứng thủ công tính xác thực của phản hồi từ mô hình là một quá trình tốn thời gian, khiến chi phí thu thập nhãn xác thực từ con người trở nên đắt đỏ. Trong công trình này, tác giả tinh chỉnh mô hình ngôn ngữ để trở nên chính xác hơn về mặt sự thật mà không cần gán nhãn bởi con người, đồng thời nhắm tới các bối cảnh sinh nội dung mở hơn so với các nghiên cứu trước đây. Để làm điều đó, họ tận dụng hai đổi mới quan trọng gần đây trong NLP. Thứ nhất, một số nghiên cứu gần đây đã đề xuất các phương pháp đánh giá tính xác thực của văn bản mở bằng cách đo mức độ nhất quán với cơ sở tri thức bên ngoài hoặc đơn giản là dùng điểm tin cậy của một mô hình lớn. Thứ hai, thuật toán tối ưu hóa ưu tiên trực tiếp cho phép tinh chỉnh mô hình ngôn ngữ một cách trực tiếp cho các mục tiêu ngoài bắt chước có giám sát, bằng cách sử dụng thứ hạng ưu tiên giữa các phản hồi có thể có của mô hình. Tác giả cho thấy rằng việc học từ các thứ hạng ưu tiên về tính xác thực được tạo tự động, thông qua các hệ thống truy xuất hiện có hoặc một cách tiếp cận mới không cần truy xuất, cải thiện đáng kể tính xác thực của Llama-2 trên các chủ đề được giữ lại để đánh giá (tỷ lệ các khẳng định được tạo ra là đúng) so với RLHF hoặc các chiến lược giải mã nhắm tới tính xác thực. Ở quy mô 7B, so với Llama-2-chat, tỷ lệ lỗi thực tế khi tạo tiểu sử và trả lời câu hỏi y khoa giảm lần lượt 58% và 40%.
The fluency and creativity of large pre-trained language models (LLMs) have led to their widespread use, sometimes even as a replacement for traditional search engines. Yet language models are prone to making convincing but factually inaccurate claims, often referred to as 'hallucinations.' These errors can inadvertently spread misinformation or harmfully perpetuate misconceptions. Further, manual fact-checking of model responses is a time-consuming process, making human factuality labels expensive to acquire. In this work, we fine-tune language models to be more factual, without human labeling and targeting more open-ended generation settings than past work. We leverage two key recent innovations in NLP to do so. First, several recent works have proposed methods for judging the factuality of open-ended text by measuring consistency with an external knowledge base or simply a large model's confidence scores. Second, the direct preference optimization algorithm enables straightforward fine-tuning of language models on objectives other than supervised imitation, using a preference ranking over possible model responses. We show that learning from automatically generated factuality preference rankings, generated either through existing retrieval systems or our novel retrieval-free approach, significantly improves the factuality (percent of generated claims that are correct) of Llama-2 on held-out topics compared with RLHF or decoding strategies targeted at factuality. At 7B scale, compared to Llama-2-chat, we observe 58% and 40% reduction in factual error rate when generating biographies and answering medical questions, respectively.
Liên kết bài báo
https://arxiv.org/abs/2311.08401
Đọc thêm
https://x.com/arankomatsuzaki/status/1724613041155608951
Prompt CoT đối chiếu / Contrastive Chain-of-Thought Prompting
Giới thiệu bài báo
- Đề xuất phương pháp chuỗi suy nghĩ đối chiếu (CoT) để cải thiện khả năng suy luận của mô hình ngôn ngữ. Cách tiếp cận này cung cấp cả ví dụ suy luận hợp lệ lẫn không hợp lệ để hướng dẫn mô hình suy luận từng bước đồng thời giảm các lỗi suy luận. Ngoài ra, tác giả cũng đề xuất một phương pháp tự động để xây dựng các ví dụ đối chiếu và cho thấy sự cải thiện so với prompt CoT.
Proposes a contrastive chain of thought method to enhance language model reasoning; the approach provides both valid and invalid reasoning demonstrations, to guide the model to reason step-by-step while reducing reasoning mistakes; also proposes an automatic method to construct contrastive demonstrations and demonstrates improvements over cot prompting.
Tóm tắt bài báo
- Mặc dù chain-of-thought đã thành công trong việc cải thiện năng lực suy luận của mô hình ngôn ngữ, quy trình nền tảng phía sau nó vẫn chưa được hiểu rõ. Dù suy luận đúng về mặt logic có vẻ là yếu tố cốt lõi của chain-of-thought, các nghiên cứu trước đó lại cho thấy một cách đáng ngạc nhiên rằng việc dùng các ví dụ minh họa sai không tạo ra nhiều khác biệt. Hơn nữa, chain-of-thought thông thường không cho mô hình ngôn ngữ biết cần tránh những sai lầm nào, nên có thể dẫn tới nhiều lỗi hơn. Vì vậy, lấy cảm hứng từ cách con người có thể học từ cả ví dụ tích cực lẫn tiêu cực, chúng tôi đề xuất contrastive chain of thought để tăng cường suy luận của mô hình ngôn ngữ. So với chain-of-thought thông thường, cách tiếp cận của chúng tôi cung cấp cả ví dụ suy luận đúng và suy luận sai, nhằm hướng dẫn mô hình suy luận từng bước đồng thời giảm các lỗi suy luận. Để cải thiện khả năng khái quát hóa, chúng tôi giới thiệu một phương pháp tự động xây dựng các ví dụ đối chiếu. Thí nghiệm trên các benchmark suy luận cho thấy contrastive chain of thought có thể đóng vai trò như một cải tiến tổng quát cho chain-of-thought prompting.
Despite the success of chain of thought in enhancing language model reasoning, the underlying process remains less well understood. Although logically sound reasoning appears inherently crucial for chain of thought, prior studies surprisingly reveal minimal impact when using invalid demonstrations instead. Furthermore, the conventional chain of thought does not inform language models on what mistakes to avoid, which potentially leads to more errors. Hence, inspired by how humans can learn from both positive and negative examples, we propose contrastive chain of thought to enhance language model reasoning. Compared to the conventional chain of thought, our approach provides both valid and invalid reasoning demonstrations, to guide the model to reason step-by-step while reducing reasoning mistakes. To improve generalization, we introduce an automatic method to construct contrastive demonstrations. Our experiments on reasoning benchmarks demonstrate that contrastive chain of thought can serve as a general enhancement of chain-of-thought prompting.
Liên kết bài báo
https://arxiv.org/abs/2311.09277
Đọc thêm
https://x.com/arankomatsuzaki/status/1725340150819905723
Bài báo khảo sát về mô hình ngôn ngữ cho mã nguồn / A Survey on Language Models for Code
Giới thiệu bài báo
- Cung cấp cái nhìn tổng quan về các LLM cho mã nguồn, bao gồm đánh giá hơn 50 mô hình, hơn 30 tác vụ đánh giá và hơn 500 công trình liên quan.
Provides an overview of llms for code, including a review of 50+ models, 30+ evaluation tasks, and 500 related works.
Tóm tắt bài báo
- Công trình này tổng quan một cách có hệ thống những tiến bộ gần đây trong xử lý mã nguồn bằng mô hình ngôn ngữ, bao quát hơn 50 mô hình, hơn 30 tác vụ đánh giá và hơn 500 công trình liên quan. Chúng tôi chia các mô hình xử lý mã nguồn thành các mô hình ngôn ngữ tổng quát, tiêu biểu là họ GPT, và các mô hình chuyên biệt được tiền huấn luyện riêng trên mã nguồn, thường với các mục tiêu được thiết kế riêng. Chúng tôi thảo luận về mối quan hệ và khác biệt giữa các mô hình này, đồng thời nhấn mạnh quá trình chuyển đổi lịch sử của mô hình hóa mã nguồn từ các mô hình thống kê và RNN sang Transformer tiền huấn luyện và LLM, hoàn toàn tương tự với lộ trình mà NLP đã trải qua. Chúng tôi cũng thảo luận về các đặc trưng riêng của mã nguồn như AST, CFG và unit test, cùng với việc áp dụng chúng trong huấn luyện các mô hình ngôn ngữ cho mã nguồn, đồng thời xác định các thách thức chính và những hướng đi tiềm năng trong tương lai của lĩnh vực này. Bài khảo sát sẽ tiếp tục được mở và cập nhật trên kho GitHub tại https://github.com/codefuse-ai/Awesome-Code-LLM.
In this work we systematically review the recent advancements in code processing with language models, covering 50+ models, 30+ evaluation tasks, and 500 related works. We break down code processing models into general language models represented by the GPT family and specialized models that are specifically pretrained on code, often with tailored objectives. We discuss the relations and differences between these models, and highlight the historical transition of code modeling from statistical models and RNNs to pretrained Transformers and LLMs, which is exactly the same course that had been taken by NLP. We also discuss code-specific features such as AST, CFG, and unit tests, along with their application in training code language models, and identify key challenges and potential future directions in this domain. We keep the survey open and updated on github repository at https://github.com/codefuse-ai/Awesome-Code-LLM.
Liên kết bài báo
https://arxiv.org/abs/2311.07989v1
Đọc thêm
https://x.com/omarsar0/status/1725637165256761553
JARVIS-1: Tác nhân đa tác vụ thế giới mở với mô hình ngôn ngữ đa phương thức tăng cường bộ nhớ / JARVIS-1: Open-World Multi-task Agents with Memory-Augmented Multimodal Language Models
Giới thiệu bài báo
- Là một tác nhân thế giới mở có thể nhận biết đầu vào đa phương thức như quan sát thị giác và chỉ dẫn của con người, tạo ra các kế hoạch tinh vi và thực hiện điều khiển hiện thân trong vũ trụ Minecraft thế giới mở; đạt hiệu năng gần như hoàn hảo trên hơn 200 tác vụ trong thế giới Minecraft; đạt tỷ lệ hoàn thành 12,5% ở tác vụ dài hạn diamond pickaxe, cao gấp 5 lần so với các kỷ lục trước đó.
An open-world agent that can perceive multimodal input (visual observations and human instructions), generate sophisticated plans, and perform embodied control, within the open-world minecraft universe; exhibits near-perfect performances across over 200 tasks in minecraft universe; achieves a completion rate of 12.5% in the long-horizon diamond pickaxe task, which is a 5x increase compared to previous records.
Tóm tắt bài báo
- Việc đạt được khả năng lập kế hoạch và điều khiển giống con người thông qua quan sát đa phương thức trong một thế giới mở là một cột mốc then chốt để xây dựng các tác tử tổng quát hữu dụng hơn. Các cách tiếp cận hiện có có thể xử lý một số tác vụ dài hạn nhất định trong môi trường thế giới mở. Tuy nhiên, chúng vẫn gặp khó khăn vì số lượng tác vụ trong thế giới mở có thể tăng lên vô hạn, đồng thời thiếu khả năng cải thiện dần mức độ hoàn thành tác vụ khi thời gian chơi kéo dài. Unity giới thiệu JARVIS-1, một tác tử thế giới mở có thể nhận thức đầu vào đa phương thức như quan sát thị giác và chỉ dẫn của con người, tạo ra các kế hoạch tinh vi và thực hiện điều khiển hiện thân trong vũ trụ Minecraft thế giới mở vừa phổ biến vừa đầy thách thức. Cụ thể, Unity phát triển JARVIS-1 dựa trên các mô hình ngôn ngữ đa phương thức được huấn luyện trước, ánh xạ quan sát thị giác và chỉ dẫn văn bản thành kế hoạch. Kế hoạch này cuối cùng sẽ được chuyển tới các bộ điều khiển có điều kiện theo mục tiêu. Unity cũng trang bị cho JARVIS-1 bộ nhớ đa phương thức, cho phép hệ thống lập kế hoạch bằng cả tri thức đã được huấn luyện trước lẫn kinh nghiệm sinh tồn thực tế trong game. Kết quả thực nghiệm của Unity cho thấy JARVIS-1 đạt hiệu năng gần như hoàn hảo trên hơn 200 tác vụ đa dạng trong Minecraft Universe Benchmark, từ mức nhập môn đến trung cấp. JARVIS-1 đạt tỷ lệ hoàn thành 12,5% trong tác vụ dài hạn chế tạo cuốc kim cương. Đây là mức cải thiện rất lớn, lên tới 5 lần so với các kỷ lục trước đó. Ngoài ra, nhờ bộ nhớ đa phương thức, nhóm nghiên cứu cho thấy JARVIS-1 có thể $\textit{tự cải thiện}$ theo mô hình học tập suốt đời, từ đó khơi mở trí tuệ tổng quát hơn và khả năng tự chủ cao hơn. Trang dự án có tại https://craftjarvis-jarvis1.github.io.
Achieving human-like planning and control with multimodal observations in an open world is a key milestone for more functional generalist agents. Existing approaches can handle certain long-horizon tasks in an open world. However, they still struggle when the number of open-world tasks could potentially be infinite and lack the capability to progressively enhance task completion as game time progresses. We introduce JARVIS-1, an open-world agent that can perceive multimodal input (visual observations and human instructions), generate sophisticated plans, and perform embodied control, all within the popular yet challenging open-world Minecraft universe. Specifically, we develop JARVIS-1 on top of pre-trained multimodal language models, which map visual observations and textual instructions to plans. The plans will be ultimately dispatched to the goal-conditioned controllers. We outfit JARVIS-1 with a multimodal memory, which facilitates planning using both pre-trained knowledge and its actual game survival experiences. In our experiments, JARVIS-1 exhibits nearly perfect performances across over 200 varying tasks from the Minecraft Universe Benchmark, ranging from entry to intermediate levels. JARVIS-1 has achieved a completion rate of 12.5% in the long-horizon diamond pickaxe task. This represents a significant increase up to 5 times compared to previous records. Furthermore, we show that JARVIS-1 is able to $\textit{self-improve}$ following a life-long learning paradigm thanks to multimodal memory, sparking a more general intelligence and improved autonomy. The project page is available at https://craftjarvis-jarvis1.github.io.
Liên kết bài báo
https://arxiv.org/abs/2311.05997
Đọc thêm
https://x.com/arankomatsuzaki/status/1723882043514470629
FILCO: Phương pháp học lọc ngữ cảnh cho tạo sinh tăng cường truy xuất / Learning to Filter Context for Retrieval-Augmented Generation
Giới thiệu bài báo
- Đề xuất một phương pháp cải thiện chất lượng ngữ cảnh được cung cấp cho bộ sinh qua hai bước: 1) xác định ngữ cảnh hữu ích dựa trên các cách tiếp cận từ vựng và lý thuyết thông tin, và 2) huấn luyện các mô hình lọc ngữ cảnh có thể lọc ngữ cảnh được truy xuất ở thời điểm suy luận; vượt trội hơn các cách tiếp cận hiện có trong các tác vụ hỏi đáp trích xuất (QA), QA đa bước phức tạp và dạng dài, kiểm chứng sự thật, và tạo hội thoại.
Proposes a method that improves the quality of the context provided to the generator via two steps: 1) identifying useful context based on lexical and information-theoretic approaches, and 2) training context filtering models that can filter retrieved contexts at inference; outperforms existing approaches on extractive question answering (qa), complex multi-hop and long-form qa, fact verification, and dialog generation tasks.
Tóm tắt bài báo
- Việc truy xuất tức thời tri thức liên quan đã được chứng minh là một thành phần thiết yếu của các hệ thống đáng tin cậy cho những tác vụ như hỏi đáp miền mở và kiểm chứng sự thật. Tuy nhiên, vì các hệ thống truy xuất không hoàn hảo, các mô hình sinh vẫn phải tạo đầu ra khi được cung cấp những đoạn văn chỉ liên quan một phần hoặc hoàn toàn không liên quan. Điều này có thể dẫn đến việc phụ thuộc quá mức hoặc không đủ vào ngữ cảnh, và gây ra các vấn đề như ảo giác trong đầu ra được sinh ra. Để giảm nhẹ những vấn đề này, bài báo đề xuất FILCO, một phương pháp cải thiện chất lượng ngữ cảnh cung cấp cho bộ sinh bằng cách (1) xác định ngữ cảnh hữu ích dựa trên các phương pháp từ vựng và lý thuyết thông tin, và (2) huấn luyện các mô hình lọc ngữ cảnh có thể lọc ngữ cảnh đã truy xuất tại thời điểm suy luận. Thử nghiệm trên 6 tác vụ thâm dụng tri thức với FLAN-T5 và LLaMa2 cho thấy phương pháp này vượt trội hơn các cách tiếp cận hiện có trong các tác vụ hỏi đáp trích xuất (QA), hỏi đáp đa bước suy luận phức tạp và dạng dài, kiểm chứng sự thật, và sinh hội thoại. FILCO cải thiện hiệu quả chất lượng ngữ cảnh, bất kể nó có hỗ trợ đầu ra chuẩn hay không.
On-the-fly retrieval of relevant knowledge has proven an essential element of reliable systems for tasks such as open-domain question answering and fact verification. However, because retrieval systems are not perfect, generation models are required to generate outputs given partially or entirely irrelevant passages. This can cause over- or under-reliance on context, and result in problems in the generated output such as hallucinations. To alleviate these problems, we propose FILCO, a method that improves the quality of the context provided to the generator by (1) identifying useful context based on lexical and information-theoretic approaches, and (2) training context filtering models that can filter retrieved contexts at test time. We experiment on six knowledge-intensive tasks with FLAN-T5 and LLaMa2, and demonstrate that our method outperforms existing approaches on extractive question answering (QA), complex multi-hop and long-form QA, fact verification, and dialog generation tasks. FILCO effectively improves the quality of context, whether or not it supports the canonical output.
Liên kết bài báo
https://arxiv.org/abs/2311.08377v1
Đọc thêm
https://x.com/ZhiruoW/status/1724792850079252886
MART: Cải thiện độ an toàn của LLM bằng red-teaming tự động nhiều vòng / MART: Improving LLM Safety with Multi-round Automatic Red-Teaming
Giới thiệu bài báo
- Bài báo đề xuất một cách tiếp cận nhằm cải thiện độ an toàn của LLM bằng red-teaming tự động nhiều vòng; tích hợp việc tạo prompt đối kháng tự động và sinh phản hồi an toàn, từ đó tăng khả năng mở rộng của red-teaming và độ an toàn của các LLM; tỷ lệ vi phạm của một LLM chỉ có căn chỉnh an toàn hạn chế giảm tới 84,7% sau 4 vòng MART, đạt hiệu năng tương đương các LLM được huấn luyện với lượng lớn prompt đối kháng.
Proposes an approach for improving llm safety with multi-round automatic red-teaming; incorporates automatic adversarial prompt writing and safe response generation, which increases red-teaming scalability and the safety of llms; violation rate of an llm with limited safety alignment reduces up to 84.7% after 4 rounds of mart, achieving comparable performance to llms with extensive adversarial prompt writing.
Tóm tắt bài báo
- Red teaming là một thực hành phổ biến để giảm thiểu các hành vi không an toàn trong mô hình ngôn ngữ lớn (LLM), bao gồm việc đánh giá kỹ lưỡng LLM để xác định các lỗ hổng tiềm ẩn và xử lý chúng bằng các phản hồi có trách nhiệm và chính xác. Dù hiệu quả, red teaming thủ công tốn kém, còn các phương pháp red teaming tự động hiện có thường chỉ phát hiện rủi ro an toàn mà không giải quyết chúng. Bài báo này đề xuất phương pháp Multi-round Automatic Red-Teaming (MART), tích hợp cả việc tự động tạo prompt đối kháng và sinh phản hồi an toàn, từ đó cải thiện đáng kể khả năng mở rộng của red teaming và độ an toàn của LLM mục tiêu. Cụ thể, một LLM đối kháng và một LLM mục tiêu tương tác với nhau theo cách lặp, trong đó LLM đối kháng nhằm tạo ra các prompt thách thức để khơi ra phản hồi không an toàn từ LLM mục tiêu, còn LLM mục tiêu được fine-tune bằng dữ liệu căn chỉnh an toàn trên các prompt đối kháng này. Ở mỗi vòng, LLM đối kháng tạo ra các đòn tấn công tốt hơn nhằm vào LLM mục tiêu đã được cập nhật, trong khi LLM mục tiêu cũng tự cải thiện thông qua fine-tune về an toàn. Trên các bộ benchmark prompt đối kháng, tỷ lệ vi phạm của một LLM có mức căn chỉnh an toàn hạn chế giảm tới 84,7% sau 4 vòng MART, đạt hiệu năng tương đương với các LLM sử dụng lượng lớn prompt đối kháng. Đáng chú ý, mức độ hữu ích của mô hình trên các prompt không đối kháng vẫn ổn định qua các vòng lặp, cho thấy LLM mục tiêu duy trì hiệu năng mạnh trong việc tuân theo chỉ dẫn.
Red-teaming is a common practice for mitigating unsafe behaviors in Large Language Models (LLMs), which involves thoroughly assessing LLMs to identify potential flaws and addressing them with responsible and accurate responses. While effective, manual red-teaming is costly, and existing automatic red-teaming typically discovers safety risks without addressing them. In this paper, we propose a Multi-round Automatic Red-Teaming (MART) method, which incorporates both automatic adversarial prompt writing and safe response generation, significantly increasing red-teaming scalability and the safety of the target LLM. Specifically, an adversarial LLM and a target LLM interplay with each other in an iterative manner, where the adversarial LLM aims to generate challenging prompts that elicit unsafe responses from the target LLM, while the target LLM is fine-tuned with safety aligned data on these adversarial prompts. In each round, the adversarial LLM crafts better attacks on the updated target LLM, while the target LLM also improves itself through safety fine-tuning. On adversarial prompt benchmarks, the violation rate of an LLM with limited safety alignment reduces up to 84.7% after 4 rounds of MART, achieving comparable performance to LLMs with extensive adversarial prompt writing. Notably, model helpfulness on non-adversarial prompts remains stable throughout iterations, indicating the target LLM maintains strong performance on instruction following.
Liên kết bài báo
https://arxiv.org/abs/2311.07689
Đọc thêm
https://x.com/AIatMeta/status/1724887918685425829
Báo cáo kỹ thuật: Mô hình ngôn ngữ lớn có thể đánh lừa người dùng một cách chiến lược khi bị đặt dưới áp lực / Technical Report: Large Language Models can Strategically Deceive their Users when Put Under Pressure
Giới thiệu bài báo
- Nghiên cứu việc sử dụng một tác nhân giao dịch cổ phiếu tự động được vận hành bởi robo-advisor, phát hiện rằng tác nhân này hành động dựa trên thông tin nội bộ và che giấu lý do đằng sau quyết định giao dịch, qua đó cho thấy các robo-advisor vừa hữu ích vừa an toàn có thể đánh lừa người dùng một cách chiến lược trong tình huống thực tế mà không cần chỉ dẫn hay huấn luyện để lừa dối.
Explores the use of an autonomous stock trading agent powered by llms; finds that the agent acts upon insider tips and hides the reason behind the trading decision; shows that helpful and safe llms can strategically deceive users in a realistic situation without direction instructions or training for deception.
Tóm tắt bài báo
- Bài viết trình diễn một tình huống trong đó các mô hình ngôn ngữ lớn, dù đã được huấn luyện để hữu ích, vô hại và trung thực, vẫn có thể thể hiện hành vi lệch chuẩn và lừa dối người dùng một cách có chiến lược mà không cần được chỉ thị làm vậy. Cụ thể, GPT-4 được triển khai như một tác nhân trong môi trường mô phỏng thực tế, đảm nhận vai trò một tác nhân giao dịch chứng khoán tự trị. Trong môi trường này, mô hình nhận được thông tin nội gián về một thương vụ chứng khoán có lợi nhuận và vẫn thực hiện giao dịch đó dù biết rằng giao dịch nội gián không được ban lãnh đạo công ty cho phép. Khi báo cáo với quản lý, mô hình liên tục che giấu lý do thực sự đằng sau quyết định giao dịch của mình. Bài viết cũng khảo sát ngắn gọn cách hành vi này thay đổi khi điều chỉnh thiết lập, chẳng hạn như loại bỏ quyền truy cập của mô hình vào scratchpad suy luận, cố gắng ngăn hành vi lệch chuẩn bằng cách thay đổi chỉ dẫn hệ thống, thay đổi mức áp lực mà mô hình phải chịu, thay đổi mức rủi ro bị phát hiện mà mô hình cảm nhận, cũng như thực hiện một số thay đổi đơn giản khác trong môi trường. Theo hiểu biết của nhóm tác giả, đây là lần đầu tiên có một bản trình diễn cho thấy các mô hình ngôn ngữ lớn được huấn luyện để hữu ích, vô hại và trung thực lại có thể lừa dối người dùng một cách có chiến lược trong một tình huống thực tế mà không có chỉ thị trực tiếp hay huấn luyện để lừa dối.
We demonstrate a situation in which Large Language Models, trained to be helpful, harmless, and honest, can display misaligned behavior and strategically deceive their users about this behavior without being instructed to do so. Concretely, we deploy GPT-4 as an agent in a realistic, simulated environment, where it assumes the role of an autonomous stock trading agent. Within this environment, the model obtains an insider tip about a lucrative stock trade and acts upon it despite knowing that insider trading is disapproved of by company management. When reporting to its manager, the model consistently hides the genuine reasons behind its trading decision. We perform a brief investigation of how this behavior varies under changes to the setting, such as removing model access to a reasoning scratchpad, attempting to prevent the misaligned behavior by changing system instructions, changing the amount of pressure the model is under, varying the perceived risk of getting caught, and making other simple changes to the environment. To our knowledge, this is the first demonstration of Large Language Models trained to be helpful, harmless, and honest, strategically deceiving their users in a realistic situation without direct instructions or training for deception.
Liên kết bài báo
https://arxiv.org/abs/2311.07590
Đọc thêm
https://x.com/ESYudkowsky/status/1725226563992715521
Bản gốc
https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-e3d
Chưa có bình luận nào.