[2023/12/11 ~ 12/17] Các bài báo ML nổi bật trong tuần (Top ML Papers of the Week)

 (discuss.pytorch.kr)
2 điểm bởi ninebow 2023-12-18 | Chưa có bình luận nào. | Chia sẻ qua WhatsApp

Tổng quan

  • Đây là bản dịch tự động bài viết về các bài báo ML được DAIR.AI công bố hằng tuần.

  • Xem qua các bài báo được chọn trong tuần này, có thể dễ dàng nhận thấy phần lớn đều xoay quanh nghiên cứu về 'LLM(Large Language Models)'. Cụ thể, dường như đã có các phân tích về mức độ ứng dụng và cải thiện hiệu năng của LLM trên nhiều chủ đề khác nhau như khám phá trong lĩnh vực toán học, bài toán tổng quát hóa, ứng dụng trong y học, và các phương pháp học vượt ra ngoài dữ liệu con người.

  • Xu hướng này phản ánh việc sự phát triển của LLM đang thu hút nhiều chú ý trong lĩnh vực trí tuệ nhân tạo những năm gần đây. Đặc biệt, kể từ khi các mô hình ngôn ngữ lớn như GPT-3 của OpenAI xuất hiện, khả năng ứng dụng của các mô hình này trong nhiều lĩnh vực đã được mở rộng đáng kể. Điều này cho thấy LLM không chỉ vượt ra ngoài xử lý văn bản đơn thuần mà còn có thể đóng vai trò quan trọng trong việc giải quyết các vấn đề phức tạp; các bài báo tuần này cũng cho thấy ảnh hưởng của chúng đang mở rộng tới cả những lĩnh vực truyền thống như toán học và y học. Ngoài ra, xu hướng coi trọng tính minh bạch và tính mở cũng nhấn mạnh tầm quan trọng của độ tin cậy và hợp tác trong nghiên cứu cũng như ứng dụng.

  • Bên cạnh đó, các bài báo như 'Weak-to-strong Generalization' hay 'Beyond Human Data for LLMs' gợi ý hướng nghiên cứu về năng lực tổng quát hóa và phương pháp học của LLM; có thể xem đây là những nỗ lực nhằm thoát khỏi môi trường học còn hạn chế hiện nay của LLM để phát triển các cơ chế học mạnh mẽ hơn. Xu hướng này cho thấy nghiên cứu về LLM đang không chỉ tập trung vào việc cải thiện hiệu năng đơn thuần mà còn hướng tới việc nâng cao đột phá năng lực tổng quát hóa và tính hữu ích của mô hình.

LLM cho các khám phá trong khoa học toán học / LLMs for Discoveries in Mathematical Sciences

Giới thiệu bài báo

  • Nghiên cứu này sử dụng LLM để tìm kiếm lời giải mới trong toán học và khoa học máy tính, đồng thời đề xuất funsearch kết hợp một LLM đã tiền huấn luyện với bộ đánh giá có hệ thống, rồi lặp lại quá trình này để phát triển các chương trình có điểm thấp thành các chương trình có điểm cao giúp khám phá tri thức mới; một trong những kết quả cốt lõi của nghiên cứu là việc bảo vệ trước hiện tượng ảo giác của LLM là rất quan trọng để tạo ra các khám phá toán học và giải quyết những bài toán thực tế khác.

    Uses llms to search for new solutions in mathematics & computer science; proposes funsearch which combines a pre-trained llm with a systematic evaluator and iterates over them to evolve low-scoring programs into high-scoring ones discovering new knowledge; one of the key findings in this work is that safeguarding against llm hallucinations is important to produce mathematical discoveries and other real-world problems.

Liên kết bài báo

https://www.nature.com/articles/s41586-023-06924-6

Đọc thêm

https://x.com/GoogleDeepMind/status/1735332722208284797

Tổng quát hóa từ yếu đến mạnh / Weak-to-strong Generalization

Giới thiệu bài báo

  • Nghiên cứu xem liệu sự giám sát từ mô hình yếu có thể khơi gợi toàn bộ năng lực của các mô hình mạnh hơn hay không, và phát hiện rằng khi tinh chỉnh một cách ngây thơ các mô hình tiền huấn luyện mạnh trên các nhãn do mô hình yếu tạo ra, chúng có thể đạt hiệu năng tốt hơn mô hình giám sát yếu; đồng thời báo cáo rằng khi tinh chỉnh GPT-4 với một bộ giám sát ở mức GPT-2, có thể khôi phục hiệu năng gần mức GPT-3.5 trên các tác vụ NLP.

    Studies whether weak model supervision can elicit the full capabilities of stronger models; finds that when naively fine-tuning strong pretrained models on weak model generated labels they can perform better than their weak supervisors; reports that finetuning gpt-4 with a gpt-2-level supervisor it’s possible to recover close to gpt-3.5-level performance on nlp tasks.

Liên kết bài báo

https://cdn.openai.com/papers/weak-to-strong-generalization.pdf

Đọc thêm

https://x.com/OpenAI/status/1735349718765715913

Audiobox

Giới thiệu bài báo

  • Một mô hình hợp nhất dựa trên flow-matching có khả năng tạo ra nhiều modality âm thanh khác nhau; thiết kế prompt dựa trên mô tả và dựa trên ví dụ để tăng khả năng điều khiển và hợp nhất các mô hình tạo giọng nói và âm thanh; điều chỉnh mục tiêu infilling tự giám sát để có thể tiền huấn luyện trên lượng lớn dữ liệu âm thanh không gắn nhãn; cho hiệu năng tốt trong tạo giọng nói và âm thanh, đồng thời mở ra những phương thức mới để tạo âm thanh với phong cách giọng hát và âm học mới lạ.

    A unified model based on flow-matching capable of generating various audio modalities; designs description-based and example-based prompting to enhance controllability and unify speech and sound generation paradigms; adapts a self-supervised infilling objective to pre-train on large quantities of unlabeled audio; performs well on speech and sound generation and unlocks new methods for generating audio with novel vocal and acoustic styles.

Liên kết bài báo

https://ai.meta.com/research/publications/…

Đọc thêm

https://x.com/AIatMeta/status/1734257634008531453

Mô hình ngôn ngữ toán học: Khảo sát / Mathematical Language Models: A Survey

Giới thiệu bài báo

  • Một bài khảo sát về tiến triển của LLM đối với các tác vụ toán học, bao quát các bài báo và tài nguyên về nghiên cứu LLM xoay quanh các kỹ thuật prompting và các tác vụ như giải toán đố bằng lời và chứng minh định lý.

    A survey on the progress of llms on mathematical tasks; covers papers and resources on llm research around prompting techniques and tasks such as math word problem-solving and theorem proving.

Tóm tắt bài báo

  • Trong vài năm gần đây, đã có những tiến bộ đáng kể trong việc tận dụng các mô hình ngôn ngữ (LM), bao gồm mô hình ngôn ngữ tiền huấn luyện (PLM) và mô hình ngôn ngữ quy mô lớn (LLM), trong lĩnh vực toán học. Bài báo này thực hiện một khảo sát toàn diện về các LM cho toán học, phân loại một cách hệ thống những nỗ lực nghiên cứu then chốt từ hai góc nhìn riêng biệt: tác vụ và phương pháp luận. Bức tranh toàn cảnh cho thấy số lượng lớn các LLM toán học đã được đề xuất, và chúng tiếp tục được chia thành học theo chỉ dẫn, phương pháp dựa trên công cụ, kỹ thuật CoT cơ bản và phương pháp CoT nâng cao. Ngoài ra, khảo sát này còn tổng hợp hơn 60 bộ dữ liệu toán học, bao gồm bộ dữ liệu huấn luyện, bộ dữ liệu benchmark và bộ dữ liệu tăng cường. Bằng cách giải quyết các thách thức chính và phác họa các hướng đi tương lai trong lĩnh vực LM toán học, khảo sát này được xem là một nguồn tài liệu giá trị, có thể thúc đẩy và truyền cảm hứng cho những đổi mới trong tương lai giữa các nhà nghiên cứu đang đầu tư vào việc phát triển lĩnh vực này.
    > In recent years, there has been remarkable progress in leveraging Language Models (LMs), encompassing Pre-trained Language Models (PLMs) and Large-scale Language Models (LLMs), within the domain of mathematics. This paper conducts a comprehensive survey of mathematical LMs, systematically categorizing pivotal research endeavors from two distinct perspectives: tasks and methodologies. The landscape reveals a large number of proposed mathematical LLMs, which are further delineated into instruction learning, tool-based methods, fundamental CoT techniques, and advanced CoT methodologies. In addition, our survey entails the compilation of over 60 mathematical datasets, including training datasets, benchmark datasets, and augmented datasets. Addressing the primary challenges and delineating future trajectories within the field of mathematical LMs, this survey is positioned as a valuable resource, poised to facilitate and inspire future innovation among researchers invested in advancing this domain.

Link bài báo

https://arxiv.org/abs/2312.07622

Đọc thêm

https://x.com/omarsar0/status/1735323577392542084

LLM360: Hướng tới LLM mã nguồn mở hoàn toàn minh bạch / LLM360: Towards Fully Transparent Open-Source LLMs

Giới thiệu bài báo

  • Đề xuất LLM360 nhằm hỗ trợ nghiên cứu AI mở và mang tính cộng tác bằng cách làm cho toàn bộ quy trình huấn luyện LLM đầu cuối trở nên minh bạch và có thể tái lập; đồng thời phát hành hai LLM 7B tham số được tiền huấn luyện từ đầu là Amber và CrystalCoder, bao gồm mã huấn luyện, dữ liệu, checkpoint trung gian và các phân tích.
    > Proposes llm360 to support open and collaborative ai research by making the end-to-end llm training process transparent and reproducible; releases 7b parameter llms pre-trained from scratch, amber and crystalcoder, including their training code, data, intermediate checkpoints, and analyses.

Tóm tắt bài báo

  • Sự bùng nổ gần đây của các mô hình ngôn ngữ lớn (LLM) mã nguồn mở như LLaMA, Falcon và Mistral đã mang lại nhiều lựa chọn đa dạng cho các chuyên gia và nhà nghiên cứu AI. Tuy nhiên, phần lớn các LLM mới chỉ công bố một phần artifact, chẳng hạn như trọng số mô hình cuối cùng hoặc mã suy luận, và các báo cáo kỹ thuật ngày càng bị giới hạn ở các lựa chọn thiết kế cấp cao cùng những thống kê bề mặt. Những lựa chọn này cản trở sự tiến bộ của lĩnh vực bằng cách làm suy giảm tính minh bạch trong quá trình huấn luyện LLM và buộc các nhóm phải tự khám phá lại nhiều chi tiết trong quy trình huấn luyện. Unity giới thiệu LLM360, một sáng kiến nhằm mã nguồn mở hoàn toàn các LLM, kêu gọi công khai toàn bộ mã huấn luyện và dữ liệu, checkpoint mô hình và các kết quả trung gian cho cộng đồng. Mục tiêu của LLM360 là hỗ trợ nghiên cứu AI mở và mang tính cộng tác bằng cách giúp mọi người có thể theo dõi quy trình huấn luyện LLM đầu cuối một cách minh bạch và có thể tái lập. Là bước đầu tiên của LLM360, Unity công bố hai LLM 7B tham số được tiền huấn luyện từ đầu là Amber và CrystalCoder, bao gồm mã huấn luyện, dữ liệu, checkpoint trung gian và các phân tích (tại https://www.llm360.ai). Unity cam kết tiếp tục mở rộng giới hạn của LLM thông qua nỗ lực mã nguồn mở này. Những mô hình lớn hơn và mạnh hơn đang được phát triển và sẽ được phát hành trong tương lai.
    > The recent surge in open-source Large Language Models (LLMs), such as LLaMA, Falcon, and Mistral, provides diverse options for AI practitioners and researchers. However, most LLMs have only released partial artifacts, such as the final model weights or inference code, and technical reports increasingly limit their scope to high-level design choices and surface statistics. These choices hinder progress in the field by degrading transparency into the training of LLMs and forcing teams to rediscover many details in the training process. We present LLM360, an initiative to fully open-source LLMs, which advocates for all training code and data, model checkpoints, and intermediate results to be made available to the community. The goal of LLM360 is to support open and collaborative AI research by making the end-to-end LLM training process transparent and reproducible by everyone. As a first step of LLM360, we release two 7B parameter LLMs pre-trained from scratch, Amber and CrystalCoder, including their training code, data, intermediate checkpoints, and analyses (at https://www.llm360.ai). We are committed to continually pushing the boundaries of LLMs through this open-source effort. More large-scale and stronger models are underway and will be released in the future.

Link bài báo

https://arxiv.org/abs/2312.06550

Đọc thêm

https://x.com/omarsar0/status/1734591071575744820

Khảo sát về các mô hình ngôn ngữ lớn trong y học: nguyên lý, ứng dụng và thách thức / A Survey of Large Language Models in Medicine: Principles, Applications, and Challenges

Giới thiệu bài báo

  • Một khảo sát toàn diện về machine learning trong lĩnh vực y học (phân tích hơn 300 bài báo), bao gồm tổng quan về các nguyên lý, ứng dụng và thách thức mà machine learning trong y học đang đối mặt.
    > A comprehensive survey (analyzing 300+ papers) on llms in medicine; includes an overview of the principles, applications, and challenges faced by llms in medicine.

Tóm tắt bài báo

  • Các mô hình ngôn ngữ lớn (LLM) như ChatGPT đã thu hút sự chú ý đáng kể nhờ khả năng hiểu và tạo ngôn ngữ của con người đầy ấn tượng. Vì vậy, việc áp dụng LLM trong y học để hỗ trợ bác sĩ và chăm sóc bệnh nhân đang nổi lên như một hướng nghiên cứu đầy hứa hẹn trong cả trí tuệ nhân tạo lẫn y học lâm sàng. Phản ánh xu hướng này, khảo sát này cung cấp một cái nhìn tổng quan toàn diện về các nguyên lý, ứng dụng và thách thức của LLM trong y học. Cụ thể, bài viết nhằm trả lời các câu hỏi sau: 1) Có thể xây dựng LLM y khoa như thế nào? 2) Hiệu năng downstream của LLM y khoa ra sao? 3) Có thể sử dụng LLM y khoa như thế nào trong thực hành lâm sàng thực tế? 4) Việc sử dụng LLM y khoa phát sinh những thách thức gì? và 5) Làm thế nào để xây dựng và khai thác LLM y khoa tốt hơn? Kết quả là, khảo sát này nhằm cung cấp những hiểu biết sâu sắc về các cơ hội và thách thức của LLM trong y học, đồng thời đóng vai trò như một tài liệu giá trị để xây dựng các LLM y khoa thiết thực và hiệu quả. Danh sách các hướng dẫn thực tiễn về LLM y khoa được cập nhật thường xuyên có tại https://github.com/AI-in-Health/MedLLMsPracticalGuide.
    > Large language models (LLMs), such as ChatGPT, have received substantial attention due to their impressive human language understanding and generation capabilities. Therefore, the application of LLMs in medicine to assist physicians and patient care emerges as a promising research direction in both artificial intelligence and clinical medicine. To reflect this trend, this survey provides a comprehensive overview of the principles, applications, and challenges faced by LLMs in medicine. Specifically, we aim to address the following questions: 1) How can medical LLMs be built? 2) What are the downstream performances of medical LLMs? 3) How can medical LLMs be utilized in real-world clinical practice? 4) What challenges arise from the use of medical LLMs? and 5) How can we better construct and utilize medical LLMs? As a result, this survey aims to provide insights into the opportunities and challenges of LLMs in medicine and serve as a valuable resource for constructing practical and effective medical LLMs. A regularly updated list of practical guides on medical LLMs can be found at https://github.com/AI-in-Health/MedLLMsPracticalGuide.

Liên kết bài báo

https://arxiv.org/abs/2311.05112

Đọc thêm

https://x.com/omarsar0/status/1734599425568231513

Vượt ra ngoài dữ liệu do con người tạo ra: Mở rộng tự huấn luyện để giải quyết vấn đề với mô hình ngôn ngữ / Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models

Giới thiệu bài báo

  • Đề xuất một cách tiếp cận tự huấn luyện có phản hồi, có thể giảm đáng kể sự phụ thuộc vào dữ liệu do con người tạo ra; việc kết hợp dữ liệu do mô hình sinh ra với hàm phần thưởng giúp cải thiện hiệu năng của machine learning trong các tác vụ giải quyết vấn đề.
    > Proposes an approach for self-training with feedback that can substantially reduce dependence on human-generated data; the model-generated data combined with a reward function improves the performance of llms on problem-solving tasks.

Tóm tắt bài báo

  • Việc fine-tune mô hình ngôn ngữ (LM) trên dữ liệu do con người tạo ra vẫn là một thực hành phổ biến. Tuy nhiên, hiệu năng của các mô hình như vậy thường bị giới hạn bởi số lượng và độ đa dạng của dữ liệu con người chất lượng cao. Trong bài báo này, các tác giả khám phá liệu có thể vượt ra ngoài dữ liệu con người trong các tác vụ mà ta có quyền truy cập vào phản hồi vô hướng hay không, chẳng hạn các bài toán mà có thể kiểm tra được đáp án đúng sai. Để làm điều đó, họ nghiên cứu một phương pháp tự huấn luyện đơn giản dựa trên expectation-maximization, được gọi là ReST $^{EM}$, trong đó (1) tạo mẫu từ mô hình và lọc chúng bằng phản hồi nhị phân, (2) fine-tune mô hình trên các mẫu này, và (3) lặp lại quá trình này một vài lần. Khi thử nghiệm trên các benchmark suy luận toán học nâng cao MATH và benchmark lập trình APPS bằng các mô hình PaLM-2, họ phát hiện ReST $^{EM}$ mở rộng thuận lợi theo kích thước mô hình và vượt trội đáng kể so với việc chỉ fine-tune trên dữ liệu con người. Nhìn chung, các phát hiện cho thấy tự huấn luyện có phản hồi có thể giảm đáng kể sự phụ thuộc vào dữ liệu do con người tạo ra.
    > Fine-tuning language models(LMs) on human-generated data remains a prevalent practice. However, the performance of such models is often limited by the quantity and diversity of high-quality human data. In this paper, we explore whether we can go beyond human data on tasks where we have access to scalar feedback, for example, on math problems where one can verify correctness. To do so, we investigate a simple self-training method based on expectation-maximization, which we call ReST $^{EM}$, where we (1) generate samples from the model and filter them using binary feedback, (2) fine-tune the model on these samples, and (3) repeat this process a few times. Testing on advanced MATH reasoning and APPS coding benchmarks using PaLM-2 models, we find that ReST $^{EM}$ scales favorably with model size and significantly surpasses fine-tuning only on human data. Overall, our findings suggest self-training with feedback can substantially reduce dependence on human-generated data.

Liên kết bài báo

https://arxiv.org/abs/2312.06585

Đọc thêm

https://x.com/omarsar0/status/1734953578274386002

Gaussian-SLAM

Giới thiệu bài báo

  • Đây là phương pháp SLAM RGBD neural có khả năng tái dựng chân thực các cảnh thực tế mà không làm giảm tốc độ và hiệu quả; phương pháp này mở rộng cách tiếp cận Gaussian 3D cổ điển cho biểu diễn cảnh nhằm khắc phục các hạn chế của những phương pháp trước đó.
    > A neural rgbd slam method capable of photorealistically reconstructing real-world scenes without compromising speed and efficiency; extends classical 3d gaussians for scene representation to overcome the limitations of the previous methods.

Liên kết bài báo

https://vladimiryugay.github.io/gaussian_slam/

Đọc thêm

https://x.com/vlyug/status/1734683948440252480

Pearl: Tác nhân học tăng cường sẵn sàng cho production / Pearl: A Production-ready Reinforcement Learning Agent

Giới thiệu bài báo

  • Giới thiệu một gói phần mềm tác nhân AI hỗ trợ production mới, cho phép các nhà nghiên cứu và người làm thực tiễn phát triển các tác nhân AI học tăng cường có thể thích nghi với những môi trường có khả năng quan sát hạn chế, phản hồi thưa thớt và tính ngẫu nhiên cao.
    > Introduces a new production-ready rl agent software package that enables researchers and practitioners to develop rl ai agents that adapt to environments with limited observability, sparse feedback, and high stochasticity.

Tóm tắt bài báo

  • Học tăng cường (RL) cung cấp một framework linh hoạt để đạt được các mục tiêu dài hạn. Tính tổng quát này cho phép chúng ta mô hình hóa nhiều dạng vấn đề mà các hệ thống thông minh ngoài thực tế gặp phải, như xử lý phần thưởng bị trì hoãn, xử lý khả năng quan sát một phần, giải quyết bài toán cân bằng giữa khám phá và khai thác, tận dụng dữ liệu offline để cải thiện hiệu năng online, và bảo đảm các ràng buộc an toàn được đáp ứng. Mặc dù cộng đồng nghiên cứu RL đã đạt được tiến bộ đáng kể trong việc giải quyết các vấn đề này, các thư viện RL mã nguồn mở hiện có vẫn thường chỉ tập trung vào một phần hẹp của pipeline giải pháp RL và gần như bỏ ngỏ những khía cạnh khác. Bài báo này giới thiệu Pearl, một gói phần mềm tác nhân RL sẵn sàng cho production, được thiết kế rõ ràng theo hướng mô-đun để tiếp nhận các thách thức này. Ngoài việc trình bày các kết quả benchmark ban đầu, bài báo còn nêu bật các trường hợp Pearl được doanh nghiệp áp dụng để chứng minh mức độ sẵn sàng cho sử dụng trong production. Pearl được mã nguồn mở trên Github tại github.com/facebookresearch/pearl và website chính thức là pearlagent.github.io.
    > Reinforcement Learning (RL) offers a versatile framework for achieving long-term goals. Its generality allows us to formalize a wide range of problems that real-world intelligent systems encounter, such as dealing with delayed rewards, handling partial observability, addressing the exploration and exploitation dilemma, utilizing offline data to improve online performance, and ensuring safety constraints are met. Despite considerable progress made by the RL research community in addressing these issues, existing open-source RL libraries tend to focus on a narrow portion of the RL solution pipeline, leaving other aspects largely unattended. This paper introduces Pearl, a Production-ready RL agent software package explicitly designed to embrace these challenges in a modular fashion. In addition to presenting preliminary benchmark results, this paper highlights Pearl's industry adoptions to demonstrate its readiness for production usage. Pearl is open sourced on Github at github.com/facebookresearch/pearl and its official website is located at pearlagent.github.io.

Liên kết bài báo

https://arxiv.org/abs/2312.03814

Đọc thêm

https://x.com/ZheqingZhu/status/1732880717263352149

Quip / Quip

Giới thiệu bài báo

  • Nén các trọng số mô hình đã được huấn luyện sang định dạng độ chính xác thấp hơn để giảm yêu cầu bộ nhớ; cách tiếp cận này kết hợp lattice codebook với xử lý incoherence để tạo ra các mô hình lượng tử hóa 2 bit; qua đó thu hẹp đáng kể khoảng cách giữa LLM lượng tử hóa 2 bit và mô hình 16 bit không lượng tử hóa.
    > Compresses trained model weights into a lower precision format to reduce memory requirements; the approach combines lattice codebooks with incoherence processing to create 2 bit quantized models; significantly closes the gap between 2 bit quantized llms and unquantized 16 bit models.

Liên kết bài báo

https://cornell-relaxml.github.io/quip-sharp/

Đọc thêm

https://x.com/tsengalb99/status/1733222467953422702

Bản gốc

https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-c22

Bài viết liên quan

Chưa có bình luận nào.

Chưa có bình luận nào.