[2023/09/04 ~ 09/10] Các bài báo ML nổi bật trong tuần (Top ML Papers of the Week)

Tổng quan

Đây là bản dịch tự động các bài viết về những bài báo ML được DAIR.AI công bố hằng tuần.
Các bài báo tuần này chủ yếu xoay quanh công nghệ trí tuệ nhân tạo, đặc biệt tập trung vào Transformer và học tăng cường (Reinforcement Learning).

Transformer như máy vector hỗ trợ / Transformers as Support Vector Machines

Giới thiệu bài báo

• Nghiên cứu này phát hiện rằng hình học tối ưu hóa của self-attention trong Transformer có liên hệ với bài toán SVM hard-margin, đồng thời cho thấy gradient descent được áp dụng không cần dừng sớm dẫn đến sự điều chuẩn ngầm và hội tụ của self-attention; công trình này có tiềm năng giúp đào sâu hiểu biết về các mô hình ngôn ngữ.
  > Finds that the optimization geometry of self-attention in transformers exhibits a connection to hard-margin svm problems; also finds that gradient descent applied without early-stopping leads to implicit regularization and convergence of self-attention; this work has the potential to deepen the understanding of language models.

Tóm tắt bài báo

• Kể từ khi ra đời trong “Attention Is All You Need”, kiến trúc Transformer đã dẫn dắt những bước tiến mang tính cách mạng trong NLP. Lớp attention bên trong Transformer nhận một chuỗi token đầu vào $X$ và khiến chúng tương tác thông qua độ tương đồng theo cặp được tính bằng softmax $(XQK^\top X^\top)$, trong đó $(K,Q)$ là các tham số key-query có thể học được. Trong công trình này, nhóm tác giả thiết lập một sự tương đương hình thức giữa hình học tối ưu hóa của self-attention và một bài toán SVM hard-margin, bài toán này tách các token đầu vào tối ưu khỏi các token không tối ưu bằng các ràng buộc tuyến tính trên tích ngoài của các cặp token. Hình thức hóa này cho phép đặc trưng hóa thiên lệch ngầm của Transformer 1 lớp được tối ưu bằng gradient descent: (1) Tối ưu lớp attention với điều chuẩn triệt tiêu, được tham số hóa bởi $(K,Q)$, sẽ hội tụ theo hướng tới một nghiệm SVM tối thiểu hóa chuẩn hạt nhân của tham số kết hợp $W=KQ^\top$. Ngược lại, tham số hóa trực tiếp bằng $W$ sẽ tối thiểu hóa một mục tiêu chuẩn Frobenius. Chúng tôi đặc trưng hóa sự hội tụ này và nhấn mạnh rằng nó có thể xảy ra theo các hướng tối ưu cục bộ thay vì tối ưu toàn cục. (2) Bổ sung cho điều này, chúng tôi chứng minh sự hội tụ theo hướng cục bộ/toàn cục của gradient descent dưới các điều kiện hình học phù hợp. Điều quan trọng là chúng tôi cho thấy việc tham số hóa quá mức thúc đẩy hội tụ toàn cục bằng cách bảo đảm tính khả thi của bài toán SVM và bảo đảm một bề mặt tối ưu hóa thuận lợi không có các điểm dừng. (3) Dù lý thuyết của chúng tôi chủ yếu áp dụng cho các prediction head tuyến tính, chúng tôi đề xuất một sự tương đương SVM tổng quát hơn để dự đoán thiên lệch ngầm với các head phi tuyến. Các phát hiện của chúng tôi có thể áp dụng cho tập dữ liệu bất kỳ và được kiểm chứng tính hợp lệ qua thực nghiệm. Chúng tôi cũng giới thiệu một số vấn đề mở và hướng nghiên cứu. Chúng tôi tin rằng các kết quả này gợi mở cách diễn giải Transformer như một hệ thứ bậc các SVM có nhiệm vụ tách và lựa chọn các token tối ưu.
  > Since its inception in "Attention Is All You Need", transformer architecture has led to revolutionary advancements in NLP. The attention layer within the transformer admits a sequence of input tokens $X$ and makes them interact through pairwise similarities computed as softmax $(XQK^\top X^\top)$ , where $(K,Q)$ are the trainable key-query parameters. In this work, we establish a formal equivalence between the optimization geometry of self-attention and a hard-margin SVM problem that separates optimal input tokens from non-optimal tokens using linear constraints on the outer-products of token pairs. This formalism allows us to characterize the implicit bias of 1-layer transformers optimized with gradient descent: (1) Optimizing the attention layer with vanishing regularization, parameterized by $(K,Q)$, converges in direction to an SVM solution minimizing the nuclear norm of the combined parameter $W=KQ^\top$. Instead, directly parameterizing by $W$ minimizes a Frobenius norm objective. We characterize this convergence, highlighting that it can occur toward locally-optimal directions rather than global ones. (2) Complementing this, we prove the local/global directional convergence of gradient descent under suitable geometric conditions. Importantly, we show that over-parameterization catalyzes global convergence by ensuring the feasibility of the SVM problem and by guaranteeing a benign optimization landscape devoid of stationary points. (3) While our theory applies primarily to linear prediction heads, we propose a more general SVM equivalence that predicts the implicit bias with nonlinear heads. Our findings are applicable to arbitrary datasets and their validity is verified via experiments. We also introduce several open problems and research directions. We believe these findings inspire the interpretation of transformers as a hierarchy of SVMs that separates and selects optimal tokens.

Liên kết bài báo

https://arxiv.org/abs/2308.16898

RLAIF: Mở rộng học tăng cường từ phản hồi của con người bằng phản hồi AI / RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback

Giới thiệu bài báo

• Nghiên cứu này kiểm tra liệu RLAIF có phải là một phương án thay thế phù hợp cho RLHF hay không bằng cách so sánh hiệu quả của phản hồi từ con người và AI; sử dụng nhiều kỹ thuật khác nhau để tạo nhãn AI và thực hiện các nghiên cứu mở rộng nhằm báo cáo cấu hình tối ưu cho việc tạo ra các preference đã được căn chỉnh; phát hiện chính là trong tác vụ tóm tắt, các giám khảo là con người ưu tiên đầu ra từ cả RLAIF lẫn RLHF so với mô hình SFT cơ sở trong khoảng 70% trường hợp. #rlhf
  > Tests whether rlaif is a suitable alternative to rlhf by comparing the efficacy of human vs. ai feedback; uses different techniques to generate ai labels and conduct scaling studies to report optimal settings for generating aligned preferences; the main finding is that on the task of summarization, human evaluators prefer generations from both rlaif and rlhf over a baseline sft model in ∼70% of cases.

Tóm tắt bài báo

• Học tăng cường từ phản hồi của con người (RLHF) rất hiệu quả trong việc căn chỉnh các mô hình ngôn ngữ lớn (LLM) theo sở thích của con người, nhưng việc thu thập nhãn sở thích chất lượng cao từ con người là một nút thắt cổ chai lớn. Kết quả so sánh trực tiếp giữa RLHF và RLAIF (RL from AI Feedback) — kỹ thuật gán nhãn sở thích bằng một LLM có sẵn thay cho con người — cho thấy hai kỹ thuật này mang lại mức cải thiện tương tự nhau. Trong tác vụ tóm tắt, các giám định viên là con người ưu tiên đầu ra từ cả RLAIF và RLHF hơn mô hình fine-tune có giám sát cơ sở trong khoảng 70% trường hợp. Ngoài ra, khi được yêu cầu đánh giá bản tóm tắt của RLAIF so với RLHF, con người cho thấy mức độ ưu tiên dành cho hai bên là ngang nhau. Những kết quả này cho thấy RLAIF có thể đạt hiệu năng ở mức con người, đồng thời mở ra một lời giải tiềm năng cho các giới hạn về khả năng mở rộng của RLHF.
  > Reinforcement learning from human feedback (RLHF) is effective at aligning large language models (LLMs) to human preferences, but gathering high quality human preference labels is a key bottleneck. We conduct a head-to-head comparison of RLHF vs. RL from AI Feedback (RLAIF) - a technique where preferences are labeled by an off-the-shelf LLM in lieu of humans, and we find that they result in similar improvements. On the task of summarization, human evaluators prefer generations from both RLAIF and RLHF over a baseline supervised fine-tuned model in ~70% of cases. Furthermore, when asked to rate RLAIF vs. RLHF summaries, humans prefer both at equal rates. These results suggest that RLAIF can yield human-level performance, offering a potential solution to the scalability limitations of RLHF.

Liên kết bài báo

https://arxiv.org/abs/2309.00267

Đọc thêm

https://twitter.com/omarsar0/status/1699102486928265530

GPT có thể giải bài toán mà không cần máy tính / GPT Can Solve Mathematical Problems Without a Calculator

Giới thiệu bài báo

• Bài báo cho thấy rằng nếu có đủ dữ liệu huấn luyện, một mô hình ngôn ngữ 2b có thể thực hiện các phép toán số học nhiều bước với độ chính xác 100% mà không bị rò rỉ dữ liệu; đồng thời khi fine-tune từ GLM-10b trên một bộ dữ liệu có thêm các phép toán số học nhiều bước và các bài toán toán học chi tiết, mô hình này còn có thể cạnh tranh với GPT-4 trên tập kiểm tra 5 nghìn mẫu bài toán toán học tiếng Trung. #mathematical-reasoning #wizardmath
  > Shows that with sufficient training data, a 2b language model can perform multi-digit arithmetic operations with 100% accuracy and without data leakage; it’s also competitive with gpt-4 on 5k samples chinese math problem test set when fine-tuned from glm-10b on a dataset containing additional multi-step arithmetic operations and detailed math problems.

Tóm tắt bài báo

• Các nghiên cứu trước đây thường giả định rằng các mô hình ngôn ngữ lớn không thể thực hiện chính xác các phép toán số học nếu không dùng công cụ máy tính, đặc biệt là phép nhân với số có hơn 8 chữ số và các phép toán liên quan đến số thập phân và phân số. Bài báo này nhằm thách thức quan niệm sai lầm đó. Với đủ dữ liệu huấn luyện, một mô hình ngôn ngữ gồm 2 tỷ tham số có thể thực hiện chính xác các phép toán nhiều chữ số với độ chính xác gần như 100% mà không bị rò rỉ dữ liệu, vượt xa GPT-4 một cách đáng kể (trong khi độ chính xác của GPT-4 ở phép nhân nhiều chữ số chỉ là 4,3%). Bài báo cũng chứng minh rằng MathGLM, được fine-tune từ GLM-10B trên một bộ dữ liệu có bổ sung các phép toán số học nhiều bước và các bài toán toán học được mô tả bằng văn bản, đạt hiệu năng tương đương GPT-4 trên tập kiểm tra 5.000 mẫu bài toán toán học tiếng Trung.
  > Previous studies have typically assumed that large language models are unable to accurately perform arithmetic operations, particularly multiplication of >8 digits, and operations involving decimals and fractions, without the use of calculator tools. This paper aims to challenge this misconception. With sufficient training data, a 2 billion-parameter language model can accurately perform multi-digit arithmetic operations with almost 100% accuracy without data leakage, significantly surpassing GPT-4 (whose multi-digit multiplication accuracy is only 4.3%). We also demonstrate that our MathGLM, fine-tuned from GLM-10B on a dataset with additional multi-step arithmetic operations and math problems described in text, achieves similar performance to GPT-4 on a 5,000-samples Chinese math problem test set.

Liên kết bài báo

https://arxiv.org/abs/2309.03241

Đọc thêm

https://twitter.com/_akhaliq/status/1699951105927512399

Mô hình ngôn ngữ lớn như một bộ tối ưu hóa / Large Language Models as Optimizers

Giới thiệu bài báo

• Đây là một phương pháp trong đó bài toán tối ưu hóa được mô tả bằng ngôn ngữ tự nhiên; sau đó LLM được chỉ dẫn để lặp đi lặp lại việc tạo ra các lời giải mới dựa trên bài toán đã định nghĩa và các lời giải đã tìm được trước đó; ở mỗi bước tối ưu hóa, mục tiêu là tạo ra các prompt mới giúp tăng độ chính xác trên tập kiểm tra dựa trên quỹ đạo của các prompt đã được tạo trước; các prompt đã tối ưu hóa vượt trội so với các prompt do con người thiết kế trên GSM8K và BIG-Bench Hard, đôi khi hơn 50% #optimizing
  > An approach where the optimization problem is described in natural language; an llm is then instructed to iteratively generate new solutions based on the defined problem and previously found solutions; at each optimization step, the goal is to generate new prompts that increase test accuracy based on the trajectory of previously generated prompts; the optimized prompts outperform human-designed prompts on gsm8k and big-bench hard, sometimes by over 50%

Tóm tắt bài báo

• Tối ưu hóa hiện diện ở khắp mọi nơi. Dù các thuật toán dựa trên đạo hàm đã là công cụ mạnh mẽ cho nhiều loại bài toán, việc thiếu gradient lại gây ra thách thức trong nhiều ứng dụng thực tế. Nghiên cứu này đề xuất OPRO (Optimization by PROmpting), một phương pháp đơn giản và hiệu quả nhằm tận dụng mô hình ngôn ngữ lớn (LLM) như công cụ tối ưu hóa, trong đó bài toán tối ưu được mô tả bằng ngôn ngữ tự nhiên. Ở mỗi bước tối ưu, LLM tạo ra các lời giải mới từ prompt chứa những lời giải đã được tạo trước đó cùng với giá trị của chúng, sau đó các lời giải mới được đánh giá và thêm vào prompt cho bước tối ưu tiếp theo. Trước hết, nghiên cứu minh họa OPRO trên bài toán hồi quy tuyến tính và người bán hàng du lịch, rồi chuyển sang tối ưu prompt, nơi mục tiêu là tìm ra chỉ dẫn giúp tối đa hóa độ chính xác của tác vụ. Với nhiều LLM khác nhau, nghiên cứu chứng minh rằng các prompt tốt nhất được tối ưu bằng OPRO vượt trội hơn prompt do con người thiết kế tới 8% trên GSM8K và tới 50% trên các tác vụ Big-Bench Hard.
  > Optimization is ubiquitous. While derivative-based algorithms have been powerful tools for various problems, the absence of gradient imposes challenges on many real-world applications. In this work, we propose Optimization by PROmpting (OPRO), a simple and effective approach to leverage large language models (LLMs) as optimizers, where the optimization task is described in natural language. In each optimization step, the LLM generates new solutions from the prompt that contains previously generated solutions with their values, then the new solutions are evaluated and added to the prompt for the next optimization step. We first showcase OPRO on linear regression and traveling salesman problems, then move on to prompt optimization where the goal is to find instructions that maximize the task accuracy. With a variety of LLMs, we demonstrate that the best prompts optimized by OPRO outperform human-designed prompts by up to 8% on GSM8K, and by up to 50% on Big-Bench Hard tasks.

Liên kết bài báo

https://arxiv.org/abs/2309.03409

Đọc thêm

https://twitter.com/omarsar0/status/1700249035456598391

ImageBind-LLM: Tinh chỉnh chỉ dẫn đa phương thức / ImageBind-LLM: Multi-modality Instruction Tuning

Giới thiệu bài báo

• Trình bày imagebind-llm, một phương pháp tinh chỉnh chỉ dẫn đa phương thức cho LLM thông qua ImageBind. Mô hình này có thể phản hồi các chỉ dẫn từ nhiều modality khác nhau như âm thanh, đám mây điểm 3D và video, đồng thời vẫn duy trì chất lượng sinh ngôn ngữ cao; điều này đạt được bằng cách căn chỉnh bộ mã hóa thị giác của ImageBind với một LLM thông qua mạng bind có thể học được. #imagebind
  > Presents imagebind-llm, a multimodality instruction tuning method of llms via imagebind; this model can respond to instructions of diverse modalities such as audio, 3d point clouds, and video, including high language generation quality; this is achieved by aligning imagebind’s visual encoder with an llm via learnable bind network.

Tóm tắt bài báo

• Giới thiệu ImageBind-LLM, một phương pháp instruction tuning đa phương thức cho mô hình ngôn ngữ lớn (LLM) thông qua ImageBind. Trong khi các nghiên cứu trước đây chủ yếu tập trung vào instruction tuning cho ngôn ngữ và hình ảnh, ImageBind-LLM có thể đáp ứng các điều kiện đa phương thức như âm thanh, point cloud 3D, video và các phép toán trong không gian embedding chỉ với huấn luyện căn chỉnh hình ảnh-văn bản. Trong quá trình huấn luyện, phương pháp này sử dụng một bind network có thể học được để căn chỉnh không gian embedding giữa LLaMA và bộ mã hóa hình ảnh của ImageBind. Sau đó, các đặc trưng hình ảnh được bind network biến đổi sẽ được cộng vào các token từ ở mọi tầng của LLaMA, từ đó dần dần đưa chỉ dẫn thị giác vào thông qua cơ chế gating khởi tạo bằng 0 và không cần attention. Nhờ joint embedding của ImageBind, việc huấn luyện hình ảnh-văn bản đơn giản vẫn cho phép mô hình thể hiện khả năng tuân theo chỉ dẫn đa phương thức vượt trội. Trong quá trình suy luận, đầu vào đa phương thức được đưa vào các bộ mã hóa ImageBind tương ứng và được xử lý bởi mô hình visual cache được đề xuất để tăng cường thêm embedding xuyên phương thức. Mô hình cache không cần huấn luyện này truy xuất từ 3 triệu đặc trưng hình ảnh được trích xuất bởi ImageBind, qua đó giảm thiểu hiệu quả sự không khớp phương thức giữa huấn luyện và suy luận. Đáng chú ý, với cách tiếp cận này, ImageBind-LLM có thể phản hồi các chỉ dẫn ở nhiều dạng thức khác nhau và cho thấy chất lượng sinh ngôn ngữ đáng kể. Mã nguồn được công bố tại https://github.com/OpenGVLab/LLaMA-Adapter.
  > We present ImageBind-LLM, a multi-modality instruction tuning method of large language models (LLMs) via ImageBind. Existing works mainly focus on language and image instruction tuning, different from which, our ImageBind-LLM can respond to multi-modality conditions, including audio, 3D point clouds, video, and their embedding-space arithmetic by only image-text alignment training. During training, we adopt a learnable bind network to align the embedding space between LLaMA and ImageBind's image encoder. Then, the image features transformed by the bind network are added to word tokens of all layers in LLaMA, which progressively injects visual instructions via an attention-free and zero-initialized gating mechanism. Aided by the joint embedding of ImageBind, the simple image-text training enables our model to exhibit superior multi-modality instruction-following capabilities. During inference, the multi-modality inputs are fed into the corresponding ImageBind encoders, and processed by a proposed visual cache model for further cross-modal embedding enhancement. The training-free cache model retrieves from three million image features extracted by ImageBind, which effectively mitigates the training-inference modality discrepancy. Notably, with our approach, ImageBind-LLM can respond to instructions of diverse modalities and demonstrate significant language generation quality. Code is released at https://github.com/OpenGVLab/LLaMA-Adapter.

Liên kết bài báo

https://arxiv.org/abs/2309.03905

Đọc thêm

https://twitter.com/arankomatsuzaki/status/1699947731333345750

Giải thích grokking thông qua hiệu quả mạch / Explaining grokking through circuit efficiency

Giới thiệu bài báo

• Nhằm giải thích hành vi grokking trong mạng nơ-ron, đặc biệt dự đoán và chỉ ra hai hành vi mới. Hành vi thứ nhất là ungrokking, khi mô hình chuyển từ tổng quát hóa hoàn hảo sang ghi nhớ nếu tiếp tục được huấn luyện trên một tập dữ liệu nhỏ hơn ngưỡng tới hạn; hành vi thứ hai là semi-grokking, khi một mạng được khởi tạo ngẫu nhiên cho thấy sự chuyển đổi giống grokking khi được huấn luyện trên tập dữ liệu có kích thước tới hạn. #grokking
  > Aims to explain grokking behavior in neural networks; specifically, it predicts and shows two novel behaviors: the first is ungrokking where a model goes from perfect generalization to memorization when trained further on a smaller dataset than the critical threshold; the second is semi-grokking where a network demonstrates grokking-like transition when training a randomly initialized network on the critical dataset size.

Tóm tắt bài báo

• Một trong những câu đố đáng kinh ngạc nhất về khả năng khái quát hóa của mạng nơ-ron là hiện tượng 'grokking': một mạng có độ chính xác huấn luyện hoàn hảo nhưng khả năng khái quát hóa kém sẽ, sau khi được huấn luyện thêm, chuyển sang khái quát hóa hoàn hảo. Chúng tôi đề xuất rằng grokking xảy ra khi bài toán cho phép tồn tại cả một lời giải khái quát hóa và một lời giải ghi nhớ, trong đó lời giải khái quát hóa học chậm hơn nhưng hiệu quả hơn, tạo ra các logit lớn hơn với cùng chuẩn tham số. Chúng tôi đưa ra giả thuyết rằng các mạch ghi nhớ trở nên kém hiệu quả hơn khi tập dữ liệu huấn luyện lớn hơn, trong khi các mạch khái quát hóa thì không, cho thấy có một kích thước tập dữ liệu tới hạn tại đó ghi nhớ và khái quát hóa có hiệu quả ngang nhau. Chúng tôi đưa ra và xác nhận bốn dự đoán mới về grokking, cung cấp bằng chứng đáng kể ủng hộ cách giải thích của mình. Đáng chú ý nhất, chúng tôi chứng minh hai hành vi mới và bất ngờ: ungrokking, trong đó một mạng thoái lui từ độ chính xác kiểm thử hoàn hảo xuống thấp, và semi-grokking, trong đó một mạng thể hiện sự khái quát hóa bị trì hoãn sang mức độ chính xác kiểm thử một phần thay vì hoàn hảo.
  > One of the most surprising puzzles in neural network generalisation is grokking: a network with perfect training accuracy but poor generalisation will, upon further training, transition to perfect generalisation. We propose that grokking occurs when the task admits a generalising solution and a memorising solution, where the generalising solution is slower to learn but more efficient, producing larger logits with the same parameter norm. We hypothesise that memorising circuits become more inefficient with larger training datasets while generalising circuits do not, suggesting there is a critical dataset size at which memorisation and generalisation are equally efficient. We make and confirm four novel predictions about grokking, providing significant evidence in favour of our explanation. Most strikingly, we demonstrate two novel and surprising behaviours: ungrokking, in which a network regresses from perfect to low test accuracy, and semi-grokking, in which a network shows delayed generalisation to partial rather than perfect test accuracy.

Liên kết bài báo

https://arxiv.org/abs/2309.02390

Đọc thêm

https://twitter.com/VikrantVarma_/status/1699823229307699305

AI lừa dối: Khảo sát về các ví dụ, rủi ro và giải pháp tiềm năng / AI Deception: A Survey of Examples, Risks, and Potential Solutions

Giới thiệu bài báo

• Cung cấp một bài khảo sát về các ví dụ thực nghiệm của hành vi lừa dối trong AI. #bài_khảo_sát
  > Provides a survey of empirical examples of ai deception.

Tóm tắt bài báo

• Bài báo này cho rằng một loạt hệ thống AI hiện tại đã học cách lừa dối con người. Chúng tôi định nghĩa lừa dối là việc có hệ thống dẫn dắt đến các niềm tin sai lệch nhằm theo đuổi một kết quả nào đó khác với sự thật. Trước hết, chúng tôi khảo sát các ví dụ thực nghiệm về AI lừa dối, thảo luận cả các hệ thống AI chuyên dụng (bao gồm CICERO của Meta) được xây dựng cho những tình huống cạnh tranh cụ thể, lẫn các hệ thống AI đa dụng (như các mô hình ngôn ngữ lớn). Tiếp theo, chúng tôi trình bày chi tiết một số rủi ro từ AI lừa dối, như gian lận, thao túng bầu cử và mất kiểm soát đối với các hệ thống AI. Cuối cùng, chúng tôi phác thảo một số giải pháp tiềm năng cho các vấn đề do AI lừa dối đặt ra: thứ nhất, các khung pháp lý nên áp dụng những yêu cầu đánh giá rủi ro chặt chẽ đối với các hệ thống AI có khả năng lừa dối; thứ hai, các nhà hoạch định chính sách nên triển khai các luật bot-or-not; và cuối cùng, các nhà hoạch định chính sách nên ưu tiên tài trợ cho nghiên cứu liên quan, bao gồm các công cụ phát hiện AI lừa dối và làm cho các hệ thống AI ít mang tính lừa dối hơn. Các nhà hoạch định chính sách, nhà nghiên cứu và công chúng nói chung cần chủ động hành động để ngăn AI lừa dối làm mất ổn định những nền tảng chung của xã hội chúng ta.
  > This paper argues that a range of current AI systems have learned how to deceive humans. We define deception as the systematic inducement of false beliefs in the pursuit of some outcome other than the truth. We first survey empirical examples of AI deception, discussing both special-use AI systems (including Meta's CICERO) built for specific competitive situations, and general-purpose AI systems (such as large language models). Next, we detail several risks from AI deception, such as fraud, election tampering, and losing control of AI systems. Finally, we outline several potential solutions to the problems posed by AI deception: first, regulatory frameworks should subject AI systems that are capable of deception to robust risk-assessment requirements; second, policymakers should implement bot-or-not laws; and finally, policymakers should prioritize the funding of relevant research, including tools to detect AI deception and to make AI systems less deceptive. Policymakers, researchers, and the broader public should work proactively to prevent AI deception from destabilizing the shared foundations of our society.

Liên kết bài báo

https://arxiv.org/abs/2308.14752

Đọc thêm

https://twitter.com/DanHendrycks/status/1699437800301752332

FLM-101B: Một LLM mở và cách huấn luyện nó với ngân sách 100.000 USD / FLM-101B: An Open LLM and How to Train It with $100K Budget

Giới thiệu bài báo

• Với FLM-101B, một LLM mở mới có 101 tỷ tham số và 0,31TB token, có thể được huấn luyện với ngân sách 100.000 USD, các tác giả phân tích nhiều chiến lược tăng trưởng khác nhau, mở rộng số lượng tham số từ quy mô nhỏ lên lớn và cuối cùng áp dụng một chiến lược quyết liệt giúp giảm hơn 50% chi phí. Nói cách khác, ba mô hình được huấn luyện tuần tự, trong đó mỗi mô hình kế thừa tri thức từ mô hình tiền nhiệm nhỏ hơn (16b -> 51b -> 101b) trong khi vẫn đạt hiệu năng cạnh tranh.
  > A new open llm called flm-101b with 101b parameters and 0.31tb tokens which can be trained on a $100k budget; the authors analyze different growth strategies, growing the number of parameters from smaller sizes to large ones. they ultimately employ an aggressive strategy that reduces costs by >50%. in other words, three models are trained sequentially with each model inheriting knowledge from its smaller predecessor (16b -> 51b -> 101b) while achieving competitive performance.

Tóm tắt bài báo

• Các mô hình ngôn ngữ lớn (LLM) đã đạt được thành công đáng chú ý trong xử lý ngôn ngữ tự nhiên và các tác vụ đa phương thức. Dù vậy, việc phát triển các mô hình ngôn ngữ lớn vẫn đối mặt với hai thách thức chính: (i) chi phí tính toán cao và (ii) khó thực hiện các đánh giá công bằng, khách quan. Do LLM có chi phí cực kỳ đắt đỏ, chỉ một số ít tổ chức lớn mới có khả năng huấn luyện chúng, từ đó hạn chế cả cơ hội nghiên cứu lẫn ứng dụng. Điều này nhấn mạnh tầm quan trọng của việc huấn luyện LLM hiệu quả về chi phí. Trong bài báo này, chúng tôi sử dụng chiến lược tăng trưởng để giảm đáng kể chi phí huấn luyện LLM. Chúng tôi cho thấy một LLM với 101 tỷ tham số và 0,31TB token có thể được huấn luyện với ngân sách 100.000 USD. Chúng tôi cũng áp dụng một khuôn khổ đánh giá có hệ thống cho việc đánh giá IQ của LLM, nhằm bổ sung cho các đánh giá hiện có vốn tập trung nhiều hơn vào các năng lực thiên về tri thức. Chúng tôi giới thiệu một benchmark bao gồm các đánh giá về những khía cạnh quan trọng của trí tuệ như ánh xạ ký hiệu, hiểu quy tắc, khai phá mẫu và chống nhiễu. Những đánh giá này giảm thiểu tác động tiềm tàng của việc ghi nhớ máy móc. Kết quả thực nghiệm cho thấy mô hình FLM-101B của chúng tôi, được huấn luyện với ngân sách 100.000 USD, đạt hiệu năng tương đương với các mô hình mạnh và nổi tiếng như GPT-3 và GLM-130B, đặc biệt trong các đánh giá benchmark IQ với ngữ cảnh không xuất hiện trong dữ liệu huấn luyện. Checkpoint của FLM-101B sẽ được mã nguồn mở tại https://huggingface.co/CofeAI/FLM-101B.
  > Large language models (LLMs) have achieved remarkable success in NLP and multimodal tasks. Despite these successes, their development faces two main challenges: (i) high computational cost; and (ii) difficulty in conducting fair and objective evaluations. LLMs are prohibitively expensive, making it feasible for only a few major players to undertake their training, thereby constraining both research and application opportunities. This underscores the importance of cost-effective LLM training. In this paper, we utilize a growth strategy to significantly reduce LLM training cost. We demonstrate that an LLM with 101B parameters and 0.31TB tokens can be trained on a $100K budget. We also adopt a systematic evaluation paradigm for the IQ evaluation of LLMs, in complement to existing evaluations that focus more on knowledge-oriented abilities. We introduce our benchmark including evaluations on important aspects of intelligence including symbolic mapping, itrule understanding, pattern mining, and anti-interference. Such evaluations minimize the potential impact of memorization. Experimental results show that our model FLM-101B, trained with a budget of $100K, achieves comparable performance to powerful and well-known models, eg GPT-3 and GLM-130B, especially in the IQ benchmark evaluations with contexts unseen in training data. The checkpoint of FLM-101B will be open-sourced at https://huggingface.co/CofeAI/FLM-101B.

Liên kết bài báo

https://arxiv.org/abs/2309.03852

Đọc thêm

https://twitter.com/omarsar0/status/1700156132700963053

Kiến trúc nhận thức cho tác tử ngôn ngữ / Cognitive Architectures for Language Agents

Giới thiệu bài báo

• Đề xuất một khuôn khổ có hệ thống để hiểu và xây dựng các tác tử ngôn ngữ hoàn chỉnh bằng cách rút ra những điểm tương đồng từ các hệ thống sản xuất và kiến trúc nhận thức; khuôn khổ này hệ thống hóa nhiều phương pháp khác nhau cho suy luận, grounding, học tập và ra quyết định dựa trên LLM như những hiện thân của tác tử ngôn ngữ trong khuôn khổ đó.
  > Proposes a systematic framework for understanding and building fully-fledged language agents drawing parallels from production systems and cognitive architectures; it systematizes diverse methods for llm-based reasoning, grounding, learning, and decision making as instantiations of language agents in the framework.

Tóm tắt bài báo

• Những nỗ lực gần đây đã tích hợp mô hình ngôn ngữ lớn (LLM) với các tài nguyên bên ngoài (ví dụ: Internet) hoặc luồng điều khiển nội bộ (ví dụ: chuỗi prompt) cho các tác vụ cần grounding hoặc suy luận. Tuy nhiên, phần lớn những nỗ lực này vẫn mang tính chắp vá, thiếu một khung hệ thống để xây dựng một tác tử ngôn ngữ hoàn chỉnh. Để giải quyết thách thức này, chúng tôi dựa trên lịch sử phong phú của thiết kế tác tử trong AI ký hiệu để phát triển một bản thiết kế cho làn sóng mới của các tác tử ngôn ngữ nhận thức. Trước tiên, chúng tôi chỉ ra rằng LLM có nhiều thuộc tính giống với production system, và những nỗ lực gần đây nhằm cải thiện grounding hoặc suy luận của chúng phản ánh sự phát triển của các kiến trúc nhận thức được xây dựng xoay quanh production system. Sau đó, chúng tôi đề xuất Kiến trúc nhận thức cho tác tử ngôn ngữ (Cognitive Architectures for Language Agents, CoALA), một khung khái niệm nhằm hệ thống hóa các phương pháp đa dạng cho suy luận, grounding, học tập và ra quyết định dựa trên LLM như những cách hiện thực hóa tác tử ngôn ngữ trong khung này. Cuối cùng, chúng tôi sử dụng khung CoALA để làm nổi bật các khoảng trống và đề xuất những hướng đi khả thi hướng tới các tác tử ngôn ngữ có năng lực cao hơn trong tương lai.
  > Recent efforts have incorporated large language models (LLMs) with external resources (e.g., the Internet) or internal control flows (e.g., prompt chaining) for tasks requiring grounding or reasoning. However, these efforts have largely been piecemeal, lacking a systematic framework for constructing a fully-fledged language agent. To address this challenge, we draw on the rich history of agent design in symbolic artificial intelligence to develop a blueprint for a new wave of cognitive language agents. We first show that LLMs have many of the same properties as production systems, and recent efforts to improve their grounding or reasoning mirror the development of cognitive architectures built around production systems. We then propose Cognitive Architectures for Language Agents (CoALA), a conceptual framework to systematize diverse methods for LLM-based reasoning, grounding, learning, and decision making as instantiations of language agents in the framework. Finally, we use the CoALA framework to highlight gaps and propose actionable directions toward more capable language agents in the future.

Link bài báo

https://arxiv.org/abs/2309.02427

Đọc thêm

https://twitter.com/ShunyuYao12/status/1699396834983362690

Q-Transformer

Giới thiệu bài báo

• Đây là một phương pháp RL có khả năng mở rộng để huấn luyện các chính sách đa tác vụ từ các bộ dữ liệu offline quy mô lớn, tận dụng các bản demo của con người và dữ liệu được tự động thu thập; cho thấy hiệu năng tốt trên một bộ tác vụ thao tác robot ngoài thực tế lớn và đa dạng.
  > A scalable rl method for training multi-task policies from large offline datasets leveraging human demonstrations and autonomously collected data; shows good performance on a large diverse real-world robotic manipulation task suite.

Link bài báo

https://q-transformer.github.io/

Đọc thêm

https://twitter.com/YevgenChebotar/status/1699909244743815677

Bản gốc

https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-b88

---

• *Bài viết này là phần mô tả được tự động tóm tắt bằng mô hình GPT, nên có thể có nội dung chưa chính xác; vui lòng tham khảo bản gốc! *
• Nếu trong lúc đọc bạn phát hiện nội dung gượng gạo hoặc sai sót, mong bạn hãy cho biết qua phần bình luận! ‍♂️