Học cách suy nghĩ bằng Meta Chain-of-Thought
(arxiv.org)- Meta Chain-of-Thought (Meta-CoT) là một framework nhằm vượt ra ngoài CoT chỉ viết các bước giải cuối cùng, để mô hình hóa cả quá trình suy nghĩ tiềm ẩn trước khi đi đến đáp án
- Với các bài toán khó, lời giải cuối cùng kiểu sách giáo khoa thường lược bỏ phần tìm kiếm, kiểm chứng và thử nghiệm trong tư duy thực tế, khiến mô hình khó học được quá trình tạo ra lời giải
- GPT-4o và Claude cũng có thể thất bại ở một số phép đánh giá biểu thức đại số, nhưng CoT “step by step” làm tăng các phép tính trung gian, nâng khả năng ra đáp án đúng và bộc lộ khác biệt về lượng tính toán suy luận
- Dòng OpenAI o1 tạo đầu ra dài hơn và nới rộng khoảng cách hiệu năng trên các benchmark toán học khó như HARP, cho thấy hành vi gần với tìm kiếm tại thời điểm inference
- Lộ trình triển khai Meta-CoT được đề xuất như một pipeline huấn luyện kết hợp giám sát quá trình, dữ liệu tổng hợp, tìm kiếm MCTS/A*, instruction tuning dựa trên vết tìm kiếm đã tuyến tính hóa, và hậu huấn luyện bằng học tăng cường
Vấn đề mà Meta-CoT nhắm tới
- Nền tảng hiện tại của các mô hình ngôn ngữ lớn là dự đoán token tiếp theo: chia văn bản hoặc các modality liên tục thành chuỗi token rời rạc, rồi học để tối đa hóa khả năng xảy ra của token kế tiếp
- Cách tiếp cận này dựa trên quan điểm “compression is intelligence”
- Để dự đoán token tiếp theo, mô hình phải xấp xỉ phân phối dữ liệu và thực hiện suy luận ngầm trong các giá trị kích hoạt
- Câu hỏi cốt lõi là mối quan hệ giữa độ phức tạp của luồng dữ liệu và năng lực của mô hình trong việc học thuật toán sinh dữ liệu
- Suy luận toán học được dùng như một lĩnh vực phù hợp để đánh giá câu hỏi này
- Với bài như “1+2”, hầu hết mô hình trả lời ngay là “3”
- Các bài đánh giá biểu thức đại số phức tạp hơn thực ra rút gọn về 1, nhưng ngay cả các LLM mạnh như GPT-4o và Claude cũng có thể không trả lời đúng lần nào
- Chỉ dẫn “think step by step” và CoT buộc mô hình tạo các bước trung gian, từ đó kéo hiệu năng lên đáng kể
- Trong ví dụ biểu thức đại số, mô hình cho thấy giá trị bằng 1 thông qua phân tích nhân tử, rút gọn phân số và tính mẫu số chung
Hạn chế của CoT hiện có
- Về mặt lý thuyết, mở rộng CoT cho phép đưa một lượng tính toán tùy ý lớn vào việc dự đoán token đáp án đúng
- Các tài liệu lý thuyết hiện có cho rằng CoT mang lại cho LLM một mức độ phức tạp biểu đạt mới, và trong các giả định như bộ nhớ vô hạn, thậm chí có thể đạt tính đầy đủ Turing
- Trên thực tế, LLM vẫn chỉ giải ổn định được các bài toán có độ phức tạp giới hạn
- Quá trình sinh dữ liệu thực tế của suy luận phức tạp không được chứa đủ trong dữ liệu CoT thông thường
- Quy trình giải kiểu sách giáo khoa của bài đơn giản tương đối khớp với quá trình tạo lời giải thực tế
- Các bước lời giải cuối cùng của bài phức tạp lược bỏ quá trình tìm kiếm phi tuyến trước khi đi đến lời giải đó
Định nghĩa Meta Chain-of-Thought
- Meta-CoT mô hình hóa các suy nghĩ tiềm ẩn
z1 ... zKtồn tại trước khi đi thẳng từ câu hỏi đến các bước giải cuối cùng và đáp án - CoT cổ điển có thể được xem là đáp án
ađược điều kiện hóa bởi các bước giảis1 ... sn - Meta-CoT xem các bước giải và đáp án
(a, s1 ... sn)là được điều kiện hóa bởi quá trình suy nghĩ tiềm ẩnz1 ... zK - Đây là cấu trúc tổng quát hóa logic CoT hiện có thêm một bậc, đưa quá trình tư duy nằm ngoài lời giải cuối cùng vào mục tiêu học
- Với các bài phức tạp, dù lời giải cuối cùng có thể ngắn, quá trình phát hiện ra lời giải đó có thể dài và phi tuyến
Trường hợp bài toán “windmill” IMO 2011
- Bài toán windmill nổi tiếng của International Mathematics Olympiad 2011 được dùng làm ví dụ về suy luận phức tạp
- Lời giải công khai của bài này có thể diễn đạt trong vài câu và không đòi hỏi kiến thức nền đặc biệt
- Điểm khó thực sự nằm ở việc lời giải có cấu trúc rất phi tuyến
- Nhiều thí sinh đã thử dùng cấu trúc convex hull hoặc công cụ của Hamiltonian graph theory nhưng không đi tới lời giải
- Những thí sinh giải được bài đã đi theo cách tiếp cận mang tính thử nghiệm, bao gồm nhiều tìm kiếm hình học và suy luận quy nạp
- Phần xây dựng ban đầu của lời giải cuối cùng chỉ cho thấy tính hữu ích khi đã biết toàn bộ cách tiếp cận
- Vì vậy, quá trình tạo lời giải thực tế không khớp tốt với cách tự hồi quy đi từ trái sang phải
Kết quả HARP và cách dòng o1 sử dụng token
- Dòng mô hình OpenAI o1 được thảo luận là thực hiện suy luận Meta-CoT theo cách tự hồi quy tại thời điểm inference
- Trên benchmark toán học HARP, dòng o1 nhìn chung đạt hiệu năng cao hơn các mô hình suy luận tiêu chuẩn hiện có
- Bài toán càng khó, khoảng cách hiệu năng giữa o1 và các mô hình khác càng lớn
- Tuy nhiên, có quan sát thấy một ngoại lệ thú vị ở mô hình LLaMa 3.1
- Về lượng token tạo ra, dòng o1 cũng thể hiện hành vi khác với các mô hình hiện có
- Ở bài Level 1, nó tạo số token tương tự lời giải do con người viết
- Ở độ khó cao hơn, nó tạo nhiều token hơn hẳn cho mỗi bài, đồng thời khoảng cách hiệu năng so với các mô hình hiện có cũng lớn hơn
- Lời giải công khai của các bài khó không đại diện cho quá trình sinh thực tế, dẫn đến giả định rằng Meta-CoT dài hơn của dòng o1 có thể xấp xỉ quá trình đó tốt hơn
Vai trò của tìm kiếm và kiểm chứng
- Trong các bài toán phức tạp hướng mục tiêu, có thể tồn tại khoảng cách độ khó đáng kể giữa tạo sinh và kiểm chứng
- Khoảng cách này liên quan đến các bài toán mở nền tảng của khoa học máy tính lý thuyết, nhưng việc chứng minh điều đó nằm ngoài phạm vi nghiên cứu
- Đáp án cho các bài khó trong kho văn bản có thể được xem là kết quả của một quá trình tìm kiếm dài
- Tuy nhiên, bản thân quá trình tìm kiếm đó thường không được biểu diễn trong dữ liệu
- Nếu dữ liệu Meta-CoT không có hoặc chỉ tồn tại hạn chế, mô hình khó học trực tiếp quá trình sinh thực tế của suy luận khó
Thí nghiệm LLaMa 3.1 8B
- Nhóm thực hiện supervised fine-tuning quy mô lớn trên base model LLaMa 3.1 8B bằng dataset Numina MATH
- Mỗi checkpoint trung gian được đánh giá trên bộ đánh giá 500 bài của Hendrycks MATH
- Trong đánh giá pass@k sử dụng oracle verifier, có quan sát thấy hiệu năng tăng mạnh khi k tăng
- Figure 2 cho thấy dataset đã lọc có scaling tốt hơn dữ liệu gốc và vẫn chưa đạt plateau
- Khi tăng k từ pass@2 đến pass@64, xác suất thu được ít nhất một lời giải đúng cũng tăng đáng kể ngay cả với mô hình nhỏ
Lộ trình huấn luyện và các câu hỏi mở
- Các phương pháp để tạo Meta-CoT gồm giám sát quá trình và sinh dữ liệu tổng hợp dựa trên tìm kiếm
- Việc sinh Meta-CoT tổng hợp bao gồm các thuật toán tìm kiếm như Monte Carlo Tree Search (MCTS) và A* search
- Pipeline nhắm tới một hệ thống end-to-end duy nhất kết hợp instruction tuning bằng vết tìm kiếm đã tuyến tính hóa và hậu huấn luyện bằng học tăng cường
- Dự án “Big MATH” là một nỗ lực nhằm hỗ trợ nghiên cứu này bằng cách tập hợp hơn 1.000.000 bài toán chất lượng cao, có thể kiểm chứng
- Các câu hỏi nghiên cứu còn mở bao gồm quy luật scaling của suy luận và tìm kiếm, vai trò của verifier, và khả năng khám phá các thuật toán suy luận mới thông qua meta-RL
1 bình luận
Các ý kiến trên Hacker News
Phê bình CoT khá thuyết phục. Đặc biệt, điểm cốt lõi là chỉ ra sự đứt gãy giữa bắt chước theo thuật toán và sự khám phá nhận thức thực sự
Các tác giả dùng những ví dụ toán học nâng cao như “windmill problem” của Olympic Toán học Quốc tế để cho thấy những bài toán khó giải bằng kiểu suy nghĩ tuần tự vét cạn. Điều này làm lộ rõ giới hạn của một khuôn khổ dựa vào dataset tĩnh và quá trình sinh cứng nhắc. Lý do CoT thất bại không phải vì nó không tạo ra được lời giải, mà vì nó không có cách nảy ra lời giải như sự sáng tạo của con người
Câu “siêu trí tuệ không phải là phát hiện ra điều mới, mà là phát hiện ra những cách mới để phát hiện” rất ấn tượng
Ý tưởng lớn của bài báo là CoT bị giới hạn ở một số bài toán phức tạp. Có những bài toán không có phương pháp “sách giáo khoa” để tìm lời giải, và các bài toán như vậy cần một phương pháp luận riêng
Phần cốt lõi là: “Về bản chất, để bắt đầu sinh lời giải thì đã phải biết toàn bộ cách tiếp cận. Quá trình sinh làm nền cho lời giải không phải là một quá trình tự hồi quy đi từ trái sang phải”
Về mặt toán học, có thể chính thức hóa bằng cách diễn giải suy luận như một quá trình biến tiềm ẩn. CoT cổ điển xem xác suất của đáp án cuối cùng là phép lấy biên trên chuỗi suy luận tiềm ẩn, trong khi quá trình sinh lời giải thực tế của các bài toán phức tạp nên được xem là phân phối xác suất kết hợp của lời giải được đặt điều kiện trên quá trình sinh tiềm ẩn. Vì vậy q → z1 → … → z được gọi là Meta-CoT
Đây có vẻ là một điểm khởi đầu khá quan trọng. Chẳng hạn, nếu hỏi o1-pro cách vận hành diode laser 1550nm ở 1GHz, đồng thời giảm tổn hao hình học bằng vật liệu phổ dụng, cách tiếp cận chế tạo mới hoặc vật lý từ nguyên lý thứ nhất mà không dùng collimator đắt tiền, thì ảo tưởng rằng o1-pro rất xuất sắc sẽ tan vỡ. Kỹ thuật “mới” vẫn còn khó với tới, và vì không có sách giáo khoa nào dạy cách làm loại kỹ thuật đó, những bài toán như vậy không thể được giải theo kiểu tự hồi quy từ trái sang phải
Giờ đây, để một mô hình AI được xem là “xuất sắc”, có vẻ như chỉ cần đưa cho nó một bài toán ở bất kỳ lĩnh vực khó nào mà con người còn chưa giải được, nó phải đưa ra được một lời giải tốt. Một AI như vậy dĩ nhiên sẽ rất xuất sắc và đủ sức thay đổi thế giới, nhưng tiêu chuẩn rằng nếu kém hơn thế thì không còn “xuất sắc” nữa quả là khá đáng ngạc nhiên
Một phần của thực tại là không thể tính toán được, nên cuối cùng chỉ có thể đạt tới bằng cách để chính vũ trụ trực tiếp mô phỏng
Ngay cả khi đặt câu hỏi theo cách mà đa số mọi người sẽ không hiểu, nhìn vào câu trả lời vẫn có thể thấy nó đã diễn giải đúng bản thân câu hỏi. Việc đáp án có đúng hay không là chuyện khác, nhưng nó cũng thể hiện được một mức độ diễn giải ngoài các ví dụ sách giáo khoa
Như các bình luận khác đã nói, kỳ vọng một siêu trí tuệ trong hộp tự tìm ra những việc đòi hỏi thí nghiệm và quan sát là gần như bất khả thi về mặt vật lý. Có lẽ nó sẽ chỉ bị giới hạn trong các lĩnh vực như toán học thuần túy, nơi chỉ cần viết trên giấy và suy nghĩ về các tiên đề; nhưng chính những lĩnh vực đó lại thuộc nhóm khó tiến bộ nhất. Nhân loại cũng đã đi tới đây qua hàng nghìn năm, với nhiều học giả uyên bác đóng góp từng phần rất nhỏ
Liệu cộng đồng nghiên cứu đã đồng thuận rằng “mô hình ngôn ngữ không chỉ đơn thuần khớp các tương quan giữa những từ liên tiếp, mà học được ý nghĩa ngầm ẩn của văn bản” chưa? Tôi tò mò không biết có bài báo nào bàn về chủ đề này không
Bài báo năm 2020 của Bender và Koller[1] lập luận rằng ý nghĩa không thể được học chỉ từ hình thức, và LLM được huấn luyện bằng hình thức. Trong thí nghiệm tư duy “The Octopus Test” của bài báo có một con bạch tuộc có thể chặn bắt cuộc trò chuyện giữa hai con người, nhưng bài báo giải thích rằng “trong trạng thái chỉ có hình thức làm dữ liệu huấn luyện thì nó không học được ý nghĩa”
Ngược lại, bài viết của Yoav Goldberg[2] bàn một cách phi chính thức hơn về tính có căn cứ và việc LLM học được gì. Nhìn chung, lập luận là instruction tuning và hậu huấn luyện có thể neo các thuật ngữ như “summarize” vào ý nghĩa một cách có nghĩa
[1] https://aclanthology.org/2020.acl-main.463/
[2] https://gist.github.com/yoavg/59d174608e92e845c8994ac2e234c8...
Việc LLM có thể giao tiếp hiệu quả với con người giống một phát hiện về tính quy luật của ngữ nghĩa trong giao tiếp của con người hơn là một phát hiện về trí thông minh của mạng nơ-ron
Dù gán ngữ nghĩa cho ngôn ngữ tự nhiên theo cách nào, cũng khó có thể xem là mô hình học máy đang sử dụng ngữ nghĩa đó
Điều tốt nhất có thể nói là dưới mục tiêu học có giám sát kiểu Transformer, tức “dự đoán từ tiếp theo”, cấu trúc tương quan của các từ tạo ra một phân bố xấp xỉ cực kỳ thô đối với ngữ nghĩa ngôn ngữ tự nhiên. Bản thân điều này chưa từng bị tranh cãi; điểm tranh luận là đó là kiểu xấp xỉ cực đoan nào
Ví dụ, điều kiện chân trị của câu “tôi có một cây bút trong tay” là thực tế tôi có một cây bút trong tay. Để có ý nói câu này trong ngữ cảnh đó, rất có khả năng cần truy cập trực tiếp vào các điều kiện chân trị như vậy. Máy không thể truy cập điều kiện chân trị của phát ngôn đó, nên không thể thực sự có ý nói câu ấy
Nếu máy nói “tôi có một cây bút trong tay” trong tình huống phù hợp, thì “xấp xỉ cực đoan của ngữ nghĩa ngôn ngữ tự nhiên” là về tình huống đó và việc “phù hợp” nghĩa là gì
Từ lập trường phê phán LLM và lối tư duy kiểu khoa học máy tính, phạm vi các “tình huống” khiến phản hồi như vậy trông có vẻ phù hợp, tức các điều kiện prompt, được xem là rất hẹp. Việc phản hồi trông phù hợp với người dùng là một điều kiện kỹ thuật cho thấy công cụ hoạt động tốt, chứ không có nghĩa là mô hình hiểu ngữ nghĩa ngôn ngữ tự nhiên
Vì vậy có thể nói LLM xấp xỉ các cuộc hội thoại giữa những tác nhân hiểu ngữ nghĩa trong các tình huống hạn chế, và mô hình hóa cách sử dụng ngôn ngữ phù hợp. Có thể gọi nó là mô hình “mức độ phù hợp trung bình của câu trả lời”, nhưng nó không thể thực sự có ý nói “tôi có một cây bút trong tay”
Cần thận trọng với những cách diễn đạt viện dẫn nguyên tắc “nén là trí thông minh” hoặc quy nạp Solomonoff
Trong toàn bộ hai phần “A Formal Theory of Inductive Inference” được trích ở trên, từ “intelligence” xuất hiện 0 lần, “Compression” cũng 0 lần, và “reasoning” chỉ xuất hiện 1 lần trong cụm “using similar reasoning”
Dĩ nhiên, mối quan tâm của Solomonoff là suy luận quy nạp. Tôi không biết ông ấy có từng nói “nén là trí thông minh” hay không, và ý tưởng cùng khẩu hiệu này có vẻ đã phát triển muộn hơn nhiều. Nguồn gốc ban đầu cũng không rõ ràng
Đúng là quy nạp Solomonoff có liên quan sâu sắc đến bài toán dự đoán ký hiệu tiếp theo trong một chuỗi ký hiệu, nhưng không nhất thiết phải là token ngôn ngữ. Cách nói phổ biến rằng LLM đang ở “giai đoạn đầu” là sai. Mô hình hóa ngôn ngữ, theo tiêu chuẩn khoa học máy tính, gần như là một công nghệ cổ xưa, và đã bước vào giai đoạn trưởng thành kỹ thuật từ rất lâu rồi
[1] https://raysolomonoff.com/publications/1964pt1.pdf
[2] https://raysolomonoff.com/publications/1964pt2.pdf
Đây là một công trình đáng suy ngẫm. Tôi đã nghĩ và làm việc với các ý tưởng liên quan từ vài tháng trước, nhưng vẫn chưa dùng được tài nguyên tính toán ở quy mô tương tự, và hướng đi cũng có thể hơi khác
Nghiên cứu này chắc chắn hữu ích trong việc tạo một đường cơ sở để khai thác tốt hơn kiến trúc Transformer dạng decoder
Meta ở đây là nói đến công ty Meta, hay là dùng từ “meta”? Hay là cả hai?
https://chatgpt.com/share/67813a3f-c7e8-8001-ab0c-7f024bc41a...
Tôi tò mò không biết có cách nào để biết tỷ lệ giữa các trường hợp nhà nghiên cứu nghiên cứu thứ họ tự nghĩ ra, và các trường hợp công việc của những nhà phát triển độc lập trên mạng được chú ý, rồi được nghiên cứu và xuất bản thành bài báo
Việc bài báo lấy ví dụ về các phương trình đại số dạng thay thế đơn giản và lời giải từng bước của chúng càng củng cố nhận thức rằng LLM chỉ có thể tái hiện các công thức giải mà nó đã từng thấy trước đó
Thật ra điều này cũng không khác mấy với cách chúng ta học toán ở trường. Giáo viên chỉ ra điểm bắt đầu, rồi di chuyển từng bước đến kết thúc. Gọi điều này là “Meta Chain-of-Thought” nghe giống như phóng đại chương trình giáo dục cơ bản
Có khi lần tới hành động cầm bộ đồ ăn cơ bản sẽ được gọi bằng một cái tên gượng ép kiểu “lý thuyết vận động vật lý phân cấp”. Ở trường, thứ “Meta Chain-of-Thought” này chỉ được gọi là “hãy trình bày quá trình giải”. Đây có thực sự là một “hiện tượng” cần được giải thích không? Có thể chúng ta sẽ học thêm về quy nạp logic, tức cách chúng ta đạt được các bước suy luận, nhưng hiện tại chúng ta vẫn đang ở quá sâu trong nồi súp để mô tả chính xác hình dạng cái nồi