- Các nhà nghiên cứu chỉ ra rằng việc tế bào thần kinh trong não sử dụng thời điểm và sự đồng bộ trong tính toán là yếu tố cốt lõi bị AI hiện đại bỏ qua
- Giới thiệu kiến trúc Continuous Thought Machine (CTM) để đưa động lực học thần kinh dựa trên thời gian của não động vật vào mô hình thực tế
- CTM xử lý thông tin bằng cách sử dụng chiều tư duy nội tại bất đồng bộ, mô hình ở cấp độ từng neuron, và biểu diễn sự đồng bộ giữa các neuron
- Qua nhiều thí nghiệm, nhóm nghiên cứu xác nhận năng lực tính toán thích ứng, trí nhớ dựa trên đồng bộ thần kinh, và khả năng khái quát hóa mạnh
- Chứng minh khả năng diễn giải, tính hợp lý sinh học, và mức độ phù hợp với nhiều tác vụ của kiến trúc CTM
tl;dr
- Đặc tính thời điểm và sự đồng bộ mà neuron trong não dùng cho tính toán là chìa khóa cho tính linh hoạt và khả năng thích ứng của trí tuệ sinh học
- AI hiện đại đang loại bỏ những đặc tính dựa trên thời gian này để đổi lấy hiệu quả và sự đơn giản
- Nhóm nghiên cứu đã tìm ra cách thu hẹp khoảng cách giữa tính hợp lý sinh học, nơi thời điểm của neuron là quan trọng, và cách triển khai hiệu quả trong AI hiện đại
- Kết quả cho thấy hướng đi này rất bất ngờ và đầy hứa hẹn
Introduction
- Neural Network (NN) ban đầu được lấy cảm hứng từ não sinh học, nhưng các NN ngày nay có cấu trúc và động lực học rất khác với não thật
- NN hiện đại đã tạo điều kiện cho deep learning quy mô lớn bằng cách lược bỏ động lực học theo thời gian, nhưng điều này khiến chúng rời xa nền tảng sinh học
- Não bộ sử dụng các động lực học thần kinh phức tạp như spike-timing dependent plasticity (STDP) và sự đồng bộ neuron
- Các nguyên lý xử lý theo thời gian này đang thiếu trong AI hiện đại, trở thành rào cản đối với việc phát triển tới mức trí tuệ linh hoạt như con người
- Vì vậy, khả năng xử lý thời gian phải trở thành thành phần cốt lõi của trí tuệ nhân tạo
Why do this research?
- Dù AI hiện đại đạt hiệu năng cao, vẫn tồn tại khác biệt bản chất về nhận thức linh hoạt và tính tổng quát của con người
- Để AI đạt được thành tựu vượt qua não người, cần chủ động mô phỏng hoạt động thần kinh và thời điểm kích hoạt
- Nghiên cứu này đưa thời điểm của neuron vào làm yếu tố cốt lõi thông qua Continuous Thought Machine (CTM)
- Các đóng góp chính là tách riêng chiều tư duy nội tại, mô hình thần kinh ở cấp độ từng neuron, và cấu trúc biểu diễn dựa trên đồng bộ
Reasoning models and recurrence
- AI đang dần tiến hóa vượt khỏi ánh xạ đầu vào-đầu ra đơn giản để trở thành các mô hình suy luận chủ động
- Các kiến trúc hồi quy kiểu RNN trước đây đã được thay thế bằng Transformer, nhưng bản thân tính hồi quy vẫn hữu ích để mở rộng độ phức tạp của mô hình
- Các mô hình sinh văn bản hiện đại và tương tự như vậy sử dụng sinh trung gian (Recurrence) trong thời gian kiểm thử, qua đó cung cấp thêm tính toán và sự linh hoạt
- CTM khác với các cách làm hiện có ở chỗ nó dùng chiều tư duy tiến dần được tách biệt bên trong, thời điểm ở cấp độ từng neuron, và chính sự đồng bộ như một biểu diễn để giải quyết tác vụ
Method
Tổng quan cấu trúc
- CTM là kiến trúc trong đó hoạt động thần kinh tự triển khai bên trong trên dữ liệu
- Ở mỗi bước, hệ thống thu thập lịch sử
pre-activation và đưa vào Neuron Level Model (NLM)
- Dựa trên các lịch sử
post-activation của nhiều neuron, hệ thống tính ma trận đồng bộ neuron để tạo ra biểu diễn đồng bộ mạnh mẽ
- Biểu diễn đồng bộ được dùng làm vector tiềm ẩn cốt lõi cho quan sát và dự đoán của mô hình
Cấu trúc chi tiết
1. Internal recurrence (vòng lặp nội tại)
- Sử dụng chiều vòng lặp nội tại để tạo ra một chiều riêng nơi quá trình suy nghĩ được triển khai
- Mỗi internal tick hoạt động như một đơn vị tư duy riêng, độc lập với chuỗi thời gian bên ngoài
2. Neuron-level models (mô hình cấp độ neuron)
- Mỗi neuron có cấu trúc MLP cá nhân hóa, nhận một lịch sử ngắn của
pre-activation làm đầu vào để tạo ra post-activation
3. Synchronization as representation (đồng bộ như biểu diễn)
- Từ toàn bộ
post-activation trong một khoảng thời gian nhất định, hệ thống tính ma trận đồng bộ neuron và dùng nó như biểu diễn tiềm ẩn/vector hành vi cốt lõi
Quan hệ với dữ liệu đầu vào
- Dữ liệu được dùng theo cách bổ sung cho phương thức xử lý tập trung vào vòng lặp nội tại và sự đồng bộ
- Việc quan sát và dự đoán dữ liệu đầu vào được thực hiện tùy theo trạng thái đồng bộ
Internal ticks: chiều tư duy
- CTM có dòng thời gian tư duy riêng, lặp đi lặp lại việc cập nhật và tinh lọc thông tin bên trong, không phụ thuộc vào thứ tự dữ liệu
- Sự triển khai của hoạt động trí tuệ diễn ra trong chiều này
Recurrent weights: Synapses
pre-activation được tạo ra thông qua MLP kiểu U-NET, đồng thời giữ lại M giá trị gần nhất- Mỗi neuron nhận vector lịch sử (chuỗi thời gian
pre-activation) bằng MLP riêng biệt để tạo ra post-activation
Synchronization as a representation
- Mô hình tương tác với bên ngoài thông qua ma trận đồng bộ giữa các neuron
- Giá trị đồng bộ được dùng trực tiếp làm chỉ số hành vi thực tế như đầu ra, quan sát,
attention query, v.v.
- Khi độ rộng mô hình D tăng lên, năng lực biểu diễn và lượng thông tin tăng theo bậc hai
- Khi kết hợp với các mô-đun dữ liệu đầu vào như attention, mô hình thể hiện khả năng xử lý thông tin mạnh hơn
Loss function
- Ở mỗi internal tick, mô hình tạo đầu ra và tính loss cùng độ tự tin (1-entropy chuẩn hóa) tương ứng
- Tổng loss được tổng hợp động từ thời điểm có tổn thất thấp nhất và thời điểm có độ tự tin cao nhất, qua đó thúc đẩy học thích ứng theo độ khó của bài toán
Experiment: ImageNet
Demonstrations
- CTM dự đoán trên dữ liệu hình ảnh bằng cách sử dụng nhiều attention head và sự đồng bộ thần kinh
- Nhóm nghiên cứu trực quan hóa độ chính xác, calibration, và nhiều chỉ số theo các ngưỡng độ tự tin
Results
- CTM điều chỉnh các bước tư duy thông qua adaptive compute, và quan sát thấy lợi ích bổ sung sau một số giai đoạn nhất định chỉ còn nhỏ
- Trực quan hóa đồng thời 16 attention head, dự đoán lớp/độ chính xác theo từng bước, và hoạt động của neuron
Discussion
- CTM nhấn mạnh tương tác trực quan và linh hoạt với dữ liệu
- Thông qua biểu diễn dựa trên đồng bộ neuron, nó cũng được phân biệt rõ ràng với các cách tiếp cận trước đây trong nhận dạng thị giác
- Điều này gợi ý rằng yếu tố thời gian (TIME) gắn kết ở mức nền tảng với cách con người xử lý thông tin
Experiment: Solving 2D Mazes
The why and the how
- Giải mê cung 2D là tác vụ rất khó đối với mô hình mạng thần kinh nếu không có công cụ hỗ trợ
- CTM được huấn luyện theo cách dự đoán trực tiếp đường đi (
L/R/U/D/W), và các mẫu attention cố ý khớp với đường đi thực tế
- Trong bài kiểm tra khái quát hóa, mô hình giải được cả những mê cung dài và phức tạp với độ chính xác/khả năng khái quát hóa cao
Results & Discussion
- CTM cho thấy hiệu năng vượt trội áp đảo so với baseline hiện có ngay cả ở những đường đi dài nhất
- Mô hình hình thành world model chiến lược bên trong giống con người, cho thấy đây là năng lực reasoning thực sự chứ không chỉ là ghi nhớ
A World Model
- Ngay cả khi không có position encoding, mô hình vẫn tạo được mô hình môi trường nội tại chỉ từ thông tin thị giác để giải bài toán
Experiment: Parity
- Mô hình được huấn luyện để dự đoán parity lồng nhau của chuỗi nhị phân (tổng chẵn/lẻ) trong điều kiện được cung cấp toàn bộ đầu vào
- Khi dùng hơn 75 internal thought tick, CTM có thể đạt độ chính xác 100%
- LSTM trở nên không ổn định trong huấn luyện khi số internal thought tick tăng lên
Learning sequential algorithms
- Qua chuyển động của attention head và mẫu kích hoạt neuron, có thể thấy CTM tự học các chiến lược duyệt dữ liệu theo chiều ngược/xuôi khác nhau
- Đây là bằng chứng cho năng lực lập kế hoạch chiến lược (Planning) và thực thi theo từng bước
Experiment: Q&A MNIST
Memory via Synchronization
- Bài toán MNIST Q&A được dùng để kiểm tra khả năng nhớ dài hạn/truy xuất của CTM
- Ngay cả khi ảnh đầu vào đã ra ngoài cửa sổ lịch sử kích hoạt neuron, mô hình vẫn lưu giữ/truy xuất được thông tin trí nhớ dài hạn thông qua đồng bộ
Results & Generalization
- Hiệu năng cải thiện khi số internal thought tick tăng lên, đồng thời thể hiện khả năng khái quát hóa vượt trội với câu hỏi phức tạp và độ dài lớn
- LSTM không ổn định khi có nhiều tick hơn, còn CTM học và suy luận một cách nhất quán
Additional experiments
CTM versus humans
- So sánh hiệu năng của con người, feedforward, LSTM và CTM trên CIFAR-10
- Về Calibration (mức khớp của dự đoán xác suất), CTM vượt cả con người
- Động lực học đồng bộ thần kinh thể hiện các đặc tính nội tại rất đa dạng và phức tạp, khác với các cách tiếp cận hiện có
CIFAR-100, ablation studies
- Quan sát thấy khi độ rộng mô hình tăng, sự đa dạng/động lực học của neuron cũng tăng theo
- Tùy theo số internal tick, các quá trình tư duy nội tại khác nhau theo từng bài toán (phân bố “hai đỉnh”) được bộc lộ
Sorting real numbers
- Trong thí nghiệm sắp xếp 30 số thực, CTM cho thấy hành vi emergent trong đó thời gian tính toán nội tại (
waiting tick) thay đổi theo khoảng cách/độ chênh giữa các giá trị
Reinforcement Learning
- Trong các môi trường RL như MiniGrid, CartPole, CTM sử dụng các đơn vị tư duy liên tục bên trong để tương tác với môi trường và đưa ra quyết định chính sách
- Mô hình cho hiệu năng đầu-cuối tương tự LSTM, qua đó chứng minh hiệu quả của việc duy trì lịch sử tư duy liên tục
Conclusion
- CTM đạt được sự kết hợp giữa tính hợp lý sinh học và hiệu quả AI theo một cách mới
- Bằng cách đưa vào mô hình cấp độ neuron và phương thức biểu diễn mới dựa trên đồng bộ thần kinh, nó hiện thực hóa năng lực biểu diễn chưa từng thấy trước đây
- Trên các tác vụ đa dạng như phân loại ảnh, giải mê cung, trí nhớ, sắp xếp, RL, mô hình cho thấy tính nhất quán về kiến trúc và khả năng thích ứng cao
- Công trình chứng minh sự cộng hưởng giữa khoa học thần kinh và machine learning, cùng tầm quan trọng của việc thiết kế cỗ máy tư duy lấy thời gian-đồng bộ làm trung tâm
1 bình luận
Ý kiến trên Hacker News
Lý do bài báo này khiến tôi lo ngại là vì trong lĩnh vực machine learning hiện nay đã có rất nhiều nghiên cứu về spiking neural network có tính hợp lý sinh học và các artificial neural network phụ thuộc thời gian, nhưng cách dùng thuật ngữ và cách tiếp cận của bài báo lại tạo cảm giác không thực sự ghi nhận đúng mức khối lượng đồ sộ của các nghiên cứu đi trước đó; đặc biệt, việc gọi giai đoạn tích hợp khớp thần kinh là “thinking” có thể gây nhầm lẫn cho mọi người. “Thinking” vốn là quá trình lặp lại của việc tạo ý tưởng, đánh giá và chỉnh sửa theo cách người bình thường vẫn hiểu, nhưng bài báo lại gắn khái niệm này ở cấp độ quy trình của một đơn vị đơn lẻ. Điều này cũng rất xa lạ với thuật ngữ ANN hay machine learning hiện có. Cách gắn nhãn “thinking” này có vẻ không phù hợp. Tôi chưa xem hết toàn bộ trích dẫn, đây chỉ là phản ứng tức thì của tôi với một văn bản thuộc mạch nghiên cứu quen thuộc
Tôi rất mừng khi thấy người ta lại tập trung vào chủ đề quan trọng này. Trong bối cảnh não sinh học và cơ thể, người ta dễ nghĩ “thời gian” theo kiểu tuyến tính Newton, nhưng điều cốt lõi trong hệ não-cơ thể là tạo ra trình tự có trật tự của hành vi và tính toán bên trong nhiều mảnh “hiện tại” khác nhau, từ “hiện tại biểu trưng” dài 300ms cho tới những khoảng như 50 micro giây của các tế bào đánh giá vị trí âm thanh. Nếu muốn hiểu thêm về tính thời đoạn có điều kiện (temporality), có thể tham khảo bài viết gần đây trên European Journal of Neuroscience, trong đó John Bickle phỏng vấn RW Williams
Cảm nhận của tôi sau khi đọc bài là nó thực ra hoàn toàn không giống mạng sinh học/spiking. Bài báo giữ lại lịch sử của các đầu vào và dùng multi-head attention để xây dựng một mô hình nội tại về cách các đầu vào “tiền synapse” trong quá khứ ảnh hưởng tới đầu ra hiện tại. Nó giống một transformer đã chỉnh sửa đôi chút: giữ lịch sử đầu vào và tạo đầu ra bằng attention. Phần gọi là “synchronization” cũng được lấy bằng cách tính inner product trên toàn bộ post-activation, rồi chiếu ma trận kết quả của inner product đó vào không gian đầu ra. Vì nhiều đầu ra phải được nhân với nhau để tạo ra giá trị đúng ở mỗi timestep, nên có lẽ họ gọi kiểu ghép nối đó là “synchronization”. Nó trông giống một dạng khuyến khích “sparsity”, nơi nhiều giá trị đầu ra được gộp thành ma trận để nhấn mạnh tầm quan trọng của tổ hợp thay vì tính riêng lẻ của từng giá trị. Cách làm này thực chất là cơ chế nền tảng của attention: lấy đầu ra từ nhiều subsystem rồi kết hợp chúng bằng inner product
Cuối tuần này có ba thứ khá thú vị: 1) continuous thought machine (mạng mã hóa chuỗi thời gian gần giống não sống), 2) “zero data reasoning” (AI học bằng hành động trực tiếp thay vì được huấn luyện trước trên lượng dữ liệu khổng lồ), 3) Intellect-2 (một cấu trúc reinforcement learning phân tán trên toàn cầu). Từ góc nhìn của người không chuyên, có cảm giác như singularity lại tiến gần thêm một bước
Việc triển khai các cơ chế mã hóa theo chuỗi thời gian như spike timing và synchronization là cực kỳ khó, vì thế các mạng thần kinh hiện đại tập trung vào sự đơn giản và hiệu quả tính toán thay vì động lực học theo thời gian. Việc mô phỏng miền thời gian thật sự cũng là một bài toán rất khó về mặt phần cứng, nhất là khi phải thêm hẳn một trục hyperparameter riêng, khiến việc tìm được tổ hợp tham số hiệu quả gần như bất khả thi. Tìm kiến trúc có hiệu quả tính toán cao sẽ nhanh hơn nhiều; nếu spike xảy ra ở các timestep tương lai thì sẽ xuất hiện các cấu trúc sự kiện như priority queue, làm khối lượng tính toán tăng vọt. Nếu mục tiêu thực sự là “hard realtime interaction” thì còn có thể hiểu được, nhưng từ góc độ thực dụng và sản phẩm, tôi không nghĩ việc theo đuổi những cấu trúc như vậy có nhiều ý nghĩa. Khả năng học online không giám sát bằng STDP (thay đổi trọng số theo độ lệch thời gian spike) vẫn là điều cực kỳ hấp dẫn, nhưng trên nền silicon thì có lẽ chưa thấy đường trong tương lai gần. Dùng phần cứng chuyên dụng về cơ bản là biến một phần hyperparameter thành hằng số được đóng cứng trong code, nên vừa khó đảm bảo chắc chắn vừa dễ rơi vào tình trạng thiếu vốn
Ý tưởng về các cỗ máy này bản thân nó không hoàn toàn mới. Trong bài báo năm 2002, Liquid State Machines (LSM) đã được giới thiệu; LSM cấp đầu vào liên tục cho một spiking neural network rồi đọc liquid state bằng một dense layer nối với toàn bộ neuron trong mạng. Một bài báo năm 2019 đã dùng LSM để chơi game Atari; có lúc vượt con người nhưng không phải lúc nào cũng vậy, và cũng phát hiện xu hướng thất bại tương tự các giới hạn của mạng thần kinh truyền thống. Hiệu năng của nó không đặc biệt vượt trội so với các mạng thần kinh hiện có. Tôi muốn thấy nhiều quan tâm hơn tới nghiên cứu mạng thần kinh xử lý đầu vào liên tục (ví dụ audio) và cho đầu ra liên tục, đồng thời chỉ áp dụng các nguyên lý plasticity của não (không dùng backpropagation). Bản thân tôi cũng đã thử, nhưng có lẽ vì chúng ta vẫn chưa hiểu đủ cách não vận hành nên tôi vẫn chưa thấy câu trả lời hoàn hảo
Trớ trêu thay, chính trang web này lại cứ tự refresh liên tục trên firefox iOS
Chìa khóa của thế hệ mô hình tiếp theo sẽ là nguyên lý “neurons that fire together wire together”. Tôi nghĩ spiking neural network mang lại một hướng tiếp cận thay thế rất đáng quan tâm