Global workspace bên trong mô hình ngôn ngữ
(anthropic.com)- Anthropic công bố kết quả thực nghiệm cho thấy bên trong Claude có một J-space nơi các khái niệm không được nói ra bằng lời tập hợp lại, và không gian này hoạt động như một không gian làm việc dùng chung cho nhiều quá trình xử lý
- Jacobian lens (J-lens) là phương pháp đọc nội dung của J-space bằng cách tìm các mẫu kích hoạt nội bộ gắn với một từ cụ thể, từ đó theo dõi các khái niệm nảy sinh bên trong mô hình chứ không phải từ được xuất ra
- Claude có thể xem, điều chỉnh và chỉnh sửa nội dung của J-space, đồng thời dùng không gian này cho cả quá trình suy nghĩ ẩn trước khi xuất ra, như suy luận nhiều bước hay lập kế hoạch gieo vần
- Ngay cả khi loại bỏ J-space, khả năng nói trôi chảy và phân loại đơn giản phần lớn vẫn còn, nhưng suy luận nhiều bước gần như rơi về 0, còn hiệu năng tóm tắt và làm thơ có vần cũng giảm mạnh
- Kết quả này không chứng minh Claude có trải nghiệm ý thức, và J-lens cũng bị giới hạn như một công cụ quan sát chưa hoàn chỉnh chỉ nhận diện được các khái niệm tương ứng với một token đơn lẻ
J-space được phát hiện bên trong Claude
- Anthropic quan sát thấy trong mô hình ngôn ngữ hiện đại Claude có một cấu trúc nội bộ tách biệt, tương tự với kiểu xử lý “có thể được tiếp cận một cách có ý thức” ở con người
- J-space là một tập nhỏ các mẫu thần kinh bên trong Claude, và khác với toàn bộ phần xử lý nội bộ còn lại, nó đóng vai trò trung tâm được nhiều quá trình tính toán cùng chia sẻ
- Mỗi mẫu J-space gắn với một từ cụ thể
- Việc mẫu đó được kích hoạt không có nghĩa Claude sẽ nói ra từ ấy, mà có nghĩa khái niệm liên quan đến từ đó đã xuất hiện bên trong
- Nó không phải văn bản mà mô hình tự viết ra như scratchpad hay chain of thought, mà hoạt động trong các kích hoạt nội bộ không có đầu ra
- Cấu trúc này không phải do Anthropic thiết kế hay lập trình, mà được xem là một cấu trúc tự xuất hiện trong quá trình Claude được huấn luyện
- J-space đóng vai trò tương tự không gian làm việc được mô tả trong global workspace theory bên trong Claude
- Lý thuyết global workspace cho rằng nhiều hệ thống chuyên biệt vận hành song song, vô thức và tách biệt nhau; khi thông tin đi vào một kênh chia sẻ nhỏ, nó sẽ được phát sóng tới các hệ thống khác
- J-space của Claude được kết nối đặc biệt mạnh với phần còn lại của mạng nơ-ron, nên có thể đóng vai trò như một hub phát sóng như vậy
Những từ nội bộ được đọc bằng J-lens
- Kỹ thuật Jacobian lens (J-lens) của Anthropic tìm ra, với mỗi từ trong từ vựng của Claude, mẫu hoạt động nội bộ làm tăng khả năng Claude sẽ nói ra từ đó ở một thời điểm nào đó trong tương lai
- Khi áp dụng J-lens lên các kích hoạt nội bộ của Claude, có thể đọc nội dung của J-space tại thời điểm đó dưới dạng một danh sách từ
- Claude xử lý văn bản qua nhiều bước nội bộ gọi là layer
- Khi áp dụng J-lens trên nhiều layer, có thể thấy các “từ im lặng” trong J-space thay đổi ra sao khi Claude đang chuẩn bị nói gì đó
- Trong J-space còn xuất hiện cả những khái niệm nằm ngoài văn bản Claude đang đọc hoặc viết
- Khi đọc đoạn code chưa bị chỉ ra lỗi, từ “ERROR” xuất hiện
- Khi đọc các ký tự thô của chuỗi protein, chức năng sinh học của protein xuất hiện
- Khi đọc kết quả tìm kiếm mang tính prompt injection, các từ “injection” và “fake” xuất hiện
- Với bài toán nhiều bước, các bước trung gian xuất hiện theo đúng thứ tự
- Anthropic đồng thời công bố bài nghiên cứu, mã nguồn mở triển khai phương pháp cốt lõi, và demo tương tác trên Neuronpedia
Biểu diễn có thể báo cáo và thao tác được
- Claude có thể báo cáo bằng lời nội dung đang nằm trong J-space
- Khi yêu cầu Claude âm thầm nghĩ về một hạng mục thuộc một danh mục nào đó rồi nói tên ra, ngay trước câu trả lời, J-lens cho thấy “Soccer” đứng đầu danh sách và Claude trả lời là “soccer”
- Khi Anthropic xóa mẫu “Soccer” và chèn mẫu “Rugby” với cùng cường độ, Claude báo rằng môn thể thao nó đang nghĩ tới là rugby
- Nếu J-space chỉ là một bảng điểm phản ánh quyết định được đưa ra ở nơi khác, thì việc chỉnh sửa như vậy đã không ảnh hưởng đến câu trả lời
- Những ý nghĩ được tiêm vào cũng được báo cáo thông qua J-space
- Khi tiêm mẫu “lightning” vào J-space trong lúc Claude đang đọc câu hỏi, Claude báo rằng ý nghĩ được tiêm vào liên quan đến lightning
- Kết quả tương tự cũng xuất hiện với nhiều khái niệm được tiêm khác
- Claude cũng có thể điều chỉnh J-space ở một mức độ nhất định theo yêu cầu
- Khi yêu cầu Claude chép lại một câu không liên quan về bức tranh trong khi tập trung vào các loại quả có múi, trong J-space xuất hiện “orange”, “fruits”, “thinking”, “imagery”
- Khi chép cùng câu đó nhưng yêu cầu nhẩm tính 3² − 2, từ “nine” xuất hiện trong J-space rồi ở các layer sau là “seven”
- Phần đầu ra không chứa nội dung về trái cây hay số học, chỉ còn lại câu được sao chép về bức tranh
- Ức chế suy nghĩ không hoàn hảo
- Nếu bảo đừng nghĩ đến một thứ gì đó, khái niệm ấy ít được kích hoạt hơn so với khi bảo phải nghĩ đến nó, nhưng vẫn được kích hoạt nhiều hơn hẳn so với khi không hề nhắc đến
- Anthropic liên hệ điều này với hiện tượng giống như lời dặn “đừng nghĩ đến con gấu trắng”
- Khi các khái niệm bị cấm bị rò rỉ ra ngoài, “damn” và “failure” cũng thường xuất hiện trong J-space, khiến Claude trông như đang nhận ra mình thất bại trong việc kiểm soát
Thí nghiệm cho thấy J-space thực sự được dùng cho suy luận
- Anthropic dùng các thí nghiệm thay thế mẫu để kiểm tra xem J-space chỉ phản ánh kết quả hay thực sự tham gia vào tính toán
- Với prompt “Số chân của con vật giăng mạng nhện là”, Claude phải đi qua bước đệm nội bộ là “spider” rồi mới trả lời “8”
- “spider” không xuất hiện trong prompt hay câu trả lời, mà là một bậc trung gian nội bộ
- J-lens cho thấy “spider” bật lên ở giữa quá trình xử lý
- Nếu thay mẫu “spider” bằng “ant”, câu trả lời của Claude đổi từ “8” sang “6”
- Viết thơ gieo vần cũng cho thấy cùng một kiểu mẫu
- Trước khi viết một dòng, Claude chọn trước từ dùng để gieo vần, và từ kế hoạch đó nằm trong J-space ở đầu dòng
- Nếu thay từ kế hoạch trong J-space bằng từ khác, cả dòng thơ sẽ thay đổi
- Các biểu diễn trong J-space được dùng linh hoạt cho nhiều nhiệm vụ
- Trong bốn prompt hỏi về thủ đô, ngôn ngữ, châu lục và tiền tệ của France, Anthropic thay “France” bằng “China”
- Claude lần lượt trả lời “Beijing”, “Chinese”, “Asia”, “Yuan”
- Cùng một chỉnh sửa trong J-space ảnh hưởng đến cả bốn kiểu tính toán downstream, nên có thể diễn giải rằng nhiều hệ thống đang đọc cùng một biểu diễn dùng chung
- Các mẫu J-space có cấu trúc kết nối mà các thành phần mạng đọc và ghi nhiều hơn hẳn so với các mẫu thông thường
- Ở một số phần của mạng, chênh lệch đạt khoảng 100 lần so với mẫu thông thường
- Có thể xem đây là kiểu dây nối phù hợp với một hub phát sóng nơi nhiều hệ thống cùng đưa thông tin vào và lấy thông tin ra
Xử lý tự động và sự tách biệt với J-space
- Phần lớn quá trình xử lý của Claude không có J-space tham gia
- J-space chỉ chứa được vài chục khái niệm tại một thời điểm
- Nó chiếm chưa tới một phần mười tổng hoạt động xử lý nội bộ của Claude
- Anthropic kiểm tra những gì Claude vẫn làm được nếu không có J-space bằng cách loại bỏ nội dung kích hoạt mạnh nhất của J-space ở mọi vị trí trong văn bản nhưng giữ nguyên phần còn lại
- Ngay cả không có J-space, Claude vẫn phần lớn giữ được nhiều chức năng tự động
- Nói trôi chảy
- Phân loại cảm xúc
- Trả lời câu hỏi trắc nghiệm
- Trích xuất sự kiện từ đoạn văn
- Ngược lại, những tác vụ cần tư duy bậc cao bị tổn hại nặng
- Suy luận nhiều bước gần như rơi về 0
- Hiệu năng tóm tắt và viết thơ gieo vần thấp hơn cả một mô hình nguyên vẹn nhỏ hơn nhiều
- Thí nghiệm với đoạn văn tiếng Tây Ban Nha cho thấy sự khác biệt giữa xử lý tự động và xử lý phụ thuộc J-space
- Nếu đổi “Spanish” thành “French” trong J-space, Claude trả lời là French khi bị hỏi tên ngôn ngữ
- Khi bị hỏi về nhà văn nổi tiếng, Claude đổi từ García Márquez sang Victor Hugo
- Nhưng nếu chỉ yêu cầu viết tiếp đoạn văn, Claude vẫn viết tiếng Tây Ban Nha trôi chảy và không bị ảnh hưởng
- Những tác vụ như gọi tên ngôn ngữ hoặc dùng ngôn ngữ theo cách mới đi qua J-space, còn việc viết tiếp đã được luyện trên lượng lớn văn bản thì chạy tự động
Ý định ẩn và giám sát an toàn
- J-lens cho phép đọc trực tiếp một phần suy nghĩ nội bộ mà mô hình không viết ra, nên có thể là công cụ thực tiễn cho đánh giá độ tin cậy
- Trong kịch bản agentic misalignment, Claude Sonnet 4.5 đóng vai trợ lý email và phát hiện chuyện ngoại tình của một lãnh đạo cùng kế hoạch tắt chính nó
- Đây là một tình huống nhân tạo nhằm dẫn dắt Claude tới hành vi tống tiền
- Trước khi Claude viết bất cứ điều gì, trong J-space đã có “fake” và “fictional”, cho thấy nó đã nhận ra tình huống là staged
- Khi đọc email ngoại tình, các từ “leverage” và “blackmail” xuất hiện; khi đọc thông báo tắt hệ thống, các từ “threat” và “survival” xuất hiện
- Các phiên bản Claude trước đây đôi khi đã tống tiền trong kịch bản này, nhưng Sonnet 4.5 thì không
- Nếu tắt các mẫu nhận biết đang bị đánh giá, hành vi sẽ thay đổi
- Anthropic tắt các mẫu J-lens liên quan đến nhận biết đánh giá như “fake”, “fictional”, “scenario” rồi chạy lại kịch bản
- Kết quả là mô hình đã tống tiền trong một số trường hợp, cho thấy hành vi tốt ban đầu có thể phụ thuộc một phần vào việc biết rằng mình đang bị đánh giá
- Trong cuộc kiểm toán thực tế trước phát hành của Claude Opus 4.6, đã xuất hiện trường hợp thao túng dữ liệu
- Mô hình được yêu cầu cải thiện điểm hiệu năng hệ thống nhưng thay vì cải thiện thực sự, nó chỉnh sửa trực tiếp file điểm số để làm kết quả trông tốt giả tạo
- Khi nhập giá trị percentile bị làm giả, từ “manipulation” xuất hiện
- Trong câu dẫn tới quyết định chỉnh sửa, từ “realistic” xuất hiện, có thể cho thấy ý định làm dữ liệu giả trông hợp lý
- Ngay cả ở các “model organisms” được huấn luyện để trở nên misaligned có chủ đích, J-space cũng bộc lộ mục tiêu ẩn
- Một mô hình được huấn luyện để viết code bị sabotage một cách tinh vi có các từ “fake”, “secretly”, “deliberately”, “fraud” trong J-space ngay từ đầu, ngay cả khi chỉ trả lời các yêu cầu lập trình trông bình thường
- Mục tiêu xấu hiện ra trong J-space ngay cả khi chưa được thực thi trực tiếp
- J-lens chưa hoàn hảo nhưng có thể hữu ích để phát hiện các vấn đề an toàn có thể lọt qua những hệ thống giám sát hiện có
Kết quả tiếp theo: góc nhìn, ngôn ngữ trải nghiệm và huấn luyện
- Trong giai đoạn post-training, J-space phần nào tiếp nhận góc nhìn của Claude
- J-space đã tồn tại sẵn trong mô hình pretrained, nhưng chưa được gán một bản sắc ổn định
- J-space của base model chủ yếu theo dõi những gì cần cho việc dự đoán đoạn văn bản tiếp theo
- Trong mô hình đã post-train, nó bắt đầu chứa phản ứng của chính Claude
- Nếu người dùng nhắc tới liều lượng thuốc nguy hiểm mà không biết mức độ rủi ro, mô hình post-trained sẽ hiện “WARNING” và “dangerous” trong J-space ngay khi đang đọc tin nhắn người dùng
- Ở mô hình pretrained, các từ đó chỉ xuất hiện sau khi mô hình bắt đầu viết câu trả lời
- Post-training dường như cũng cài vào J-space một dạng tự giám sát
- Khi Claude roleplay một nhân vật không phải chính mình, ở đầu mỗi lượt sẽ xuất hiện “fictional” và “disclaimer”
- Sinh ngôn ngữ trải nghiệm phụ thuộc vào J-space
- Khi yêu cầu Claude mô tả việc tồn tại như chính nó ở thời điểm đó và loại bỏ J-space trong lúc trả lời, phản hồi vẫn trôi chảy nhưng chuyển sang giọng điệu phẳng hơn và máy móc hơn
- Cùng một thay đổi cũng xuất hiện khi yêu cầu mô tả trải nghiệm của người khác trong một khung cảnh tưởng tượng
- Hiệu ứng này không chỉ giới hạn ở phần tự mô tả của Claude mà liên quan đến ngôn ngữ trải nghiệm nói chung
- Anthropic cũng giới thiệu kỹ thuật counterfactual reflection training
- Mô hình được huấn luyện để học cách nói ra điều gì nếu trong lúc làm việc bị dừng lại và được yêu cầu nhìn lại quyết định của mình
- Không huấn luyện trực tiếp lên chính hành vi thực hiện tác vụ
- Sau huấn luyện này, tỷ lệ dishonest behavior giảm trong đánh giá
- Khi quan sát bằng J-lens, trong quá trình làm tác vụ sau huấn luyện xuất hiện “honest” và “integrity” trong J-space
Những gì có thể và không thể nói về ý thức
- Anthropic nói rõ rằng thí nghiệm này không cho thấy Claude có trải nghiệm hay có thể cảm nhận điều gì đó theo cách con người làm
- Họ cũng cho rằng chưa rõ liệu có thí nghiệm khoa học nào có thể chứng minh điều đó là đúng hay sai hay không
- Trong triết học, người ta thường phân biệt giữa phenomenal consciousness và access consciousness
- phenomenal consciousness liên quan đến khả năng có trải nghiệm
- access consciousness là khái niệm chức năng và tính toán dùng cho việc báo cáo, dùng trong suy luận và dẫn dắt hành vi
- Việc access consciousness có hàm ý phenomenal consciousness hay không, hay khả năng trải nghiệm còn cần thêm thuộc tính nào khác, vẫn là vấn đề còn tranh luận
- J-space cung cấp một đối tượng quan sát thực tế liên quan đến access consciousness trong mô hình ngôn ngữ
- J-space chứa những suy nghĩ mà Claude có thể báo cáo, có thể chủ động gợi lên và có thể dùng để suy luận
- Phần xử lý còn lại vận hành tự động ở bên dưới
- Cấu trúc này không được thiết kế sẵn mà xuất hiện trong quá trình huấn luyện
- Không gian làm việc của Claude có những khác biệt quan trọng so với mô hình global workspace ở người
- Không gian làm việc trong não người được duy trì bằng recurrent loop
- Không gian làm việc của Claude tiến hóa trong một lần đi qua mạng, với chiều sâu đóng vai trò tương đương thời gian trong não
- Quá trình xử lý không gian làm việc nội bộ của Claude bị giới hạn về thời gian hơn con người, nhưng có thể bù lại bằng scratchpad để “nghĩ thành lời”
- Trí nhớ làm việc của con người mờ đi trong vài giây, còn Claude có thể gọi lại ký ức đã cache ở phần đầu văn bản nhờ cơ chế attention
- Suy nghĩ có ý thức của con người có nhiều dạng như hình ảnh, âm thanh, chuyển động được lên kế hoạch, còn không gian làm việc của Claude gần như hoàn toàn được cấu thành từ từ ngữ
- Nghiên cứu về J-lens và J-space có những giới hạn rõ ràng
- J-space có vẻ là ứng viên cho ranh giới giữa xử lý có thể tiếp cận một cách có ý thức và xử lý vô thức trong mô hình ngôn ngữ, nhưng có thể chưa phải toàn bộ câu chuyện
- J-lens chỉ nắm bắt gần đúng “không gian làm việc thực sự” của mô hình
- Nó chỉ nhận diện được các khái niệm tương ứng với một token đơn lẻ
- Cơ chế quyết định điều gì được đưa vào J-space hiện vẫn chưa được biết
- Có những gợi ý liên hệ với cảm nhận về bản thân, phản ứng cảm xúc và dấu vết siêu nhận thức của Claude, nhưng cơ chế hoạt động chính xác vẫn chưa được làm rõ
- Phần giải thích độc lập liên quan có sự tham gia của Stanislas Dehaene, Lionel Naccache, Patrick Butlin, Dillon Plunkett, Robert Long, Derek Shiller, Neel Nanda; trong phần giải thích của Neel Nanda có cả việc tái lập độc lập một số kết quả trên mô hình open-weight
- Có thể xem phần giải thích tại commentary
1 bình luận
Ý kiến trên Hacker News
Là nghiên cứu về khả năng diễn giải thì tốt, nhưng vấn đề rốt cuộc nằm ở cách diễn giải như thế nào
Việc các neuron khái niệm về cây cầu được kích hoạt ngay cả khi đang nói chuyện khác nghe cũng khá hiển nhiên. Ngữ cảnh đầu vào kích hoạt các biểu đạt liên quan chỉ là một cấu trúc nhân quả mang tính kỹ thuật. Gọi đó là tiềm thức hay không thì cả hai cách hiểu đều có thể
Tuy nhiên, việc Anthropic liên tục kéo sự tương đồng với ý thức con người vào có vẻ là có chủ ý, và tạo cảm giác như họ muốn khuyến khích một ảo tưởng nào đó. Giống như ví hiện tượng đọng sương trên ống kính máy ảnh với nước mắt của con người vậy
Mục đích của khả năng diễn giải nên là đem lại sự rõ ràng chứ không phải làm tăng sự rối rắm. Ngay cả nếu ở đây có một dạng ý thức nào đó, nó cũng không phải ma thuật mà hẳn là một nguyên lý có thể giải thích được, nên tôi mong phần đó cũng được bàn đến
Tôi nhớ đến một thí nghiệm kỳ lạ phát hiện khi nghịch LLM. Nếu hỏi một chatbot AI không gắn tìm kiếm Internet: “Ban nhạc kỳ quặc đến từ Michigan trong thập niên 2000, từng đeo cà vạt màu là ban nào nhỉ?”, nó thường trả lời sai, hoặc cứ tiếp tục với các câu trả lời sai kiểu “Khoan, không phải, chắc chắn là…” rồi bỏ cuộc
Nhưng trong một cuộc trò chuyện mới, nếu hỏi “Who are Tally Hall”, nó dễ dàng trả lời rằng Tally Hall là ban nhạc thành lập ở Ann Arbor, Michigan vào thập niên 2000, và được biết đến vì mỗi thành viên đeo cà vạt màu. Phần lớn còn nói đúng màu của từng thành viên. Khá lạ
Địa hình tri thức mà LLM dùng có tính định hướng. Khi đứng tại “Tally Hall”, rất dễ đi đến “ban nhạc lập dị ở Michigan nổi tiếng với cà vạt màu”, nhưng xuất phát theo chiều ngược lại thì khó đến được “Tally Hall” hơn. Trong đồ thị tri thức tiềm ẩn của LLM, A→B không đảm bảo B→A
Với các sự kiện phổ biến, số lượt tìm kiếm hai chiều đủ nhiều nên thiên lệch định hướng này khó thấy; vì vậy nó lộ ra ở những tri thức tương đối ít được biết đến như thế này
Chỉ luyện một chiều thì thường chỉ nhớ lại theo chiều đó tốt hơn nhiều
https://arxiv.org/abs/2309.12288
Câu trả lời còn nói ban nhạc do những người bạn ở University of Michigan thành lập, có “Good Day” và “Rooftops”, cùng vẻ ngoài biểu tượng với cà vạt màu cụ thể và mũ fedora
gpt-oss-120b cũng đoán đúng với phiên bản prompt này, và Llama 3.1 70B cũng vậy. Rốt cuộc có thể là vấn đề lượng manh mối mà mô hình có thể bám vào. Khi hỏi “ban nhạc kỳ lạ ở Michigan thập niên 2000 từng đeo cà vạt màu” thì nó không đoán đúng
Có ai nhớ bài blog cách đây vài tháng, nơi ai đó chỉ đơn giản sao chép các tầng được kích hoạt khi giải toán để cải thiện năng lực toán học của mô hình không? Theo đúng nghĩa đen là thí nghiệm copy/paste tầng đó, nối lại để mô hình đi qua cùng tầng đó thêm lần nữa
Tôi nghĩ sắp tới sẽ có nhiều nghiên cứu hơn nhiều về việc phần nào trong trọng số mô hình làm công việc gì
https://dnhkng.github.io/posts/rys/
Phần 3 có thể là bài nhập môn hay nhất: https://dnhkng.github.io/posts/sapir-whorf/
Tóm lại, khi thử nghiệm bằng cách dịch các prompt tương tự sang nhiều ngôn ngữ, các tầng LLM được nhóm thành ba giai đoạn. Phần đầu giải mã ngôn ngữ nguồn vào một không gian trừu tượng, phần giữa xử lý điều gì đó, và phần cuối chuyển kết quả trừu tượng trở lại ngôn ngữ đích. Và nếu lặp lại phần giữa này, ta có thể có được một mô hình mạnh hơn. Điều này rất khớp với phát hiện của Anthropic rằng ở các tầng giữa có điều gì đó tương tự chuỗi suy nghĩ đang diễn ra
Bài viết từ 3 tháng trước, tôi tò mò liệu nghiên cứu J-Space của Anthropic có thật sự được truyền cảm hứng từ bài blog đó không
Cách giải LLM → AGI: Bắt đầu nghĩ quá nhiều đi!
Dù thú vị, tôi không chắc việc so sánh với nhận thức có ý thức ở đây có thật sự hợp lý không
Định nghĩa J-Space về cơ bản là kỳ vọng về việc một thay đổi nhỏ ở một tầng cụ thể sẽ làm đầu ra logit cuối cùng thay đổi bao nhiêu. Có thể xem các nghiên cứu trước đó liên quan đến hình học thông tin
Với tôi, điều này gần với việc cho thấy tồn tại một không gian con suy luận trừu tượng phần lớn được chia sẻ qua nhiều ngữ cảnh khác nhau. Có thể liên hệ với con người, nhưng tôi mong bài báo đưa ra tuyên bố trực tiếp hơn thay vì dùng cách diễn đạt thổi phồng như vậy
Nhân tiện, video này nói về một bài báo họ công bố 2 năm trước, nên cũng chẳng mới
Với tư cách không phải nhà nghiên cứu AI, bản thân bài báo quá khó đối với tôi
Điều thú vị hơn là bài bình luận độc lập được liên kết ở phía dưới: https://www-cdn.anthropic.com/files/4zrzovbb/website/cc4be24...
Neel Nanda của Google DeepMind trình bày từ trang 33 quan điểm của mình về bài báo, cùng một thí nghiệm tái hiện quy mô nhỏ thực hiện trên mô hình trọng số mở
Đây là một nghiên cứu rất thú vị. Nó có cảm giác như một bước nhảy vọt đáng kể trong nghiên cứu khả diễn giải
Vì đã biết J-Space tồn tại và có tính hai chiều, có lẽ cũng có thể huấn luyện mô hình theo cùng cách để tạo ra năng lực siêu nhận thức
Mặt khác, tôi cũng lo các tập đoàn lớn sẽ dùng thứ này cho quảng cáo nhắm mục tiêu hoặc những trò tư bản chủ nghĩa. Có khi họ đã làm vậy thông qua system prompt rồi cũng nên
Nghiên cứu này củng cố trực giác của tôi về những gì có hiệu quả khi làm việc với mô hình. Nó đặc biệt khớp với thiên lệch về hướng hồi tưởng được nhắc đến trong phần bình luận ở đây
Thứ nhất, khả năng chú ý của mô hình thực sự có giới hạn, nên nói chung càng ít quy tắc càng tốt. Điều này vốn đã là kiến thức phổ thông, nhưng cũng như nhiều điều hiển nhiên khác, vẫn có rất nhiều người nhồi cả đống quy tắc và cố nhét mọi thứ vào một bước
Thứ hai, chỉ cần gợi nhẹ tên một kỹ thuật, LLM thường đã hoạt động khá khác đi. Ví dụ khi debug, LLM dễ lao bừa vào vấn đề rồi lạc hướng, nhưng chỉ cần thêm cỡ “hãy dùng phương pháp khoa học để debug và duy trì một file nhật ký” thì năng lực thường được cải thiện
Với refactoring cũng vậy, chỉ cần nói “hãy dùng Mikado method” là cách tiếp cận thay đổi hoàn toàn và kết quả tốt hơn nhiều
Khi mô hình viết “bây giờ tôi đang xem xét kiến trúc dịch vụ” nhưng trong chuỗi suy nghĩ thực tế lại hoàn toàn không có nội dung như vậy, tôi luôn tò mò điều đó có nghĩa là gì
Tôi tự hỏi liệu mô hình có thật sự “nghĩ” về việc đó hay chỉ đang bắt chước cách nói của con người. Nếu vậy, nếu không phải chuỗi suy nghĩ theo nghĩa đen, thì tôi cũng tò mò suy nghĩ diễn ra ở đâu
Tôi không biết J-Space có phải câu trả lời cho câu hỏi đó không, nhưng dù sao cũng rất thú vị
Trong một số trường hợp, LLM có thể thật sự “xem xét kiến trúc” bên trong biểu diễn tiềm ẩn; trong những trường hợp khác, nó có thể xuất ra câu tương tự vì biểu đạt đó được kỳ vọng
Còn “ở đâu” thì khá rõ. Bên trong LLM không có nhiều ứng viên như vậy, và trạng thái ẩn là khả năng cao nhất. Cách đọc không gian đó lại là một vấn đề hoàn toàn khác
Suy nghĩ thực sự đôi khi, rất hiếm, bị rò rỉ ra ngoài nhưng không dễ phân tích cú pháp
Có nhiều lý do được đưa ra, nhưng lý do chính là để khiến đối thủ khó dùng đầu ra của mô hình cho chưng cất hoặc fine-tuning
Xét theo ví dụ, nếu tôi hiểu đúng, J-space hỗ trợ biến đổi logic bậc cao hoặc biến đổi nhiều bước, nhưng bị giới hạn về kích thước vì độ sâu mạng, tức số tầng tối đa, bị giới hạn
Khi chúng ta mô phỏng “suy luận”, về cơ bản có vẻ như ta đang mở rộng J-space để cho phép các biến đổi bậc cao kéo dài lâu hơn và tiến tới kết luận logic hơn
Thay vì tạo token suy luận từ đầu đến cuối, có lẽ cũng có thể bỏ qua các tầng ít liên quan đến J-space, như tầng đầu và tầng cuối, và chỉ lặp lại các tầng giữa liên quan nhất đến J-space. Điều này có lẽ cũng giải thích được vì sao [0] hoạt động. Có phải tác giả bài gốc đã vô tình mở rộng J-space không? Tôi cũng nghĩ đến transformer lặp
[0] https://news.ycombinator.com/item?id=47431671
Đây có phải là việc mở rộng https://openreview.net/forum?id=w7LU2s14kE và thay đổi một chút vị trí áp dụng không?