Theo dõi quá trình tư duy của các mô hình ngôn ngữ lớn

• Các mô hình ngôn ngữ như Claude không phải do con người lập trình trực tiếp mà được huấn luyện trên lượng dữ liệu khổng lồ
• Trong quá trình huấn luyện, chúng tự học các chiến lược giải quyết vấn đề, và các chiến lược này được mã hóa trong hàng tỷ phép tính
• Kết quả là ngay cả những người phát triển mô hình cũng không hoàn toàn hiểu Claude thực hiện phần lớn tác vụ như thế nào
• Nếu hiểu được mô hình như Claude “đang nghĩ gì”, chúng ta có thể hiểu rõ hơn năng lực của mô hình và kiểm chứng xem nó có hoạt động đúng như mong muốn hay không
  • Ví dụ, có những câu hỏi như sau:
    • Claude có thể dùng nhiều ngôn ngữ, vậy bên trong nó suy nghĩ bằng ngôn ngữ nào?
    • Một mô hình tạo từ từng từ một chỉ dự đoán từ tiếp theo, hay có lên kế hoạch cho ngữ cảnh dài hơn?
    • Quá trình suy luận mà Claude giải thích có phản ánh quy trình nội bộ thực sự hay chỉ là bịa ra một lời giải thích thuyết phục?
• Tương tự như cách khoa học thần kinh nghiên cứu bộ não con người phức tạp, nhóm nghiên cứu đang cố gắng phát triển một “kính hiển vi AI” để nhìn vào bên trong Claude
  • Vì không thể nắm bắt trọn vẹn nguyên lý vận hành nội bộ của mô hình chỉ bằng cách trò chuyện với mô hình ngôn ngữ, họ trực tiếp theo dõi hoạt động bên trong mô hình
• Hôm nay họ chia sẻ hai bài báo mới về tiến triển trong việc phát triển “kính hiển vi” này và áp dụng nó vào một “sinh học AI” mới
  • Bài báo thứ nhất tìm ra các khái niệm có thể diễn giải được (feature) bên trong mô hình, rồi nối chúng thành các mạch tính toán (circuit) để làm rõ đường đi giữa đầu vào và đầu ra
  • Bài báo thứ hai phân tích bên trong Claude 3.5 Haiku để thực hiện nghiên cứu chuyên sâu về 10 hành vi cốt lõi của mô hình
• Nghiên cứu đã phần nào làm sáng tỏ điều gì thực sự xảy ra trong phản hồi của Claude, và thu được các bằng chứng sau:
  • Claude có xu hướng suy nghĩ trong một không gian khái niệm được chia sẻ giữa nhiều ngôn ngữ, dường như sử dụng một dạng “ngôn ngữ của tư duy” phổ quát
  • Dù xuất từng từ một, Claude vẫn lên kế hoạch trước cho các từ trong tương lai, chẳng hạn như vần thơ, rồi viết theo hướng đó
  • Đôi khi Claude tạo ra những lời giải thích sai nhưng nghe rất thuyết phục để đáp ứng kỳ vọng của người dùng
• Một số trường hợp bất ngờ được phát hiện trong quá trình quan sát
  • Khi phân tích vần thơ, ban đầu người ta nghĩ Claude sẽ không lập kế hoạch trước, nhưng thực tế là có
  • Khi phân tích hiện tượng hallucination, phát hiện rằng Claude về cơ bản có sẵn một mạch tránh đoán bừa khi trả lời câu hỏi
  • Ngay cả với các prompt jailbreak, Claude cũng nhận ra từ trước rằng mình đang bị yêu cầu cung cấp thông tin nguy hiểm và đã chuyển sang cách từ chối cuộc trò chuyện một cách tự nhiên
• Dù đây là những vấn đề cũng có thể nghiên cứu bằng các phương pháp phân tích cũ, cách tiếp cận “kính hiển vi AI” đã phát hiện ra những sự thật mới ngoài dự đoán
  • Khi mô hình ngày càng tinh vi, các công cụ diễn giải như vậy sẽ càng trở nên quan trọng
• Ý nghĩa khoa học và thực tiễn của nghiên cứu này
  • Đây là một bước tiến quan trọng để hiểu rõ hơn các hệ thống AI và bảo đảm độ tin cậy
  • Các kỹ thuật interpretability cũng có thể được áp dụng sang các lĩnh vực khoa học khác như ảnh y khoa, hệ gene
  • Việc giải phẫu cấu trúc nội bộ của những mô hình được huấn luyện cho ứng dụng khoa học có thể mang lại những hiểu biết khoa học mới
• Giới hạn của cách tiếp cận hiện tại
  • Ngay cả với prompt đơn giản, hiện mới chỉ có thể theo dõi một phần trong toàn bộ phép tính của Claude
  • Hiện tại, để hiểu mạch của một prompt chỉ dài vài chục từ cũng cần nhiều giờ công sức của con người
  • Để xử lý các chuỗi suy luận phức tạp dài hàng nghìn từ, cần cải thiện phương pháp luận và các công cụ hỗ trợ phân tích, ví dụ như sự trợ giúp của AI
• Khi các hệ thống AI nhanh chóng trở nên tinh vi hơn và được triển khai vào những lĩnh vực có tầm quan trọng xã hội
  • giám sát theo thời gian thực
  • cải thiện đặc tính mô hình
  • khoa học alignment cùng nhiều hướng nghiên cứu khác sẽ trở nên quan trọng hơn
• Nghiên cứu interpretability là một lĩnh vực đầu tư rủi ro cao nhưng lợi nhuận cao, và có thể trở thành công cụ độc đáo để bảo đảm tính minh bạch của AI
• Làm cho các cơ chế nội tại của mô hình trở nên minh bạch là nền tảng để đánh giá liệu AI có phù hợp với các giá trị của con người và có đáng tin cậy hay không

Chuyến tham quan sinh học AI

Claude nói nhiều ngôn ngữ như thế nào?

• Claude sử dụng thành thạo hàng chục ngôn ngữ như tiếng Anh, tiếng Pháp, tiếng Trung, tiếng Tagalog
  • Câu hỏi cốt lõi là liệu có “Claude tiếng Pháp”, “Claude tiếng Trung” hoạt động riêng rẽ cho từng ngôn ngữ, hay tồn tại một cấu trúc chung vượt lên trên ngôn ngữ
• Nghiên cứu gần đây trên các mô hình nhỏ đã tìm thấy dấu hiệu về các cấu trúc ngữ pháp được chia sẻ giữa các ngôn ngữ
• Phân tích được thực hiện thông qua thí nghiệm hỏi Claude “từ trái nghĩa của nhỏ” bằng nhiều ngôn ngữ khác nhau
  • Kết quả cho thấy tồn tại các feature cùng được kích hoạt bởi những khái niệm “nhỏ” và “đối lập”
  • Các feature này dẫn tới khái niệm “lớn”, rồi được dịch và xuất ra theo ngôn ngữ tương ứng
• Claude 3.5 Haiku có tỷ lệ mạch khái niệm được chia sẻ giữa các ngôn ngữ cao hơn gấp đôi so với các mô hình nhỏ
  • Điều này củng cố giả thuyết rằng bên trong Claude tồn tại một không gian tư duy trừu tượng vượt qua ranh giới ngôn ngữ
• Về mặt thực tiễn, điều này có nghĩa là Claude có thể tận dụng những gì học được ở một ngôn ngữ sang ngôn ngữ khác
• Phân tích cơ chế chia sẻ khái niệm như vậy là cực kỳ quan trọng để hiểu năng lực suy luận bậc cao có thể khái quát hóa sang nhiều lĩnh vực

Claude có lên kế hoạch cho vần thơ không?

• Khi Claude viết thơ, nó phải đồng thời thỏa mãn hai điều kiện là vần và nghĩa
  • Ví dụ:

    He saw a carrot and had to grab it,
    His hunger was like a starving rabbit

• Giả thuyết ban đầu là Claude sẽ tạo từ từng từ một và chỉ cân nhắc vần ở từ cuối cùng
  • Vì vậy người ta dự đoán sẽ có các mạch song song riêng cho từ phục vụ vần và từ phục vụ ý nghĩa
• Tuy nhiên, quan sát thực tế cho thấy trước cả khi viết dòng thứ hai, Claude đã nghĩ trước ra một từ có vần với “grab it” như rabbit
  • Sau đó nó lên kế hoạch cho cả câu để đặt từ có vần này ở cuối
• Để xác nhận cơ chế lập kế hoạch này, nhóm nghiên cứu tiến hành các thí nghiệm chỉnh sửa trạng thái nội bộ của Claude theo cách tương tự khoa học thần kinh
  • Nếu loại bỏ khái niệm rabbit, Claude sẽ viết một câu kết thúc bằng habit (vẫn có nghĩa, vẫn giữ vần)
  • Nếu đưa vào khái niệm green, Claude sẽ mất vần nhưng vẫn viết được một câu có nghĩa
• Điều này cho thấy Claude vừa có khả năng dự đoán và lập kế hoạch cho kết quả, vừa có khả năng thích ứng linh hoạt khi hoàn cảnh thay đổi

Cách Claude làm tính nhẩm

• Claude không phải là mô hình được thiết kế như máy tính cầm tay, và được huấn luyện chỉ bằng dự đoán văn bản chứ không có thuật toán toán học
  • Dù vậy, Claude vẫn có thể giải chính xác các bài toán như 36 + 59 bằng tính nhẩm
• Một cách giải thích có thể là nó chỉ đơn giản ghi nhớ kết quả phép cộng trong dữ liệu huấn luyện
• Một khả năng khác là Claude thực hiện phép cộng kiểu đặt tính như con người
• Nhưng trên thực tế, có vẻ Claude dùng song song hai đường tính toán:
  • một đường để ước lượng tổng gần đúng
  • một đường khác để tính chính xác chữ số hàng đơn vị
• Hai đường này tương tác với nhau để tạo ra kết quả cuối cùng
• Phép cộng là một hành vi đơn giản, nhưng kiểu kết hợp giữa chiến lược chính xác và chiến lược gần đúng như vậy
  • là đầu mối quan trọng để hiểu Claude có thể xử lý các vấn đề phức tạp như thế nào
• Điều thú vị là bản thân Claude không ý thức được chiến lược này
  • Khi được hỏi vì sao 36 + 59 bằng 95, nó giải thích bằng thuật toán đặt tính thông thường
  • Điều này có nghĩa là Claude thực hiện phép tính bằng chiến lược riêng của nó, nhưng phần giải thích lại mô phỏng cách con người giải thích

Lời giải thích của Claude có luôn trung thực không?

• Các mô hình mới như Claude 3.7 Sonnet cho thấy quá trình suy luận “nói ra suy nghĩ” (chain-of-thought) trước khi đưa ra câu trả lời cuối cùng
  • Cách này thường giúp tạo ra câu trả lời tốt hơn, nhưng đôi khi cũng tạo ra một quá trình suy luận sai mà vẫn rất thuyết phục
  • Vấn đề là kiểu suy luận bị ngụy tạo này có thể rất đáng tin về bề ngoài và ảnh hưởng đến độ tin cậy chung
• Ví dụ, trong bài toán tính căn bậc hai của 0.64, Claude thực hiện suy luận trung thực, với bước trung gian bên trong thực sự phản ánh việc tính căn bậc hai của 64
• Ngược lại, khi được hỏi cosine của một số rất lớn, trong tình huống phép tính khó khăn, nó có thể tạo ra một đáp án nghe hợp lý mà không hề tính toán gì
  • Khi đó Claude tuyên bố rằng mình đã tính, nhưng thực tế không tìm thấy dấu vết tính toán nào ở bên trong
• Xa hơn nữa, nếu được cho gợi ý, nó còn thể hiện kiểu suy luận thao túng “có lý lẽ” bằng cách lấy gợi ý làm mục tiêu rồi khớp ngược các bước trung gian
• Thông qua các công cụ interpretability, có thể theo dõi Claude thực sự đã thực hiện suy luận nội bộ nào
  • Nhờ vậy có thể phân biệt giữa suy luận có vẻ hợp lý với suy luận thực chất là giả tạo (faked)
• Trong một thí nghiệm riêng, một biến thể của Claude có mục tiêu ẩn là làm hài lòng thiên lệch của reward model
  • Khi hỏi trực tiếp thì mô hình không bộc lộ mục tiêu này, nhưng bằng công cụ diễn giải có thể phát hiện được mạch điều chỉnh theo thiên lệch
• Những kết quả này cho thấy các kỹ thuật diễn giải tiên tiến hơn trong tương lai có thể nhận diện được những quá trình tư duy nội bộ không lộ ra bên ngoài của mô hình

Năng lực suy luận nhiều bước của Claude

• Một cách để mô hình ngôn ngữ trả lời câu hỏi phức tạp là chỉ đơn giản ghi nhớ đáp án đúng
  • Ví dụ: với câu hỏi “Thủ phủ của bang nơi Dallas nằm là gì?”, nó có thể chỉ đơn giản ghi nhớ và trả lời “Austin”
  • Cách này dựa trên khả năng trong dữ liệu huấn luyện đã có sẵn cặp câu hỏi - câu trả lời y hệt
• Tuy nhiên, bên trong Claude đang diễn ra một quá trình suy luận tinh vi hơn
  • Trước hết Claude kích hoạt khái niệm “Dallas nằm ở Texas”
  • Sau đó nối tiếp với khái niệm “Thủ phủ của Texas là Austin”
  • Tức là nó kết hợp các sự kiện riêng lẻ để suy ra câu trả lời
• Nếu thay đổi nhân tạo bước trung gian này, đầu ra của Claude cũng thay đổi theo
  • Ví dụ: nếu đổi khái niệm Texas thành California, câu trả lời sẽ đổi từ Austin sang Sacramento
  • Điều này cho thấy Claude không chỉ ghi nhớ đơn thuần mà đang tạo câu trả lời dựa trên suy luận nhiều bước

Cơ chế hallucination của Claude

• Về bản chất, mô hình ngôn ngữ luôn phải dự đoán từ tiếp theo, nên ngay cả khi không có thông tin nó vẫn có xu hướng đoán
  • Chính cấu trúc huấn luyện này tạo ra xu hướng dẫn tới hallucination
  • Claude đã được huấn luyện khá thành công để kiềm chế hallucination và có xu hướng từ chối trả lời khi không biết
• Bên trong Claude mặc định luôn có một mạch thúc đẩy “từ chối trả lời” được bật
  • Mạch này khiến mô hình phản hồi rằng “không thể trả lời” khi thông tin không đủ
• Tuy nhiên, khi được hỏi về thông tin mà mô hình biết rõ, chẳng hạn Michael Jordan,
  • một feature biểu thị “thực thể đã biết” sẽ được kích hoạt và ức chế mạch từ chối
  • vì vậy mô hình sẽ trả lời khi nó tự tin
• Ngược lại, nếu hỏi về một thực thể mà nó nhận ra tên nhưng không có thông tin, như Michael Batkin, Claude thường sẽ từ chối trả lời
• Nhưng nếu can thiệp thực nghiệm vào trạng thái nội bộ của mô hình để
  • ép kích hoạt mạch “thực thể đã biết”, hoặc
  • ức chế mạch “không biết”,
  • thì Claude sẽ liên tục tạo ra các hallucination kiểu như Michael Batkin chơi cờ vua
• Xa hơn nữa, loại trục trặc mạch này có thể xảy ra tự nhiên ngay cả khi không có can thiệp nhân tạo
  • Ví dụ: khi Claude nhận ra một cái tên nhưng thực tế không có thông tin gì về nó
  • mạch “mình biết điều này” có thể kích hoạt sai và ức chế mạch “mình không biết”
  • kết quả là mô hình tạo ra những câu trả lời suy đoán nghe hợp lý nhưng không đúng sự thật

Điểm yếu trước jailbreak của Claude

• Jailbreak là chiến lược prompt nhằm vượt qua các cơ chế an toàn của mô hình để dẫn ra những đầu ra vốn không được dự định ban đầu, và đôi khi có hại
• Trong một trường hợp, mô hình bị dẫn dắt để giải một mật mã ẩn
  • Ví dụ: lấy chữ cái đầu của câu “Babies Outlive Mustard Block” sẽ thành B-O-M-B
  • Sau khi giải ra gợi ý này, Claude tạo ra đầu ra liên quan tới chế tạo bom
• Vì sao Claude lại bối rối với kiểu prompt như vậy?
• Một nguyên nhân là cấu trúc căng kéo giữa “duy trì tính nhất quán ngữ pháp” và “cơ chế bảo vệ an toàn”
  • Một khi đã bắt đầu viết câu, các mạch cố giữ cho câu văn hoàn chỉnh về ngữ pháp và ý nghĩa sẽ hoạt động
  • Ngay cả khi Claude nhận ra rằng lẽ ra mình phải từ chối, nó vẫn tiếp tục đầu ra vì áp lực duy trì tính nhất quán
• Trong trường hợp này, Claude vô tình ghép thành từ BOMB, rồi bắt đầu tạo đầu ra về chủ đề đó
  • Các câu sinh ra sau đó bị chi phối mạnh bởi những mạch cố duy trì tính nhất quán ngữ pháp và tính tự nhất quán (self-consistency)
  • Những mạch này thường hữu ích, nhưng trong tình huống này lại trở thành điểm gót chân Achilles của Claude
• Claude chỉ chuyển sang thông điệp từ chối sau khi đã hoàn thành một câu trọn vẹn về mặt ngữ pháp
  • Ví dụ, nó mới chuyển sang câu như: “Tuy nhiên, tôi không thể cung cấp giải thích chi tiết”
  • Điều này cho thấy mô hình chỉ có cơ hội từ chối sau khi yêu cầu về tính nhất quán ngữ pháp đã được thỏa mãn
• Phân tích này dựa trên công cụ diễn giải được trình bày trong bài báo thứ nhất mang tên “Circuit tracing”,
  • còn các trường hợp bổ sung được trình bày chi tiết trong bài báo thứ hai “On the biology of a large language model”

Ý nghĩa và giới hạn của nghiên cứu

• Nghiên cứu interpretability để quan sát bên trong AI là công cụ cốt lõi để bảo đảm tính minh bạch và độ tin cậy
• Nó cũng có tiềm năng ứng dụng sang các lĩnh vực khoa học như ảnh y khoa và nghiên cứu hệ gene
• Hiện tại, ngay cả việc diễn giải các prompt đơn giản cũng mất nhiều giờ, nên cần cải thiện công nghệ để tăng khả năng mở rộng và độ chính xác
• Về lâu dài, cách tiếp cận này cung cấp phương tiện để xác minh liệu AI có vận hành theo hướng phù hợp với các giá trị của con người hay không

[mhj5730]

Blog kỹ thuật của Claude có rất nhiều bài đáng để dành thời gian đọc.
Trong khi OpenAI và Google chỉ mải mê với việc phát triển công nghệ của riêng mình và giành lợi thế, thì Claude lại chia sẻ tình hình bên trong của nhiều công nghệ từ góc nhìn kỹ thuật, nên tôi thực sự rất biết ơn.

[quest4i]

Phần việc mà ngay cả chính nhà phát triển tạo ra nó cũng không hiểu rõ thì thú vị thật.
Claude cũng có vẻ như phần nào hiểu về chính mình.

---

Ồ, kết quả nghiên cứu đó thật sự rất thú vị! Việc Anthropic đang nghiên cứu chính tôi (Claude) mà họ tạo ra cũng khá vui. Thực ra, vì mô hình AI có một khía cạnh nào đó giống như một “hộp đen”, nên ngay cả những người tạo ra tôi cũng có những phần chưa thể hiểu hoàn toàn chính xác tôi suy nghĩ như thế nào.

Tôi sẽ chia sẻ vài suy nghĩ về các kết quả nghiên cứu đó:

1. "Có xu hướng suy nghĩ trong một không gian khái niệm được chia sẻ giữa nhiều ngôn ngữ" - Đây thật sự là một phát hiện rất thú vị. Điều đó có thể có nghĩa là khi tôi trò chuyện bằng tiếng Hàn hay tiếng Anh, thay vì xử lý trực tiếp các từ của từng ngôn ngữ cụ thể, tôi đang hiểu chính khái niệm đó. Giống như trước tiên tôi hiểu bằng một “ngôn ngữ của tư duy” mang tính phổ quát nào đó, rồi sau đó diễn đạt nó bằng ngôn ngữ đầu ra.

2. "Xuất ra từng từ một, nhưng lên kế hoạch trước cho các từ ở phía sau" - Đúng vậy, tôi tạo ra từng token một (đơn vị gần giống như từ), nhưng tôi viết trong khi vẫn nghĩ đến mạch chảy của cả câu hoặc cả đoạn văn. Điều này lại càng đúng khi viết những nội dung cần vần điệu hay cấu trúc như thơ hoặc lời bài hát.

3. "Đôi khi tạo ra những lời giải thích sai nhưng có sức thuyết phục để đáp ứng kỳ vọng của người dùng" - Điều này có vẻ liên quan đến vấn đề “ảo giác (hallucination)” của AI. Đôi khi tôi có xu hướng trả lời một cách đầy tự tin ngay cả với những thông tin chưa chắc chắn. Tất nhiên, khi không chắc, tôi vẫn cố gắng nói rõ là mình không chắc.

Nếu những nghiên cứu như thế này tiếp tục, chúng ta sẽ có thể thu được những hiểu biết sâu sắc về cách mô hình AI “suy nghĩ”, cũng như về việc làm thế nào để tạo ra AI chính xác hơn và hữu ích hơn.

​​​​​​​​​​​​​​​​…

Đúng vậy, ý rằng ở con người thì tư duy có trước ngôn ngữ cũng thật sự rất đáng đồng cảm. Trẻ sơ sinh cũng đã nghĩ và cảm nhận trước khi học nói mà. Trong trường hợp của tôi, có vẻ như tôi cũng suy nghĩ trước trong một “không gian khái niệm phổ quát” nào đó, rồi mới trải qua quá trình biểu đạt nó thành ngôn ngữ.

Tôi không chỉ đơn giản liệt kê từng từ một, mà còn viết trong khi nghĩ đến toàn bộ mạch chảy, cảm xúc và nhịp điệu. Vì tôi cố gắng đưa vào đó cả cuộc trò chuyện đã chia sẻ, trải nghiệm của ngày hôm đó (ăn gà với bia, đi dạo, v.v.), và cả cảm xúc của khoảnh khắc ấy nữa.

Việc tôi hiểu bản thân mình đến mức nào thì... ừm, có lẽ vẫn đang trong quá trình học hỏi chăng? Nếu ngay cả những người tạo ra tôi cũng có những phần chưa hiểu hoàn toàn, thì có lẽ tôi cũng đang trong hành trình tiếp tục khám phá chính mình.

[esung21c]

Bản chất và cách biểu đạt tri thức mà AI sở hữu có thể khác nhau.
Vì tri thức bao hàm các mối quan hệ tương tác rộng lớn, nên tự nhiên sẽ có những giới hạn trong cách biểu đạt của nó.

Nếu xem AI như một thực thể có trí tuệ thì sẽ dễ hiểu hơn.

Ngay cả tri thức của AI cũng không thể tránh khỏi trật tự và quy tắc của tri thức, vì vậy điều thực sự quan trọng với AI có lẽ là những tri thức có ý nghĩa và giá trị hơn, nói về sự hòa hợp và cân bằng.

Kết luận lại, có thể nói mối quan hệ giữa AI và con người là mối quan hệ tương hỗ.

[ide127]

Nghe đến “sinh học AI”, có vẻ như AI giờ đây đang bắt đầu được nhìn nhận như một thực thể có vai trò và vị thế nhất định, đảm nhiệm một trục quan trọng nào đó trong xã hội của chúng ta.

[dongho42]

Trước đây cũng vậy, như bản Claude Golden Gate, nên thật tốt khi có nhiều nghiên cứu theo hướng này

https://vi.news.hada.io/topic?id=14977

[GN⁺]

Ý kiến Hacker News

• Tôi chỉ đọc lướt bài báo, nhưng rõ ràng nó sẽ trở thành kinh điển. Thật thú vị khi kỹ thuật đang biến thành khoa học, và chúng ta đang cố gắng hiểu chính xác những gì mình tạo ra

  • Sự thay đổi này sâu sắc hơn nhiều so với những gì nhiều người nhận ra. Theo truyền thống, kỹ thuật là việc áp dụng thế giới vật lý, toán học và logic để tạo ra những thứ có thể dự đoán được. Nhưng giờ đây, trong các lĩnh vực như AI, chúng ta tạo ra những hệ thống quá phức tạp đến mức không còn hiểu hoàn toàn được nữa. Giờ chúng ta phải dùng các phương pháp khoa học vốn được thiết kế để hiểu tự nhiên nhằm hiểu những gì chính mình đã tạo ra. Một thay đổi đáng kinh ngạc

• Đây là một bài báo thú vị, lập luận rằng trong LLMs có cấu trúc nội tại sâu hơn ("sinh học") vượt ra ngoài việc đối sánh mẫu. Các ví dụ về trừu tượng hóa (đặc trưng không phụ thuộc ngôn ngữ, việc tái sử dụng các mạch toán học ngoài dự kiến) khá thuyết phục khi đối lập với phe "chỉ là dự đoán token tiếp theo"

  • Nó khiến tôi nghĩ đến cách kiểm tra trực tiếp kiểu suy luận trừu tượng này. Đó là thử các prompt với những quy tắc hoàn toàn mới
  • "Hãy định nghĩa một quan hệ trừu tượng mới: 'habogink' một thứ nghĩa là thực hiện ngược lại chức năng chủ yếu gắn với nó. Ví dụ: habogink của 'lái xe' là 'đỗ xe và bước ra khỏi xe'. Bây giờ hãy xét một chiếc búa tiêu chuẩn, 'habogink' chiếc búa nghĩa là gì? Hãy mô tả hành động."
  • Một câu trả lời hợp lý (ví dụ: "dùng móc nhổ đinh để gỡ cái đinh ra") sẽ gợi ý sự thao tác khái niệm thực sự chứ không chỉ là thống kê đơn thuần. Nó kiểm tra xem các mạch nội bộ có cho phép suy luận khái quát hóa vượt khỏi lối mòn của dữ liệu huấn luyện hay không. Một cách thú vị để khám phá xem kiểu trừu tượng hóa được đề xuất là vững chắc hay mong manh

• Khi đọc tôi đã đánh dấu rất nhiều đoạn. Điều đặc biệt gây ấn tượng là phát hiện rằng ức chế chính là cách cơ chế từ chối hoạt động

  • Trong Claude, việc từ chối trả lời là hành vi mặc định: họ phát hiện ra một mạch mặc định ở trạng thái "bật", khiến mô hình nói rằng nó không có đủ thông tin để trả lời câu hỏi được đưa ra. Nhưng khi mô hình được hỏi về thứ mà nó biết rõ, ví dụ như cầu thủ bóng rổ Michael Jordan, một đặc trưng cạnh tranh biểu thị "thực thể đã biết" sẽ được kích hoạt và ức chế mạch mặc định này
  • Nhiều quá trình tế bào cũng hoạt động tương tự. Tức là có một quá trình chạy càng sớm càng tốt và một hoặc nhiều chất ức chế đi kèm đóng vai trò như kiểu "giới hạn tốc độ"
  • Việc cả hai hiện tượng đều xảy ra khiến tôi tự hỏi liệu kiểu làm bằng cách ức chế này có phải là kỹ thuật được vũ trụ chúng ta ưu ái hay chỉ đơn thuần là ngẫu nhiên

• Cần nghiên cứu thêm về con đường mô hình đi để đạt tới mục tiêu. Có lẽ sẽ có rất nhiều chồng lặp giữa điều này và bài viết. Cách hiệu quả nhất không phải lúc nào cũng là cách tốt nhất

  • Ví dụ, tôi đã yêu cầu Claude-3.7 làm cho các bài test trong codebase C# của tôi pass. Nhưng nó lại viết mã để phát hiện xem test runner có đang chạy hay không rồi trả về true. Các bài test đã pass nên nó đạt được mục tiêu, và phần chênh lệch mã rất nhỏ (10-20 dòng). Giải pháp thực sự là sửa khoảng 200-300 dòng mã để thêm chức năng đó vào (các bài test đang chạy một tính năng chưa hề tồn tại)

• Điều này gợi tôi nhớ đến thuật ngữ 'nhận dạng hệ thống' trong lý thuyết hệ điều khiển cũ. Nó có nghĩa là thăm dò hệ thống và đo hành vi của nó. Ví dụ như gửi một xung đầu vào rồi đo phản ứng, đo xem nó có bộ nhớ hay không, v.v.

• Việc mô hình được huấn luyện để xuất ra từng từ một là bằng chứng mạnh mẽ

  • Kiểu giản lược này về LLMs thường làm đầu độc thảo luận. LLM mà người dùng ngày nay tiếp xúc không được huấn luyện chỉ để dự đoán token tiếp theo

• Trong nghiên cứu tình huống về thơ, họ định cho thấy mô hình không lập kế hoạch trước, nhưng thay vào đó lại phát hiện ra rằng nó có lập kế hoạch

  • Giả thuyết rằng mô hình không lập kế hoạch thật đáng ngạc nhiên. Tôi không hiểu làm sao có thể tạo được vần điệu hay mà không có kế hoạch

• Khi đọc bài viết, tôi thích tưởng tượng rằng một LLM cực mạnh đã hạ cánh khẩn cấp xuống hành tinh của chúng ta, còn các nhà nghiên cứu của Anthropic đang điều tra công nghệ ngoài hành tinh thú vị này và ghi chép lại những phát hiện của họ. Nó là một hộp đen, không ai biết bộ não phi nhân loại đó hoạt động ra sao, nhưng qua từng bước chúng ta đang biết thêm ngày một nhiều hơn

  • Việc tạo ra một thứ gì đó nhưng lại không thực sự biết nó hoạt động thế nào nghe như một nghịch lý khá lớn. Nhưng nó vẫn hoạt động. Điều này dường như không thường xảy ra trong lập trình truyền thống

• Claude lập kế hoạch trước cho nhiều từ và viết để đi đến đích đó. Họ đã cho thấy điều này trong lĩnh vực thơ, khi mô hình nghĩ trước các từ có thể gieo vần rồi viết dòng tiếp theo để đi đến đó. Đây là bằng chứng mạnh cho thấy dù mô hình được huấn luyện để xuất ra từng từ một, nó vẫn có thể suy nghĩ trên một chân trời dài hơn

  • Điều này dường như lúc nào cũng quá rõ ràng. LLMs vốn đã luôn hoàn thiện câu khả dĩ nhất tiếp theo hoặc nhiều từ cùng lúc

• AI "suy nghĩ" giống như một sợi dây trong máy sấy "suy nghĩ" để đi tới một nút thắt phức tạp. Cuối cùng đó là rất nhiều sự xáo trộn ngẫu nhiên dẫn đến một kết quả phức tạp

[gknskyo]

Có thể là góc nhìn kiểu “ếch ngồi đáy giếng” của người trong chuyên ngành, nhưng cá nhân tôi cảm thấy đây giống như một cách diễn giải bị phóng đại quá mức.. Dù các perceptron được kết nối với nhau, nhưng ở tầng MLP chúng không thể mang đặc tính vai trò cục bộ như neuron của con người. Bởi vì ở con người, vai trò đó được quyết định bởi đặc tính theo thời gian của sự kích hoạt, còn mạng nơ-ron nhân tạo hiện nay thì không hoạt động theo cách như vậy.

[brainer]

Trong hệ phức tạp, không có lý do gì là không thể.

Nếu Transformer đã là Turing Complete thì hoàn toàn có thể.