- Mô hình ngôn ngữ lớn (LLM) đang ngày càng được bàn luận như những hệ thống vượt ra ngoài việc chỉ dự đoán từ ngữ đơn thuần, để thể hiện các dạng hiểu biết và tư duy thực sự
- Nhà thần kinh học Doris Tsao đánh giá rằng machine learning đã làm sáng tỏ bản chất của trí tuệ nhiều hơn 100 năm ngành thần kinh học
- Deep learning và kiến trúc mạng nơ-ron mô phỏng nguyên lý hoạt động của não người, và được giải thích bằng khái niệm “hiểu = nén”
- Nghiên cứu của Douglas Hofstadter và Pentti Kanerva được kết nối với cấu trúc nhận thức “seeing as” của LLM
- Những giới hạn và rủi ro đạo đức của AI như hiệu quả học tập chưa tương đương con người, thiếu trải nghiệm và ý thức, vẫn là bài toán cốt lõi
Hiện tượng phân cực trong hiệu năng AI
- CEO Anthropic Dario Amodei dự đoán đến năm 2027 sẽ xuất hiện AI thông minh hơn cả người đoạt Nobel trong các lĩnh vực sinh học, toán học, kỹ thuật và viết lách
- Ông đưa ra viễn cảnh bên trong các trung tâm dữ liệu sẽ có hàng triệu bản sao mô hình, mỗi bản tự tiến hành nghiên cứu như một “quốc gia của những thiên tài”
- Sam Altman của OpenAI cho rằng ngành này đang ở ngay ngưỡng xây dựng “siêu trí tuệ số”, và thập niên 2030 sẽ là một thời đại hoàn toàn khác trước đây
- Tuy vậy, phần lớn công cụ AI mà đa số mọi người dùng hằng ngày hiện vẫn khá hạn chế, giống Clippy của Microsoft Office trước kia
- Zoom AI chỉ đưa ra các gợi ý đơn giản như “Icebreaker cho cuộc họp là gì?”
- Siri ngoài việc đặt lời nhắc thì còn thiếu nhiều chức năng
- AI của Gmail bịa ra cả câu chuyện về chuyến du lịch Thổ Nhĩ Kỳ mà người dùng chưa từng đi
- Việc phát hành AI một cách gấp gáp và không đồng đều đã tạo nên màn sương cho rằng tất cả chỉ là thổi phồng, nhưng trên thực tế vẫn có những tiến bộ đáng kể
Đổi mới AI trong lĩnh vực lập trình
- Ban đầu tác giả cho rằng AI không liên quan gì đến trí tuệ hay sự hiểu biết thực sự, nhưng góc nhìn đã thay đổi khi làm việc như một lập trình viên và bắt đầu dùng AI
- Viết mã là công việc AI làm tốt nhất, vì cấu trúc của nó rõ ràng hơn văn xuôi và có thể tự động kiểm chứng
- Lúc đầu chỉ tham khảo AI thay cho tra cứu thông tin, rồi dần giao cho nó các bài toán nhỏ độc lập, và cuối cùng giao cả công việc thực tế mà bản thân đã được rèn luyện suốt đời
- Mô hình AI có thể nắm bắt chi tiết phức tạp trong hàng nghìn dòng mã chỉ trong vài giây
- Phát hiện những bug tinh vi và điều phối các tính năng mới phức tạp
- Tác giả chuyển sang một đội ngũ đang phát triển rất nhanh để tận dụng công cụ AI tốt hơn
- Dù AI agent vẫn thất bại trong việc đặt kỳ nghỉ hay khai thuế, đồng nghiệp của tác giả đã viết phần lớn mã bằng AI và đôi khi chạy đồng thời nhiều coding agent
- Khi đã học được cách sử dụng hiệu quả, giờ đây tác giả có thể hoàn thành vào buổi tối những việc trước kia mất cả tháng
- Dù không biết cách làm ứng dụng iOS, tác giả vẫn tạo được hai ứng dụng iOS
Điểm mạnh và điểm yếu của mô hình ngôn ngữ lớn
- Giống như lời sếp của tác giả rằng “phỏng vấn nên tìm điểm mạnh chứ không phải sự vắng mặt của điểm yếu”, LLM cũng có rất nhiều điểm yếu
- Hiện tượng ảo giác tạo ra thông tin sai nhưng nghe vẫn hợp lý
- Quá phục tùng ngay cả khi người dùng sai
- Bị đánh lừa bởi các câu đố đơn giản
- Trước đây, sự lưu loát, tính linh hoạt và khả năng nắm bắt nội dung hội thoại từng được xem là những thế mạnh quý như chén thánh
- Khi trực tiếp trải nghiệm các thế mạnh này, người ta bắt đầu tự hỏi: “Ảo giác về sự hiểu biết phải thuyết phục đến mức nào thì mới không còn gọi là ảo giác nữa?”
- Trường hợp của Max: sửa vòi phun nước ở sân chơi
- Trước mặt những đứa trẻ đỏ bừng mặt, anh phát hiện trong kho thiết bị là một mê cung phức tạp của ống nước và van
- Anh nhập ảnh và mô tả vấn đề vào ChatGPT-4o
- AI xác định đó là hệ thống chống chảy ngược của hệ thống tưới tiêu và đề xuất thao tác với van bi màu vàng phía dưới
- Khi nước chảy ra thành công, cả sân chơi reo hò
Sự hội tụ giữa thần kinh học và AI
- Doris Tsao, giáo sư thần kinh học tại UC Berkeley: “Sự phát triển của machine learning đã dạy chúng ta về bản chất của trí tuệ nhiều hơn những gì thần kinh học khám phá được trong 100 năm qua”
- Bà nổi tiếng với nghiên cứu giải mã cách khỉ nhận diện khuôn mặt
- Dự đoán được nơ-ron nào sẽ kích hoạt khi khỉ nhìn một khuôn mặt cụ thể
- Chỉ từ mẫu hình các nơ-ron phát hỏa cũng có thể dựng lại khuôn mặt
- Công trình này dựa trên nghiên cứu cách khuôn mặt được biểu diễn bên trong mô hình AI
- Câu hỏi Tsao đặt ra: “Insight sâu sắc nhất rút ra từ ChatGPT là gì?”
- Câu trả lời của bà: “Tôi nghĩ nó giải huyền bí tư duy ở cấp độ nền tảng”
Lịch sử và sự phát triển của deep learning
- Vào thập niên 1980, một nhóm nhà tâm lý học nhận thức và khoa học máy tính (David Rumelhart, Geoffrey Hinton, James McClelland) đã thử mô phỏng tư duy bằng máy móc
- Họ lập thành một nhóm nghiên cứu tại UC San Diego
- Họ nhìn bộ não như một mạng lưới khổng lồ trong đó các nơ-ron phát hỏa theo mẫu hình để kích hoạt các tập nơ-ron khác
- Điệu nhảy của các mẫu hình này chính là tư duy
- Việc học diễn ra thông qua thay đổi cường độ kết nối giữa các nơ-ron
- Họ tạo ra mạng nơ-ron nhân tạo và áp dụng thuật toán gradient descent để nâng độ chính xác dự đoán
- Có thể ví như người leo núi từ đỉnh đi xuống thung lũng: mỗi bước đều chọn hướng đi xuống thì cuối cùng sẽ tới nơi
- Các nhà nghiên cứu AI khác từng hoài nghi rằng mạng nơ-ron chưa đủ tinh vi cho công việc thực tế, nhưng khi mạng lớn lên, chúng bắt đầu giải được những vấn đề trước đó bị xem là bất khả thi
- Các thuật toán deep learning giải được những bài toán như phân biệt chữ số viết tay hay nhận diện khuôn mặt trong ảnh, vốn trước đây cần cả một bài báo nghiên cứu
- Deep learning sau đó chinh phục cả nhận dạng giọng nói, dịch thuật, tạo chú thích ảnh, cờ bàn và dự đoán gấp cuộn protein
Dự đoán token tiếp theo và cơ chế học
- Các mô hình AI chủ đạo hiện nay được huấn luyện trên phần lớn Internet và dùng kỹ thuật dự đoán token tiếp theo
- Mô hình học bằng cách đoán nội dung sẽ xuất hiện tiếp theo rồi so sánh với nội dung thực sự xuất hiện
- Dự đoán sai sẽ làm thay đổi cường độ kết nối giữa các nơ-ron thông qua gradient descent
- Cuối cùng, mô hình trở nên rất giỏi trong việc dự đoán văn bản đến mức trông như có kiến thức và sự hiểu biết
- Điều đáng suy ngẫm là: những người đi tìm bí mật nguyên lý hoạt động của não bộ đã phóng to mô hình đến quy mô não, rồi nó bắt đầu làm được các việc đòi hỏi trí thông minh kiểu não bộ
- Có lẽ họ đã tìm thấy đúng thứ mình muốn tìm?
Phản biện với chủ nghĩa hoài nghi về AI
- Ted Chiang trong bài viết trên New Yorker năm 2023, "ChatGPT Is a Blurry JPEG of the Web", đưa ra lập luận hoài nghi
- ChatGPT chỉ đơn thuần nhập toàn bộ Internet vào một chương trình rồi trào ngược ra một cách không hoàn hảo
- Nó mờ nhòe như bản sao của bản sao, nhưng vẫn đủ sức đánh lừa rằng mình thông minh
- Cuốn sách "The AI Con" của Emily M. Bender (nhà ngôn ngữ học) và Alex Hanna (nhà xã hội học) cũng đưa ra lập luận tương tự
- Bender mô tả LLM là “những con vẹt xác suất” (stochastic parrots)
- Tyler Austin Harper của The Atlantic viết: “Mô hình ngôn ngữ lớn không hiểu gì cả, không thể và sẽ không thể”
- Mô hình tạo văn bản không phải bằng tư duy mà bằng những phỏng đoán dựa trên thống kê thông tin
- Song song với tranh luận kỹ thuật, tranh luận đạo đức cũng được đặt ra
- AI làm những người có quyền lực giàu hơn, tiêu tốn năng lượng tới mức đẩy nhanh biến đổi khí hậu và khiến người lao động bị gạt ra bên lề
- Kết luận của Harper: “Nền tảng của ngành công nghiệp AI là lừa đảo”
Sự đánh giá lại của các nhà thần kinh học
- Nhà khoa học nhận thức Harvard Samuel J. Gershman: “Lập luận ‘vẹt xác suất’ phải dừng lại ở một thời điểm nào đó”
- “Chỉ những người hoài nghi cứng đầu nhất mới có thể phủ nhận rằng các hệ thống này đang làm được những điều mà đa số chúng ta từng nghĩ là chưa thể đạt tới”
- Nhà thần kinh học nhận thức Princeton Jonathan Cohen, dù nhấn mạnh các giới hạn của AI, vẫn cho rằng LLM phản ánh phần lớn nhất và quan trọng nhất của não người
- “Ở mức xấp xỉ bậc một, tân vỏ não chính là cơ chế deep learning”
- Con người có tân vỏ não lớn hơn rất nhiều so với kích thước cơ thể khi so với các loài khác
- Những loài có tân vỏ não lớn nhất (voi, cá heo, gorilla, tinh tinh, chó) cũng là những loài thông minh nhất
Hiểu biết là nén, và nén là hiểu biết
- Luận điểm cốt lõi trong cuốn sách năm 2003 What Is Thought? của nhà nghiên cứu học máy Eric B. Baum
- Hiểu biết là nén, và nén là hiểu biết
- Hồi quy tuyến tính trong thống kê: vẽ một “đường phù hợp nhất” (line of best fit) qua các điểm trên đồ thị
- Nếu dữ liệu có quy luật nền tảng (cỡ giày và chiều cao), đường phù hợp nhất sẽ biểu diễn hiệu quả và dự đoán các điểm mới
- Tân vỏ não chưng cất biển trải nghiệm thô sơ (âm thanh, thị giác và các cảm giác khác) thành “đường phù hợp nhất” để dùng cho dự đoán
- Em bé đoán xem đồ chơi có vị gì hoặc thức ăn sẽ rơi về đâu khi rớt xuống sàn
- Nếu dự đoán sai, các kết nối giữa nơron sẽ được điều chỉnh
- Theo thời gian, các kết nối này nắm bắt các quy luật trong dữ liệu
- Hình thành một mô hình nén của thế giới
Sự nén và trí tuệ của các mô hình AI
- Mạng nơron nhân tạo cũng nén trải nghiệm như mạng nơron thật
- DeepSeek, mô hình AI mã nguồn mở hàng đầu
- Có thể viết tiểu thuyết, đề xuất chẩn đoán y khoa và nói như người bản ngữ bằng hàng chục ngôn ngữ
- Được huấn luyện dự đoán next-token trên nhiều terabyte dữ liệu
- Khi tải xuống, kích thước chỉ bằng 1/600 bản gốc
- Là phần chưng cất của internet, được nén để vừa trên laptop
- Ted Chiang gọi ChatGPT thời kỳ đầu là một ảnh JPEG mờ của web thì đúng, nhưng tác giả cho rằng đó chính là lý do khiến mô hình ngày càng thông minh hơn
- Chính Chiang cũng chỉ ra: để nén một tệp văn bản chứa hàng triệu ví dụ số học, thay vì tạo file zip, bạn phải viết một chương trình máy tính bỏ túi
- “Sự nén tốt nhất có thể đạt được bằng cách hiểu văn bản”
- Có thể các LLM đã bắt đầu làm được điều này
Nhiều kiểu tư duy khác nhau
- Việc tưởng tượng một chương trình máy tính thực sự hiểu và suy nghĩ có thể khiến người ta thấy gượng gạo và khó chịu
- Chúng ta thường khái niệm hóa tư duy như thứ có ý thức
- Độc thoại nội tâm kiểu Joyce
- Dòng ký ức cảm giác mơ màng kiểu Proust
- Suy luận: giải quyết vấn đề từng bước
- Trong các cuộc tranh luận về AI, những kiểu tư duy khác nhau này thường bị trộn lẫn, khiến phán đoán trở nên hời hợt
- Lập luận rằng ChatGPT rõ ràng không suy nghĩ vì nó không có kiểu mơ màng Proust
- Lập luận rằng ChatGPT rõ ràng có suy nghĩ vì nó giải câu đố logic tốt hơn
- Có điều gì đó tinh tế hơn đang diễn ra: tác giả không tin ChatGPT có đời sống nội tâm, nhưng nó dường như biết mình đang nói gì
Lý thuyết nhận thức của Douglas Hofstadter
- Giáo sư khoa học nhận thức và văn học so sánh tại Indiana University
- “Nhận thức là nhận diện (cognition is recognition)”
- Nổi tiếng với cuốn Gödel, Escher, Bach: An Eternal Golden Braid, tác phẩm đoạt Pulitzer Prize năm 1980
- Lý thuyết ông phát triển qua nhiều thập kỷ nghiên cứu: “thấy như (seeing as) là bản chất của tư duy”
- Nhận ra một mảng màu là ô tô, mảng khác là móc khóa
- Nhận ra chữ “A” dù nó được viết bằng phông nào hay nét chữ nguệch ngoạc ra sao
- Cùng một quá trình đó là nền tảng cho các dạng nhận thức trừu tượng hơn
- Khi một kỳ thủ xem bàn cờ, nhiều năm luyện tập được cô đọng vào cách anh ta nhìn thấy nó: tượng trắng yếu, tàn cuộc có lẽ hòa
- Nhận ra xoáy nước mạnh như một tín hiệu rằng băng qua sẽ nguy hiểm
- Nhận ra một cuộc họp mình tham dự là tình huống “bộ quần áo mới của hoàng đế”
- Cậu con trai 2 tuổi của tác giả nhận ra rằng một chuyến đi dạo bằng xe đẩy vào cuối buổi sáng có thể là cơ hội ăn croissant nên đòi hỏi
- Với Hofstadter, đó là cốt lõi của trí tuệ
Lý thuyết không gian nhiều chiều của Pentti Kanerva
- Hofstadter ban đầu là một trong những người xem nhẹ AI
- Ông viết rằng phần lớn nghiên cứu AI không liên quan đến tư duy thật sự, và tác giả thời còn học đại học vào thập niên 2000 cũng đồng ý
- Ngoại lệ là một nhóm ở UC San Diego, nơi ông quan tâm và ngưỡng mộ công trình của nhà khoa học nhận thức người Mỹ gốc Phần Lan ít được biết đến Pentti Kanerva
- Kanerva phát hiện những tính chất kỳ lạ trong toán học của không gian nhiều chiều
- Trong không gian nhiều chiều, hai điểm bất kỳ có thể rất xa nhau
- Nhưng nghịch lý là mỗi điểm lại có một đám mây láng giềng lớn quanh nó, nên nếu đến “đủ gần” thì có thể dễ dàng tìm thấy
- Điều này gợi nhớ đến cách ký ức vận hành
- Trong cuốn Sparse Distributed Memory năm 1988, ông lập luận rằng suy nghĩ, cảm giác và hồi ức có thể được biểu diễn như các tọa độ trong không gian nhiều chiều
- Não bộ là phần cứng hoàn hảo để lưu trữ những thứ này
- Mỗi ký ức đều có một loại địa chỉ, được xác định bởi các nơron kích hoạt khi nó được nhớ lại
- Một trải nghiệm mới kích hoạt một tập nơron mới để biểu diễn một địa chỉ mới
- Hai địa chỉ có thể khác nhau ở nhiều mặt nhưng giống nhau ở những mặt khác
- Một tri giác hoặc ký ức có thể kích hoạt những ký ức khác ở gần đó
- Ví dụ: mùi cỏ khô gợi lại ký ức về trại hè, ba nốt đầu của Giao hưởng số 5 của Beethoven khiến ta dự đoán nốt thứ tư, một thế cờ chưa từng thấy gợi nhớ những ván cờ cũ
Sự đổi chiều của Hofstadter
- Hofstadter nhận ra Kanerva đang mô tả một “cỗ máy seeing as”
- Trong lời tựa cuốn sách của Kanerva, ông viết: “Mô hình ký ức của Pentti Kanerva là một sự khai sáng đối với tôi. Đó là công trình đầu tiên cho tôi thoáng thấy mục tiêu xa xôi là hiểu cách bộ não hoạt động như một tổng thể”
- Mọi kiểu tư duy (kiểu Joyce, kiểu Proust, logic) đều phụ thuộc vào việc điều phù hợp xuất hiện đúng lúc
- Đó là cách chúng ta hiểu mình đang ở trong loại tình huống nào
- Cuốn sách của Kanerva dần biến mất khỏi tầm nhìn, và danh tiếng của chính Hofstadter cũng phai nhạt
- Thỉnh thoảng ông chỉ xuất hiện để chỉ trích các hệ thống AI mới
- Năm 2018, nói về Google Translate và các hệ thống tương tự: “Vẫn còn thiếu sâu sắc một điều gì đó trong cách tiếp cận này, điều được truyền tải qua từ ‘hiểu’ (understanding)”
- Khi GPT-4 ra mắt năm 2023, đó là khoảnh khắc đổi chiều của Hofstadter
- “Tôi bối rối trước một phần những gì các hệ thống này làm được. Cách đây 10 năm tôi còn không thể tưởng tượng nổi”
- Ngay cả người xem nhẹ cứng đầu nhất cũng không thể tiếp tục xem nhẹ nữa
- Một chương trình có thể dịch thuật, suy luận tương đồng, ứng biến và khái quát hóa ở mức chuyên gia
- Không thể nói rằng nó không hiểu
- “Nó làm điều gì đó rất giống với tư duy. Theo một cách hơi khác lạ, nhưng có thể nói là nó đang suy nghĩ”
Không gian vector nhiều chiều của LLM
- Về cốt lõi, LLM sở hữu một “cỗ máy seeing as”
- Mỗi từ được biểu diễn bằng một dãy số đại diện cho tọa độ trong không gian nhiều chiều (vector)
- Trong GPT-4, vector từ có hàng nghìn chiều, mô tả những sắc độ tương đồng và khác biệt với mọi từ khác
- Trong quá trình huấn luyện, mô hình điều chỉnh tọa độ của từ khi xảy ra lỗi dự đoán
- Các từ thường xuất hiện cùng nhau trong văn bản sẽ di chuyển lại gần nhau hơn trong không gian
- Điều này tạo ra một biểu diễn cực kỳ dày đặc về cách dùng và ý nghĩa, khiến phép loại suy trở thành vấn đề hình học
- Ví dụ kinh điển: lấy vector của “Paris”, trừ “France” rồi cộng “Italy”, vector gần nhất khác sẽ là “Rome”
- LLM cũng “vector hóa” hình ảnh để mã hóa cả nội dung, bầu không khí lẫn biểu cảm khuôn mặt
- Đủ chi tiết để vẽ lại theo một phong cách nhất định hoặc viết thành một đoạn văn
- Khi Max nhờ giúp với vòi phun nước ở sân chơi, mô hình không chỉ đơn giản phun ra văn bản
- Ảnh chụp hệ thống ống nước, cùng với prompt của Max, được nén thành các vector nắm bắt những đặc điểm quan trọng nhất
- Các vector đó đóng vai trò địa chỉ để gọi ra những từ và khái niệm ở gần
- Các ý tưởng lần lượt gọi ra những ý tưởng khác, khi mô hình xây dựng cảm nhận về tình huống
- Rồi viết phản hồi với những ý tưởng đó “ở trong đầu”
Nghiên cứu khám phá nội tại của Anthropic
- Tác giả đọc cuộc phỏng vấn với Trenton Bricken, nhà nghiên cứu tại Anthropic
- Cùng các đồng nghiệp thực hiện công việc thăm dò bên trong Claude (dòng mô hình AI của Anthropic)
- Nghiên cứu chưa được bình duyệt đồng cấp hoặc xuất bản trên tạp chí khoa học
- Nhóm đã xác định các tập hợp nơ-ron nhân tạo, hay "đặc trưng(features)", được kích hoạt khi Claude định nói một nội dung cụ thể
- Đặc trưng hoạt động như núm chỉnh âm lượng của một khái niệm
- Tăng lên thì mô hình chỉ nói về đúng thứ đó
- Thí nghiệm kiểm soát suy nghĩ: khi khuếch đại đặc trưng đại diện cho Golden Gate Bridge, lúc được yêu cầu công thức bánh chocolate, mô hình đề xuất các nguyên liệu như "1/4 cốc sương mù khô", "1 cốc nước biển ấm"
- Bricken nhắc đến kiến trúc Transformer của Google
- Công thức cấu thành mạng nơ-ron làm nền tảng cho các mô hình AI chủ chốt
- Chữ "T" trong ChatGPT có nghĩa là "Transformer"
- Bricken lập luận rằng toán học ở lõi của kiến trúc Transformer rất gần với mô hình mà Pentti Kanerva đề xuất từ nhiều thập kỷ trước trong "Sparse Distributed Memory"
Ảnh hưởng qua lại giữa khoa học thần kinh và AI
- Có nên ngạc nhiên trước sự tương ứng giữa AI và não người?
- LLM là các mạng nơ-ron nhân tạo được các nhà tâm lý học và khoa học thần kinh góp phần phát triển
- Điều đáng ngạc nhiên hơn là khi mô hình luyện một việc đơn giản là dự đoán từ, nó bắt đầu hành xử theo cách giống não bộ
- Gần đây, hai lĩnh vực khoa học thần kinh và AI đang đan xen vào nhau
- Các chuyên gia về não đang dùng AI như một dạng sinh vật mô hình
- Nhà khoa học thần kinh Evelina Fedorenko của MIT dùng LLM để nghiên cứu cách não xử lý ngôn ngữ
- "Tôi chưa từng nghĩ cả đời mình sẽ có thể suy nghĩ về những thứ như thế này. Tôi không nghĩ chúng ta sẽ có được những mô hình đủ tốt"
- Người ta thường nói AI là hộp đen, nhưng điều ngược lại có thể mới đúng
- Các nhà khoa học có thể thăm dò, thậm chí chỉnh sửa, hoạt động của từng nơ-ron nhân tạo riêng lẻ
- Nhà khoa học thần kinh Kenneth Norman của Princeton: "Có một hệ thống đang vận hành hiện thực hóa các lý thuyết về trí thông minh của con người là giấc mơ của khoa học thần kinh nhận thức"
- Ông đã tạo các mô hình máy tính của hồi hải mã, vùng não lưu trữ ký ức sự kiện, nhưng trước đây chúng quá đơn giản và chỉ có thể nhận vào những xấp xỉ thô sơ về những gì có thể đi vào tâm trí con người
- "Giờ đây chúng tôi có thể đưa vào mô hình ký ức chính xác những kích thích mà chúng tôi đưa cho con người"
Phép so sánh với anh em Wright
- Anh em Wright đã nghiên cứu các loài chim trong quá trình nỗ lực chế tạo máy bay thời kỳ đầu
- Họ phát hiện chim cất cánh ngược gió, điều mà một người hợp lý có thể sẽ đoán là phải có gió từ phía sau
- Chúng bẻ cong đầu cánh để giữ thăng bằng
- Những phát hiện này ảnh hưởng đến thiết kế tàu lượn sơ khai của họ
- Sau đó họ chế tạo một đường hầm gió dài 6 foot để thử nghiệm các bộ cánh nhân tạo trong điều kiện được kiểm soát chính xác
- Chuyến bay tàu lượn tiếp theo thành công hơn nhiều
- Trớ trêu thay, chỉ sau khi tạo ra được cỗ máy bay hoạt động, họ mới hiểu chính xác chim làm điều đó như thế nào
Thí nghiệm đường hầm gió cho chính tư duy
- AI cho phép các nhà khoa học đặt chính tư duy vào đường hầm gió
- Bài báo của các nhà nghiên cứu Anthropic mang tên "On the Biology of a Large Language Model" mang tính khiêu khích
- Họ quan sát cách Claude phản hồi truy vấn và mô tả các "mạch" là chuỗi đặc trưng cùng thực hiện những phép tính phức tạp
- Việc gọi lại đúng ký ức là một bước hướng tới tư duy
- Việc kết hợp và thao tác ký ức trong các mạch là một bước khác
- Một phê phán cũ với LLM là chúng phải tạo phản hồi từng token một nên không thể lập kế hoạch hay suy luận
- Khi Claude được yêu cầu hoàn thành một câu thơ sao cho có vần, mạch của nó xem xét trước từ cuối của dòng mới để bảo đảm vần điệu
- Sau đó mới làm ngược trở lại để viết cả dòng
- Các nhà nghiên cứu Anthropic xem đây là bằng chứng cho thấy mô hình thực sự có tham gia vào việc lập kế hoạch
- Chỉ cần nheo mắt một chút, bạn có thể cảm thấy như cơ chế vận hành bên trong của tâm trí lần đầu tiên đang hiện ra trong tầm nhìn
Nhu cầu về một sự hoài nghi vừa phải
- Nhà khoa học thần kinh Norman của Princeton: "Điều tôi lo là mọi người đã lật hẳn từ chỗ 'rất hoài nghi về chuyện này' sang hạ toàn bộ lá chắn phòng vệ"
- "Vẫn còn rất nhiều thứ cần được giải quyết"
- Tác giả là một trong những người Norman đang nói đến, có lẽ đã quá dễ bị ấn tượng bởi sự hội tụ giữa Sparse Distributed Memory và mô hình của Anthropic
- Trong 1-2 năm qua, tác giả bắt đầu tin Geoffrey Hinton khi ông nói: "deep learning rồi sẽ làm được mọi thứ"; Hinton gần đây đã nhận Nobel nhờ nghiên cứu AI
- Nhưng mô hình lớn hơn không phải lúc nào cũng là mô hình tốt hơn
- Đường cong biểu diễn hiệu năng mô hình theo kích thước đang bắt đầu phẳng lại
- Ngày càng khó tìm dữ liệu chất lượng cao mà mô hình chưa tiêu hóa, còn sức mạnh tính toán thì ngày càng đắt đỏ
- Khi GPT-5 ra mắt vào tháng 8, đó chỉ là một cải tiến dần dần
- Đủ gây thất vọng nghiêm trọng đến mức đe dọa làm vỡ bong bóng đầu tư AI
- Thời điểm hiện tại đòi hỏi một kiểu hoài nghi ở mức trung dung
- Nghiêm túc nhìn nhận các mô hình AI ngày nay, nhưng không tin rằng không còn những vấn đề khó nào tồn tại nữa
Thiết kế mô hình học hiệu quả như con người
- Vấn đề quan trọng nhất là làm thế nào thiết kế các mô hình học hiệu quả ngang con người
- GPT-4 được ước tính đã tiếp xúc với hàng nghìn tỷ từ trong quá trình huấn luyện
- Trong khi trẻ em chỉ cần vài triệu từ để trở nên lưu loát
- Các nhà khoa học nhận thức cho rằng não trẻ sơ sinh có những "thiên kiến quy nạp(inductive biases)" nhất định giúp tăng tốc học tập
- Dĩ nhiên não bộ là kết quả của hàng triệu năm tiến hóa, bản thân nó cũng là một dạng dữ liệu huấn luyện
- Trẻ sơ sinh loài người có kỳ vọng rằng thế giới được cấu thành từ các vật thể, và những thực thể khác có niềm tin cũng như ý định
- Khi mẹ nói "chuối", em bé sẽ gắn từ đó với toàn bộ vật thể màu vàng mà bà đang nhìn, chứ không phải phần đầu hay vỏ của nó
- Trẻ nhỏ tiến hành những thí nghiệm nho nhỏ: cái này có ăn được không? cái kia có thể ném xa đến đâu?
- Chúng được thúc đẩy bởi cảm xúc như ham muốn, tò mò và thất vọng
- Trẻ em luôn cố làm những việc chỉ hơi vượt quá năng lực hiện tại của mình
- Lý do việc học hiệu quả là vì nó có hiện thân(embodied), có tính thích nghi, có chủ đích và liên tục
- Có lẽ để thực sự hiểu thế giới, người ta phải tham gia vào chính thế giới đó
Trải nghiệm nghèo nàn của AI
- Trải nghiệm của AI quá nghèo nàn đến mức khó có thể thực sự gọi là "trải nghiệm"
- Các mô hình ngôn ngữ lớn được huấn luyện bằng dữ liệu vốn đã được tinh lọc cực mạnh
- Nhà khoa học thần kinh Tsao của UC Berkeley: "Lý do nó hoạt động là vì nó đang ký sinh lên ngôn ngữ(piggybacking)"
- Ngôn ngữ giống như trải nghiệm đã được nhai sẵn
- Các loại dữ liệu khác có mật độ ý nghĩa thấp hơn nhiều
- Nhà khoa học nhận thức Gershman của Harvard: "Tại sao chúng ta chưa có một cuộc cách mạng tương tự về mặt suy luận trên dữ liệu video?"
- Các loại mô hình thị giác chúng ta đang có vẫn gặp khó với suy luận thường thức về vật lý
- Mô hình gần đây của DeepMind có thể tạo video cho thấy sơn được pha đúng cách và mê cung được giải
- Nhưng chúng cũng mô tả cảnh kính bật nảy lên thay vì vỡ tung, và dây thừng vo cục thành nút bất chấp vật lý
- Nhà khoa học thần kinh nhận thức Ida Momennejad của Microsoft Research thực hiện thí nghiệm cho LLM tham quan ảo một tòa nhà rồi hỏi về đường đi và lối tắt
- Đây là dạng suy luận không gian dễ với con người
- Ngoài những thiết lập cơ bản nhất, AI có xu hướng thất bại hoặc ảo giác ra những lối đi không tồn tại
- "Nó có thực sự lập kế hoạch không? Chắc là không nhiều"
Cuộc lao tới thiếu suy xét của ngành AI
- Qua các cuộc trò chuyện với các nhà thần kinh học, tác giả cảm nhận được mối lo rằng ngành AI đang lao đi khá thiếu suy xét
- Nhà khoa học nhận thức Princeton Brenden M. Lake: nếu mục tiêu là tạo ra một tâm trí nhân tạo có năng lực ngang với tâm trí con người thì "chúng ta đang không huấn luyện hệ thống theo đúng cách"
- Khi AI hoàn tất huấn luyện, "bộ não" của mạng nơ-ron sẽ bị đóng băng
- Khi nói cho mô hình biết các sự thật về chính nó, ta không nối lại các nơ-ron
- Thay vào đó dùng một vật thay thế thô sơ: ghi ra một ít văn bản ("người dùng có con nhỏ và đang học tiếng Pháp")
- Cân nhắc điều này trước khi đưa ra các chỉ thị khác
- Bộ não con người thì liên tục tự cập nhật
- Một giả thuyết đẹp về một trong những cách đó: khi ngủ, những ảnh chụp được chọn từ ký ức theo giai thoại sẽ được phát lại để huấn luyện neocortex
- Không gian tư duy bậc cao bị khắc lõm bởi những ký ức được phát lại
- Tỉnh dậy với một cách nhìn hơi mới mẻ
Vấn đề của cộng đồng AI
- Cộng đồng AI quá nghiện đà tiến bộ dữ dội và bị ràng buộc lợi ích tài chính đến mức đôi khi hành xử như thể tiến bộ là điều tất yếu và không còn khoa học nào cần làm nữa
- Khoa học đôi khi có đặc tính khó chịu là bị đình trệ
- Silicon Valley gọi các công ty AI là "labs" và gọi một số nhân viên là "nhà nghiên cứu", nhưng về cơ bản đây là văn hóa kỹ thuật làm bất cứ thứ gì hiệu quả
- Cohen: "Tôi quá ngạc nhiên trước việc cộng đồng machine learning hầu như không quan tâm đến, cũng không tôn trọng, lịch sử đi trước nó và khoa học nhận thức"
Khác biệt căn bản với bộ não
- Các mô hình AI ngày nay thành công nhờ những khám phá về bộ não từ nhiều thập niên trước, nhưng vẫn khác bộ não một cách sâu sắc
- Khác biệt nào là thứ yếu và khác biệt nào là căn bản?
- Mỗi nhóm nhà thần kinh học đều có lý thuyết riêng
- Những lý thuyết này giờ có thể được kiểm chứng theo những cách trước đây là bất khả
- Tuy vậy, không ai kỳ vọng có câu trả lời dễ dàng
- Những vấn đề tiếp tục làm khó các mô hình AI sẽ được "giải quyết bằng cách cẩn thận xác định rồi khắc phục những phương diện mà mô hình không hành xử thông minh như ta mong muốn"
- "Đó vẫn là một quy trình có nhà khoa học con người ở trong vòng lặp"
So sánh với Human Genome Project
- Trong thập niên 1990, hàng tỷ USD đã được đổ vào Human Genome Project
- Với giả định rằng giải trình tự DNA có thể giải quyết những vấn đề đau đầu nhất của y học (ung thư, bệnh di truyền, thậm chí cả lão hóa)
- Một thời kỳ của khoa trương và tự tin
- Thời của cừu nhân bản Dolly và "Jurassic Park"
- Công nghệ sinh học lên ngôi và các nhà bình luận băn khoăn liệu con người có nên đóng vai Chúa hay không
- Các nhà sinh học nhanh chóng phát hiện thực tế phức tạp hơn nhiều
- Họ không chữa được ung thư hay tìm ra nguyên nhân của Alzheimer hoặc tự kỷ
- Họ học được rằng DNA chỉ kể một phần của câu chuyện sự sống
- Trên thực tế có thể lập luận rằng sinh học đã bị cuốn vào một cơn sốt gen nào đó
- Vì họ có công cụ để nghiên cứu và hiểu DNA nên họ bị ám ảnh với DNA
- Nhưng không ai cho rằng Francis Crick đã sai khi bước vào một quán rượu ở Cambridge vào ngày năm 1953 ông giúp xác nhận cấu trúc DNA và nói rằng "chúng tôi đã khám phá ra bí mật của sự sống"
- Ông và các đồng sự đã làm nhiều hơn gần như bất kỳ ai khác để giải huyền bí hóa sự sống
- Những thập niên sau phát hiện của họ là một trong những giai đoạn năng suất và hào hứng nhất trong lịch sử khoa học
- DNA trở thành từ ngữ quen thuộc trong mỗi gia đình, và mọi học sinh trung học đều học về xoắn kép
Triển vọng và lo ngại trong kỷ nguyên AI
- Với AI, chúng ta cũng đang ở một khoảnh khắc nữa của khoa trương và tự tin
- Sam Altman nói về việc huy động nửa nghìn tỷ USD để xây dựng Stargate, một cụm trung tâm dữ liệu AI mới ở Mỹ
- Người ta thảo luận về cuộc đua siêu trí tuệ với một cảm giác hệ trọng và khẩn cấp có thể trông như vô căn cứ, thậm chí nực cười
- Nghi ngờ của tác giả: lý do những người như Amodei và Altman đưa ra các tuyên bố mang màu sắc cứu thế là vì họ tin rằng bức tranh cơ bản về trí thông minh đã được giải xong
- Phần còn lại chỉ là chi tiết
Phản ứng trái chiều của các nhà thần kinh học
- Một số nhà thần kinh học cũng tin rằng một ngưỡng quan trọng đã bị vượt qua
- Uri Hasson của Princeton: "Tôi thực sự nghĩ mạng nơ-ron có thể là mô hình đúng của nhận thức"
- Điều này vừa khiến ông phấn khích vừa khiến ông tức giận
- Hasson: "Tôi có nỗi lo ngược với đa số mọi người"
- "Điều tôi lo không phải là các mô hình này giống chúng ta. Mà là chúng ta giống các mô hình này"
- Nếu các kỹ thuật huấn luyện đơn giản có thể khiến chương trình hành xử như con người, thì con người có thể không đặc biệt như chúng ta từng nghĩ
- Điều đó cũng có thể có nghĩa là AI sẽ vượt qua chúng ta không chỉ về tri thức mà còn về phán đoán, tính độc đáo và sự xảo quyệt, và hệ quả là cả về quyền lực
- Hasson: "Dạo này tôi lo rằng chúng ta sẽ thành công trong việc hiểu cách bộ não hoạt động"
- "Việc theo đuổi câu hỏi này có thể đã là một sai lầm khổng lồ đối với nhân loại"
- Ông ví các nhà nghiên cứu AI với các nhà khoa học hạt nhân thập niên 1930
- "Đây là giai đoạn thú vị nhất trong đời những con người này. Đồng thời họ biết thứ mình đang làm có những hệ quả trọng đại đối với nhân loại. Nhưng vì tò mò muốn học hỏi nên họ không thể dừng lại"
Những cảm xúc phức tạp của Hofstadter
- Cuốn sách Hofstadter mà tác giả yêu thích: "Fluid Concepts and Creative Analogies: Computer Models of the Fundamental Mechanisms of Thought"
- Từng khiến tác giả rùng mình thời đại học
- Tiền đề là: những câu hỏi như "Tư duy là gì?" không chỉ mang tính triết học mà còn có câu trả lời thực sự
- Khi xuất bản năm 1995, Hofstadter và nhóm nghiên cứu của ông mới chỉ có thể gợi ra đáp án sẽ là gì
- Tác giả từng tự hỏi liệu Hofstadter có phấn khích vì các nhà nghiên cứu AI có thể đã đạt được điều ông hằng khao khát, tức một lời giải thích cơ học về nền tảng của tư duy
- Nhưng trong cuộc trò chuyện, Hofstadter nghe có vẻ vô cùng thất vọng và sợ hãi
- Nghiên cứu AI hiện tại "xác nhận nhiều ý tưởng của tôi, nhưng lấy đi vẻ đẹp của việc con người là gì"
- "Khi còn trẻ hơn nhiều, tôi muốn biết nền tảng của sáng tạo, cơ chế của sáng tạo. Đó là chén thánh đối với tôi. Nhưng giờ tôi lại muốn nó vẫn là một bí ẩn"
- Bí mật của tư duy có thể đơn giản hơn nhiều so với bất kỳ ai từng nghĩ
- Có lẽ đó là kiểu thứ mà học sinh trung học, hay thậm chí cả máy móc, cũng có thể hiểu được
7 bình luận
Đây là lĩnh vực mà tôi quan tâm nhất, nên thấy khá thú vị.
Việc nhắc đến vector embedding ở phần giải thích về sự hiểu là cùng quan điểm với tôi. Hiểu tức là sự tương đồng, và sự tương đồng này có thể được hiện thực bằng độ tương đồng vector. Chúng ta chỉ có thể "hiểu" một đối tượng thông qua việc nó giống với những gì mình đã biết đến mức nào.
Tư duy dựa trên sự hiểu, nhưng mang bản chất khác. Tư duy gần với một "hành động diễn ra trong đầu", và việc LLM tạo next token cũng có thể xem là một dạng "hành động", nên cũng có thể nói rằng LLM đang tư duy. Vấn đề không phải là LLM có thể tư duy hay không, mà là liệu nó có thể tư duy "giỏi như con người" hay không, và hiện tại thì vẫn còn kém khá nhiều.
Tôi vẫn chưa thấy có coding agent nào thật sự khiến mình hài lòng... đa phần vẫn phải tự làm hầu hết công việc, và hễ giao thứ gì vượt quá mức tự động hoàn thành hay snippet thì lại thất bại.
Tôi cũng tò mò không biết trong ví dụ của bài viết họ đã dùng gì.
Bạn đã thử làm việc với GitHub Copilot agent mode chưa? Nó tạo ra kết quả khá ổn. Với tôi, model khiến tôi hài lòng nhất là Claude Sonnet 4/4.5.
Hiểu = nén thông tin không mất mát dựa trên nguyên lý
Deep learning hiện tại = tìm
ax+bgần nhất với bộ đáp án đúng = vẫn có đáp án sai = nén mất mátCá nhân tôi thì thấy nó giống như vậy.
Ý kiến Hacker News
Sau khi nhiều lần thấy LLM chẩn đoán lỗi phần mềm một cách có logic, tôi giờ không còn nghi ngờ rằng chúng "biết suy nghĩ" nữa
Tất nhiên ý thức hay tự nhận thức là vấn đề khác, nhưng chỉ vì khó tin rằng kiểu suy luận này có thể nảy sinh từ một “phiên bản mở rộng của phép nhân ma trận” mà phủ nhận nó thì theo tôi là thiếu trí tưởng tượng
Thế giới vốn đã đầy những điều kỳ lạ, và đây cũng chỉ là một trong số đó mà thôi
Khái niệm "suy nghĩ" là một khái niệm phức tạp đã phát triển theo hướng lấy con người làm trung tâm
Chỉ nói rằng “trông giống suy nghĩ thì là suy nghĩ” là một cách tiếp cận lười biếng
Điều thực sự cần là phân tích rõ nghĩa của từ ‘suy nghĩ’
Chừng nào định nghĩa đó chưa được làm rõ, cuộc tranh luận này sẽ còn lặp đi lặp lại mãi
Nó không thể tự mình giải quyết vấn đề mới, mà chỉ ước đoán câu trả lời theo xác suất trong ngữ cảnh được cho
Đó là lý do chỉ cần thay đổi nhẹ chính tả hoặc cách diễn đạt của đầu vào thì kết quả cũng khác đi
Nó không thực sự tính 1+2, mà chỉ đang bắt chước cách mô tả phép toán đó
Chúng ta quá giỏi trong việc đọc ra các mẫu hình nên đang nhầm sự mô phỏng đơn thuần với ‘suy nghĩ’
Hiện tại vẫn giống như giai đoạn con người chưa biết đến hiện tượng ‘phơi sáng kép’ trong ảnh
Sự mơ hồ và cảm giác đứt đoạn khi trò chuyện với LLM vẫn còn rất lớn
Nó có thể suy luận, nhưng vẫn thiếu một điều gì đó để gọi là ‘suy nghĩ’
Theo quan điểm cá nhân của tôi, LLM có thể là một phần của AGI, nhưng với cấu trúc hiện tại nó có một giới hạn lớn là thiếu bộ nhớ dài hạn
Sau khi huấn luyện xong, mọi ký ức chỉ tồn tại trong context window
Phải vượt qua giới hạn này thì mới có thể có tự phản tư và tự học
Bộ nhớ dài hạn được lưu ở bên ngoài, và Andrej Karpathy từng nói trí nhớ kém của con người lại có lợi cho khả năng khái quát hóa
Nếu bơm sẵn kết luận vào trước, nó có thể biến thành công cụ tuyên truyền
Cuối cùng đây là vấn đề phải giới hạn kết luận theo tiêu chuẩn triết học nào
ToolAlpaca, InterCode, Reflexion và các hướng khác cũng đang thử những cách tiếp cận khác nhau
Các mô hình dựa trên Transformer còn có nhiều khiếm khuyết khác, chẳng hạn không thể lập tức suy nghĩ khi gặp điều không chắc chắn
Tuy vậy, đây không phải giới hạn mang tính cấu trúc mà là phần có thể giải quyết bằng điều chỉnh kiến trúc
Tôi kết hợp context window nhỏ với fuzzy search, và khả năng ghi nhớ đã cải thiện khá nhiều
Một cron job sẽ ôn lại nội dung hội thoại và chạy một instance Claude Code để khám phá ý tưởng
Cấu trúc này tương tự Perplexity hay tác vụ tự động của OpenAI, nhưng tạo cảm giác giống một thực thể nhất quán hơn
Dù vẫn phụ thuộc vào chất lượng lịch sử hội thoại, phép so sánh với ‘Memento’ quả thực khá phù hợp
Khái niệm "công cụ biết suy nghĩ" là điều mới mẻ, và xã hội sẽ cần thời gian để tìm ra vị trí của nó
Các mô hình được tạo ra rồi phá hủy hàng tỷ lần, nên không cần gắn cho chúng trách nhiệm đạo đức như với con người
Rốt cuộc đây là cuộc tranh luận về ‘suy nghĩ là gì’
Trước đây không cần phải phân biệt rõ ‘trí tuệ’, ‘ý thức’, ‘bản ngã’ với nhau, nhưng giờ thì cần
Tôi cho rằng LLM không suy nghĩ vì chính chúng ta là người viết ra mã cho nó
Nó chỉ chạy dữ liệu và thuật toán do chúng ta tạo ra
Chỉ là kết quả của nó vượt xa kỳ vọng mà thôi
Nếu một chương trình được sinh ngẫu nhiên lại hành xử như con người, liệu ta có thể xem nó là một thực thể có tri giác không?
LLM hiện nay chưa đạt tới mức đó, nhưng khả năng ấy vẫn tồn tại
Nó phát triển trong quá trình huấn luyện, và từ đó trí tuệ được hình thành một cách tự phát
Chúng ta thậm chí không giải thích được vì sao con người có ý thức, hay vì sao các loài động vật khác lại khác nhau
Mọi người không hình dung được việc tìm thông tin trên internet dễ đến mức nào
Ví dụ, cách vận hành hệ thống tưới nước trong công viên có thể tìm thấy chỉ bằng Google, kèm video và hướng dẫn từng bước
Xem những trường hợp như vậy là bằng chứng cho năng lực suy nghĩ của AI thì quá cường điệu
Chừng nào chúng ta vẫn chưa biết ý thức xuất hiện từ vật chất như thế nào, thì việc loại trừ khả năng ý thức nảy sinh từ đại số tuyến tính là quá vội vàng
Dữ liệu và phép tính của LLM rốt cuộc cũng được hiện thực bằng mạch vật lý và dòng electron
Khi chưa hiểu mối quan hệ giữa vật chất và ý thức, ta không thể khẳng định rằng cách sắp xếp đó không thể hình thành ý thức
Ngoài ra, ‘suy nghĩ’ cũng không nhất thiết phải đòi hỏi ý thức
Bài viết này vẫn nghe như kiểu diễn ngôn thổi phồng AI của năm 2022
Càng thổi phồng rủi ro của AI thì giá trị thị trường càng tăng, nên rất rõ ai là người hưởng lợi
Nếu AI thực sự biết suy nghĩ, thì chúng ta đang tạo ra một dạng chợ nô lệ mới
Phần lớn либо không tin điều đó, либо chỉ dùng nó như lời lẽ phục vụ lợi ích
Nói rằng “không ai nhắc đến” là cường điệu
Không có gì đảm bảo một thực thể không có bộ não sinh hóa lại cảm nhận được đau khổ
Càng hiểu sâu hơn thì chuẩn mực đạo đức cũng sẽ cùng phát triển
Đề xuất cấm ‘synthetic phenomenology’ của Metzinger cũng gần như không được chú ý
Bởi nếu công chúng bắt đầu cảm thấy đồng cảm với chúng, sẽ khó tiếp tục đối xử với chúng như công cụ đơn thuần
Thực tế ngay từ năm 2022 đã có những tranh luận như vụ LaMDA của Google
Câu hỏi thật sự không phải là “máy móc có suy nghĩ không” mà là “con người có suy nghĩ không”
Khi trò chuyện với Perplexity và Ollama, tôi có cảm giác rằng một phần không nhỏ con người thực ra còn chẳng phải là ‘cỗ máy biết suy nghĩ’ nữa
Máy học cũng có nhiều nhánh, nhưng chỉ riêng phía LLM là thường xuất hiện kiểu phản ứng mang màu sắc truyền giáo như thế này. Quả thật vô cùng thú vị.
Dù có ưu ái chấm cao thì hiện trạng bây giờ cũng vẫn vướng ở lập luận căn phòng tiếng Trung, mà vì đã thấy quá nhiều người như Altman tung hỏa mù về AGI nên tôi lại càng nghĩ vậy hơn.
Chỉ là vì đó là xu hướng mới nhất thôi mà.