Doug Lenat qua đời
(garymarcus.substack.com)- Nhà nghiên cứu AI Doug Lenat là nhân vật then chốt đã cố gắng biến AI biểu tượng, lĩnh vực xử lý các biểu diễn tường minh, thành các hệ thống thực tế; Gary Marcus đánh giá ông là “người khổng lồ mà AI đã mất”
- Lenat đã dành 40 năm cuối đời cho Cyc, nỗ lực mã hóa tri thức thông thường dưới dạng máy có thể diễn giải; Cycorp vẫn tồn tại suốt 40 năm dù không đạt thành công thương mại lớn
- Nỗ lực của Cyc nhắm thẳng vào vấn đề biểu diễn và suy luận tri thức thông thường, điều mà các mô hình ngôn ngữ lớn (LLM) hiện nay vẫn còn gặp khó
- Ken Forbus và Muktha Ananda đánh giá cao ảnh hưởng mà Cyc để lại đối với biểu diễn biểu tượng, suy luận, cũng như nghiên cứu đồ thị tri thức/web
- Một trong những bài báo cuối cùng của Lenat, Getting from Generative AI to Trustworthy AI, là nỗ lực kết nối các bài học từ Cyc với LLM hiện đại
Vị trí của Doug Lenat và Cyc
- Doug Lenat là nhà nghiên cứu đã cố gắng làm cho AI biểu tượng — hướng đi từng được Marvin Minsky, John McCarthy, Allen Newell và những người khác khám phá — thực sự hoạt động
- Gary Marcus từ lâu đã xem việc tích hợp mạng nơ-ron và AI biểu tượng là chủ đề cả đời của mình, nhưng ông cho rằng trong lĩnh vực AI biểu tượng thuần túy, Lenat đã đi sâu hơn rất nhiều
- Trong 40 năm cuối đời, Lenat đã khởi xướng và dẫn dắt dự án Cyc
- Cyc là nỗ lực mã hóa tri thức thông thường về thế giới dưới dạng máy có thể diễn giải
- Cyc, cùng Cycorp được lập ra để chứa đựng nó, không đạt được thành công thương mại lớn
- Dù vậy, việc Cycorp vẫn tiếp tục kinh doanh sau 40 năm là một trường hợp hiếm trong số các công ty AI
- Với Marcus, Cyc là một thí nghiệm tiên phong khó có thể phân loại đơn giản là thành công hay thất bại
- Cyc chưa hoàn toàn đứng vững, nhưng khi trí tuệ nhân tạo tổng quát có thêm tiến triển thực sự, tầm quan trọng của nó có thể sẽ càng lớn hơn
Vấn đề suy luận tri thức thông thường và bài báo cuối cùng
- Nhiều nhà nghiên cứu AI trẻ không biết rõ về Cyc, nhưng có một nhận thức rằng họ cần biết Cyc đã cố gắng làm gì
- Điều này không có nghĩa là nên dùng Cyc như một sản phẩm thay thế tức thì cho các mô hình ngôn ngữ lớn
- Mục tiêu khiến máy móc biểu diễn và suy luận bằng tri thức thông thường vẫn còn đó
- Bài TED năm 2023 của Yejin Choi, Why AI is incredibly smart and shockingly stupid, tiếp nối mạch lập luận rằng các hệ thống AI hiện nay, dù có vẻ thành công, vẫn thiếu tri thức thông thường
- Cuốn sách năm 2019 Rebooting AI của Marcus và Ernie Davis cũng bàn về cùng chủ đề
- Các mô hình ngôn ngữ lớn có thể đúng trong một số trường hợp và sai trong những trường hợp khác tùy theo cách diễn đạt câu hỏi hoặc sự ngẫu nhiên trong dữ liệu huấn luyện, tạo ra ảo giác về tri thức thông thường
- Ngay cả khi vá các lỗi cụ thể, những trường hợp khác thuộc kiểu tương tự vẫn có thể tiếp tục xuất hiện
- Cyc là nỗ lực tìm kiếm một câu trả lời sâu hơn và vững chắc hơn
- Nhà nghiên cứu AI Ken Forbus của Northwestern University đánh giá Cyc là trường hợp đầu tiên cho thấy biểu diễn biểu tượng và suy luận có thể chứa đựng một phần đáng kể tri thức thông thường
- Trong ngành, các cơ sở tri thức chứa hàng tỷ sự kiện là điều phổ biến, nhưng ông cho rằng Cyc vẫn tiên tiến nhất về năng lực biểu đạt
- Nhóm nghiên cứu của Forbus đã sử dụng các biểu diễn của Cyc trong nhiều thập kỷ
- Muktha Ananda, Google Learning Platform Director, đánh giá cao tầm nhìn, sự bền bỉ và tính kiên trì của Lenat, đồng thời cho biết công việc về Cyc đã truyền cảm hứng lớn cho hành trình nghiên cứu đồ thị tri thức/web của mình
- Marcus và Lenat đã cố gắng cùng viết một bài báo dài trong năm qua để tổng kết các bài học thu được từ Cyc
- Bản thảo dài gần 40.000 từ, có dạng pha trộn giữa khoa học và lịch sử truyền miệng
- Cyc rất ấn tượng về phạm vi, nhưng khó xử lý trong triển khai; từ góc nhìn học thuật, vấn đề lớn nhất là nó là một hệ thống độc quyền
- Khi Lenat bị bệnh và thời gian trở nên eo hẹp, họ đã viết riêng một bài ngắn hơn, cô đọng hơn
- Ngày 31/7/2023, bài Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc được công bố trên arXiv
- Nhìn lại những gì Cyc đã cố gắng thực hiện
- Cô đọng những yếu tố nên kỳ vọng ở trí tuệ nhân tạo thực sự
- Kêu gọi một sự hòa giải giữa truyền thống AI biểu tượng sâu sắc mà Lenat gắn bó và LLM hiện đại
1 bình luận
Ý kiến trên Hacker News
Doug đôi khi khá thẳng thắn, nhưng về cơ bản ông là một người tử tế và rộng lượng, và sự tận tâm của ông với tầm nhìn của mình cũng như với những người làm việc cùng ông là điều đáng được kính trọng
Tôi làm ở Cycorp từ năm 2016 đến 2020; văn phòng không lớn nên tôi thường xuyên gặp Doug
Có lần, trong bữa trưa toàn công ty hằng tuần, ông nói mình sắp mua xe mới và hỏi có ai cần chiếc xe cũ tuy đã dùng lâu nhưng được bảo dưỡng tốt của ông không; khi một nhân viên dè dặt giơ tay nói con gái mình sắp bắt đầu lái xe, ông tặng luôn chiếc xe ngay tại chỗ
Ông cũng thích board game và chơi trong một nhóm D&D với mọi người ở công ty; tôi nghe nói ông luôn chỉ chơi nhân vật lawful good. Có người nói ông là kiểu người không biết cách làm khác đi
Khi còn là học sinh trung học 17 tuổi, tôi đã phỏng vấn với Doug Lenat và được nhận làm thực tập sinh mùa hè ở Cycorp, đó là công việc lập trình thực sự đầu tiên của tôi
Kỳ thực tập đó đã thay đổi cuộc đời tôi, và tôi luôn biết ơn Doug vì đã mạnh dạn trao cơ hội cho một đứa trẻ theo đúng nghĩa đen
Doug là một nhà khoa học máy tính xuất sắc và là người tiên phong trong trí tuệ nhân tạo; vì Cycorp là công ty nhỏ nên tôi tham dự khá nhiều cuộc họp, và rõ ràng ông hiểu mọi chi tiết kỹ thuật
Cycorp đi trước thời đại 30 năm nhưng thực tế lại không vận hành được; nếu giải thích cho người chưa biết, đó là nỗ lực thương mại quy mô lớn đầu tiên nhằm tạo ra trí tuệ nhân tạo tổng quát, về cơ bản giống như OpenAI đầu tiên
Tôi học được rất nhiều từ Doug về cách nuôi tham vọng lớn đến mức phi lý và cách không bỏ cuộc; tôi hiếm thấy ai bám trụ với Cycorp suốt nhiều thập kỷ, duy trì vốn, tuyển những người giỏi và tiếp tục đẩy vấn đề tiến lên như ông
Tôi cũng tò mò khi là thực tập sinh 17 tuổi thì chính xác bạn đã làm gì, và khi đó bạn có những kỹ năng nào
Tôi làm cùng Doug tại Cyc vào khoảng 1985–1989. Chúng tôi cũng có thời gian trùng nhau ở PARC, nhưng ở đó không giao lưu nhiều
Việc đầu tiên tôi làm là bỏ bản triển khai hiện có và bắt đầu lại từ đầu, thiết kế hệ thống phân cấp cùng toàn bộ mã bootstrap
Đó là một giai đoạn thú vị với một nhóm lõi nhỏ, chủ yếu là tôi, Guha và Doug, nhưng theo thời gian tôi ngày càng bất mãn với tính tùy tiện của cơ sở tri thức
Đến lúc rời dự án Cyc vì lý do cá nhân, dù chúng tôi khá thân và dự án chạy trên mã của tôi, tôi vẫn khá tiêu cực về nền tảng của nó
Chỉ sau này, khi thời gian trôi qua và tôi thông minh hơn, tôi mới nhìn nhận lại giá trị của nó; có lẽ khi đó tôi đã nhìn mọi thứ quá nhiều từ góc độ toán học thuần túy
Sau đó tôi làm việc khác và mất liên lạc với Doug và Mary, điều đó khiến tôi tiếc
Xin chia buồn về sự ra đi của Doug Lenat. Tôi làm ở Cycorp tại Austin từ năm 2000 đến 2006
Ông ra đi quá sớm, nhưng Doug đã có cơ hội đóng góp vào sự phát triển của nghiên cứu khoa học máy tính trong các cơ quan quân sự và tình báo của Mỹ
Một ngày nào đó, khi tốc độ tiến bộ nhanh chóng của trí tuệ nhân tạo thông qua LLM chậm lại, sự chú ý sẽ quay lại với Cyc Project và Cycorp, các thành viên của họ, cùng suy luận logic và biểu diễn tri thức mà Tiến sĩ Doug Lenat đã thúc đẩy
Bởi vì nếu suy luận bằng mạng nơ-ron nhanh đến vậy, chúng ta đã biên dịch chương trình C thành mạng nơ-ron, thay vì biên dịch thành suy luận logic diễn dịch mà trình biên dịch có thể thực thi hiệu quả
Ngược lại, nhờ LLM mà chúng trở nên hợp thời hơn bao giờ hết
Trí tuệ nhân tạo mạng nơ-ron và trí tuệ nhân tạo ký hiệu cuối cùng sẽ hợp nhất, và mô hình ký hiệu mang lại hiệu quả cùng độ vững chắc rất cần thiết thông qua việc chuẩn hóa
Tôi không thấy có ý nghĩa gì khi để lượng dữ liệu lớn như vậy chỉ phủ bụi và nằm đó mà không đạt được nhiều kết quả
Ai nói suy luận mạng nơ-ron là cách nhanh nhất để thực hiện mọi phép tính?
Thay vì hạ thấp mạng nơ-ron, vốn là một công nghệ khác, có lẽ tốt hơn nên tập trung vào việc làm cho các phương pháp ký hiệu có thể giải quyết vấn đề thực tế. Ví dụ, làm thế nào để xây dựng một hệ thống phát hiện email spam vững chắc bằng phương pháp ký hiệu?
Nếu muốn nghe thêm về công việc và suy nghĩ của Doug, năm ngoái Lex Fridman đã có một cuộc phỏng vấn khá dài với Doug
https://www.youtube.com/watch?v=3wMKoSRbGVs&pp=ygUabGV4IGZya...
Doug nói rằng khoảng 5 năm sau, ông nhận ra ước tính đó sai lệch một bậc độ lớn, và trên thực tế con số gần khoảng 10 triệu hơn
Tôi tò mò liệu có tài liệu hay ấn phẩm liên quan nào không. Tôi thắc mắc làm sao biết không phải là 100 triệu, vì sao có thể xem là hữu hạn, và vì sao không xảy ra bùng nổ tổ hợp
Tất nhiên để tiếp tục trong 38 năm thì hẳn phải luôn có các chỉ số đánh giá, nhưng tôi chưa hiểu rõ lập luận đó nên muốn xem tài liệu tham khảo hoặc liên kết phê bình
Tôi từng nghe về Cyc vào thập niên 1990 nhưng không biết nó vẫn còn tồn tại; việc duy trì lâu như vậy thật ấn tượng
Bài Wikipedia cũng khá ổn: https://en.wikipedia.org/wiki/Cyc#Criticisms
Dù vậy, tuyên bố 1 triệu hay 10 triệu là một tuyên bố mạnh để duy trì suốt nhiều thập kỷ, nên tôi tò mò liệu nó có được hậu thuẫn bởi các chỉ số thật sự mạnh không
Lý do việc đọc bài báo được liên kết khá thú vị là vì tôi luôn thấy hấp dẫn trước việc biến những nguyên tắc mà họ cho là nên nằm bên trong máy tính thành cấu trúc bên ngoài cộng đồng
Nếu mọi người có thể khám phá và cộng tác trên một kho ngữ liệu gồm các lập luận và kết luận, rồi không đồng ý với hoặc bổ sung vào các phần của đồ thị lập luận để làm nó phong phú dần theo thời gian, thì điều đó có vẻ rất hữu ích
Khi đó những người khác cũng có thể đọc và tiếp nhận cùng cách suy luận đó
Tôi đang thử nghiệm các ý tưởng kiểu này tại http://concludia.org/, nơi thỉnh thoảng tôi làm việc, nhưng hiện giờ nó gần như chỉ là cái cớ để mày mò khái niệm và học thêm lập trình Akka(Pekko)
Một ngày nào đó tôi định thêm tài khoản người dùng và các lập luận có thể chỉnh sửa để biến nó thành một website thực sự
Lập luận liên kết với bằng chứng, khái niệm liên kết với các khái niệm liên quan, v.v.
https://en.m.wikipedia.org/wiki/Zettelkasten
Có vẻ sẽ hữu ích cho brainstorming
Tôi nảy ra ý tưởng đó khi tưởng tượng một cách để hội tụ diễn ngôn công cộng ở một quốc gia bị phân cực chính trị mạnh
Như một dạng diễn đàn tranh luận công khai có cấu trúc, nơi mọi người có thể thấy rõ hơn họ bất đồng ở đâu trong hệ thống phân cấp, và quan trọng hơn là thực ra họ đồng ý với nhau nhiều đến mức nào
Tôi luôn nghĩ Cyc giống như phiên bản trí tuệ nhân tạo tương ứng với Principia của Russell và Whitehead
Tham vọng về mặt kỹ thuật và bản thân nó cũng thú vị, nhưng cuối cùng tôi có cảm giác đây là một cách tiếp cận sai, sẽ không thể hoạt động tốt theo kiểu độc lập dù có làm bao lâu và tiếp tục thêm quy tắc đến đâu
Dù vậy, tôi nghĩ nó vẫn có thể hữu ích để kiểm thử và dạy các mô hình mạng nơ-ron
Vào thời Lenat bắt đầu Cyc, chưa có tài nguyên tính toán để chạy các mô hình mạng nơ-ron thể hiện mức mà ngày nay mọi người gọi là “suy luận thường thức”, nên việc ông bắt đầu theo hướng đó là hoàn toàn dễ hiểu
“Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc”
Đây là bài báo cuối cùng của Lenat, được công bố cùng Gary Marcus vào ngày 31 tháng 7
https://news.ycombinator.com/item?id=37354601
Bài báo này có thể khiến bạn lung lay hai suy nghĩ: rằng các mô hình mạng nơ-ron ngày nay, tức LLM, thể hiện suy luận thường thức, và rằng cách tiếp cận mà Cyc đại diện với cách tiếp cận mà LLM đại diện là loại trừ lẫn nhau
Đọc phần cuối bài viết khiến tôi nghĩ rằng mình nên công khai nhiều hơn những thứ mình tạo ra và suy nghĩ
Tôi không phải Doug Lenat, và nội dung của tôi có khả năng chỉ làm Internet thêm nhiễu, nhưng dù vậy cũng không nên để ý tưởng của mình chết theo mình hoặc bị một hội đồng các bên liên quan kiểm soát
Tôi không phải người cuồng tín mã nguồn mở, nhưng mã nguồn mở là một cách tốt để người khác có thể tiếp tục những việc tôi đã bắt đầu
Trong suốt năm vừa qua, Gary Marcus và Doug đã cố viết một bài báo dài và phức tạp nhưng cuối cùng không hoàn thành; Cyc thì có phạm vi cực kỳ lớn, nhưng phần triển khai lại khó xử lý
Nhìn từ góc độ học thuật, vấn đề lớn nhất của Cyc là nó là phần mềm độc quyền
Doug đã cố truyền lại cho thế hệ nhà nghiên cứu tiếp theo những bài học ông học được từ Cyc, để nhiều người hơn có thể hiểu: những gì đã hiệu quả và vì sao, khi nào và vì sao thất bại, phần nào khó triển khai, và ông ước gì đã làm khác đi
Một trong những email cuối cùng của ông là lời khẩn cầu hãy đưa bài báo ra càng sớm càng tốt, và sau nhiều trắc trở, ngày 31/7 bài Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc (https://arxiv.org/ftp/arxiv/papers/2308/2308.04445.pdf) đã được đăng lên arXiv
Đây là một bài viết ngắn, nhưng vừa là bài điểm lại những gì Cyc đã cố làm, vừa là bản tóm tắt về những điều ta nên kỳ vọng ở trí tuệ nhân tạo thực sự, đồng thời kêu gọi hòa giải giữa truyền thống ký hiệu học sâu sắc mà ông thuộc về và các mô hình ngôn ngữ lớn hiện đại
Cứ chia sẻ những gì bạn cho là quan trọng
Ngay cả một cải thiện tri thức nhỏ, trông có vẻ ít khả năng thành công, cũng có thể có ý nghĩa. Nếu có đủ nhiều điều như vậy, về mặt thống kê chúng có thể làm kim chỉ dịch chuyển
Tất nhiên phải có khả năng tìm thấy nội dung liên quan, và bản thân điều đó cũng là một vấn đề lớn
Tôi chưa từng gặp trực tiếp, nhưng công trình của Doug là một trong những nguồn cảm hứng lớn nhất trong lĩnh vực điện toán
Có vẻ phù hợp để liên kết bài blog tôi viết năm 2018. Bài đó tóm tắt ngắn gọn quỹ đạo công việc của Lenat dẫn tới Cyc và tập hợp các liên kết tới bài báo
http://blog.funcall.org//lisp/2018/11/03/am-eurisko-lenat-do...
Cyc, phát âm là “Syke”, là một dự án mà từ lâu tôi đã mơ hồ thấy thú vị, nhưng chưa có thời gian và sức lực để tìm hiểu kỹ
Đây là một dự án trí tuệ nhân tạo dựa trên ontology toàn diện và cơ sở tri thức
Tổng quan trên Wikipedia: <https://en.wikipedia.org/wiki/Cyc>
Trang chủ dự án/công ty: <https://cyc.com/>
Đây là nỗ lực khổng lồ cuối cùng nhằm làm trí tuệ nhân tạo theo cách “sạch sẽ”, và thất bại của nó đã góp phần dẫn tới cách tiếp cận trí tuệ nhân tạo “lộn xộn” hiện đang rất thành công
Thất bại này không hạ thấp Doug. Phải có ai đó thử, và thật may là người thử là một trong những người thông minh nhất
Tôi nghĩ ông đã bám lấy nó khá lâu sau khi rõ ràng rằng nó sẽ không hoạt động, nhưng đột phá thực sự đôi khi vẫn xảy ra
Chính cơn bùng nổ học máy hiện nay cũng là sự hồi sinh của những kỹ thuật từng bị bỏ rơi, và những người vẫn bám trụ đã tìm ra bí quyết khiến chúng hoạt động
Vài năm trước tôi làm việc với một công ty tư vấn muốn bước vào lĩnh vực trí tuệ nhân tạo, và công ty đó đã chọn Cyc làm nền tảng để bán chủ yếu cho khách hàng tài chính
Nhưng dường như không có dự án thực tế nào được khởi động, và cũng không có bức tranh rõ ràng về thứ có thể bán được
Tôi không muốn nghĩ Lenat là kẻ lừa đảo, vì ông trông có vẻ là người chân thành và xuất sắc
Tuy vậy, tôi cho rằng Cyc đã được thổi phồng quá mức, dù gần như không làm được việc hữu ích nào. Trang web đầy những cách diễn đạt kỹ thuật, nhưng sau 40 năm kinh doanh vẫn không có lấy một case study nào