Cáo phó Cyc
(yuxi-liu-wired.github.io)- Cyc là một dự án AGI dựa trên cơ sở tri thức commonsense do Douglas Lenat khởi động năm 1984; dù đạt quy mô 30 triệu assertion, 200 triệu USD và 2.000 người-năm, dự án không để lại bằng chứng đạt được trí tuệ tổng quát
- Lenat cho rằng AM và EURISKO sẽ cạn kiệt các heuristic ban đầu, nên muốn con người nhập trước hàng triệu sự kiện và quy tắc commonsense để kích hoạt knowledge pump
- Cyc có CycL, microtheory, khoảng 1.100 inference engine và khả năng phân tích ngôn ngữ tự nhiên hạn chế, nhưng không đạt đến giai đoạn đọc văn bản ngôn ngữ tự nhiên và tự học
- Các ứng dụng chính phủ và thương mại có thể xác minh công khai gồm Terrorism Knowledge Base, ca sử dụng tại Cleveland Clinic, bảo mật mạng, tích hợp dữ liệu, v.v.; chúng không khác nhiều so với expert system và phương pháp truy xuất thông tin truyền thống
- Cycorp đạt được sự ổn định tài chính dài hạn và một số thành quả thương mại, nhưng do tính khép kín, thiếu benchmark và việc OpenCyc chấm dứt, ảnh hưởng của nó trong nghiên cứu AI bên ngoài và lĩnh vực tìm kiếm tri thức bị hạn chế
Đánh giá cốt lõi về Cyc
- Cyc là dự án AGI dựa trên AI ký hiệu mà Douglas Lenat theo đuổi trong 40 năm
- Mục tiêu là mã hóa tri thức commonsense của con người ở quy mô lớn bằng một ngôn ngữ logic, rồi xây dựng một hệ thống thực hiện suy luận và học tập trên nền tảng đó
- Dự án đã phát triển tới quy mô khoảng 30 triệu assertion, 200 triệu USD, 2.000 người-năm
- Bước đột phá mà Lenat nhiều lần dự báo rốt cuộc không xuất hiện
- Năm 2016, Lenat nói Cyc đã gần “done”, nhưng không có bằng chứng về tự học hay AGI
- Tính đến năm 2025, ngay cả với giả định knowledge pump đã được primed trong 9 năm, vẫn không có dấu hiệu đạt được general intelligence
- Tài liệu lưu trữ bổ sung liên quan đến Cyc được công khai tại cyc-archive
Logic nối tiếp từ AM và EURISKO đến Cyc
- Điểm khởi đầu của Lenat là Automated Mathematician(AM), dự án luận án tiến sĩ năm 1976
- AM được biết đến là đã bắt đầu từ 115 concept của lý thuyết tập hợp và khoảng 250 heuristic rule, rồi tái phát hiện số tự nhiên, số nguyên tố, Goldbach conjecture, v.v.
- Tuy nhiên AM không thể tạo heuristic mới, và bộc lộ giới hạn là sẽ “die of boredom” khi dùng hết các heuristic ban đầu
- Hệ thống kế tiếp EURISKO là nỗ lực để chính hệ thống khám phá heuristic
- Trong Traveller’s The Trillion Credit Squadron tournament, nó thắng năm 1981 và 1982 bằng các thiết kế hạm đội phi truyền thống
- Theo ước tính của Lenat, phiên bản EURISKO cuối cùng chạy tổng cộng 1.300 CPU-hours trên Xerox 1100 Lisp machine, và chiến thắng ở Traveller là “60/40% Lenat/EURISKO”
- EURISKO rốt cuộc cũng không tránh được tự cạn kiệt
- Việc tự khám phá heuristic rule phụ thuộc vào meta-heuristic rule, và các meta-heuristic đó cũng mất tác dụng sau vài lần sử dụng
- Lenat kết luận rằng để liên tục tạo ra những phép tương tự và ý tưởng mới như con người, cần một lượng tri thức commonsense khổng lồ
Thiết kế của Cyc và knowledge pump
- Cyc bắt đầu năm 1984 trong MCC, rồi sau đó tiếp tục dưới Cycorp Inc.
- Kế hoạch ban đầu là mã hóa thủ công 400 bài bách khoa trong giai đoạn 1985–1988, mã hóa 30.000 bài trong giai đoạn 1988–1993, rồi dùng cho các bài toán AI và ứng dụng thương mại
- Ước tính ban đầu là giai đoạn 1 và 2 cần 150 người-năm
- Trọng tâm dự án chuyển từ việc mã hóa nguyên văn “mực đen” trong bách khoa toàn thư sang mã hóa white space mà bách khoa giả định nhưng không viết ra, tức commonsense
- Vấn đề là để hiểu những câu như “Napoleon died in 1821. Wellington was greatly saddened.”, cần có commonsense về cái chết, thời gian, chiến tranh, nước Pháp và cảm xúc con người
- Ẩn dụ knowledge pump của Lenat trở thành chiến lược cốt lõi của Cyc
- Ban đầu, con người trực tiếp spoon-feed tri thức
- Khi tri thức tăng lên, kỳ vọng là hệ thống sẽ phân tích câu ngôn ngữ tự nhiên thành logic tốt hơn, và mức can thiệp của ontologist sẽ giảm đi
- Sau một thời điểm nào đó, kỳ vọng là Cyc sẽ đọc văn bản, trò chuyện với con người và tự tiếp tục mở rộng tri thức
CycL, microtheory và cấu trúc suy luận
- Các thành phần chính của Cyc là CycL, cơ sở tri thức và inference engine
- CycL dựa trên SubLisp, có Epistemological Level(EL) là ngôn ngữ bậc cao con người có thể đọc và viết, cùng bản dịch sang Heuristic Level(HL) để nâng hiệu quả suy luận
- Một câu EL có thể được dịch thành nhiều câu HL và được xử lý bởi các inference engine khác nhau
- Biểu thức CycL dùng dạng giống Lisp:
(#$relation <arg1> … <argn>)- Nếu
#$relationlà hàm thì đó là term; nếu là vị từ thì đó là assertion hoặc sentence - Các relation đặc biệt như
#$implies,#$forAll,#$thereExistsđược dùng làm quy tắc suy luận
- Nếu
- Cyc đóng gói assertion bằng microtheory(Mt) hoặc context
- “Socrates is alive” có thể đúng trong context năm 500 BC nhưng không đúng trong context năm 1995
- Có thể đặt những niềm tin không tương thích với nhau, như
#$ChristianMtvà#$IslamMt, vào các context khác nhau - Tính đến năm 2010, Cyc có hơn 20.000 microtheory được sắp xếp thành hierarchy, một số nằm sâu 50 levels
- Inference engine tăng lên mức khoảng 1.100
- General inference engine quá chậm, nên các heuristic module chuyên cho những pattern và microtheory cụ thể liên tục được thêm vào
- Theo Lenat et al. 2007, cấu trúc được báo cáo gồm 1 strategist, 4 tacticians và 1.097 workers
- Năm 2010, Cyc được mô tả là đã vô hiệu hóa hoàn toàn inference engine tổng quát nhất vì tắt nó đi còn nhanh hơn
Nút thắt mà hiểu ngôn ngữ tự nhiên để lại
- Bài toán chuyển đổi từ CycL sang ngôn ngữ tự nhiên đã được thiết lập đáng kể từ cuối thập niên 1990
(#$genls #$Dog #$Mammal)có thể được chuyển thành “Dogs are mammals.”- Cyc liên kết English word với Cyc concept thông qua word concept và denotation assertion
- Ngược lại, bài toán phân tích English → CycL từ ngôn ngữ tự nhiên sang CycL vẫn tiếp tục là một thách thức khó
- Cyc NLP dùng một tiered system gồm keyword matching, extraction templates, syntax templates và full syntax tree parsing
- Dictionary chứa khoảng 200.000 words and phrases cùng nhiều assertion hơn nữa
- Các ví dụ English → CycL công khai rất ít và gần với những câu rất dễ
- “A girl is on a white lounge chair”
- “Bill Clinton sleeps.”
- “An AI researcher is a kind of computer scientist.”
- “Did you touch a blue object located in the capital of France on September 25th, 2022?”
- Ngay cả trong công trình chung cuối cùng của Lenat và Gary Marcus, nút thắt cuối cùng vẫn là hiểu ngôn ngữ tự nhiên(NLU)
- Mỗi axiom được con người kiểm tra về default correctness, generality và vị trí microtheory trước khi đưa vào cơ sở tri thức
- Cyc có thể đọc interlingua là CycL, nhưng việc phân tích English thành CycL vẫn tiếp tục khó khăn
Ứng dụng công khai và sử dụng thương mại
- Cycorp hoạt động trong thời gian dài với khách hàng quân sự, cơ quan tình báo và thương mại
- Đến năm 2002, tổng chi phí là 60 triệu USD, trong đó 25 triệu USD đến từ quân đội
- Theo trích dẫn năm 2005, sau hợp đồng chính phủ lớn đầu tiên năm 1996, khoảng một nửa doanh thu của Cycorp đến từ các cơ quan chính phủ Mỹ, phần còn lại đến từ doanh nghiệp
- Các ca ứng dụng được công khai tương đối chi tiết là Terrorism Knowledge Base(TKB) và ca Cleveland Clinic
- TKB được tạo năm 2004 và chấm dứt năm 2008
- Nó chứa hơn 2.000 khủng bố, hơn 700 tổ chức khủng bố, hơn 6.500 vụ tấn công khủng bố và hơn 200.000 assertion
- Người dùng nhập truy vấn tiếng Anh hình thức; khi Cyc gợi ý các mảnh CycL, người dùng chọn chúng để cấu thành truy vấn hoàn chỉnh
- Semantic Research Assistant(SRA) của Cleveland Clinic được xác nhận trong giai đoạn 2007–2010
- Đây là hệ thống trả lời các truy vấn liên quan đến cardiothoracic surgery, cardiac catheterization và percutaneous coronary intervention
- Dự án kế tiếp SemanticDB năm 2012 bao gồm cơ sở dữ liệu 120 triệu semantic triples và truy vấn SPARQL
- Trong một bài trình bày năm 2019, Lenat nói dự án Cleveland cần 120.000 assertion mới, tương đương 0,5% toàn bộ cơ sở tri thức
- Các ca đã xác nhận khác gồm bảo mật mạng, tích hợp dữ liệu, thesaurus thuật ngữ y tế/dược phẩm, phát hiện giao dịch nội gián, phân tích nguyên nhân yield sản xuất, hỗ trợ IT/quản lý tồn kho, dự đoán hỏng hóc cơ sở bơm dầu, v.v.
- Các cách sử dụng này gần với phương pháp tiêu chuẩn của expert systems, data integration và information retrieval
OpenCyc, Semantic Web và các dự án phái sinh
- Năm 2001, Cycorp công bố OpenCyc, một subset nhỏ của Cyc
- OpenCyc dự kiến chậm hơn Cyc thật 24–30 tháng
- Phiên bản cuối cùng ra mắt năm 2012, và dường như đã chấm dứt khoảng tháng 3/2017 mà không có quảng bá riêng
- ResearchCyc cũng từng tồn tại nhưng bị giới hạn cho mục đích nghiên cứu, và chấm dứt khoảng năm 2019 mà không có thông báo
- Cycorp cũng tham gia các Semantic Web initiatives trong thập niên 2000
- Có các bài báo về việc tích hợp tri thức Cyc với DAML, RDF, OWL, XML, v.v.
- Những nỗ lực như Standard Upper Ontology Working Group, The Cyc Foundation, FACTory, OpenCyc for the Semantic Web và LarKC đã kết thúc mà không có thành công đáng chú ý
- Trong giai đoạn 2014–2016, có một “massive extinction event” khi phần lớn open information về Cyc biến mất khỏi Internet
- OpenCyc, tutorials, references, vocabulary lists, The Ontological Engineer’s Handbook version 0.7, v.v. biến mất
- Điều này trùng với thời điểm chuyển hướng sang commercial applications năm 2016
Tính khép kín và đánh giá bên ngoài
- Dự án Cyc rất khép kín theo chuẩn học thuật
- Các ấn phẩm liên quan đến Cyc chủ yếu nói về cách đưa tri thức vào Cyc, còn các ứng dụng đầu ra từ Cyc hiếm khi được đề cập
- Cách inference engine hoạt động và chi tiết commercial application hầu như không được công khai
- Mã nguồn của AM và EURISKO cũng không được công bố
- Lenat thường khẳng định mã đã biến mất từ lâu, nhưng gần đây nó được tìm thấy trong folder DBL của Stanford AI Laboratory backup data
- Liệu Lenat có cố bảo vệ mã hay không vẫn là câu hỏi bỏ ngỏ
- Việc sử dụng Cyc trong nghiên cứu bên ngoài rất hạn chế
- Cyc hầu như không được dùng trong nghiên cứu AI hay knowledge retrieval, và chưa từng thể hiện năng lực trên benchmark công khai
- Davis and Marcus 2015 cho rằng người ngoài rất khó đánh giá mức độ thành tựu của Cyc
- Davis 2016 đánh giá cộng đồng AI nói chung xem Cyc là một “thất bại rất tinh vi”
Triết lý AI của Lenat và những phê phán lặp lại
- Lenat duy trì một triết lý AI trong 40 năm
- Ông đặt Knowledge Principle ở trung tâm: trí tuệ bậc cao đến từ tri thức mà hệ thống có thể khai thác
- Tri thức bao gồm khái niệm, sự kiện, biểu diễn, phương pháp, mô hình, ẩn dụ và heuristic
- Ông bác bỏ rõ ràng nhiều hướng thay thế
- Ông cho rằng logical AI kiểu Simon và Newell không hoạt động ngoài các bài toán đồ chơi
- Physical embodiment hay robotics không phải điều thiết yếu cho AGI, và “mystical worship of physical embodiment” làm chậm AGI
- Ông đánh giá genetic algorithms và evolutionary algorithms bị kẹt ở local minima và chậm
- Ông phê phán statistical machine learning, neural networks và self-organization methods là những nỗ lực “free lunch” không có cơ sở tri thức ban đầu lớn
- Lenat tiếp tục lặp lại logic đó cả trong kỷ nguyên deep learning và LLM
- Ông cho rằng neural networks chỉ “remembering and espousing” chứ không “understanding and inferring”
- Ông cho rằng Cyc có thể đóng vai “left brain”, còn neural networks đóng vai “right brain” khi kết hợp
- Bài báo cuối cùng, Lenat and Marcus 2023, phê phán việc theo đuổi free lunch, bao gồm cả LLM, và nhấn mạnh sự cần thiết của symbolic representation and reasoning
Nội bộ Cycorp và kết luận thực tiễn
- Cycorp đạt được sự ổn định tài chính dài hạn hiếm thấy đối với một công ty công nghệ nhỏ
- Nhiều lần có mô tả rằng công ty có lợi nhuận từ khi thành lập, không nợ và thuộc sở hữu nhân viên
- Quy mô nhân sự được nêu vào khoảng 50–200 người
- Các phát biểu của cựu Cyclist trên Hacker News thể hiện cả mặt tích cực lẫn tiêu cực
- Về tích cực, họ nhắc đến văn hóa trí tuệ và triết học, giải quyết các vấn đề kỹ thuật của large scale inference, khả năng sinh lời và một số ứng dụng thương mại thành công
- Về tiêu cực, họ chỉ ra 30 năm nợ kỹ thuật, các triển khai trùng lặp, tính khép kín, true believer mentality, và các giải pháp kỹ thuật cũng như ứng dụng thương mại không được công khai ra bên ngoài
- Một số cựu nhân viên cho rằng không rõ Cyc có thật sự thực hiện common sense reasoning hay chỉ là một nền tảng đặc biệt tốt để phát triển expert systems
- Cũng không rõ các dự án thương mại thành công có thật sự cần common sense reasoning hay không
- Có đánh giá rằng trong nhiều dự án, rất khó chỉ ra “AI” chính xác diễn ra ở đâu
- Cuối cùng, Cyc để lại hình ảnh gần với công ty large expert system cuối cùng còn tồn tại hơn là một dự án AGI
- Có thể thừa nhận Cycorp đã tạo khác biệt trong các niche expert systems cần knowledge engineers giỏi, SubLisp và higher-order statements
- Tuy nhiên không có bằng chứng cho thấy sự khác biệt đó là con đường dẫn tới AGI
1 bình luận
Ý kiến trên Hacker News
Tôi chợt thấy buồn cười vì nó giống như một câu do AI có tri giác viết ra để nói rằng “ở đây không có gì đáng xem đâu, đi tiếp đi”
Giống như vannevar, tôi không cảm thấy Cyc đang đi theo hướng hữu ích; nó có ý tưởng, nhưng những ý tưởng đó dường như chưa đủ kết dính để trở thành nền tảng cho một giả thuyết đáng tin về cách xây dựng một hệ thống có thể hiện thực hóa chúng
Tôi từng khá ấn tượng với bản demo thế giới khối của McCarthy, và sau đó ông cùng các sinh viên đã hình thức hóa một phần các quy tắc để tạo ra ngữ cảnh (context) mà AI sẽ hoạt động trong đó; tôi cho rằng phần này đến nay vẫn quan trọng trong việc giải quyết sự hỗn loạn do LLM tạo ra
Ví dụ, những thất bại ban đầu khi LLM bảo cho đá vào salad để làm nó giòn là một kiểu thất bại ngữ cảnh điển hình, kết quả của việc dữ liệu thuộc ngữ cảnh “hài hước” và dữ liệu thuộc ngữ cảnh “công thức nấu ăn” bị trộn lẫn. Các mô hình truyền thống không có ngữ cảnh trong quá trình huấn luyện, nên trong mô hình không có thành phần nào điều chỉnh đầu ra theo ngữ cảnh, và cuối cùng đá lại rơi vào salad
https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d...
Ai cũng biết AI biểu tượng đã không mở rộng được như LLM được huấn luyện trên dữ liệu quy mô lớn, nhưng đồng thời cũng đúng là nó đã cố gắng xử lý nhiều vấn đề mà LLM đến giờ vẫn chưa làm tốt
Đây thực sự là một bài viết rất xuất sắc, thuộc hàng hay nhất tôi thấy trên HN năm nay
Hồi nhỏ tôi lần đầu biết đến Cyc qua một phim tài liệu về AI, trong đó có ví dụ về một người đàn ông đang cạo râu bằng máy cạo râu điện. Cyc kết luận rằng người đàn ông đang cạo râu không phải con người, vì máy cạo râu là một thiết bị điện và thiết bị điện thì không phải con người
Với một đứa trẻ, điều đó kích thích trí tưởng tượng của tôi rất mạnh và khiến tôi muốn học AI; về sau khi biết Cyc hoạt động bằng các quan hệ kiểu Prolog, cảm giác kỳ diệu cũng vơi đi phần nào. Cuối cùng tôi học khoa học máy tính thay vì AI, nhưng thứ đã châm ngòi cho sự quan tâm ban đầu của tôi vẫn là Cyc
Lenat có vẻ là một người kỳ quặc, nhưng để sống sót qua nhiều mùa đông AI thì cần đúng những tín đồ thực sự đầy ám ảnh như vậy. Trong quá trình cố loại bỏ ảo giác khỏi học thống kê, chưa ai biết liệu các đồ thị tri thức như Cyc có trở nên quan trọng trở lại trong tương lai hay không
Theo trực giác, tôi nghĩ cách tiếp cận này có chứa một điều gì đó cần thiết để làm cho AI tạo sinh vận hành ổn định. Bộ não có khả năng liên tưởng, nhưng nếu không có bộ lọc để tách tín hiệu khỏi điều vô nghĩa và giúp hiểu nội dung thì nó cũng chẳng hữu ích mấy
Tôi tự hỏi liệu Cyc đã bao giờ có thể tự tạo ra nội dung theo cách có ý nghĩa hay chưa. Nếu có một hệ thống như vậy, có lẽ cuối cùng nó sẽ tự suy ra được nhiều chi tiết, để ngày càng bớt cần được đút sẵn từng thứ
Đáng buồn là ông ấy đã qua đời vài năm trước, và thật tiếc là đến giờ tôi mới biết điều đó
Đây là một bài viết rất thú vị và đáng đọc, hay hơn nhiều so với không khí trong phần bình luận ở đây
Tuy vậy, tôi hơi tiếc là tác giả đặt quá nhiều trọng lượng lên giả định rằng dự án này đã thất bại. Chỉ vì mất 40 năm để tìm ra lời giải không có nghĩa là cách tiếp cận đó đơn thuần là thất bại
Mạng nơ-ron cũng mất hơn 40 năm mới thực sự trở nên hữu ích và cũng tốn kém không ít, nhưng chỉ riêng như vậy thì không ai gọi đó là một dự án thất bại. LLM ngày nay cũng vẫn khó mà xem là thông minh đến thế
Một ngày nào đó, nếu cơ sở tri thức của Cycorp được công khai để có thể dùng cho việc huấn luyện LLM, có lẽ giá trị lớn hơn của dữ liệu đó sẽ được bộc lộ
Phía Wikipedia đang xây dựng một thứ giống như ngôn ngữ trung gian phát triển mở mà con người có thể biên tập, nhằm dùng nó để điền các câu bách khoa cơ bản cho những ngôn ngữ trên Wikipedia còn ít đại diện. Nhiều chi tiết vẫn chưa được quyết định, nhưng có thể xem https://en.wikipedia.org/wiki/Abstract_Wikipedia và https://meta.wikimedia.org/wiki/Abstract_Wikipedia
Điều này có thể đạt tới mức tương tự hệ thống được giả định trong bài viết, tức là chỉ cần đưa vào “thường thức” phù hợp là có thể tạo ra văn bản tiếng Anh và tiếng Nhật. Việc suy luận logic trên những câu như vậy thực sự hữu ích đến đâu thì vẫn chưa rõ, nhưng nếu nó thật sự có giá trị thì chắc chắn khả năng đó vẫn tồn tại
Nếu muốn so với “mạng nơ-ron”, thì chính xác hơn phải so với AI biểu tượng theo nghĩa rộng. AI biểu tượng đã hoạt động khá tốt trong một số lĩnh vực, nhưng ở các lĩnh vực gần với suy luận thường thức hay AGI thì hoàn toàn không như vậy
Nếu vẫn giữ đối tượng so sánh là “Cyc”, thì tôi cho rằng bản thân phép so sánh đã bất khả thi. Không hề cường điệu khi nói rằng trước năm 2020 không có dự án AI nào đắt đỏ như Cyc. Chi phí chỉ bắt đầu vượt mốc một triệu đô vào khoảng thời GPT-2, và AlphaGo cùng Deep Blue dù không có con số chính xác nhưng có thể đã tốn vài triệu đô, ít nhất thì chúng đã hoạt động rõ ràng
Nói là mất 40 năm cũng không chính xác. Chẳng hạn LeNet-5 đã hoạt động từ năm 1998 và được dùng để đọc séc thật tại ATM. Chi phí chủ yếu là sự bền bỉ về kỹ thuật trong 10 năm của nhóm nghiên cứu LeCun tại Bell Labs, còn bản hoàn chỉnh mất 2 đến 3 ngày thời gian CPU để huấn luyện “khoảng 20 epoch” trên MNIST trên máy chủ Silicon Graphics Origin 2000 dùng một bộ xử lý R10000 200MHz
Năm 1998 có thể xét về mặt kỹ thuật là khoảng 40 năm kể từ điểm khởi đầu perceptron thập niên 1950, nhưng nếu áp tiêu chuẩn đó cho mạng nơ-ron thì Cyc cũng phải được tính từ điểm khởi đầu của AI logic cùng thập niên 1950. Và tôi cũng nghi ngờ vào năm 1998 Cyc thực sự có ích gì cho công nghiệp
Theo website, Cyc đang hoạt động rất tốt. Họ tự gọi mình là “The Next Generation of Enterprise AI”
Dù bản thân Lenat đã qua đời vào năm 2023, trong leadership team ông vẫn được liệt kê là thành viên duy nhất
https://cyc.com/
Dù chỉ chứng minh được rằng điều đó là bất khả thi, tôi vẫn thật sự biết ơn vì ông đã cố gắng
Có thể chạy thử phiên bản OpenCyc từng được công khai trực tuyến: https://github.com/asanchez75/opencyc
Đây là tư liệu từ thời một phiên bản của hệ thống được đưa lên SourceForge, và trên GitHub có dataset, knowledge base cùng inference engine. Chỉ cần lưu ý là nó được viết bằng một phiên bản Java khá cũ
Từ lâu tôi từng cố đọc càng nhiều tài liệu về AM và EURISKO càng tốt
Đáng tiếc là Lenat giữ công trình của mình rất kín, gần như bí mật, nên ngoài các bài báo và bài viết ở mức khái quát cao thì hầu như không có gì để đọc. Vì thế người khác không thể xây tiếp trên những gì Lenat đã tạo ra, và tôi nghĩ đó là một tổn thất lớn
Bài này là một bài tổng quan khá tốt không chỉ về Cyc mà còn về symbolic AI nói chung
Trước đây tôi từng làm khá nhiều với OpenCyc, nhưng 10 năm qua thì không đụng tới nữa
Nếu symbolic AI có một tương lai hiệu quả, tôi nghĩ nó sẽ là việc dùng LLM để xây dựng knowledge graph và các quan hệ ký hiệu từ dữ liệu phi cấu trúc
Nhận định đó không đúng với thực tế. Các lĩnh vực symbolic AI chủ chốt như SAT solving, automated theorem proving, planning và scheduling vẫn sống khỏe và đã tạo ra kết quả thực tế. Thực ra SAT solving, planning, program verification và automated theorem proving giờ hoạt động tốt đến mức người ta gần như không còn coi chúng là “AI” nữa
Tôi nghĩ ít nhất Lenat đã đúng ở chỗ quy mô dữ liệu áp đảo rốt cuộc là chìa khóa để có được trí tuệ hữu ích
Trước đây tôi từng chỉ trích dự án Cyc là cứ tạo ra một đống phân ngày càng lớn rồi hy vọng sẽ tìm thấy con ngựa con trong đó, nhưng với LLM thì điều đó phần nào lại thật sự xảy ra
Tôi đoán điều này nhiều khả năng sẽ gắn với việc tăng tốc bằng phần cứng cho các hệ thống kiểu này để xử lý khối lượng sự kiện khổng lồ, giống như GPU đã làm với mạng nơ-ron
Dữ liệu đó là phát ngôn thật của con người trong ngữ cảnh thật, không phải phân ngựa con mà chính là ngựa con
LLM không có trí thông minh. Nó chỉ pattern-match vô số phát ngôn của con người với truy vấn rồi truyền dẫn trí thông minh của những con người đó như một cái ống. Việc bộ máy thống kê này hoạt động cực kỳ tốt nên trở nên hữu ích thì đã được chứng minh, nhưng thực tế là LLM không có trạng thái nhận thức khiến phạm vi mà công nghệ này có thể đạt tới bị giới hạn rất nhiều
Trong khi đó, với Cyc thì thậm chí còn không rõ có thể thu được gì. Có thể nó sẽ hữu ích nếu kết hợp với LLM, nhưng đến giờ nó vẫn bị khóa kín
Những kết luận rộng mà tác giả rút ra về symbolic AI chỉ từ một hệ thống và một cách tiếp cận này là không chính đáng. Chính tác giả cũng viết rằng “ngay cả Ernest Davis và Gary Marcus, những người rất thiện cảm với cách tiếp cận AI ký hiệu, cũng hầu như không tìm thấy bằng chứng nào cho thành công của Cyc, không phải vì Cyc đã thất bại một cách có thể chứng minh được, mà vì có quá ít bằng chứng theo bất kỳ hướng nào, dù là thành công hay thất bại”
Có lẽ comment Reddit, tin nhắn Twitter, libgen và các file PDF trên arXiv đều được đổ vào cùng một đống lớn
Vậy nên trong đó có thể có cả rác, nhưng cũng có tri thức được mã hóa rất công phu, tức là văn bản, và việc LLM đúng nhiều đến vậy thật sự là điều kỳ diệu
Nghe như khoa học viễn tưởng, nhưng chuyện nhân ma trận rồi trò chuyện với nó cũng vốn đã như khoa học viễn tưởng rồi
Một thất bại tương tự khác của GOFAI là nỗ lực khổng lồ kéo dài hàng chục năm của công ty Nga ABBYY, nơi họ cố tạo ra phần mềm dịch thuật cao cấp chỉ bằng parsing ngữ pháp hình thức phức tạp. ABBYY đã từng dẫn đầu thị trường phần mềm OCR trong thời gian dài
Câu chuyện hậu trường khá thú vị, và bài này do một người từng làm ở ABBYY viết: https://sysblok.ru/blog/gorkij-urok-abbyy-kak-lingvisty-proi...
Bài viết bằng tiếng Nga, nhưng trớ trêu là nếu dùng tính năng Google Translate của Chrome hoặc tương tự thì có thể đọc ra tiếng Anh khá tốt. Và dĩ nhiên tính năng đó hoàn toàn dựa trên machine learning
Câu chuyện về bản chất rất giống Cyc. Symbolic AI, logic AI và GOFAI có thể cho ra kết quả ấn tượng ở giai đoạn đầu, và ABBYY cũng từng tốt hơn Google Translate thời kỳ đầu rất nhiều, nhưng cách tiếp cận ký hiệu không mở rộng tốt. Cuối cùng thì big data + machine learning chiến thắng
Bài trên bàn về luận điểm này trong “The Unreasonable Effectiveness of Data” mà Google đưa ra năm 2009: https://static.googleusercontent.com/media/research.google.c...
Điều quan trọng là năm 2009 còn rất lâu trước thời của large language models, transformer, và thậm chí cả AlexNet
Khoảng 1 năm trước cũng đã có một chuỗi thảo luận lớn về Cyc: https://news.ycombinator.com/item?id=40069298