ARC Prize, cuộc thi hơn 1 triệu USD cho AGI mở
(arcprize.org)- ARC Prize là cuộc thi trị giá khoảng 1 triệu USD ($1m) trở lên nhắm tới những người tham gia vượt qua đánh giá ARC-AGI và công bố lời giải dưới dạng mã nguồn mở
- Vấn đề được đặt ra là các LLM hiện đại gần giống cỗ máy ghi nhớ, áp dụng các mẫu bậc cao trong dữ liệu huấn luyện vào ngữ cảnh lân cận, chứ không tạo ra suy luận mới trong tình huống mới
- Điểm SOTA của ARC-AGI chỉ tăng từ 20% vào năm 2019 lên 34% hiện nay, cho thấy những tác vụ mà con người và trẻ em học rất nhanh vẫn còn rất khó với AI hiện đại
- Đằng sau đó là phê phán rằng nghiên cứu AGI frontier đang trở nên khép kín khi các báo cáo kỹ thuật của GPT-4 và Gemini không công bố các chi tiết cốt lõi, và việc đầu tư tập trung vào LLM đã làm giảm sự quan tâm nghiên cứu đối với kiến trúc và thuật toán mới
- ARC Prize là một nỗ lực để nhiều nhà nghiên cứu hơn có thể đo lường công khai tiến bộ AGI, đồng thời học thêm cách trí tuệ tổng quát vận hành trong quá trình giải ARC-AGI
Các điều kiện ARC Prize đặt ra
- ARC Prize là cuộc thi trị giá hơn 1 triệu USD nhằm thúc đẩy phát triển AGI mở
- Điều kiện cốt lõi là vượt qua đánh giá ARC-AGI và công bố lời giải đó dưới dạng mã nguồn mở
- Đơn vị tổ chức là Mike Knoop và François Chollet, với sự tham gia của Infinite Monkey và Lab42
Ranh giới giữa ghi nhớ và trí tuệ tổng quát
- AI hiện đại, đặc biệt là LLM, rất mạnh trong việc ghi nhớ các mẫu bậc cao trong dữ liệu huấn luyện và áp dụng chúng vào ngữ cảnh gần kề
- Nhận thức vấn đề là năng lực suy luận bề ngoài cũng hoạt động bằng cách ghi nhớ các mẫu suy luận rồi áp dụng vào ngữ cảnh tương tự, chứ không tạo ra suy luận mới trong tình huống mới
- Ở các benchmark dựa trên ghi nhớ như MMLU, GSM8K, ImageNet, GLUE, có thể “mua” hiệu năng bằng cách dùng nhiều dữ liệu huấn luyện hơn
- Trí tuệ tổng quát là năng lực tiếp thu kỹ năng mới một cách hiệu quả, và khó có thể đạt tới trí tuệ tổng quát chỉ bằng ghi nhớ
- Quan điểm ở đây là chỉ mở rộng quy mô không đủ để LLM học kỹ năng mới; cần có kiến trúc hoặc thuật toán mới có thể học tại thời điểm kiểm thử
Giới hạn khái quát hóa mà AI chơi game bộc lộ
- Các hệ thống AI đánh bại con người trong poker, cờ vua, cờ vây, v.v. đã tồn tại từ lâu
- Một hệ thống được huấn luyện để thành công trong một trò chơi không thể đơn giản được huấn luyện lại cho trò chơi khác; các nhà nghiên cứu phải thiết kế và xây dựng lại hệ thống mới cho từng trò chơi
- Tình huống này được diễn giải là thất bại trong khái quát hóa
- Nếu không có năng lực này, AI sẽ tiếp tục bị giới hạn bởi trí tuệ tổng quát của con người trong vòng lặp
Năng lực ARC-AGI muốn đo lường
- ARC-AGI là đánh giá được giới thiệu trong bài báo On the Measure of Intelligence của François Chollet
- Đánh giá này nhằm đo trí tuệ tổng quát của các hệ thống có khả năng tiếp thu kỹ năng mới một cách hiệu quả và giải các vấn đề mới, mở
- Năm 2019, điểm SOTA cao nhất của ARC-AGI là 20%, còn hiện nay là 34%
- Con người và trẻ em có thể nhanh chóng học các tác vụ, nhưng ARC-AGI vẫn cực kỳ khó với AI hiện đại
- Nhiều benchmark AI kiểm tra năng lực ghi nhớ, nên nhanh chóng bão hòa ở mức hiệu năng ngang con người
- ARC-AGI được thiết kế để chống lại ghi nhớ, và vẫn là một đánh giá khó đối với cả các mô hình Transformer nền tảng lớn nhất lẫn các hệ thống AI chuyên biệt cho ARC-AGI
- Lời giải ARC-AGI được kỳ vọng có thể mở ra một mô hình lập trình mới, nơi chương trình khái quát hóa hoàn hảo và ổn định từ một tập tri thức tiên nghiệm bất kỳ
Nghiên cứu AI frontier ngày càng khép kín
- Sau khi GPT-4 ra mắt, tiến bộ AGI frontier được cho là đã chuyển sang xu hướng nguồn đóng
- GPT-4 technical report không chứa chi tiết kỹ thuật, và OpenAI nêu “cạnh tranh” là lý do đầu tiên
- Gemini technical report của Google cũng không chứa chi tiết kỹ thuật về các đổi mới frontier liên quan đến cửa sổ ngữ cảnh dài
- LLM đã thu hút phần lớn sự quan tâm nghiên cứu dành cho kiến trúc mới và thuật toán mới
- Trong năm 2023, hơn 20 tỷ USD đã được rót vào các công ty AI không tổng quát, và nhiều nhà nghiên cứu frontier của DeepMind đã được điều chuyển sang Gemini để cạnh tranh với OpenAI
Vai trò của nghiên cứu mở nhìn từ lịch sử Transformer
- Kiến trúc Transformer xuất hiện qua sự tích lũy của nhiều nghiên cứu trong dòng nghiên cứu dịch máy
- Năm 2014, Sutskever và cộng sự tại Google công bố Seq2Seq Learning sử dụng RNN và CNN
- Năm 2016, Bahdanau và cộng sự phổ biến khái niệm attention, cho phép dự đoán đầu ra bằng cách xét đến các phần khác nhau của đầu vào
- Năm 2017, Vaswani và cộng sự trong Attention Is All You Need đã loại bỏ RNN và CNN, tối ưu hóa kiến trúc và mở ra khả năng mở rộng quy mô mới
- Năm 2018, Radford và cộng sự xây dựng GPT-2 ở quy mô frontier trên kiến trúc Transformer và cho thấy các năng lực nổi emergent
- Dòng chảy này cho thấy quá trình khoa học, nơi các nhà nghiên cứu từ các phòng thí nghiệm và nhóm khác nhau công bố kết quả, rồi những nhà nghiên cứu khác tiếp tục xây dựng trên đó
Mục tiêu và cách tham gia
- ARC Prize đặt ra ba mục tiêu
- Tăng số người tham gia nghiên cứu AGI frontier
- Phổ biến tiêu chuẩn khách quan để đo lường tiến bộ AGI
- Giải ARC-AGI và học thêm về bản chất của trí tuệ
- Thể thức cuộc thi và chi tiết giải thưởng có tại ARC Prize 2024
- Cách bắt đầu giải ARC-AGI có trong guide
- Có thể xem cách ARC-AGI đo lường trí tuệ tổng quát tại trang ARC-AGI
- Tiến độ và các lời giải SOTA được cập nhật trên X/Twitter, YouTube, Email, Discord
1 bình luận
Ý kiến trên Hacker News
Tôi là Simon Strandgaard và đã giải được 3 bài trong ARCathon 2022 và 8 bài trong ARCathon 2023
Tôi đang thu thập dữ liệu về cách mọi người giải các bài ARC, và đến nay đã thu thập được 4100 bản ghi tương tác (https://github.com/neoneye/ARC-Interactive-History-Dataset)
Ngoài ARC-AGI còn có các bộ dữ liệu tương tự ARC khác, và bạn có thể thử chúng trong trình biên tập của tôi (https://neoneye.github.io/arc/)
Khi phát lại bản ghi tương tác, có thể thấy mỗi người có cách tiếp cận khác nhau. Bản này được phát ở tốc độ 100ms mỗi tương tác, chứ người thật không giải nhanh đến vậy
https://www.youtube.com/watch?v=vQt7UZsYooQ
Đây là cách nó trông như thế nào khi tôi tự tay giải một bài ARC, và cũng có thể thấy là khá chậm
https://www.youtube.com/watch?v=PRdFLRpC6dk
Điều kỳ lạ là cách triển khai một bộ giải dành riêng cho một bài ARC cụ thể lại khá khác với cách giải câu đố bằng tay. Phải xử lý đủ loại trường hợp ngoại lệ
Xin gửi lời cảm ơn lớn tới đội ngũ ARC Prize
Cái này thực sự rất tuyệt. Tôi đồng ý với trực giác của François rằng mô hình học ngốn nhiều dữ liệu hiện tại vừa không tổng quát hóa tốt vừa không bền vững
Con người không cần 10.000 ví dụ để phân biệt mèo với chó, và lý do chính khiến máy tính có thể làm được điều đó ngày nay là vì chúng có hàng triệu ví dụ
Vì vậy, có thể sẽ khó chuyển tri thức sang những lĩnh vực còn hóc búa hơn, nơi dữ liệu đắt đỏ, hiếm và khó tổng hợp
Nếu phải nêu một điểm phê bình, thì phần lớn các bài kiểm tra này dường như là suy luận về thông tin hoàn chỉnh theo góc nhìn lý thuyết trò chơi. Nhưng nhiều vấn đề khó hơn mà ta gặp phải lại bao gồm thông tin ẩn
Poker và đàm phán là các ví dụ về giải quyết vấn đề trong bối cảnh thông tin không hoàn chỉnh, và việc xử lý trơn tru các tình huống xã hội cũng đòi hỏi những bài toán liên quan đến thông tin ẩn
Một trong những điều thực sự thú vị mà con người làm được là nhận luật chơi rồi tạo ra chiến lược. Có các thuật toán tự học cờ vây hay cờ vua, nhưng cùng kiểu thuật toán tự đấu đó lại không áp dụng được cho các trò chơi có thông tin ẩn
Một hệ thống trí tuệ tổng quát hẳn cũng phải có khả năng tổng hợp một bộ giải bài toán đa dụng cho những tình huống như vậy
Có thể không tới 10.000, nhưng chắc là ở mức hàng trăm, thậm chí hàng nghìn
Trẻ con luôn hỏi để xác nhận xem suy đoán của mình có đúng không. Đọc cuốn sách lần thứ 50 rồi mà chúng vẫn chỉ vào con chó trong hình và hỏi “chó à?”, và giai đoạn phát triển đó kéo dài khá lâu
Chúng còn nổi giận nếu nhãn mà chúng kỳ vọng không khớp với sự vật. Ví dụ, con trai tôi thực sự cáu nếu ai đó gọi sai màu sắc
Trẻ nhỏ cũng thích trò cố tình gọi sai tên. Chỉ vào con cá rồi nói “Con lạc đà không bướu tuyệt đẹp kìa!” là đứa trẻ sẽ cười lăn vì quá buồn cười
Sự phát triển của não bộ con người diễn ra rất chậm[1], và cảm nhận thời gian theo tuyến tính cũng phải rất lâu mới hình thành. Dù đã ba tuổi, mọi thứ vẫn chỉ là hôm qua, hôm nay hoặc ngày mai
Trẻ em thu thập thông tin bằng nhiều giác quan, hấp thụ dữ liệu với tốc độ điên rồ suốt 12–14 giờ mỗi ngày rồi nghỉ 10–12 giờ để xử lý lượng thông tin đó
[1] Cứ nhìn một em bé phát hiện ra mình có bàn chân phải, rồi vài ngày sau mới nhận ra còn có cả bàn chân trái. Hoặc nhìn một đứa trẻ đang học đứng đập đầu vào gầm bàn vài lần rồi mới hình thành được cảm giác về “phía trên mình”. Nói rằng trẻ con học “nhanh” gần như chỉ có nghĩa là trong vài năm chúng chẳng có việc gì khác để làm
Nói cách khác, LLM được tiền huấn luyện gần như từ đầu với tri thức tiên nghiệm rất yếu, còn não người thì được cài sẵn tri thức tiên nghiệm cực kỳ mạnh
Ví dụ, chỉ cần mô tả rằng “chó săn bằng cách truy dấu con mồi và đuổi bền bỉ đến khi nó kiệt sức, còn mèo thì chờ thời cơ rồi tấn công bằng sự lén lút và nhanh nhẹn”, thì một người chưa từng thấy chó hay mèo vẫn có khả năng nhìn hai con vật và đoán đúng con nào là con nào dựa trên dạng thích nghi của chúng
Đây có thể là một bài kiểm tra thú vị cho AI, nhưng tôi không rõ phải xây dựng nó thành một phép đánh giá như thế nào
Ý tưởng ARC thực sự rất hay, nhưng các bài toán dường như đòi hỏi sự suy luận trừu tượng ít hơn nhiều so với tri thức về thế giới không gian
Chúng là những việc như các hình chồng lên nhau, bao chứa nhau, cắt các mảnh rồi lắp lại, loại bỏ nhiễu khỏi các hình học đều đặn
Có thể gọi đó là “tri thức cốt lõi”, nhưng với tôi nó giống “những thứ trực quan đối với xử lý thị giác của con người” hơn
Liệu một người thông minh nhưng bị khiếm thị có giải được các bài này không?
Việc chúng ta lo rằng có thể cần hơn 800 ví dụ không phải vì suy luận trừu tượng quá khó, mà vì các bài toán đòi hỏi tri thức không gian mà con người thông minh học được từ số ví dụ huấn luyện nhiều hơn rất nhiều so với 800
Nếu bài kiểm tra này đại diện cho một miền mà con người làm tốt hơn AI rất nhiều thì đây là một bài kiểm tra hữu ích. AI rõ ràng kém năng lực hơn con người ở nhiều miền nhưng vẫn vượt qua tốt các bài kiểm tra hiện có, nên cần thêm những bài kiểm tra như thế này
Tiền huấn luyện trên dữ liệu không giới hạn nên được cho phép. Khái quát hóa từ dữ liệu dễ kiếm sang các nhiệm vụ kiểm tra chính là điều con người làm
Tôi tin rằng nếu chuyển màu sắc sang cảm giác xúc giác thì người khiếm thị cũng có thể giải được. Người khiếm thị cũng hiểu các quan hệ không gian
Nếu định nghĩa AGI ít nhất là ở mức con người, thì AGI cũng phải giải được mức này mà không cần xem thêm nhiều ví dụ
Có vẻ không có quy tắc nào về việc có thể nhúng loại tri thức hay kinh nghiệm nào vào lời giải
Tôi thích mục tiêu của dự án. Sẽ tốt nếu xem lại các bộ máy suy luận trước đây từng cố xây dựng tri thức thường thức. Cyc và OpenMind là ví dụ
Danh sách mục tiêu AGI ở mục 2 của bài báo này cũng có thể hữu ích
https://arxiv.org/pdf/2308.04445
Khi học nhập môn về chức năng não bộ, tôi cũng thấy nhiều vùng được kết nối với hippocampus. Có thể hippocampus vừa lưu trữ khái niệm trung lập với giác quan, vừa tạo ra mô hình nội tại hoặc mô hình xấp xỉ của thế giới bên ngoài
Cái trước giúp gắn kết khái niệm qua nhiều giác quan, còn cái sau giúp lập kế hoạch khi ta tưởng tượng, đánh giá và lặp lại các khả năng
Có vẻ AGI cần những đặc tính giống hippocampus như vậy và cả các đặc tính trong bài báo về Cyc. Có thể kiểm tra xem cấu trúc nào có thể làm việc đó về mặt lý thuyết hoặc ở quy mô nhỏ
Nó cũng không được bị trói vào chỉ một loại đầu vào cảm giác. Phải có ít nhất hai loại, và phải có thể hành động dựa trên những gì chỉ có ở một phía hoặc có ở cả hai phía
Trẻ em cũng thực hiện một lượng học không giám sát khổng lồ đối với dữ liệu thị giác-không gian. Chúng nhận học tăng cường qua vui chơi và học có giám sát từ cha mẹ. Nếu là benchmark thực tế, có thể cũng cần tiền huấn luyện ở mức GB tương tự
Ví dụ, hãy xét các hình bao chứa lẫn nhau. Nếu hai quốc gia cùng tuyên bố chủ quyền trên một lãnh thổ, thì có một tập X chứa Y và một tập Z chứa Y
Nếu phần chồng lấn chung là ba chiều và một bên nằm trên bên kia, thì có thể mở rộng thành X chứa -Y còn Z chứa Y. Giống như tùy vị trí đứng mà chỉ thấy được một cái ở phía trên và không thể thấy cả hai, ta có thể nói X và Z không thể đồng thời tồn tại. Vì vậy, nếu là X thì là -Y, còn nếu là Z thì là Y
Nếu quan sát kỹ ngôn ngữ chúng ta dùng, bạn sẽ thấy ta dùng các quan hệ không gian nhiều đến mức nào để mô tả cả những thứ hoàn toàn trừu tượng. Ví dụ, ta có thể nói một nền kinh tế bá quyền đang sụp đổ, đây là cách diễn đạt rằng những thứ chồng lên nhau biến mất và quay về nơi chúng vốn xuất phát
Cuối cùng, chúng ta đang suy luận về những gì xảy ra trong thời gian và không gian
Và không gian không đồng nghĩa với thị giác. Dù bị khiếm thị, ta vẫn phải suy luận về không gian. Vì mọi tập hợp sự thật đều là những sự thật trong không-thời gian
Để hiểu lịch sử, phải hiểu con người trong không gian, những người sống ở các khoảng cách khác nhau, việc sản xuất hàng hóa bằng các quá trình vật lý ở nhiều vị trí khác nhau trên Trái Đất và việc trao đổi chúng một cách vật lý
Để hiểu chiến trận, phải hiểu quân đội được bố trí vật lý ra sao, việc di chuyển tiếp vận vận hành thế nào, điều kiện thời tiết, vũ khí và hình dạng vật lý của chúng thực sự cho phép điều gì
Ngay cả LLM, thứ tạo ra bước tiến lớn nhất trong AI, đang làm gì? Nó đang mã hóa token vào không gian đa chiều
Quan hệ không gian chỉ là thêm một loại quan hệ logic nữa, và nếu là AGI thì nó phải có khả năng phân tích các quan hệ và tạo ra thuật toán để giải bài toán ngay tại chỗ
Việc con người có thể có nhiều thiên kiến không có nghĩa là những thiên kiến đó là nội tại của mọi loại trí tuệ
Tôi hơi nghi ngờ nhận định rằng bài test này dễ với con người nên đã tìm hiểu thêm một chút. Melanie Mitchell đã tham gia vào thread của Chollet và đăng ConceptARC, một bài test liên quan
Ở đó, bà đặt câu hỏi liệu bài test của Chollet có thực sự dễ hay không. “Một hạn chế của ARC trong vai trò công cụ hữu ích cho nghiên cứu AI là nó có thể quá khó. Nhiều bài trong bộ bài toán của Chollet cũng khó ngay cả với con người, và toàn bộ bộ bài toán có thể quá khó với máy móc đến mức không thể bộc lộ tiến bộ thực sự trong việc tiếp thu tri thức cốt lõi”
ConceptARC được thiết kế để dễ hơn, nhưng họ vẫn phải loại khoảng 15% người làm bài của mình vì “không giải được tối thiểu hai bài, hoặc đưa ra phần giải thích trống rỗng hay vô nghĩa”
Ngay cả sau khi đã lọc như vậy, ConceptARC vẫn ghi nhận thêm khoảng 10–15% tỷ lệ thất bại của con người trên các bài trong phần nội dung chính, nghĩa là ngay cả với những bài đơn giản hơn được tạo ra để test “AGI”, vẫn có 25–30% không giải được
Trong các kết quả chính của ConceptARC, CG4 thấp hơn rất nhiều so với nhóm người đã được lọc, và điều đó cũng khớp với kết quả test [IQ=85 của Mensa]https://www.maximumtruth.org/p/ais-ranked-by-iq-ai-passes-10...
Chollet và Mitchell cũng có thể phân tầng nhóm người để ước lượng IQ rồi so sánh với thước đo của Mensa, từ đó xem chẳng hạn Claude3@IQ=100 tương ứng thế nào với điểm ARC của một người bình thường
[ConceptArc]https://arxiv.org/pdf/2305.07141
“Con người có thể suy ra chương trình nền tảng và tạo ra đầu ra test đúng cho các ví dụ đầu vào test mới, giải được trung bình 84% số bài trên mỗi người tham gia”
Hoặc là tôi ngốc hơn rất nhiều so với mình nghĩ, hoặc bài test cần được kiểm chứng tốt hơn
Nếu chấp nhận nhận định đó theo đúng nghĩa đen, thì việc không mô hình nào hiện có đạt nổi dù chỉ một nửa điểm số của người bình thường rõ ràng cho thấy bài test này đang đo một khác biệt quan trọng nào đó
Có thể sẽ có tranh cãi về việc các bài ARC có phải là mẫu đại diện cho mọi chương trình trừu tượng có thể tổ hợp hay không, nhưng hầu hết LLM rốt cuộc cũng được huấn luyện trên dữ liệu do con người tạo ra
Tôi đồng ý với tinh thần của cuộc thi, nhưng xét đến việc cuộc đua AGI đã được rót hàng chục tỷ USD và sẽ còn đốt nhiều tiền hơn nữa, thì giải thưởng 1 triệu USD có vẻ hơi thấp
Tác động của AGI ít nhất cũng sẽ được đo bằng đơn vị nghìn tỷ. Cuối cùng, thứ được thưởng có thể không phải là nghiên cứu AGI, mà là việc tinh chỉnh bản phát hành LLM công khai mới nhất để khớp tốt nhất với các tham số của bài test
Cũng nên đổi nền tảng giao tiếp với công chúng. Liên kết x.com giờ không thể truy cập nếu không tạo tài khoản
Mục tiêu chính của giải này là nâng cao nhận thức của công chúng về việc chúng ta đang gần AGI đến đâu, hoặc hiện vẫn còn cách xa đến mức nào: https://arcprize.org/leaderboard
Hy vọng sự hiểu biết đó sẽ khiến nhiều nhà nghiên cứu AI tiềm năng hơn chuyển sang theo đuổi các ý tưởng mới
Tôi rất thích ARC như một tập hợp vấn đề để giải. Việc dữ liệu khan hiếm và số quy tắc có thể áp dụng về cơ bản là vô hạn khiến nó khó hơn rất nhiều so với các bộ bài toán machine learning truyền thống
Dù vậy, tôi không đồng ý rằng vấn đề này đại diện cho AGI. Nó chỉ là một bộ dữ liệu khác với các ca thành công machine learning trước đây, còn cách tiếp cận nhìn chung vẫn khá giống trước đây
AGI như một đột phá thật sự mới có thể giải được bộ bài toán này, nhưng tôi không xem việc giải được bộ bài toán này là chỉ dấu bảo đảm của AGI
Thực sự rất thú vị và tôi thích nó, nhưng theo trực giác sau khi xem khoảng chục ví dụ, dù bài toán này khó, nó vẫn đủ dễ để nếu được quan tâm rộng rãi thì trong vòng 1 năm hoặc sớm hơn sẽ có kết quả tiến gần mức con người, mà vẫn chưa đạt tới AGI
Điểm mấu chốt có vẻ là tìm ra một ngôn ngữ kỹ thuật biến đổi đủ tổng quát với các toán tử phù hợp. Và trong ngôn ngữ này, cần một heuristic để tìm, theo nghĩa lý thuyết thông tin, chương trình rất ngắn có thể tạo ra toàn bộ các ví dụ của một bài toán
Tôi sẽ rất ngạc nhiên nếu trong thời gian tới người ta không thể cải thiện mạnh kết quả 34%, và cũng sẽ ngạc nhiên nếu điều đó chuyển hóa thành trí tuệ tổng quát. Nhất là khi nghĩ tới các chủ đề tôi đang dùng AI hôm nay và những chỗ nó vẫn còn thiếu
Về cơ bản, tôi có trực giác rằng đây sẽ lại là một bài toán kiểu cờ vua hay cờ vây khác trong AI. Dù vậy, với tư cách chủ đề nghiên cứu thì nó chắc chắn đáng giá, và giá trị có thể tạo ra từ đây hoàn toàn xứng đáng vượt xa 1 triệu USD
Tôi không nghĩ việc làm tốt bài này là bằng chứng gì cho AGI thực sự cả. Ví dụ, nó khác hẳn với các khả năng như viết ra chứng minh toán học mới, đặt những câu hỏi sâu sắc mà chưa ai từng nghĩ tới, tự dẫn dắt quá trình tự học của mình, hay đọc chính mã nguồn của mình
Cách nói “đây là bài đánh giá duy nhất đo được AGI” là cường điệu. Đây chỉ là dạng bài mà LLM không làm được, chứ không có nghĩa là thước đo tốt cho trí tuệ nhân tạo tổng quát
Sau khi thử giải vài bài, tôi bắt đầu tò mò không biết bộ sinh bài có bao nhiêu quy tắc biến đổi khác nhau. Có vẻ không nhiều lắm
Vì vậy, bài toán được chia thành việc trích xuất tập quy tắc biến đổi từ dữ liệu, rồi áp dụng chúng vào bài mới
Phần đầu thì khó và là một bài toán trích xuất đặc trưng. Có vẻ các phép biến đổi được áp dụng rất nghiêm ngặt, nên nếu lấy được quy tắc biến đổi và chọn quy tắc phù hợp với mọi ví dụ đầu vào thì bản thân việc áp dụng hẳn phải đơn giản
Có vẻ cần trích xuất đặc trưng tường minh hơn là sự kết hợp giữa trích xuất và khai thác đặc trưng mà LLM dùng. Có ai từng thử trích xuất tập quy tắc từ các ca kiểm thử chưa?
Một số lời giải hàng đầu trong cuộc thi Kaggle ban đầu đã dùng ngôn ngữ đặc thù miền được cấu thành từ các phép biến đổi như vậy. Chuyện đó là từ 4 năm trước. [1]
Vấn đề của hướng đi đó là các tác vụ không dùng bộ sinh chương trình. Tập quy tắc có thể là bất cứ thứ gì con người nghĩ ra được. Nó có thể đơn giản như “vật thể lớn nhất sẽ chuyển thành màu xanh”, nhưng cũng có thể phức tạp hơn nhiều
Hơn nữa, tập kiểm thử là không công khai nên không thể học hay trích xuất từ đó. Trong đó cũng có những quy tắc không xuất hiện trong tập công khai
[1] https://www.kaggle.com/competitions/abstraction-and-reasonin...
Bài báo gốc của François Chollet cực kỳ sâu sắc, và tôi luôn ngạc nhiên vì không có nhiều người nhắc đến nó hơn
Một số phần khá kỹ thuật, nhưng ở mức độ khái quát thì đây là câu trả lời hay nhất tôi từng thấy cho câu hỏi “trí tuệ tổng quát nghĩa là gì?”
Khi định nghĩa trí thông minh là hiệu quả học tập sau khi xét đến tri thức nền tảng tường minh và hàm ẩn về thế giới, ta sẽ dễ hiểu hơn nhiều vì sao trí thông minh của con người lại ấn tượng đến vậy
Dwarkesh vừa đăng cuộc phỏng vấn với François Chollet. Anh ấy là đối tác của tác giả bài gốc
Tôi mới chỉ nghe vài phút thôi, nhưng rất muốn nghe thêm suy nghĩ của ông ấy về giới hạn của LLM
https://youtu.be/UakqL6Pj9xo