Sự phát triển của AGI đang chững lại. Cần những ý tưởng mới
Công bố ARC Prize
- ARC Prize: cuộc thi với tổng giải thưởng hơn 1 triệu USD nhằm thúc đẩy AGI mở
- Mục tiêu: thúc đẩy sự phát triển của AGI thông qua các ý tưởng mới và giải được bài đánh giá ARC-AGI
Trí thông minh đối lập với ghi nhớ
- AI hiện đại: chủ yếu ghi nhớ các mẫu ở không gian nhiều chiều và áp dụng chúng vào các tình huống tương tự
- Vấn đề: không thể tạo ra suy luận mới trong các tình huống mới
- Trí thông minh tổng quát: khả năng tiếp thu kỹ năng mới một cách hiệu quả
- Sự cần thiết: cần các kiến trúc hoặc thuật toán mới
Giới hạn của LLM
- Các hệ thống AI hiện có: có thể đánh bại con người trong một số trò chơi cụ thể, nhưng không thể chuyển sang trò chơi khác
- Thất bại trong khái quát hóa: AI không thể thích nghi với các tình huống mới
ARC-AGI
- Giới thiệu: được giới thiệu trong bài báo "On the Measure of Intelligence" của François Chollet
- Mục tiêu: đánh giá các hệ thống có thể tiếp thu kỹ năng mới một cách hiệu quả và giải quyết các vấn đề mới
- Hiện trạng: con người đạt 85%~100%, trong khi AI chỉ đạt 34%
Phát triển AGI mã nguồn mở
- Vấn đề: sau GPT-4, nghiên cứu AGI đã trở nên khép kín hơn
- Lịch sử: sự phát triển của LLM là kết quả hợp tác của nhiều nhà nghiên cứu
- Sự cần thiết: cần mã nguồn mở để thúc đẩy các ý tưởng mới
Mục tiêu của ARC Prize
- Tăng cường sự tham gia nghiên cứu: tăng số lượng người tham gia nghiên cứu AGI
- Đo lường tiến bộ AGI: phổ biến một phương pháp đo lường tiến bộ AGI một cách khách quan
- Giải ARC-AGI: giải được bài đánh giá ARC-AGI và học thêm điều mới về bản chất của trí thông minh
Bắt đầu
- Cách tham gia: bất kỳ ai cũng có thể tham gia, vì ý tưởng mới có thể đến từ bất cứ đâu
- Thông tin cung cấp: cung cấp chi tiết về thể thức và giải thưởng của ARC Prize 2024
Ý kiến của GN⁺
- Tầm quan trọng của mã nguồn mở: mã nguồn mở rất quan trọng để thúc đẩy đổi mới và thu hẹp khoảng cách giữa các công ty AI nhỏ và lớn
- Sự cần thiết của ý tưởng mới: nghiên cứu AI hiện nay đang thiếu các ý tưởng mới, điều này cản trở sự phát triển của AGI
- Vấn đề quy định: những niềm tin sai lầm có thể dẫn đến việc siết chặt quy định đối với nghiên cứu AI
- Ưu điểm của cạnh tranh: các cuộc thi như ARC Prize có thể tạo động lực cho các nhà nghiên cứu và thúc đẩy những ý tưởng mới
1 bình luận
Ý kiến trên Hacker News
Simon Strandgaard đã tham gia ARCathon 2022 và 2023, giải được lần lượt 3 và 8 bài toán. Ông đang thu thập dữ liệu về cách con người giải các bài toán ARC, hiện đã có 4.100 bản ghi tương tác. Ông cũng cung cấp nhiều bộ dữ liệu tương tự ARC.
Có ý kiến cho rằng mô hình học tập lấy dữ liệu làm trung tâm hiện nay không thể khái quát hóa và không bền vững. Con người có thể phân biệt mèo và chó mà không cần hàng nghìn ví dụ, nhưng máy tính cần đến hàng triệu ví dụ. Trong các lĩnh vực dữ liệu khan hiếm, việc chuyển giao tri thức có thể gặp khó khăn.
Bài toán ARC đòi hỏi nhiều tri thức thế giới mang tính không gian, và có nhiều yếu tố trực quan với khả năng xử lý thị giác của con người hơn là suy luận trừu tượng. Nhận diện mẫu trực quan đóng vai trò quan trọng.
Có ý kiến cho rằng bài kiểm tra ARC cũng khó ngay cả với con người. Trong bài kiểm tra ConceptARC, 25-30% con người không giải được những câu hỏi đơn giản. Điều này có thể làm hạn chế tính hữu ích của ARC.
Có người thắc mắc liệu có bảng xếp hạng cho phiên bản cuộc thi không giới hạn hay không. Họ muốn xem hiệu năng của GPT-4.
Có ý kiến cho rằng giải thưởng 1 triệu USD cho nghiên cứu AGI là quá thấp. Tác động của AGI tối thiểu sẽ được đo bằng hàng nghìn tỷ USD, và mức thưởng hiện tại có thể chỉ đủ để tinh chỉnh bản phát hành LLM công khai mới nhất.
Có ý kiến cho rằng một câu đố cụ thể có thể có nhiều đáp án hợp lệ. Trong ví dụ, không thể biết chính xác khoảng cách được kỳ vọng là bao nhiêu.
Có ý kiến cho rằng các bài toán ARC nhắm tới nhận diện mẫu trực quan, nhưng điều này không thể là định nghĩa duy nhất của trí tuệ. Trí tuệ hợp tác giữa con người và AI là quan trọng, và vấn đề nên được tái cấu trúc thành tối ưu hóa mục tiêu đa thuộc tính.
Bài báo của François Chollet được đánh giá là rất sâu sắc và đưa ra câu trả lời tốt nhất về định nghĩa trí tuệ tổng quát. Việc định nghĩa trí tuệ bằng hiệu quả học tập giúp lý giải vì sao trí tuệ con người lại ấn tượng đến vậy.
Có ý kiến cho rằng bộ bài toán ARC khó hơn nhiều so với các bộ bài toán ML hiện có, nhưng không đại diện cho AGI. Đây chỉ là một bộ dữ liệu mới, còn cách tiếp cận vẫn tương tự trước đây. AGI có thể giải được bài toán này, nhưng việc giải được nó không phải là chỉ dấu đảm bảo cho AGI.