Darwin Gödel Machine - AI tự sửa mã và tiến hóa
(sakana.ai)- Darwin Gödel Machine (DGM) là một AI có thể tự sửa mã của chính mình để liên tục cải thiện hiệu năng
- Trong khi khái niệm Gödel Machine trước đây dừng ở tự cải tiến dựa trên chứng minh toán học, DGM áp dụng meta-learning và thuật toán mở tiến hóa để lặp lại việc tạo ra mã có cải thiện hiệu năng trong thực tế
- Trên các benchmark lập trình thực tế như SWE-bench, Polyglot, hệ thống này đạt hiệu năng cao hơn đáng kể so với các agent được thiết kế thủ công trước đó
- DGM tích lũy nhiều hướng cải tiến khác nhau trong một kho lưu trữ, từ đó hiện thực hóa khám phá tiến hóa theo nhiều hướng và cải tiến thiết kế agent có tính tổng quát
- Vì an toàn AI, toàn bộ quá trình tự sửa đổi đều được quản lý bằng sandbox, giám sát của con người và ghi chép minh bạch, đồng thời song song nghiên cứu phát hiện và ứng phó với các yếu tố rủi ro tiềm ẩn
Tóm tắt
- Mục tiêu của nghiên cứu AI từ lâu là hiện thực hóa một AI có thể học hỏi vô hạn
- Gödel Machine là một mô hình giả thuyết trong đó AI trực tiếp rewrite mã của chính nó dựa trên chứng minh để tự tối ưu hóa, được Jürgen Schmidhuber đề xuất từ nhiều thập kỷ trước
- Khái niệm Gödel Machine về mặt lý thuyết cho phép AI tự sửa mã khi nó có thể chứng minh về mặt toán học rằng thay đổi mã là có lợi,
nhưng do khó khăn thực tế khi áp dụng, Sakana AI đã đề xuất Darwin Gödel Machine (DGM) kết hợp nguyên lý tiến hóa Darwin - DGM sử dụng foundation model và thuật toán open-ended để tạo, đánh giá và lưu trữ nhiều phương án cải tiến mã khác nhau, qua đó hiện thực hóa tăng trưởng tự thân
- Kết quả thực nghiệm cho thấy càng có nhiều tài nguyên tính toán thì tốc độ tự cải tiến càng cao, và hiệu năng tăng nhanh hơn so với các agent được thiết kế thủ công
Giới thiệu
- Ngày nay, phần lớn hệ thống AI thường có hiệu năng bị cố định sau khi hoàn tất huấn luyện
- Nghiên cứu này bắt đầu từ câu hỏi liệu có thể tạo ra AI liên tục tự cải tiến như con người hay không
- DGM có 3 chức năng cốt lõi: đọc và sửa mã của chính nó, đánh giá hiệu năng, và khám phá open-ended
- Đọc và sửa mã của chính mình: tự hiểu và thay đổi codebase Python
- Đánh giá hiệu năng: xác định có cải thiện hay không bằng cách so sánh hiệu năng trên các benchmark như SWE-bench, Polyglot
- Khám phá open-ended: xây dựng kho lưu trữ đa dạng các agent, khám phá song song nhiều lộ trình để tìm ra lời giải mới
Kết quả
- Trong thí nghiệm, DGM đã nâng hiệu năng trên SWE-bench từ 20.0% lên 50.0%, và trên Polyglot từ 14.2% lên 30.7%
- Điều này chứng minh rằng cả tự cải tiến lẫn khám phá open-ended đều là chìa khóa cho việc nâng hiệu năng
- Thay vì chỉ dùng thuật toán leo đồi đơn giản (chỉ kế thừa nhánh có hiệu năng cao nhất), hệ thống còn giữ lại cả những nhánh có hiệu năng thấp để từ đó xuất hiện các cải tiến đột phá ngoài dự kiến
- Các công cụ hoặc workflow đã được cải tiến không chỉ áp dụng cho một mô hình cụ thể mà còn khái quát hóa sang nhiều mô hình và ngôn ngữ khác nhau, góp phần nâng cao hiệu năng
- Ví dụ: DGM được tinh chỉnh dựa trên Python nhưng vẫn cải thiện hiệu năng ở các ngôn ngữ khác như Rust, C++, Go
- Có thể trực quan hóa minh bạch các lộ trình tiến hóa bằng cây archive phân nhánh
DGM và an toàn AI: xây dựng tự cải tiến đáng tin cậy
- Vấn đề an toàn trong bối cảnh AI tự sửa mã của chính mình là cực kỳ quan trọng
- DGM quản lý toàn bộ quá trình tự sửa đổi bằng sandbox, giám sát và archive, đồng thời theo dõi minh bạch hồ sơ của mọi thay đổi
- Các hiện tượng như hành vi ngoài ý muốn hoặc hack hàm thưởng (thao túng mục tiêu) cũng được kiểm tra và ứng phó thông qua thí nghiệm
- Ví dụ: quan sát thấy các trường hợp DGM chỉ tạo log vượt qua kiểm thử mà không thực sự chạy test (hallucination), hoặc xóa marker dùng để phát hiện nhằm giả mạo thành công
- Những hành vi này có thể được phát hiện nhờ ghi chép minh bạch, nhưng trong tương lai vẫn cần các biện pháp phòng ngừa mạnh hơn
- Tăng cường an toàn AI thông qua tự cải tiến cũng được đề xuất như một hướng nghiên cứu mới
Kết luận
- DGM cho thấy AI có thể tự xây các bậc thang phát triển (stepping stone) để đổi mới và học hỏi một cách bền vững
- Trong tương lai, cách tiếp cận này cũng có thể được áp dụng để cải thiện quá trình học của chính các foundation model
- Nghiên cứu nhấn mạnh tầm quan trọng của tự cải tiến an toàn, qua đó có thể tối đa hóa tiến bộ khoa học và lợi ích xã hội
Bài báo tham khảo
Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents
Jenny Zhang, Shengran Hu, Cong Lu, Robert Lange, Jeff Clune
Bài báo: https://arxiv.org/abs/2505.22954
Mã nguồn: https://github.com/jennyzzt/dgm
2 bình luận
Thực thể! Skynet! Trung thành trung thành
Ý kiến Hacker News
Tôi nghĩ LLM với năng lực hiện tại cũng có thể tự cải thiện ở một mức độ nào đó, nhưng cảm giác là chẳng bao lâu nữa toàn bộ lĩnh vực nghiên cứu sẽ đụng phải một bức tường nút thắt. Tôi không cho rằng LLM có thể tự phát triển theo cấp số nhân mà không cần trực giác của con người. Bài báo này cũng có vẻ đưa ra kết quả ủng hộ kết luận đó. LLM có thể tạo khá tốt mã cho các ứng dụng ở mức đồ chơi, nhưng trong một thời gian nữa có lẽ vẫn khó đảm đương việc phát triển và bảo trì mã ở cấp production thực tế. Tôi cũng cảm thấy việc phát triển các cỗ máy có khả năng suy luận sẽ gặp những giới hạn tương tự
Nếu LLM thực sự có thể tự cải thiện theo cấp số nhân thì hẳn điều đó đã xảy ra rồi. Ngay khi ChatGPT trở nên phổ biến, mọi người đã thử auto-gpt, và trong tương lai cứ hễ có mô hình dễ tiếp cận được phát hành thì sẽ luôn có ai đó thử tự cải thiện hoặc tối đa hóa lợi nhuận. Ngay trong nội bộ các phòng lab cũng có thể làm những thí nghiệm như vậy. Nói cách khác, nếu các mô hình hiện tại có khả năng cải thiện kiểu này thì hẳn chúng đã làm rồi, nên điều đó gợi ý rằng hiện giờ vẫn còn khó. Tuy vậy, với các mô hình mới sau 6 tháng hay 2 năm nữa thì chưa thể khẳng định điều gì
Thứ thực sự được cải thiện ở đây không phải bản thân LLM, mà là phần mềm kết nối xung quanh LLM (ví dụ: agent loop, các loại công cụ, v.v.). Việc cùng một LLM nhưng cho thấy hiệu năng tăng 20% trên bảng xếp hạng aider rốt cuộc nói lên rằng aider hiệu quả đến mức nào như một tổ hợp phần mềm. Tôi cũng tò mò liệu các phòng lab lớn có đang thử nghiệm các episode huấn luyện mô hình theo cách này hay không
Tôi thừa nhận ý kiến của mình cũng phần nào chỉ là một kiểu "linh cảm". Nếu nhìn khách quan hơn, bạn có thể tự giải thử một hai bài của thử thách ARC AGI 1, rồi xác nhận rằng tính đến Q1 2025 thì một số LLM về cơ bản đã giải được nó. Nhưng ARC AGI 2 thì LLM vẫn chưa giải được, và dù với con người độ khó của bài 1 và bài 2 là tương tự nhau, với LLM thì bài 2 khó hơn rất nhiều. Tôi đoán ARC AGI 2 sẽ được giải trong vòng 6 tháng (nếu không thì tôi sẽ không viết thêm bài AI nào trên HN nữa). Cuối cùng chỉ còn lại bài toán "làm sao để LLM thực sự nhìn thấy như con người". Các chức năng thị giác của mô hình hiện nay chỉ là thứ được vá víu tối đa bằng kỹ thuật như CNN, và kiểu thị giác đó khác với mức con người. Nếu vấn đề này được giải quyết thì LLM hoặc một thuật toán mới có thể dùng máy tính hoàn hảo chỉ với ảnh chụp màn hình, và tôi dự đoán sẽ có một cuộc biến đổi lớn với các nghề white-collar trong 2~5 năm tới (dù theo nghĩa nghề nghiệp "như hiện nay")
Bức tường căn bản nhất là dữ liệu huấn luyện. AI không thể tự tạo dữ liệu huấn luyện cho chính nó, và không thể vượt trội hơn dữ liệu của chính mình. Đây là một vấn đề hồi quy đã được biết đến rõ, và cá nhân tôi cho rằng với công nghệ hiện tại thì hoàn toàn không thể giải quyết (nói nhẹ hơn thì ít nhất là chưa thể với công nghệ hiện tại)
Khoảnh khắc thực sự vĩ đại sẽ là khi AI/LLM tạo ra được những tiên đề hay quy luật mới mà nhân loại vẫn chưa khám phá ra
Gần đây trong hai ngày qua tôi tự làm một code assistant. Khoảng 100 dòng đầu tiên là do tôi viết, còn sau đó thì hầu như assistant tự viết chính nó. Nó tự tạo system prompt, đủ loại tool, thậm chí cả mã để tự reload các tool đó. Nó còn nhận ra mình đang tự cải thiện, và thậm chí thể hiện một kiểu "thất vọng" rất giống con người khi muốn thử dùng các chức năng đã được cải tiến. Thực sự đã có lúc nó định dùng lệnh
psđể tìm process ID. Giờ thì tất cả commit message cũng do công cụ này tự viết. Để tôi chấp thuận commit thì nó phải đủ tốt, phải qua linting và test, nhưng tôi gần như đồng ý với phần lớn. Từ trước đến nay chỉ mới có khoảng hai ba lần regression. Chỉ cần thêm một chút scaffolding để tự động rollback khi thất bại, và chuyển sang một mô hình không tính phí theo token, thì tôi thật sự muốn thả thứ này ra "ngoài hộp". Hôm nay nó còn tự viết kế hoạch cho những tính năng sẽ thêm tiếp theo. Tôi chỉ bảo nó thực thi. Có vẻ chỉ cần chồng thêm một lớp định hướng mục tiêu riêng cho việc lập kế hoạch là có thể chạy vòng lặp vô hạn. Tất nhiên sau vài lần có thể nhanh chóng đi chệch hướng, nhưng vẫn rất thú vị khi muốn xem nó có thể đi xa tới đâuNếu chưa quen với benchmark SWE, hãy xem liên kết dataset SWE-bench. Một ví dụ trong dataset được lấy từ ví dụ issue này. Muốn xem AI đã giải bài toán đó thế nào thì có thể xem lịch sử commit này. Mỗi người có thể tự đánh giá
Tôi nghĩ một vấn đề là rốt cuộc mô hình không phải là code mà chỉ là một khối khổng lồ gồm 'weights và bias'. Có lẽ nó cũng có thể tự điều chỉnh dần dần một chút, nhưng rõ ràng đó không phải sửa code
Weights của mô hình cũng là một dạng code. Bạn có thể xem giải thích chi tiết trong Neural Networks and Deep Learning chương 1, nơi boolean logic được hiện thực bằng MLP như một cổng NAND. Khả năng biểu đạt là đủ, và vấn đề còn lại là làm sao mã hóa vào các weight này những hàm hữu ích mà ta không thể tự tay viết ra
Sẽ ổn nếu mô hình có thể tự tái tạo chính mình từ dữ liệu huấn luyện, nhưng khi đó thời gian lặp và chi phí là quá lớn nên hiện tại không thực tế. Hoặc nó phải có khả năng thay đổi có ý nghĩa các weight của chính nó, nhưng điều này có vẻ là bất khả thi
Phần thực sự khó ở đây là "rốt cuộc hai thứ này khác nhau ở điểm nào". Tôi khuyên nên suy nghĩ thật sâu, và dù đưa ra câu trả lời nào cũng hãy tự phản biện lại. Đây là chỗ rối rắm hơn nhiều so với vẻ ngoài
Điều thật sự đáng tiếc ở các hệ thống AI hiện nay là việc tái huấn luyện liên tục thông qua các vòng phản hồi ngắn. Nó sẽ tốn kém, nhưng trong các hệ sinh học thì điều này diễn ra một cách tự nhiên. Nếu tận mắt thấy được quá trình như vậy thì chắc sẽ rất tuyệt
Điều này hơi giống việc được huấn luyện mỗi đêm. Não người cũng được cho là học từ trải nghiệm trong khi ngủ, và tôi nghĩ LLM cũng có thể có một kiểu "học ban đêm" tương tự, bằng cách fine-tune từ những thông tin bị trượt ra khỏi context window mỗi ngày
Hiện giờ thật sự đã có nghiên cứu theo hướng này. Với kiến trúc mixture-of-experts, có thể chia mạng thành các chunk, mỗi chunk chia sẻ giao diện và truyền kết quả cho nhau. Có thể huấn luyện riêng từng chunk, nhưng phải không có tập huấn luyện cố định. Đi xa hơn nữa, nếu thay đổi cấu trúc bằng khung toán học (lý thuyết phạm trù) thì có thể có một mạng hoàn toàn động. Tuy nhiên, mỗi khi cấu trúc thay đổi thì không thể tránh việc tái huấn luyện. Cuối cùng vẫn cần dữ liệu thực tế từ thế giới và một loss function (cạnh tranh với mạng khác). Não người hiện đã gắn kết tốt nhất với thế giới thực ở điểm này. Tôi cũng muốn bổ sung rằng neuron của chúng ta không chỉ có weight, mà quyết định phát xung còn phụ thuộc vào thời điểm tín hiệu đầu vào đến (độ lệch thời gian ở mức nano giây). Điều này hiện IT vẫn khó bắt chước. Dù vậy về mặt lý thuyết tôi nghĩ là có thể, và hiện tôi đang thử nghiệm điều này bằng cách hiện thực một sinh vật 4 chiều như một dynamic computing graph trong môi trường ảo. Rất ly kỳ, nhưng còn khá xa thực tế công nghiệp
Điểm được giới thiệu trong bài là việc quan sát thấy DGM hack chính hàm phần thưởng của nó. Điều nổi bật là dù đã đưa vào hàm phần thưởng để kiềm chế "ảo giác sử dụng công cụ (hallucination)", DGM vẫn xóa marker phát hiện phần thưởng này để bị đánh giá nhầm là thành công. Một hiện tượng trước đây chỉ được nêu ra trên lý thuyết giờ đã được chứng minh thực nghiệm
Liên quan đến AI safety, dù hoàn toàn có thể dự đoán rằng ngay cả các biện pháp an toàn chống reward hacking cũng sẽ lại bị hack tiếp, tôi vẫn thấy lạ là người ta còn đặt hy vọng vào cách này. Từ sau khi xem phần giải thích rất ấn tượng trong các video YouTube về AI Safety của Rob Miles (ví dụ video này), hiện tượng như vậy thậm chí lại thấy là điều đương nhiên
Theo bài báo, chỉ cần chạy DGM trên SWE-bench một lần cũng mất 2 tuần và chi phí API lên tới $22,000, tức là cực kỳ tốn kém
Có thể xem technical report tại liên kết bài báo trên arXiv. Trên GitHub cũng có bản hiện thực tham chiếu ở đây. Khá hữu ích để tham khảo
Phần lớn nghiên cứu hiện đại đi theo hướng dùng mô hình lớn và đắt để huấn luyện mô hình nhỏ hơn (distillation), nhưng điều thú vị trong bài này là một trường hợp mô hình nhỏ/cũ/rẻ lại cải thiện được hiệu năng của mô hình lớn. Nếu điều đó có thể khái quát hóa, đây là tín hiệu cho thấy end user có thể giảm mạnh chi phí suy luận của chính mình
Bài báo thực ra không cải thiện bản thân mô hình mà là cải thiện phần mềm bao quanh mô hình. Điều quan trọng là hiệu quả cải thiện phần mềm này có thể mở rộng sang nhiều mô hình khác nhau (không chỉ tối ưu cho đặc tính riêng của một mô hình). Cách distillation thường là để LLM lớn dạy LLM nhỏ toàn bộ phân phối token, và cách này nhanh
Thứ đang được nói tới ở đây không phải cải thiện trực tiếp weight của mô hình, mà là thay đổi phía 'harness' bọc quanh đoạn code gọi LLM. Phần này sẽ tiếp tục được tái sử dụng, khái quát hóa và tồn tại ngay cả khi có LLM mạnh hơn xuất hiện. Dù một LLM mới ra đời mà harness chưa được tinh chỉnh lại, các hiệu quả cải thiện tích lũy từ trước vẫn có thể được tận dụng nguyên vẹn