FunSearch: Khám phá mới trong toán học và khoa học bằng LLM

FunSearch: Tận dụng mô hình ngôn ngữ lớn để tạo ra những khám phá mới trong toán học và khoa học

• Mô hình ngôn ngữ lớn (LLM) có khả năng vượt trội trong việc kết hợp các khái niệm và là công cụ hữu ích hỗ trợ giải quyết vấn đề thông qua đọc, viết và lập trình.
• Do LLM đôi khi có xu hướng "ảo giác" và tạo ra thông tin không đúng sự thật, nên việc tạo ra các khám phá chính xác có thể kiểm chứng là một thách thức.
• FunSearch là phương pháp khám phá các lời giải mới trong toán học và khoa học máy tính bằng cách kết hợp một LLM đã được tiền huấn luyện có khả năng đưa ra lời giải sáng tạo với một "bộ đánh giá" tự động để lọc bỏ các ý tưởng sai.

Thúc đẩy khám phá bằng tiến hóa thông qua mô hình ngôn ngữ

• FunSearch sử dụng một phương pháp tiến hóa để phát triển các ý tưởng đạt điểm cao nhất, trong đó các ý tưởng này được biểu diễn dưới dạng chương trình máy tính có thể tự động chạy và đánh giá.
• Người dùng mô tả bài toán dưới dạng mã, bao gồm quy trình đánh giá chương trình và một chương trình hạt giống để khởi tạo tập chương trình ban đầu.
• FunSearch là một quy trình lặp, trong đó ở mỗi vòng lặp, một số chương trình trong tập hiện tại được chọn và cung cấp cho LLM, sau đó LLM tạo ra chương trình mới để đánh giá.

Mở ra hướng đi mới trong toán học

• FunSearch đã tìm ra lời giải mới cho bài toán cap set, một vấn đề đã làm đau đầu các nhà toán học suốt hàng chục năm.
• Bài toán cap set là tìm tập điểm lớn nhất trong lưới nhiều chiều sao cho không có ba điểm nào nằm trên cùng một đường thẳng, và đây là một mô hình quan trọng trong tổ hợp cực trị.
• Trong một số thiết lập, FunSearch đã tìm ra những cap set lớn nhất được phát hiện trong 20 năm qua.

FunSearch ưu tiên các chương trình ngắn gọn và con người có thể diễn giải được

• FunSearch không chỉ tạo ra lời giải cho bài toán mà còn tạo ra các chương trình giải thích cách lời giải đó được suy ra.
• FunSearch ưu tiên tìm lời giải thông qua các chương trình có độ phức tạp Kolmogorov thấp, tức là rất ngắn gọn.
• Đầu ra chương trình của FunSearch dễ để các nhà nghiên cứu hiểu và mang lại những insight có thể áp dụng được.

Giải quyết những thách thức nổi tiếng là cực kỳ khó trong điện toán

• Sau khi thành công với bài toán cap set mang tính lý thuyết, FunSearch đã được áp dụng cho bài toán "bin packing", một thách thức thực tiễn quan trọng trong khoa học máy tính.
• FunSearch đã thành công trong việc đóng gói cùng số lượng vật phẩm vào ít thùng hơn so với các heuristic hiện có.

Mở đường cho những khám phá do LLM dẫn dắt trong khoa học và xa hơn nữa

• Nếu có thể ngăn chặn hiện tượng ảo giác của LLM, chúng ta không chỉ có thể tận dụng sức mạnh của các mô hình này để tạo ra những khám phá toán học mới mà còn có thể hé lộ các lời giải có tác động lớn cho những vấn đề thực tế quan trọng.
• Nhiều khả năng việc sử dụng cách tiếp cận do LLM dẫn dắt để tạo ra các thuật toán hiệu quả và được tùy chỉnh cho nhiều bài toán khoa học và công nghiệp sẽ trở thành thông lệ phổ biến.

Ý kiến của GN⁺

• FunSearch cho thấy những khả năng mới của trí tuệ nhân tạo trong việc giải quyết các bài toán toán học. Đặc biệt, bằng cách đưa ra lời giải mới cho những vấn đề lâu nay chưa được giải quyết như bài toán cap set, vai trò của AI trong lĩnh vực toán học sẽ ngày càng trở nên quan trọng.
• Việc công nghệ này được áp dụng cho các vấn đề công nghiệp thực tế, chẳng hạn như nâng cao hiệu quả của trung tâm dữ liệu, cho thấy AI cũng có thể đóng góp vào việc giải quyết các bài toán thực tiễn.
• Các chương trình do FunSearch tạo ra có thể được con người diễn giải, điều này giúp các nhà nghiên cứu có được insight sâu hơn và hỗ trợ họ giải quyết vấn đề bằng cách hợp tác với AI.

[GN⁺]

Ý kiến Hacker News

• Câu hỏi về sự cần thiết của LLM:

  • Mục đích của LLM dường như là tạo ra các hàm Python khớp với type signature đã cho.
  • Ngay cả khi không có LLM, về nguyên tắc vẫn phải có thể tạo ngẫu nhiên các hàm Python hợp lệ khớp với type signature đã cho.
  • Có ý kiến cho rằng một ngôn ngữ bị giới hạn có thể hiệu quả hơn, lấy PushGP làm ví dụ.
  • Đặt câu hỏi liệu LLM có thực sự tạo thêm giá trị hay không, liệu nó có cạnh tranh được với các kỹ thuật genetic programming khác hay không, và chi phí tính toán có khác gì so với các cách tiếp cận truyền thống không.

• Bối cảnh quan trọng về khám phá trong tổ hợp:

  • Một số tổ hợp cụ thể được phát hiện là nằm trong phạm vi hẹp hơn so với phạm vi đã biết trước đây.
  • Khám phá này không đạt được bằng chứng minh toán học thiên về logic, mà bằng cách tìm ra một chuỗi số có những tính chất đặc biệt.
  • Cách tiếp cận dùng genetic algorithm và LLM có thể thú vị và hữu ích.

• Bình luận liên quan về "tự đối đầu":

  • FunSearch sử dụng phương pháp tiến hóa với LLM để phát triển các ý tưởng đạt điểm cao nhất.
  • Người dùng mô tả bài toán dưới dạng mã, rồi tạo một pool chương trình để dùng cho việc đánh giá và khởi tạo chương trình.
  • Ở mỗi vòng lặp, FunSearch chọn một số chương trình từ pool hiện tại, LLM tạo chương trình mới dựa trên chúng, sau đó tự động đánh giá. Những chương trình tốt nhất lại được đưa trở lại pool hiện có, tạo thành một vòng lặp tự cải thiện.

• Trải nghiệm sử dụng cá nhân với tìm kiếm web:

  • Dùng pplx.ai và phind.com để đặt câu hỏi và tìm ra các liên kết web.
  • Tinh chỉnh câu hỏi hoặc đặt câu hỏi tiếp theo để tìm ra các tài liệu tham chiếu khác hoặc sâu hơn.
  • Nội dung trên Tech Twitter cũng hữu ích, và có kỳ vọng dùng Grok cho nghiên cứu.

• Bài đăng Twitter về khám phá của DeepMind:

  • Nếu mạng nơ-ron thực sự có thể tạo ra tri thức mới, thì đây sẽ là khám phá quan trọng nhất kể từ khi con người phát hiện ra lửa.
  • Đặt nghi vấn rằng nếu điều này là thật thì lẽ ra mọi người đã phải nói về nó.
  • Bày tỏ ấn tượng với những gì đã làm được trên Palm 2, và kỳ vọng vào khả năng của các mô hình tương lai khi tận dụng phương pháp này.

• Tóm tắt bài đăng Twitter:

  • Năng lực của AI đang liên tục tăng lên, và năng suất cá nhân tăng 20-30% nhờ AI autocomplete, refactoring và tạo diff cho code review.
  • Khi dùng mô hình AI để nối một phần của luồng nghiệp vụ, việc "cải thiện" hệ thống có thể đơn giản như thay mô hình.
  • Kỳ vọng rằng sau giai đoạn tích hợp ban đầu, trong vài năm tới mọi thứ sẽ tiếp tục được cải thiện như phép màu.

• Tóm tắt về việc tạo chương trình:

  • Với program template/skeleton và fitness function đã cho, hệ thống dùng LLM để tạo ra một quần thể chương trình.
  • Hệ thống dùng prompt để tạo chương trình mới, rồi chạy chương trình trên đầu vào và chấm điểm bằng fitness function.
  • Hệ thống dùng island model cho tiến hóa, và số lần gọi LLM tương đối thấp, khoảng 1e6.
  • Có suy ngẫm về sự đánh đổi giữa chiều sâu và độ rộng trong việc đánh giá/chấm điểm chương trình.

• Cách tiếp cận với bài toán cap set:

  • Bài toán cap set là tìm tập điểm lớn nhất trong lưới nhiều chiều sao cho không có ba điểm nào thẳng hàng.
  • Với bài toán này, FunSearch tạo ra lời giải dưới dạng chương trình để tìm cap set lớn nhất.
  • Đây là mức tăng lớn nhất về kích thước cap set trong 20 năm qua.

• Bày tỏ sự tò mò về khả năng tích hợp giữa LLM và symbolic reasoning.

• Bất kể việc có thực sự tạo ra tri thức mới hay không, đây vẫn là một case study thú vị khi xem xét việc hạn chế quyền tiếp cận AI dựa trên kích thước mô hình hoặc các biện pháp quản lý khác.

• Liên hệ với định lý xấp xỉ phổ quát, có nhắc rằng mạng nơ-ron nhân tạo dùng ReLU có thể xấp xỉ chính xác một hàm.

  • Cách tiếp cận này tương tự, nhưng cuối cùng lại cung cấp mã.