Giới thiệu về mathstodon.xyz
- mathstodon.xyz là một phần của mạng xã hội phi tập trung dựa trên Mastodon, là một instance dành cho người dùng liên quan đến toán học.
- Hỗ trợ render LaTeX trên giao diện web.
- Quản trị viên: Christian Lawson-Perfect (@christianp)
- Thống kê máy chủ: 3K người dùng hoạt động
Thử nghiệm GPT-o1 của Terence Tao
- GPT-o1: phiên bản GPT mới của OpenAI, thực hiện một giai đoạn suy luận ban đầu trước khi chạy LLM.
- Thử nghiệm 1: trong phần trả lời cho một câu hỏi toán học mơ hồ, mô hình đã xác định chính xác Cramer's theorem và đưa ra câu trả lời thỏa đáng.
- Ở các phiên bản trước, mô hình có nhắc đến các khái niệm liên quan nhưng chi tiết lại sai.
- Thử nghiệm 2: khi đối mặt với một bài toán giải tích phức tạp, mô hình đã suy ra lời giải đúng nhờ nhiều gợi ý và dẫn dắt, nhưng không tự tạo ra được ý tưởng khái niệm then chốt và mắc một vài sai sót.
- Đã cải thiện so với các mô hình trước nhưng vẫn còn thiếu.
- Với vài lần cải tiến nữa trong tương lai, có khả năng trở nên hữu ích cho công việc ở cấp độ nghiên cứu.
- Thử nghiệm 3: trong công việc hình thức hóa kết quả bằng Lean, mô hình hiểu vấn đề khá tốt và thực hiện phân rã ban đầu tốt, nhưng do thiếu thông tin Lean mới nhất nên có nhiều lỗi trong mã.
- Có thể rất hữu ích trong một IDE tích hợp các mô hình chuyên biệt cho Lean và Mathlib.
Thảo luận thêm
- Sự phát triển của các công cụ AI: kỳ vọng vào sự xuất hiện của một hệ sinh thái công cụ AI có thể xử lý nhiều dạng công việc nghiên cứu khác nhau.
- Hiện tại, các LLM lớn, đa dụng đang thu hút sự chú ý, nhưng các mô hình mã nguồn mở nhẹ được tinh chỉnh cho những ứng dụng cụ thể cũng được kỳ vọng sẽ đóng vai trò quan trọng.
- So sánh AI và nghiên cứu sinh: thảo luận về việc liệu công cụ AI có thể đóng góp ở mức của nghiên cứu sinh hay không.
- Hiện tại vẫn cần nhiều công sức hơn so với nghiên cứu sinh, nhưng trong vài năm tới, khả năng tỷ lệ đó giảm xuống 1 hoặc thấp hơn là có thể xảy ra.
# Tóm tắt của GN⁺
- Terence Tao đã thử nghiệm mô hình GPT-o1 mới của OpenAI để đánh giá năng lực giải quyết bài toán toán học.
- GPT-o1 đã cải thiện so với các phiên bản trước nhưng vẫn còn một số giới hạn.
- Với vài lần cải tiến nữa trong tương lai, mô hình có khả năng trở nên hữu ích cho công việc ở cấp độ nghiên cứu.
- Kỳ vọng vào sự xuất hiện của một hệ sinh thái đa dạng các công cụ AI có thể hỗ trợ công việc nghiên cứu.
- Hiện tại, các LLM lớn, đa dụng đang được chú ý, nhưng các mô hình mã nguồn mở nhẹ tối ưu cho ứng dụng cụ thể cũng được kỳ vọng sẽ đóng vai trò quan trọng.
1 bình luận
Ý kiến Hacker News
Có kỳ vọng rằng nếu GPT được tinh chỉnh cho Lean (công cụ hỗ trợ chứng minh) giống như với Python, thì nó sẽ hữu ích hơn cho toán học ở cấp độ nghiên cứu
Hãy tưởng tượng quay lại năm 2019 và đọc một bài viết nói rằng trải nghiệm tương tác với Alexa “giống như đang xin lời khuyên từ một nghiên cứu sinh bình thường nhưng không hoàn toàn bất tài”
Mô hình o1 rất đáng kinh ngạc
Trải nghiệm với mô hình O1 rất khác nhau
Điều mới mẻ là LLM ở nhiều chủ đề khác nhau “giống như đang xin lời khuyên từ một nghiên cứu sinh bình thường nhưng không hoàn toàn bất tài”
Con người cũng có thể hưởng lợi từ kiểu suy luận “chuỗi suy nghĩ”
Đồng ý với ý kiến của Terence Tao
Có nhiều kỳ vọng vào việc học lại toán như một sở thích độc lập
Ý kiến của Terence Tao gây ngạc nhiên
Daniel Litt tuy ấn tượng với o1-preview, nhưng vẫn chưa gặp may trong việc giải các bài toán thú vị