Cuộc trò chuyện với ChatGPT về phản ví dụ của Terrence Tao đối với giả thuyết Jacobian

[GN⁺]

Bình luận trên Hacker News

• Đây đã là cuộc trò chuyện ChatGPT được chia sẻ thứ hai tôi thấy hôm nay mà thực sự rất thú vị
  Cái đầu tiên là trường hợp liên tục bảo ChatGPT “tiếp tục” rồi tìm ra phản ví dụ cho một giả thuyết khác: https://x.com/DmitryRybin1/status/2079904005652893709

  • Với những bài toán mà một tác nhân có thể muốn bỏ cuộc, “tiếp tục” thực sự thường có tác dụng. LLM về bản chất không biết điều gì là bất khả thi
    Với các prompt khó, tôi thường viết thêm điều kiện dừng hợp lý kiểu “lặp lại quá trình này cho đến khi hội tụ và không còn ý tưởng tối ưu hóa nào nữa. Có thể tiếp tục lặp”
  • Đặc biệt GPT có vẻ dễ dừng giữa chừng hơn các mô hình khác, và bản tôi dùng gần đây có lẽ là 4.X
    Nó liên tục trả lời kiểu “tôi đã làm đến đây và bước tiếp theo cũng rõ rồi, nhưng để tiếp tục hãy gửi một tin nhắn vô nghĩa”, khá là phiền
  • Chỉ nhập “tiếp tục” mà không có ngữ cảnh tức là bạn đang tin khá nhiều rằng LLM sẽ tránh được các lỗi logic tinh vi và chọn đúng cách tiếp cận
    Ngay cả các mô hình mới nhất cũng trong những tác vụ DevOps đơn giản thường khẳng định một gói đã được triển khai là chưa triển khai, rồi khi người dùng phản bác thì lập tức đổi ý. Nếu chuyện này xảy ra thường xuyên, tôi nghi ngờ việc chỉ lặp lại “tiếp tục” mà không kiểm chứng kết quả có thể cho ra kết luận hợp lý trong các chứng minh toán học phức tạp hay không
  • Trước đây cũng đã có rất nhiều nhà toán học thành công bằng cách chính xác là tiếp tục làm
  • Tôi thấy ấn tượng với đoạn sau khi được nói rằng “kết quả một phần là đủ rồi, giờ hãy kết thúc bằng một phản ví dụ hoàn chỉnh và vô điều kiện”, nó làm việc trong 88 phút 24 giây rồi đưa ra một phản ví dụ hữu hạn hoàn chỉnh

• Bản ghi đối thoại AI của một chuyên gia đi thẳng vào cốt lõi luôn hấp dẫn vô tận, và cho thấy có thể khai thác được bao nhiêu thứ từ mô hình
  Ngay cả Terence Tao cũng giống cách tôi dùng LLM trong chuyên môn của mình, định hướng rất mạnh bằng những câu hỏi ngắn, sắc, huy động tối đa thuật ngữ chuyên ngành và công cụ lý thuyết. Có vẻ LLM điều chỉnh giọng điệu và mức độ câu trả lời theo trình độ người dùng

  • Cuối cùng, “học cách dùng AI” trước hết là thành thạo lĩnh vực vấn đề
    Tôi có thể dùng AI cho lập trình vì đã làm nó hàng chục năm, nhưng khó dùng cho vật lý lý thuyết khi tôi không đánh giá được câu trả lời
  • Tôi không hiểu nội dung toán học, nhưng các tin nhắn của Tao giống đáng ngạc nhiên với các cuộc trò chuyện tôi có với LLM
    Thay vì cố lấy kết quả ngay trong một lần, đi theo kiểu khám phá từng bước hiệu quả và thỏa mãn hơn vì có thể liên tục chỉnh hướng. Cách yêu cầu một phát ăn ngay thì khi thành công trông như phép màu, nhưng nếu thất bại thì phải dựng lại prompt từ đầu
  • Vài ngày trước tôi gặp chuyện tương tự với Claude. Ban đầu chỉ đưa yêu cầu sơ sài thì nó làm khá tốt rồi thất bại ở chỗ then chốt, nên tôi bắt đầu phản hồi nghiêm hơn; sau khi vấn đề được giải quyết, ngay cả trong phần còn lại của dự án nó cũng đổi cách hành xử, tự kiểm tra trước nhiều lần và hỏi chỉ dẫn của tôi thường xuyên hơn
    Hơi phiền, nhưng nếu hiệu quả thì cũng chấp nhận được

• Có hai lý do khiến cuộc trò chuyện ChatGPT của Terence Tao trở nên thú vị. Phản ví dụ không phải là kiểu thử brute-force đơn giản, mà là một đa thức có cấu trúc rất cụ thể để cho ra kết quả mong muốn; và các câu hỏi của Tao cũng chính xác đến mức khó mà rút ra cùng lượng thông tin đó nếu không có nền đào tạo toán học cao cấp
  Có vẻ Tao đã nắm được bài toán và một phần cấu trúc của phản ví dụ, rồi dùng AI để đẩy phần tìm kiếm còn lại

  • Một trong những con người xuất sắc nhất thế giới đặt câu hỏi, còn LLM trả lời kiểu “ngẫm ra thì thật ra rất đơn giản”, khiến người ta khiêm tốn vì trông như một giáo sư đang dạy một sinh viên có năng khiếu
  • Có câu đùa rằng nếu không lấy được kết quả tốt từ mô hình thì là “vấn đề trình độ”, nhưng ở đây cũng có phần sự thật. Năng lực sử dụng AI không chỉ cần kỹ năng viết prompt lặp mà tác nhân có thể hiểu, mà còn cần kiến thức lĩnh vực đủ sâu để biết phải khám phá cái gì
    Thiếu một trong hai thứ đó đều có thể dẫn đến nản lòng hoặc kết quả còn tệ hơn
  • Trong vài năm tới, khả năng thảo luận tốt chuyên môn của mình với LLM sẽ là một kỹ năng hữu ích của con người, nhưng cuối cùng có lẽ ngay cả điều đó cũng sẽ bị pha loãng

• Thật đáng kinh ngạc khi Tao liên tục đề xuất đơn giản hóa và dẫn dắt theo quá trình khám phá. Ông dùng AI để hiểu một thứ gì đó và khớp nó hiệu quả với hệ thống tư duy của chính mình, đồng thời quan tâm tới việc tìm các kết quả con đơn giản hơn để khái quát hóa hoặc giải thích hiện tượng
  Điều tôi nhớ nhất ở JPL và trong giới học thuật cũng chính là những cuộc thảo luận kiểu “nếu thế này thì sao?” như vậy

  • Cộng sinh giữa con người và AI có vẻ là một giá trị mới nổi của AI. Trong khi tạo ra đầu ra như diff mã nguồn, tôi có thể liên tục đánh giá xem hệ thống tư duy của mình về giai đoạn hiện tại vững chắc đến mức nào
    Đặc biệt, giờ tôi có thể tự chọn mình muốn hiểu vấn đề đang xử lý đến mức chính xác nào, mà trước thời AI thực ra gần như không có lựa chọn đó
  • Trông khá giống cách các giáo sư toán đã tận dụng nghiên cứu sinh suốt hàng trăm năm

• Toán học dày đặc thuật ngữ và ký hiệu đến mức khó tin và khó tiếp cận. Các lĩnh vực STEM khác thường vẫn có thể theo kịp với sự trợ giúp của Google hoặc Wikipedia, nhưng toán cao cấp thì rời xa mức có thể hiểu thường ngày quá nhanh
  Ngay cả người quen với lĩnh vực kỹ thuật cũng có lẽ sẽ cảm thấy hoàn toàn lạc lối khi gặp toán khó

  • Điều này cũng đúng với gần như mọi lĩnh vực, kể cả khoa học máy tính. Nhiều người hoạt động ở mức bề mặt mà không nhận ra lượng kiến thức nền họ đã tích lũy
    Một kỹ sư phần mềm trung bình cũng phải biết vô số thuật ngữ như cache, stack, heap, process, thread, socket, TCP, HTTP, TLS, deadlock, race condition, atomicity, event loop, coroutine, transaction, replication, sharding, serialization, DNS... Chỉ riêng cache đã có thể chỉ CPU, page, browser, CDN hoặc Redis cache; còn những từ thông dụng như session, handle, pool, buffer, stream, channel cũng đổi nghĩa theo từng ngữ cảnh
  • Trong lớp cơ học lượng tử, khi trên bảng có H Psi = E Psi thì mọi người cười bảo “cứ rút gọn Psi đi”, nhưng một bên là phép nhân còn bên kia là toán tử nhân ma trận, nên phải học một hệ ký hiệu mới
    Tôi cũng từng bối rối vì không biết chữ in đậm của một biến có nghĩa là ma trận
  • Cái gọi là độ chín toán học trong toán khá giống quá trình học lập trình, âm nhạc hay nấu ăn, nơi bạn có nhiều lần bừng ngộ và thay đổi góc nhìn. Trong toán, vì suy luận trừu tượng tự nó là giới hạn chính nên những giai đoạn như vậy còn nhiều hơn các hoạt động khác
  • Trừu tượng hóa là điều thiết yếu. Bộ nhớ làm việc của con người rất nhỏ, nên để suy luận về nhiều vấn đề ta phải xây dựng cấu trúc phân tầng nhiều lớp, và đó gần với bản chất của toán học
  • Toán học cố gắng giảm tối đa sự mơ hồ hơn các lĩnh vực khác. Những lĩnh vực không phải toán thường có xu hướng gán nghĩa chuyên môn cho các từ bình thường rồi tái sử dụng chúng; đặc biệt trong khoa học xã hội và nhân văn, vì không có ký hiệu lạ nên người ngoài chuyên môn đôi khi còn không nhận ra mình không hiểu đến đâu

• Bản thân tôi không thể đánh giá toán học, nhưng có vài điểm nổi bật trong cách mô hình hoạt động. Với một số câu hỏi thì nó suy luận, với số khác thì trả lời ngay, đôi khi còn phản biện bằng cách nêu điều kiện hoặc chỉnh sửa
  Ngoài ra, dù liên tục qua lại giữa hỏi đáp·đọc PDF·viết mã·suy luận trong thời gian dài, nó vẫn giữ được chủ đề, và có vẻ Tao cũng thấy quá trình đó tiếp tục mang lại hiệu quả. Sự tiến bộ của mô hình gần với hình ảnh này hơn là việc các con số benchmark cụ thể tăng lên

  • Cách nói kiểu “tuy nhiên vẫn có điều cần lưu ý” là một phản hồi sáo mòn của thế hệ Codex và Claude hiện nay
    Thực tế nhiều nội dung quá hiển nhiên nên khó gọi là điểm cần lưu ý, nhưng người dùng lại bị khiến cho kỳ vọng rằng sẽ có điều kiện quan trọng nào đó. Cũng giống như việc lúc nào cũng mở đầu bằng tuyên bố sẽ trả lời “trung thực”, nó khá gây xao nhãng nên tôi thường dùng AGENTS.md để kiềm chế nó

• Điều đáng kinh ngạc nhất trong cuộc trò chuyện này là tác tử AI trông như một đối thủ ngang hàng với Tao, một trong những nhà toán học hàng đầu đương đại
  Tao định hướng, nhưng đồng thời cũng học hỏi và dựa vào phần giải thích, phân tích, suy luận của AI; cảm giác giống như đang thảo luận kết quả với một nghiên cứu sinh tiến sĩ hoặc một giáo sư khác. Sau 1 năm hoặc thêm hai lần phát hành mô hình nữa, có thể AI sẽ rõ ràng mạnh hơn Tao

  • Ngược lại, cuộc trò chuyện này lại có vẻ như một phản ví dụ cho chính viễn cảnh đó. Dù nói chuyện với AI khác đi nữa, khả năng cao cũng không thể hiệu quả như cuộc đối thoại với Tao
    Không biết 1 năm nữa có thay đổi không, nhưng vì mốc mục tiêu cứ liên tục bị dời nên tôi khá hoài nghi
  • Sẽ hữu ích nếu xem LLM như một tấm gương phản chiếu. Khi nói như một nhà toán học chuyên nghiệp, mô hình cũng đáp lại như vậy, nhưng prompt đầu tiên của Tao nhìn thì đơn giản mà sinh viên năm nhất đại học khó có thể viết ở cùng đẳng cấp
    Đây là hiện tượng trái ngược với kiểu prompt thời GPT-3.5 như “bạn là một nhà toán học chuyên nghiệp”. Vì người ta không nói như vậy với chuyên gia thật, nên chính câu đó lại làm lộ ra với mô hình rằng người dùng không phải chuyên gia
  • Xét đến việc cùng một AI có thể hỗ trợ từ công thức nấu ăn, chẩn đoán tiếng động lạ của ô tô, bài tập sinh học đến dịch thuật, cũng có thể nói là nó đã mạnh hơn Tao rồi
    Ngay cả nếu chỉ xét riêng toán học, tôi cũng cho rằng nó đã mạnh hơn ở chỗ có độ sâu cỡ này trong gần như mọi phân ngành

• Yêu cầu kiểu “Tôi đã bật Pro rồi, vậy anh có thể tiếp tục tìm một lời giải thích hình học cho X_3 ~ A3 mà tránh dùng tọa độ hay các cấu trúc gượng ép không?” đúng là hình ảnh của một khách hàng hài lòng với tính năng trả phí

  • Có vẻ với chủ đề nâng cao, chỉ cần đặt câu hỏi rất ngắn là có thể gợi ra câu trả lời gọn gàng, không rườm rà. Có thể việc bật Pro cũng góp phần cải thiện điều này
  • Thật ngạc nhiên khi ngay cả Terence Tao cũng phải trả tiền nếu muốn trò chuyện với ChatGPT. Có khi OpenAI mới là bên nên trả tiền cho Tao

• Cuộc trò chuyện của tôi với ChatGPT 4 năm trước là thế này: https://i.imgur.com/WPaWgzZ.png
  Đây là thời đại khiến người ta phải tự hỏi 4 năm tới nữa nó sẽ đi đến đâu

  • Có thể là một tương lai đáng kinh ngạc, nhưng cái này cũng đáng tham khảo: https://x.com/pronounced_kyle/status/1768852493092680036
  • Ở Anh thì hình đó không hiện, nên tôi tò mò nó có nội dung gì
  • Nó cho thấy những khẳng định chắc nịch kiểu “LLM không thể suy luận và chỉ lặp lại những câu cơ bản, nên dù 100 năm nữa cũng không thể thông minh lên” nhanh chóng trở nên lỗi thời đến mức nào

• Ngay cả trong phiên ChatGPT của một siêu thiên tài, việc con người viết một câu còn LLM trả lời ba trang vẫn đem lại cảm giác yên tâm theo một cách kỳ lạ