Khớp hình con voi bằng bốn tham số khác không

 (arxiv.org)
1 điểm bởi GN⁺ 2024-07-15 | 1 bình luận | Chia sẻ qua WhatsApp
  • Vấn đề “khớp hình con voi bằng bốn tham số” bắt nguồn từ giai thoại năm 1953, khi Enrico Fermi mượn lời Johnny von Neumann để phê bình mô hình của Freeman Dyson
  • Câu trích dẫn này được dùng như một lời phê bình rằng khi số tham số tăng lên, dù mô hình có vẻ khớp dữ liệu tốt, điều đó không đảm bảo cả ý nghĩa vật lý
  • Các nỗ lực trước đây chưa đáp ứng hoàn toàn điều kiện: Wei dùng hơn 20 tham số, còn Mayer et al. trông như dùng bốn số phức nhưng thực tế tương đương 8 tham số
  • Cách dùng một tham số của Paintadosi có thể vẽ bất kỳ hình dạng nào, nhưng nó mã hóa hình dạng vào một số thực với độ chính xác rất dài, nên không phù hợp với tinh thần của vấn đề này
  • Bài viết chỉ ra hạn chế rằng bản thân vấn đề chưa được định nghĩa đủ rõ, rồi thử khớp đường cong con voi chỉ bằng bốn tham số khác không trong các điều kiện đã cho

Vấn đề bắt đầu từ lời phê bình của Fermi

  • Năm 1953, Enrico Fermi phê bình mô hình của Dyson và trích lời Johnny von Neumann
    • “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”
  • Câu nói này được dùng với ý rằng dù mô hình phức tạp và khớp dữ liệu tốt, nếu đó chỉ là kết quả của việc tăng số lượng tham số thì khó đảm bảo nó có ý nghĩa vật lý thực sự
  • Câu hỏi cốt lõi là liệu có thể thật sự khớp hình con voi chỉ bằng bốn tham số hay không

Những điểm các lời giải trước đây đi chệch khỏi yêu cầu

  • Wei đã cố khớp hình con voi bằng chuỗi Fourier (Fourier series), nhưng cần hơn 20 tham số để đạt kết quả tương đối tốt
    • Kết quả cũng được đánh giá là có thể không làm hài lòng “giáo viên mỹ thuật lớp 3”
  • Mayer et al. đã khớp hình con voi bằng bốn số phức
    • Vì số phức có phần thực và phần ảo, thực chất họ đã dùng 8 tham số
    • Nếu tính cả các tham số bằng 0 thì con số lên tới 20
    • Hình ảnh kết quả được đánh giá là đẹp theo phong cách giống Picasso
  • Paintadosi cho rằng chỉ một tham số là đủ, và xây dựng một hàm có thể vẽ bất kỳ hình dạng nào bằng một tham số
    • Tuy nhiên, cách này gần với việc mã hóa hình dạng vào một số thực duy nhất có độ chính xác hàng trăm hoặc hàng nghìn chữ số, nên khó xem là lời giải hợp lệ cho vấn đề này
    • Trọng tâm của công trình đó là chỉ ra rằng đếm số lượng tham số có thể thất bại như một thước đo độ phức tạp của mô hình
  • Bài báo này trước hết sắp xếp lại các điều kiện của vấn đề, rồi khác với các nỗ lực trước đó, trình bày cách khớp hình con voi bằng bốn tham số khác không

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-07-15
Các ý kiến trên Hacker News

  • Tôi thích khía cạnh mỉa mai của bài viết. Sẽ hay hơn nếu bổ sung thêm vì sao Fermi và von Neumann lại nói như vậy
    Trong vật lý, khi xây dựng mô hình cho thực tế, không nên cứ thêm từng tham số để khớp dữ liệu mỗi khi mô hình không khớp với thí nghiệm. Lý tưởng là mô hình nên có 0 tham số hoặc ít tham số nhất, và sâu xa hơn là các tham số nên xuất hiện một cách tự nhiên từ những giả định đơn giản. Nếu có 4 tham số thì khó biết mô hình thực sự nắm bắt một khía cạnh của hiện thực, hay chỉ đơn thuần khớp với dữ liệu thí nghiệm

    • Nội dung này đã có ngay trong đoạn đầu của bài báo, và bản thân bài báo nhìn chung là một bài viết hài hước
      Tuy vậy, sự thông thái của câu châm ngôn đó dường như đã bị lãng quên khá nhiều trong nhiều lĩnh vực. Ở nhiều lĩnh vực, dữ liệu được “mô hình hóa” bằng các mô hình hồi quy khổng lồ với hàng chục tham số, hoặc bằng mạng nơ-ron có hàng tỷ tham số

      In 1953, Enrico Fermi criticized Dyson’s model by quoting Johnny von Neumann: “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”[1]. This quote is intended to tell Dyson that while his model may appear complex and precise, merely increasing the number of parameters to fit the data does not necessarily imply that the model has real physical significance.

    • Mô hình 0 tham số có thể được suy ra từ các nguyên lý đầu tiên, nên có vẻ gần với toán học hơn. Ví dụ, nếu giả định không gian Euclid thì sẽ có các công thức như diện tích bề mặt của hình cầu
      Tôi cho rằng vật lý bắt đầu khi có ít nhất một hằng số tự nhiên cần được đo, chẳng hạn độ cong của không gian thực hay gia tốc trọng trường
    • Hodgkin và Huxley đã thực hiện công trình đột phá khi nghiên cứu sợi trục khổng lồ của mực và mô hình hóa hoạt động thần kinh
      Họ rút ra nhiều tham số từ việc khớp đường cong với điện thế được ghi lại và dòng điện được bơm vào, và mãi về sau các tham số đó mới được đối chiếu với kênh natri. Tương tự, các quá trình khác được đối chiếu với kênh kali. Nếu không thể giải thích mô hình bằng 3 tham số, thì việc có nhiều tham số, thậm chí 4 tham số, cũng không phải điều quá đáng lo
    • Ví dụ được triển khai đầu tiên trên thực tế là Least square fitting of an elephant của James Wei (1975, Chemtech)

  • Bài viết này hài hước và được viết tốt, nhưng tôi nghĩ nó còn hơn thế
    ML/AI thường bị đùa và quan sát rằng chỉ là khớp đường cong. Việc chỉ với “khớp đường cong” mà có thể tạo ra thứ gì đó thông minh hay không thì tôi cho là vẫn chưa có câu trả lời, chủ yếu vì mỗi người hiểu từ “thông minh” theo một cách khác nhau
    Ở đây bài viết cho thấy một ví dụ khớp đường cong rất gọn gàng và dễ hiểu, nhưng về bản chất thì đó vẫn là cùng một quá trình. Đặt mục tiêu, tối ưu hóa trên hàm mất mát, rồi hy vọng mô hình khái quát hóa được. Dĩ nhiên con voi này không khái quát hóa được, nhưng cũng dễ thương
    Vì vậy ta quay lại câu hỏi von Neumann đặt ra: vì sao cần nhiều tham số đến vậy. Trớ trêu là gần đây người ta đã làm được rất nhiều việc với số lượng tham số khổng lồ, và câu trả lời hóa ra là “có nhiều tham số thì có thể làm những điều rất hay”

    • Việc liên tục khớp đường cong với thế giới thực có thể tạo ra trí thông minh. Thứ còn thiếu không phải là gì đó bên trong mô hình, mà là cơ chế để khám phá, tìm kiếm và mở rộng kinh nghiệm
      Các LLM hiện nay chỉ đang dựa trên kinh nghiệm của con người, chứ chưa tham gia nhiều vào việc tạo ra kinh nghiệm của riêng mình. Vì vậy chúng mới bị gọi là học bắt chước hay vẹt nhại. Nhưng nếu mô hình trở nên giống tác tử hơn, nó có thể tự tạo ra kinh nghiệm hữu ích, và AlphaZero đã cho thấy điều đó
    • Trong AI, càng nhiều tham số càng tốt; trong vật lý thì ngược lại
    • Chi tiết mới là cốt lõi. Trong học tăng cường, mục tiêu dịch chuyển, còn trong deep learning người ta thường dùng các kỹ thuật như dừng sớm để ngăn tối ưu hóa quá mức

  • Freeman Dyson hồi tưởng trong cuộc phỏng vấn Web of Life về giai thoại đã truyền cảm hứng cho bài báo này. Cũng có liên kết nhảy thẳng đến phần khớp con voi
    [1] https://youtu.be/hV41QEKiMlM
    [2] https://youtu.be/hV41QEKiMlM?t=118

  • Một tham số là đủ: https://aip.scitation.org/doi/10.1063/1.5031956

    • Tương tự chuyện nếu lưu dữ liệu trong tên tệp thay vì bên trong tệp thì có thể đạt nén không giới hạn
    • Bài báo nói như sau

      Paintadosi [4] argues that one parameter is always enough. He constructed
      a function that, through a single parameter, can depict any shape. However, in
      essence, this work is a form of encoding, mapping the shape into a real number
      with precision extending to hundreds or even thousands of decimal places. For
      our problem, this is meaningless, although the paper’s theme is that “parameter
      counting” fails as a measure of model complexity

    • Số lượng tham số là một thước đo sai. Nên nhìn vào lượng thông tin chứa trong giá trị tham số, entropy, độ phức tạp Kolmogorov, v.v.
    • Nó giống như nói rằng cả ổ cứng là một con số

  • Đáng tiếc là bài báo không nêu rõ hạng hằng số, tức giá trị trung bình r_0. Có vẻ khoảng gần 180, nhưng để tạo ra hình ảnh thì phải khớp giá trị này, và dường như không có cách nào không coi nó là tham số thiết yếu thứ năm
    Vì vậy khó có thể nói là mục tiêu đã thực sự đạt được. Dĩ nhiên bài viết thật sự rất thú vị

    • Trong phần thân bài, tác giả nói giá trị đó là giá trị trung bình của các điểm dữ liệu cần khớp. Việc có tính nó là tham số hay không có lẽ phụ thuộc vào chuyện có xem chuẩn hóa là một phần của mô hình hay không

  • Đây là một đoạn rất hay trong cuộc phỏng vấn Web of Stories của Dyson, và cũng chạm đến tôi giống như với các tác giả
    Chuyện là khi Dyson mang các kết quả sơ bộ về lý thuyết giả vô hướng của pion đến cho Fermi. Fermi rất nhanh chóng bác bỏ toàn bộ, điều đó gây sốc cho Dyson nhưng cũng giúp ông không lãng phí thêm thời gian
    Fermi: Khi làm tính toán lý thuyết, anh phải có một mô hình vật lý rõ ràng hoặc một nền tảng toán học chặt chẽ. Anh không có cả hai. Anh đã dùng bao nhiêu tham số tự do trong phép khớp?
    Dyson: 4 ạ
    Fermi: Johnny von Neumann vẫn thường nói thế này. “Với 4 tham số, bạn có thể khớp được một con voi; với 5 tham số, bạn có thể làm cho nó ngọ nguậy cái vòi”

  • Ước gì arXiv có nhiều hài hước hơn
    Nếu tôi phát hiện ra điều gì đó trong thời gian cá nhân mà không dùng tài nguyên công ty, tôi sẽ công bố theo cách hài hước nhất có thể

  • Cũng không thể bỏ qua Dr. Octave Levenspiel. Khi tôi còn học đại học, ông là giáo sư danh dự, và đã làm nhiều công trình, trong đó có lĩnh vực tầng sôi công nghiệp
    Cuộc bàn luận về đường cong con voi lúc đó nằm trong bối cảnh phê phán các phép khớp đa tham số phức tạp trong phản ứng xúc tác dị thể. https://levenspiel.com/elephants/
    Ông cũng từng cố gắng xuất bản một bài báo khí động học về việc khủng long bay trong một thời gian. http://levenspiel.com/wp-content/uploads/2016/02/DinosaurW.p...
    Kiểu tò mò trí tuệ này khiến tôi hơi nhớ đến chuyện Feynman quay đĩa

  • Sao không nhắc đến On Growth and Form của D’Arcy Thompson? Các mô hình tham số của ông về sinh vật khá tuyệt. Dù chúng rất đơn giản
    https://en.wikipedia.org/wiki/On_Growth_and_Form

  • Theo cách tôi hiểu, chuỗi Fourier với tham số thực r(theta) = sum(r_k cos(k theta)) chỉ có thể vẽ các dạng “hình tròn gợn sóng”, nơi mỗi tia xuất phát từ gốc chỉ có một điểm
    Tham số phức z(theta) = sum(e^(z_ theta)) có thể vẽ những hình ngoằn ngoèo hơn, tức các epicycle. Trong khi cánh tay vẽ quay, cây bút có thể quay ngược lại, và mỗi tham số có thể dịch chuyển điểm đến đâu đó trên một vòng tròn nhỏ quanh điểm được tính từ tham số trước đó
    Video 3B1B không thể bỏ qua: https://m.youtube.com/watch?v=r6sGWTCMz2k
    Một tham số phức tương đương 2 tham số thực, nên cần so sánh 4 đường cong cosin tốt nhất với 2 đường cong mũ phức tốt nhất