Entropy là gì?

 (johncarlosbaez.wordpress.com)
2 điểm bởi GN⁺ 2024-07-24 | 1 bình luận | Chia sẻ qua WhatsApp

Lời mở đầu

  • Từng có một nền tảng tên là Twitter, nơi mọi người trao đổi những thông điệp ngắn. Tôi đã thực hiện một bài giảng ngắn về entropy thông qua nền tảng này, rồi mở rộng nó thành một cuốn sách nhỏ.
  • Entropy là lượng thông tin mà chúng ta không biết về một tình huống nào đó. Để giải thích điều này một cách định lượng, sách đề cập đến nhiều chủ đề:
    • thông tin
    • entropy Shannon và entropy Gibbs
    • nguyên lý entropy cực đại
    • phân bố Boltzmann
    • nhiệt độ và làm lạnh
    • mối quan hệ giữa entropy, năng lượng kỳ vọng và nhiệt độ
    • định lý phân bố đều
    • hàm phân hoạch
    • mối quan hệ giữa năng lượng kỳ vọng, năng lượng tự do và entropy
    • entropy của dao động tử điều hòa cổ điển
    • entropy của hạt cổ điển trong hộp
    • entropy của khí lý tưởng cổ điển
  • Sách không bàn về định luật thứ hai của nhiệt động lực học (entropy luôn tăng). Chủ đề này đủ phức tạp để cần một cuốn sách khác.
  • Tôi cố gắng chỉ nhắc đến cơ học lượng tử ở mức tối thiểu, nhưng hằng số Planck là cần thiết để định nghĩa công thức entropy của các hệ cổ điển.
  • Với tư cách là một nhà vật lý toán học, tôi dành nhiều thời gian để làm rõ các khái niệm và tìm những phản ví dụ kỳ lạ. Những nội dung quan trọng được đặt trong khung.

Tóm tắt của GN⁺

  • Cuốn sách này là một nỗ lực giải thích các khái niệm cơ bản về entropy một cách dễ hiểu, bắt đầu từ lý thuyết thông tin rồi đi đến cơ học thống kê và nhiệt động lực học.
  • Entropy không được định nghĩa là "sự hỗn loạn", mà được giải thích là lượng thông tin mà chúng ta không biết.
  • Sách sử dụng những khái niệm tối thiểu của cơ học lượng tử để giải thích entropy của các hệ cổ điển.
  • Hữu ích cho những người muốn hiểu sâu hơn về vật lý, đặc biệt giúp hiểu mối quan hệ giữa cơ học thống kê và lý thuyết thông tin.
  • Một dự án khác có chức năng tương tự là loạt sách "Theoretical Minimum".

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-07-24
Ý kiến Hacker News

  • Có một giai thoại về lý do Shannon đặt tên "độ bất định" trong lý thuyết thông tin là "entropy"

    • John von Neumann đã đề xuất thuật ngữ "entropy"
    • Entropy đã được dùng trong cơ học thống kê, và có lợi thế trong tranh luận

  • Điều quan trọng là phải hiểu entropy Shannon là một đại lượng mang tính chủ quan của người quan sát

    • Entropy của biến X là lượng thông tin cần thiết để đưa độ bất định của người quan sát về 0
    • Mỗi người quan sát có thể có thông tin khác nhau, nên độ bất định cũng có thể khác nhau

  • Trong cơ học thống kê, entropy được giải thích là logarit của số cách một hệ có thể được sắp xếp

    • Dễ hình dung hơn nếu nghĩ đến các cặp lần tung xúc xắc

  • Trong lý thuyết thông tin, entropy được giải thích là số bit cần để thuật toán nén biểu diễn chính xác một tệp

    • Dữ liệu đầu vào lặp lại có entropy thấp nên được nén tốt

  • Có playlist về entropy của PBS Spacetime

  • Tôi thích cách tiếp cận giải thích entropy của phân phối xác suất rời rạc bằng histogram

    • Đo xác suất để khi ném ngẫu nhiên nhiều quả bóng, ta thu được một phân phối giống như histogram đó
    • Khi ném N quả bóng theo phân phối P, xác suất để histogram trùng với P là 2^(-N * [log(k) - H(P)])
    • Phân phối đều có entropy cao nhất

  • Cuốn sách 'Entropy Demystified' giải thích định luật thứ hai của entropy

  • Bài viết của John Baez từng mang lại rất nhiều hứng thú trong quá trình học đại học

  • Tôi thích cách tiếp cận giải thích entropy như lượng thông tin có thể biết được về mặt lý thuyết đối với một hệ

    • Ngạc nhiên vì không thấy nhắc đến sự tương tác với diễn giải Copenhagen

  • Entropy thông tin là cận dưới chặt chẽ về mức độ hiệu quả mà thông tin có thể được truyền tải

    • Entropy được tính bằng cách sử dụng phân phối xác suất