Entropy là gì?
(johncarlosbaez.wordpress.com)- Đây là bản thảo ngắn của một cuốn sách nhằm định lượng entropy như lượng thông tin về nguyên tắc có thể biết nhưng hiện դեռ chưa biết
- Cuốn sách lấy câu đố trung tâm là vì sao khí hydro ở nhiệt độ phòng và áp suất khí quyển lại có entropy tương ứng với khoảng 23 bit thông tin chưa biết trên mỗi phân tử
- Bắt đầu từ entropy Shannon và entropy Gibbs, nội dung nối tiếp tới nguyên lý entropy cực đại, phân bố Boltzmann, nhiệt độ, hàm phân bố và năng lượng tự do
- Cuốn sách cố ý không đi sâu vào định luật thứ hai của nhiệt động lực học, sinh học hay vật lý hố đen, và cũng không giải thích entropy là sự hỗn loạn
- Ngay cả khi muốn tính entropy của các hệ cổ điển, vẫn cần hằng số Planck và một chút cơ học lượng tử vì đơn vị thể tích trong không gian vị trí-xung lượng
Hình thức của cuốn sách và điểm khởi đầu
- What is Entropy? là bản thảo hiện tại của một cuốn sách ngắn về entropy
- Tên thay thế ban đầu là 92 Tweets on Entropy, nhưng tác giả cho rằng không phù hợp vì theo thời gian người ta có thể không còn nhớ ‘tweets’ là gì
- Đây là phiên bản được mở rộng nhẹ từ loạt bài giảng về entropy đã đăng trên Twitter dưới dạng các thông điệp ngắn
Định nghĩa entropy như thông tin
- Entropy có nghĩa là lượng thông tin về một tình huống mà ta vẫn chưa biết
- Thông tin đó phải là thứ về nguyên tắc có thể học được
- Cuốn sách tập trung biến ý tưởng này thành một khái niệm chính xác và định lượng được
- Câu hỏi trung tâm là vì sao khí hydro ở nhiệt độ phòng và áp suất khí quyển lại có entropy tương ứng với khoảng 23 bit thông tin chưa biết trên mỗi phân tử
Những khái niệm được kết nối để giải câu đố
-
Thông tin và entropy
- Bắt đầu từ khái niệm thông tin để bàn về entropy Shannon và entropy Gibbs
- Giải thích cách xử lý các trạng thái xác suất thông qua nguyên lý entropy cực đại và phân bố Boltzmann
-
Nhiệt độ, năng lượng, hàm phân bố
- Kết nối nhiệt độ và độ lạnh (coolness), cùng mối quan hệ giữa entropy và năng lượng kỳ vọng
- Trình bày cách định lý phân bố đều, hàm phân bố, năng lượng kỳ vọng và năng lượng tự do đan xen trong việc tính entropy
-
Ví dụ về các hệ cổ điển
- Entropy của dao động tử điều hòa cổ điển
- Entropy của hạt cổ điển trong một chiếc hộp
- Entropy của khí lý tưởng cổ điển
Những chủ đề cố ý không đề cập
- Định luật thứ hai của nhiệt động lực học hầu như không được bàn tới
- Câu chuyện entropy luôn tăng là điều thú vị nhưng có nhiều vấn đề, và tác giả cho rằng muốn giải thích đúng thì cần một cuốn sách riêng
- Vai trò của entropy trong sinh học và vật lý hố đen cũng bị loại khỏi nội dung
- Những khía cạnh của entropy thường thấy trong sách phổ thông vật lý nằm ngoài phạm vi của cuốn sách này
- Tác giả không gọi entropy là ‘sự hỗn loạn’
Hằng số Planck cần thiết ngay cả trong vật lý cổ điển
- Để giữ mức tiền đề vật lý ở mức thấp, phần giải thích về cơ học lượng tử được cắt giảm tối đa
- Tuy nhiên, trong công thức entropy của ba hệ cổ điển vẫn xuất hiện hằng số Planck
- Hằng số Planck cung cấp đơn vị thể tích trong không gian vị trí-xung lượng
- Chỉ khi có đơn vị thể tích này mới có thể định nghĩa entropy của các hệ đó
- Dù xử lý khí hydro theo cách cổ điển nhiều nhất có thể, vẫn cần một chút cơ học lượng tử để thu được công thức entropy xấp xỉ tốt
Tính chất toán học và cách đọc
- Cuốn sách mang phong cách của một nhà vật lý toán học: làm cho các khái niệm trở nên chính xác và dành nhiều thời gian xem xét cả những phản ví dụ kỳ lạ
- Tác giả có thể dừng lại ở các chi tiết kỹ thuật lâu hơn một nhà vật lý đang làm việc thực tế
- Nếu thấy phần kỹ thuật quá chậm, bạn có thể bỏ qua để sang “tweet” tiếp theo
- Nội dung thực sự quan trọng nằm trong các khung
- Cũng có thể đọc hết trước rồi quay lại học các chi tiết sau
1 bình luận
Ý kiến trên Hacker News
Có một giai thoại nổi tiếng do Shannon kể lại: “Điều tôi băn khoăn nhất là cái tên. Tôi định gọi nó là ‘thông tin’, nhưng đó là một từ được dùng quá nhiều, nên tôi quyết định gọi là ‘bất định’. Khi nói chuyện với John von Neumann, ông ấy đưa ra một ý hay hơn. Von Neumann nói: ‘Hãy gọi nó là entropy. Thứ nhất, hàm bất định của anh đã được dùng với tên đó trong cơ học thống kê, nên nó đã có tên sẵn rồi. Thứ hai, và quan trọng hơn, chẳng ai thật sự biết entropy là gì, nên anh sẽ luôn có lợi thế trong các cuộc tranh luận’”
Có thể xem thảo luận và tài liệu tham khảo về việc entropy của Shannon có giống entropy trong nhiệt động lực học hay không trong các câu trả lời MathOverflow SE này (https://mathoverflow.net/questions/403036/john-von-neumanns-...)
Chỉ sau khi hiểu entropy Shannon là một đại lượng chủ quan, tức không phải là đối tượng được quan sát mà là thuộc tính của người quan sát, tôi mới cảm thấy mình hiểu đúng
Entropy của biến X là lượng thông tin cần thiết để đưa mức bất định mà người quan sát có về giá trị của X về 0. Vì vậy, với cùng một biến X, mức bất định của tôi và của người khác có thể khác nhau. Điều đó là hiển nhiên vì mỗi người có thể đã nhận được thông tin khác nhau về X. H(X) phải là H_{observer}(X), thậm chí là H_{observer, time}(X). Công trình của Shannon rất rõ ràng ở các mặt khác, nhưng phần này thì lướt qua khá sơ sài
Hãy xét cross-entropy của hai phân phối H[p, q] = -Σ p_i log q_i. Ví dụ p có thể là phân phối tần suất thực tế của các kết quả khi thật sự tung xúc xắc, còn q là phân phối mà tôi tin. p_i có thể được xem là xác suất khách quan, q_i là xác suất chủ quan. Cross-entropy gần như đo mức độ ngạc nhiên trung bình khi quan sát một kết quả
Điểm thú vị là H[p, p] <= H[p, q]. Nghĩa là nếu phân phối niềm tin bị sai, cross-entropy sẽ lớn hơn so với khi có niềm tin đúng q=p. Điều này được bảo đảm nhờ tính lõm của log. Vì vậy ta có thể so sánh các niềm tin: q nào làm H[p,q] thấp nhất thì q đó gần sự thật hơn
Cross-entropy cũng có thể được tách thành hai phần như H[p, q] = H[p] + D[q||p]. Hạng đầu là entropy của p, tức sự bất định ngẫu nhiên vốn có của chính hiện tượng đang được mô hình hóa, còn hạng thứ hai là phân kỳ KL, biểu thị phần bất định phát sinh thêm do niềm tin sai, tức bất định nhận thức luận
Khi đo niềm tin của những người quan sát khác nhau, ta chỉ đang nhìn vào các phân phối khác nhau; và giống như các phân phối đó có thể có trung bình hay phương sai khác nhau, entropy của chúng cũng có thể khác nhau
Nhưng nếu không biết seed, entropy sẽ rất cao
entropy + thông tin = tổng số bit cần để mô tả đầy đủ
Một quả trứng chưa vỡ có entropy thấp. Chỉ có một cách để quả trứng tồn tại trong trạng thái chưa vỡ, và cũng có thể biểu diễn trạng thái của quả trứng bằng 1 bit
Một quả trứng đã vỡ có entropy cao. Có vô số cách tùy ý để các mảnh vỡ nằm xuống
Một danh sách sắp xếp vị trí và hướng của từng mảnh trứng vỡ theo thứ tự vĩ độ, kinh độ, hướng la bàn lại có entropy thấp. Với một trường hợp quả trứng vỡ cụ thể, danh sách đó chỉ có thể được viết theo một cách
Nếu nén danh sách đó bằng zip, nó lại có entropy cao. Dữ liệu bên trong tệp .zip thực tế trông như ngẫu nhiên và không thể nén nhỏ hơn nữa. Điều đó đúng cho đến khi giải nén lại
Tương tự, nếu phải truyền danh sách chưa nén qua một kênh bị giới hạn băng thông, người nhận không thể giả định gì về nội dung, nên dù có cấu trúc thì nó cũng chẳng khác gì ngẫu nhiên, và entropy trên thực tế lại tăng cao
Tôi rất thích cách tiếp cận mà giáo viên cơ học thống kê của tôi dùng. Trong hầu hết mọi tình huống, entropy rốt cuộc là log của số cách có thể sắp xếp hệ thống (https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula)
Cá nhân tôi thấy dễ nhất là nghĩ về cặp kết quả của hai con xúc xắc
Đáng tiếc là nó không khớp lắm với cách dùng của Shannon ngoài một ý nghĩa rất nông, nên cách diễn giải này vẫn nằm chắc trong phạm vi vật lý
Vì vậy thông tin và entropy khác nhau. Entropy là việc tôi biết rằng mình không biết. Nó là sự định lượng hiểu biết đó về độ lớn của phần chưa biết
Điểm tôi cho là sai hoặc chưa đủ súc tích trong bài nằm ở đây. Theo tôi, cách diễn đạt dưới đây bao gồm cả ‘điều không biết rằng mình không biết’, nên không phải là entropy:
https://en.wikipedia.org/wiki/Thermodynamic_beta
Trong lý thuyết thông tin, tôi luôn nghĩ về entropy như thế này: “Nếu có một thuật toán nén thật sự thông minh, thì cần bao nhiêu bit để biểu diễn chính xác tệp này?”
Nói cách khác, đầu vào có nhiều lặp lại thì không có nhiều entropy trên mỗi bit, nên nén rất tốt. Các thuật toán nén hiện đại đủ tốt trên hầu hết dữ liệu để có thể dùng như một xấp xỉ hợp lý cho entropy thực tế
Với entropy của phân phối xác suất rời rạc, tôi thích cách giải thích thực tế này. Tôi thích bài viết của John Baez, nhưng lướt qua PDF thì có vẻ ông không đề cập góc nhìn này, nên tôi thấy hơi bất ngờ
Hãy nghĩ phân phối như một histogram trên nhiều khoảng. Khi đó entropy là đại lượng đo xác suất rằng nếu tôi ném ngẫu nhiên rất nhiều quả bóng vào các khoảng đó, phân bố của các quả bóng sẽ trông giống histogram ấy. Điều thường được kỳ vọng là phân phối đều trên các khoảng, vì vậy entropy đo mức độ xảy ra của các sự kiện hiếm khác, hay theo thuật ngữ xác suất là độ lệch lớn so với hành vi điển hình
Cụ thể hơn, nếu P = (P1, ..., Pk) là một phân phối nào đó, thì khi N rất lớn, xác suất để ném N quả bóng và thu được một histogram trông giống P xấp xỉ là 2^(-N * [log(k) - H(P)]). Ở đây H(P) là entropy. Nếu P là phân phối đều thì H(P)=log(k), nên số mũ bằng 0 và giá trị ước lượng là 1; điều này có nghĩa histogram có khả năng áp đảo nhất là phân phối đều
Vì đây là entropy lớn nhất có thể, các histogram khác sẽ xuất hiện với xác suất 2^(-c*N) với một c > 0 nào đó, tức là rất hiếm, và càng ném nhiều bóng thì càng hiếm theo cấp số mũ. Entropy là đại lượng đo mức độ đó. Phân phối càng “kém đều” thì càng ít khả năng xảy ra, nên entropy cũng đo một dạng tính đồng đều nào đó. Trong lý thuyết độ lệch lớn, mệnh đề cụ thể này được gọi là định lý Sanov, và vai trò của entropy là “hàm tốc độ”
Cách diễn giải entropy theo nghĩa đếm số trạng thái mà mọi người nói tới cũng có liên quan ở mức khái quát. Trong định lý Sanov, xác suất là số kết quả “trông giống P” chia cho tổng số kết quả, và tử số đúng là đang đếm số cấu hình có một tính chất cụ thể — trong trường hợp này là cách sắp xếp bóng và khoảng trông giống P
Có nhiều định nghĩa tương đương, mỗi định nghĩa có ưu điểm và cách khái quát hóa khác nhau, nhưng góc nhìn này đặc biệt hữu ích để xua bớt cảm giác bí ẩn quanh entropy
Danh sách phát về entropy của PBS Spacetime: https://youtube.com/playlist?list=PLsPUh22kYmNCzNFNDwxIug8q1...
Entropy thông tin, đúng như tên gọi, là cận dưới nghiêm ngặt cho mức hiệu quả mà thông tin có thể được truyền đi khi đã biết phân phối xác suất tạo ra thông tin đó, tức là cho kỳ vọng của số bit truyền tải
Ngay cả trong bối cảnh tính entropy thông tin của chuỗi bit hoặc tiếng Anh, ta cũng tạo một phân phối xác suất thực nghiệm từ dữ liệu bằng cách dùng tần suất tương đối của 0 và 1, ký tự, n-gram, v.v., rồi tính entropy của phân phối đó. Tôi không đặc biệt thích định nghĩa của Baez, nhưng xét đến uy tín của ông thì khó mà bắt bẻ bừa được
“Tôi hầu như tránh nói về định luật thứ hai của nhiệt động lực học, tức phát biểu rằng entropy luôn tăng. Nó thú vị, nhưng quá khó; để giải thích cho đúng thì cần hẳn một cuốn sách khác!”
Nếu bạn quan tâm, tôi đang đọc Entropy Demystified của Arieh Ben-Naim, cuốn này bàn về khía cạnh đó gần như theo cùng hướng
Thỉnh thoảng tôi nghĩ về việc entropy/tính ngẫu nhiên mới đến từ đâu. Nếu xem trạng thái sơ khai nhất của vũ trụ là một hạt điểm giãn nở với mật độ vô hạn, thì hẳn phải có một dạng ngẫu nhiên hoặc đa dạng nào đó khiến nó giãn nở không đồng đều, và điều đó có lẽ đã làm vật chất lấn át phản vật chất, hoặc tạo ra các thiên hà, cụm thiên hà, v.v.
Nếu xét một hệ cô lập có các hạt tĩnh nhất định, liệu có thể xảy ra chuyện một tập con nhỏ của các hạt đó bắt đầu chuyển động và đưa entropy vào không? Liệu entropy có thể được tự động suy ra, ít nhất ở cấp độ lượng tử, không? Nếu có thể giải thích điều này, có lẽ nó sẽ giúp hiểu rõ hơn nguồn gốc của vũ trụ
Ví dụ kinh điển là thế này. Hãy tưởng tượng có một chiếc sombrero[1] hoàn toàn đối xứng, và một quả bóng đang giữ thăng bằng ở đỉnh ngay giữa mũ. Không có hướng ưu tiên nào để quả bóng rơi xuống, nhưng trạng thái đó là bất ổn định. Bất kỳ nhiễu loạn nào cũng sẽ làm quả bóng lăn xuống, rồi nó dừng lại ở một cấu hình ổn định trên vành mũ. Tính đối xứng của cấu hình ban đầu giờ đã bị phá vỡ, nhưng trạng thái thì ổn định
1: https://m.media-amazon.com/images/I/61M0LFKjI9L.__AC_SX300_S...
https://www.youtube.com/watch?v=hrJViSH6Klo
Ở đây họ giải thích rằng tính ngẫu nhiên mà bạn đang tìm đến từ dao động lượng tử, và nếu không có tính ngẫu nhiên này thì có lẽ vũ trụ đã không “xảy ra”