Entropy là gì? Thước đo mức độ thiếu hiểu biết của chúng ta
(quantamagazine.org)- Entropy bắt nguồn từ bài toán cách đây 200 năm về giới hạn hiệu suất của động cơ hơi nước, nhưng trong vật lý hiện đại, nó đang được diễn giải lại như một đại lượng đo thông tin mà người quan sát không biết, hơn là một thuộc tính cố định của thế giới
- Qua Carnot, Clausius và Boltzmann, entropy trở thành khái niệm giải thích mức độ nhiệt không thể chuyển thành công mà bị phân tán, số lượng vi trạng thái khả dĩ, và lý do thời gian trôi theo một chiều
- Shannon và Jaynes đã mở rộng entropy sang ngôn ngữ của thông tin và sự bất định, còn nghịch lý trộn Gibbs cho thấy việc có thể phân biệt điều gì có thể làm thay đổi công có thể khai thác và entropy
- Các nghiên cứu gần đây đang cố đưa năng lực đo lường, ghi nhớ và tính toán có giới hạn của người quan sát vào toán học; entropy quan sát cùng động cơ thông tin, động cơ Szilard quan sát một phần, và các thí nghiệm nhiệt động lực học lượng tử đang khám phá hướng này
- Theo góc nhìn này, quản lý sự bất định trở nên quan trọng hơn hiệu suất hoàn hảo và dự đoán hoàn hảo; thông tin được xem như một tài nguyên vật lý quyết định giới hạn của việc khai thác năng lượng, ra quyết định và các cỗ máy nhỏ
Entropy bắt đầu từ hiệu suất động cơ hơi nước
- Khái niệm entropy bắt nguồn từ vấn đề hiệu suất máy móc trong thời Cách mạng Công nghiệp
- Năm 1824, kỹ sư quân sự người Pháp Sadi Carnot, khi mới 28 tuổi, đã cố tính hiệu suất tối hậu của động cơ hơi nước và xuất bản cuốn sách 118 trang mang tên Reflections on the Motive Power of Fire
- Carnot xem động cơ hơi nước là cỗ máy tận dụng xu hướng nhiệt chảy từ vật nóng sang vật lạnh
- Có một giới hạn đối với tỷ lệ nhiệt có thể chuyển thành công, và kết quả này được gọi là định lý Carnot
- Do ma sát, dao động và chuyển động không mong muốn, một phần năng lượng luôn bị phân tán, khiến hiệu suất hoàn hảo là bất khả thi
- Năm 1865, nhà vật lý người Đức Rudolf Clausius gọi tỷ lệ năng lượng bị ràng buộc dưới dạng vô dụng là “entropy”
- Ông đã chính thức hóa định luật thứ hai của nhiệt động lực học dưới dạng “entropy của vũ trụ tiến tới giá trị cực đại”
Diễn giải xác suất của Boltzmann và mũi tên thời gian
- Khi đó, các nhà vật lý hiểu sai nhiệt là một chất lưu gọi là “caloric”, nhưng về sau quan điểm rằng nhiệt bắt nguồn từ chuyển động của các phân tử đã được xác lập
- Ludwig Boltzmann diễn giải lại entropy bằng xác suất
- Các trạng thái chi tiết như vị trí và vận tốc của từng phân tử là vi trạng thái
- Các tính chất tổng thể như nhiệt độ và áp suất, hoặc cách bố trí tổng thể của các quân cờ caro, là vĩ trạng thái
- Một vĩ trạng thái có càng nhiều vi trạng thái có thể tạo ra nó thì entropy càng cao
- Có ít cách để tạo ra một hình dạng có trật tự, nhưng có nhiều cách hơn rất nhiều để tạo ra một hình dạng phân tán ngẫu nhiên
- Vì vậy, định luật thứ hai có thể được hiểu như một phát biểu xác suất: “có nhiều cách để trở nên lộn xộn hơn là ở trong trạng thái sạch sẽ”
- Vì trạng thái trộn lẫn dễ xảy ra hơn trạng thái các hạt nóng và hạt lạnh bị tách riêng, nhiệt chảy từ nơi nóng sang nơi lạnh
- Cùng logic đó cũng áp dụng cho hiện tượng thủy tinh vỡ, băng tan, chất lỏng trộn lẫn và lá cây phân hủy
- Sự gia tăng entropy khắc mũi tên thời gian lên những quá trình mà chiều ngược lại cũng có vẻ khả dĩ
Entropy được mở rộng sang lý thuyết thông tin
- Trong Thế chiến II, Claude Shannon làm việc với mã hóa kênh truyền thông và muốn đo lượng thông tin chứa trong một thông điệp
- Shannon xem tri thức là sự giảm bất định, và định nghĩa độ bất định về ký tự tiếp theo bằng xác suất và logarit
- Nếu mọi ký tự có cùng xác suất, công thức của Shannon có cùng dạng với công thức entropy của Boltzmann
- Người ta kể rằng John von Neumann đã khuyên Shannon gọi đại lượng này là “entropy”
- Cũng như entropy nhiệt động lực học giải thích hiệu suất của động cơ, entropy thông tin nắm bắt hiệu suất của truyền thông
- Thông điệp có entropy cao có ít mẫu hình, nên khó đoán ký tự tiếp theo và cần nhiều câu hỏi có/không hơn để tìm ra nội dung
- Thông điệp có nhiều mẫu hình chứa ít thông tin hơn nên dễ đoán hơn
- Năm 1957, E.T. Jaynes nhìn lại nhiệt động lực học từ góc độ lý thuyết thông tin trong hai bài báo
- Nhiệt động lực học gần với một khoa học suy luận thống kê từ những phép đo không đầy đủ về hạt
- Ông đề xuất nguyên lý entropy cực đại, gán cùng khả năng cho mọi cấu hình tương thích với các ràng buộc đã biết
- Nguyên lý này được dùng không chỉ trong cơ học thống kê mà cả trong machine learning và sinh thái học
- Các khái niệm entropy xuất hiện trong những bối cảnh khác nhau đều gắn với sự bất định
- Khi mất thông tin về vị trí và động lượng của hạt, Gibbs entropy tăng
- Khi hạt vướng víu với môi trường và trạng thái lượng tử trở nên mờ nhạt, von Neumann entropy tăng
- Khi vật chất rơi vào hố đen và thế giới bên ngoài mất thông tin đó, Bekenstein-Hawking entropy tăng
Entropy là sự thiếu hiểu biết của ai?
- Theo cách hiểu hiện đại, entropy đo sự thiếu hiểu biết về chuyển động của hạt, chữ số tiếp theo trong một chuỗi mã, hay trạng thái chính xác của một hệ lượng tử
- Góc nhìn này lập tức dẫn tới câu hỏi “sự thiếu hiểu biết của ai?”
- Carlo Rovelli, khi quan sát hiện tượng dầu và nước tách ra sau khi bị lắc, cho rằng cách giải thích đơn giản của định luật thứ hai là “độ hỗn loạn tăng” có vấn đề
- Bề ngoài trông như trật tự tăng lên, nhưng một người quan sát có tầm nhìn nhiệt mạnh mẽ sẽ thấy trong quá trình tách lớp, năng lượng động học được giải phóng vào các phân tử, khiến trạng thái trở nên hỗn loạn hơn về mặt nhiệt
- Trật tự vĩ mô có thể hình thành bằng cái giá là hỗn loạn vi mô
- Jaynes dùng nghịch lý trộn Gibbs để cho thấy năng lực phân biệt của người quan sát có thể thay đổi entropy
- Khi hai khí khác nhau A và B bị ngăn cách bởi vách ngăn rồi trộn lẫn, entropy tăng
- Nếu hai khí giống hệt nhau và có cùng áp suất, nhiệt độ, thì khi nhấc vách ngăn lên entropy không đổi
- Nếu hai khí thực ra khác nhau nhưng không có cách phân biệt, đối với nhà thực nghiệm chúng hoạt động như cùng một loại khí
- Trong ví dụ của Jaynes, hai loại argon chỉ khác nhau ở độ hòa tan đối với một nguyên tố chưa được phát hiện tên là “whifnium”
- Trước khi whifnium được phát hiện, không thể phân biệt hai loại này nên khi nhấc vách ngăn lên, entropy biểu kiến không thay đổi
- Sau khi whifnium được phát hiện, có thể phân biệt hai loại argon và thiết kế một piston khai thác năng lượng từ sự trộn lẫn
- Entropy và công có thể khai thác không chỉ phụ thuộc vào khác biệt của bản thân hệ, mà còn phụ thuộc vào tri thức và tài nguyên mà người quan sát có
Nỗ lực đưa sự phụ thuộc vào người quan sát vào toán học
- Nếu xem entropy không phải là thuộc tính nội tại của hệ mà là thuộc tính thay đổi theo người quan sát, sẽ phát sinh gánh nặng triết học đối với tính khách quan của vật lý
- Anthony Aguirre và các cộng sự đã thiết kế một thước đo gọi là entropy quan sát (observational entropy)
- Nó chỉ định các tính chất mà một người quan sát cụ thể có thể tiếp cận, rồi điều chỉnh mức độ các tính chất đó gom thực tại lại một cách thô ráp đến đâu
- Giống Jaynes, nó gán cùng xác suất cho mọi vi trạng thái tương thích với các tính chất được quan sát
- Công thức này đóng vai trò nối entropy nhiệt động lực học, vốn xử lý các đặc trưng vĩ mô, với entropy thông tin, vốn xử lý các chi tiết vi mô
- Nhiều nhóm nghiên cứu độc lập đang dùng công thức của Aguirre để tìm các chứng minh chặt chẽ hơn cho định luật thứ hai
- Aguirre muốn dùng thước đo này để làm rõ hơn vì sao vũ trụ bắt đầu từ trạng thái entropy thấp, vì sao thời gian trôi về phía trước, và entropy có nghĩa gì trong hố đen
- Trong lý thuyết thông tin lượng tử, thông tin được xem là một tài nguyên mà người quan sát dùng để tương tác với hệ
- Với một siêu máy tính có năng lực vô hạn, có thể theo dõi trạng thái chính xác của mọi hạt, entropy sẽ luôn không đổi và không có mất mát thông tin
- Người quan sát có tài nguyên tính toán hữu hạn như con người gom thực tại lại một cách thô hơn và dần mất các chi tiết vi mô
- Dòng chảy này xuất hiện như dòng chảy của thời gian
Động cơ thông tin và vật lý của ra quyết định
- Mùa hè năm 2023, FQxI, do Aguirre đồng sáng lập, đã tập hợp tại Yorkshire, Anh các nhà vật lý nghiên cứu cách dùng thông tin làm nhiên liệu
- Với các nhà nghiên cứu này, ranh giới giữa động cơ và máy tính ngày càng mờ đi
- Thông tin được xem như một tài nguyên vật lý thực tế và có thể định lượng, biểu thị có thể khai thác bao nhiêu công từ một hệ
- Thí nghiệm tưởng tượng của Leo Szilard cho thấy cốt lõi của động cơ thông tin
- Một hạt đơn trong hộp đẩy vách ngăn, còn con quỷ dùng dây và ròng rọc để nâng quả nặng bên ngoài
- Để liên tục thu được công, con quỷ phải biết hạt nằm ở phía nào của hộp
- Động cơ Szilard được vận hành bằng thông tin
- Động cơ thông tin cũng không hoàn hảo, giống như động cơ nhiệt
- Trung bình, việc đo và lưu trữ thông tin sinh ra ít nhất từng ấy entropy
- Tri thức làm cho công trở nên khả dĩ, nhưng để có được và ghi nhớ tri thức đó cũng tốn năng lượng
- Susanne Still đã xem người quan sát như một hệ vật lý có các giới hạn vật lý
- Người quan sát phải quyết định đo gì và lưu gì trong bộ nhớ hạn chế
- Nếu thu thập thông tin không giúp ích cho dự đoán hữu ích, hiệu suất năng lượng sẽ giảm
- Still đề xuất nguyên lý least self-impediment, chọn chiến lược xử lý thông tin càng gần càng tốt với các giới hạn vật lý
- Still mô hình hóa tính quan sát một phần của thực tại bằng một động cơ Szilard cải tiến có vách ngăn nghiêng
- Người dùng chỉ có thể thấy vị trí ngang của hạt, chẳng hạn như cái bóng
- Nếu cái bóng nằm hoàn toàn bên trái hoặc bên phải vách ngăn, có thể biết hạt ở phía nào, nhưng ở vùng giữa thì không thể biết nó ở phía trên hay phía dưới
- Khi tính chiến lược đo lường và mã hóa bộ nhớ tối ưu trong mô hình này, ta thu được một suy dẫn dựa trên vật lý cho thuật toán nút thắt thông tin (information bottleneck algorithm) dùng trong machine learning
Động cơ thông tin cỡ nhỏ trong phòng thí nghiệm
- John Bechhoefer và nhóm nghiên cứu tại Simon Fraser University tái hiện động cơ Szilard bằng hạt cầu silica nhỏ hơn hạt bụi, lơ lửng trong nước
- Họ dùng laser để giữ hạt cầu và theo dõi các dao động nhiệt ngẫu nhiên
- Khi hạt cầu dao động lên trên, họ nhanh chóng nâng bẫy laser để tận dụng chuyển động đó
- Họ đã thành công trong việc nâng một quả nặng bằng sức mạnh của thông tin
- Bechhoefer và Still nghiên cứu giới hạn khai thác công trong động cơ thông tin thực tế
- Họ phát hiện ở một số vùng nhất định, động cơ thông tin có thể đạt hiệu năng vượt xa động cơ truyền thống
- Lấy cảm hứng từ công trình lý thuyết của Still, họ cũng theo dõi sự kém hiệu quả do thông tin một phần về trạng thái hạt cầu tạo ra
- Natalia Ares của Oxford University đang thực hiện các thí nghiệm thu nhỏ động cơ thông tin xuống quy mô lượng tử
- Trên một chip silicon cỡ miếng lót ly, cô giam một electron đơn trong một sợi dây carbon mảnh
- Nanotube này được làm lạnh tới trong phạm vi vài phần nghìn độ so với độ không tuyệt đối và dao động như dây đàn guitar
- Tần số dao động được quyết định bởi trạng thái của electron bên trong, và nhóm nghiên cứu muốn dùng dao động tinh vi này để chẩn đoán công suất đầu ra của hiện tượng lượng tử
- Một kế hoạch thí nghiệm của Ares theo ý tưởng của Still
- Họ điều chỉnh mức độ dao động của nanotube phụ thuộc hoàn hảo vào electron, hoặc phụ thuộc vào các yếu tố chưa biết khác
- Điều này đóng vai trò như một núm điều chỉnh mức độ thiếu hiểu biết của người quan sát
- Ở quy mô lượng tử, entropy nào đặt ra các giới hạn liên quan và phải định nghĩa công suất đầu ra như thế nào là những vấn đề phức tạp hơn
- Một nghiên cứu gần đây do Nicole Yunger Halpern dẫn dắt cho thấy các định nghĩa về sinh entropy vốn thường được dùng như đồng nghĩa có thể lệch nhau trong miền lượng tử
- Ở quy mô lượng tử, không thể biết đồng thời một số tính chất nhất định, và thứ tự đo có thể ảnh hưởng đến kết quả
- Yunger Halpern cho rằng các tài nguyên bổ sung của thế giới lượng tử có thể được dùng để đi vòng quanh định lý Carnot
Chuyển sang một khoa học xử lý sự bất định
- Tháng 9 năm 2024, hàng trăm nhà nghiên cứu đã tụ họp tại Palaiseau, Pháp, để kỷ niệm 200 năm cuốn sách của Carnot
- Những người tham dự thảo luận vai trò của entropy trong từng lĩnh vực nghiên cứu, từ pin mặt trời đến hố đen
- Một quan chức của Trung tâm Nghiên cứu Khoa học Quốc gia Pháp đã thay mặt nước Pháp xin lỗi vì đã xem nhẹ ảnh hưởng của Carnot
- Trực giác của Carnot xuất phát từ nỗ lực kiểm soát hoàn toàn thế giới cơ học, nhưng khi entropy lan rộng khắp khoa học tự nhiên, trọng tâm đã thay đổi
- Góc nhìn tinh chỉnh về entropy từ bỏ giấc mơ hiệu suất hoàn hảo và dự đoán hoàn hảo, đồng thời thừa nhận sự bất định không thể quy giản của thế giới
- Sự sụp đổ của trật tự trở thành nguồn lực cho mọi cỗ máy, và góc nhìn mới có thể hé lộ những kho trữ trật tự ẩn trong hỗn loạn
- Entropy không chỉ là sự vô trật tự không thể tránh khỏi, mà còn hoạt động như động lực tìm kiếm tri thức khiến chúng ta cảm nhận, suy luận và đưa ra lựa chọn tốt hơn
1 bình luận
Các ý kiến trên Hacker News
Thật vui khi thấy bài viết được thảo luận ở đây
Tôi phụ trách triển khai kỹ thuật cho các yếu tố tương tác, và có thể xem mã nguồn tại đây: https://github.com/jnsprnw/mip-entropy
Nó được làm bằng Svelte 5 và Tailwind
Dạo này có vẻ nhiều tương tác dùng một lần được làm bằng Svelte, vậy nó có ưu điểm gì?
Đọc bài này sau 27 năm kể từ khi lấy bằng tiến sĩ thấy thật thú vị
Trong chương trình tiến sĩ vật lý lý thuyết, tôi từng so sánh trường hợp có những ẩn số và không có ẩn số từ góc nhìn xem entropy như một yếu tố dẫn động
Luận án tiến sĩ của tôi nói về cách xử lý một hệ cơ học lượng tử bên trong một khoang; một phía là gương hoàn hảo, phía còn lại là gương hoàn hảo 99,999999%
Tôi đặt một gương hoàn hảo khác ở phía bên kia của gương không hoàn hảo để hoàn thiện một vũ trụ một chiều, và viết bằng ASCII thì là
[100%] —l— [100-epsilon] ——L——— [100%], trong đó L >> lNghiệm cho toàn bộ vũ trụ thì đơn giản với các kỹ thuật cơ học lượng tử tiêu chuẩn, nhưng nghiệm cho vũ trụ nhỏ có tổn hao thì không, và về mặt vật lý hai nghiệm đó phải giống nhau
Vì vậy tôi dùng nghiệm chính xác của vũ trụ hoàn chỉnh (l+L) để so sánh với các mô hình khả dĩ của vũ trụ nhỏ (l) có hạng phi tuyến mô tả tổn hao
Trong hệ có tổn hao, entropy tồn tại hoặc hoạt động như một lực dẫn động; còn trong hệ không tổn hao thì mọi thứ được bảo toàn, nhưng mối liên hệ giữa hai điều này không phải là một hiểu biết mới ;-0
Tôi cũng không biết
lvàLnghĩa là gì, và câu cuối có lẽ nên bỏhowSau khi nghe Sean Carroll giải thích về entropy, tôi thấy entropy thú vị hơn rất nhiều
Ông ấy có khuynh hướng nền tảng luận và triết học, và thường chỉ ra rằng các định nghĩa entropy đặt trên những nền tảng triết học khác nhau đang cạnh tranh với nhau, trong đó một định nghĩa có vẻ phụ thuộc vào người quan sát
https://youtu.be/x9COqqqsFtc?si=cQkfV5IpLC039Cl5
https://youtu.be/XJ14ZO-e9NY?si=xi8idD5JmQbT5zxN
Leonard Susskind có nhiều bài giảng và sách xuất sắc về thông tin lượng tử và cách tính entropy của lỗ đen, và điều này đã dẫn tới một số giả thuyết mới khá cấp tiến
Stephen Wolfram cũng có một bài giảng dài về lịch sử của khái niệm entropy, khá hay: https://www.youtube.com/live/ocOHxPs1LQ0?si=zvQNsj_FEGbTX2R3
Đoạn “khi các nhà vật lý trong thế kỷ qua cố gắng thống nhất những lĩnh vực tưởng chừng xa rời nhau, họ đã soi rọi entropy dưới một ánh sáng mới, xoay kính hiển vi trở lại phía người quan sát và biến khái niệm vô trật tự thành khái niệm vô tri. Entropy được xem không phải là thuộc tính nội tại của hệ, mà là thứ tương đối với người quan sát tương tác với hệ đó” có vẻ là một quan sát khá bình thường, dù có thể là nhờ đứng trên vai những người khổng lồ
Trạng thái entropy cao là một vĩ trạng thái có nhiều vi trạng thái tương ứng
Bản thân việc phân loại nhiều vi trạng thái vào cùng một vĩ trạng thái chẳng phải rõ ràng là một hàm lấy người quan sát làm trung tâm sao?
Ví dụ, nếu trong xúc xắc tôi xem 5 và 6 về bản chất là cùng một kết quả, thì kết quả đó sẽ có xác suất cao hơn và entropy cũng cao hơn
Nhưng đó là do cách phân loại của tôi, chứ không phải là thuộc tính nội tại của hệ
Câu “trạng thái entropy cao là một vĩ trạng thái có nhiều vi trạng thái tương ứng” là cách suy ra entropy trong một mô hình đã cho
Nhưng entropy cũng có thể thu được bằng đo đạc thực nghiệm; khi đó thiết bị thí nghiệm không quan tâm đến vi trạng thái hay vĩ trạng thái, mà chỉ có các tính chất như enthalpy, nhiệt dung và nhiệt độ
Sau đó bạn có thể xây dựng mô hình và nói rằng entropy của một chất khí nào đó khớp với dự đoán của mô hình khí lý tưởng, hoặc entropy của một chất rắn nào đó khớp với những gì ta biết về entropy dao động
Cách nói rằng các nguyên tử hydro không thể phân biệt cũng như vậy. Không phải vì chúng ta quy ước như thế nên chúng trở nên không thể phân biệt; mà vì khi tính entropy trong hai trường hợp, thực tế không khớp với mô hình nguyên tử có thể phân biệt
Nếu chỉ nhìn các mô hình gọn gàng thì việc phân loại vĩ trạng thái có vẻ lấy người quan sát làm trung tâm, nhưng điều đó không giải thích được vì sao giá trị entropy thực nghiệm của một chất lại nhất quán bất kể mô hình mà người làm thí nghiệm dùng là gì
Về căn bản, entropy phụ thuộc vào phân bố xác suất, chứ không phải người quan sát
Nó hoàn toàn không hiển nhiên đối với vô số sinh viên đã đọc các giáo trình vật lý nhập môn
Trên thực tế, entropy thường được giảng dạy sai, và rất ít người hiểu đúng, nhưng tôi nghĩ điều đó đang dần được sửa
Việc các tạp chí khoa học đại chúng, phim tài liệu và video YouTube khiến công chúng càng thêm rối cũng là bằng chứng bổ sung
Mọi người quan sát, khi làm thí nghiệm và sử dụng phương pháp khoa học, phải khám phá ra cùng các định luật cơ bản
Theo ví dụ của bạn, việc nói 5 và 6 là như nhau chỉ có thể xảy ra nếu luật chơi có thể được biến đổi theo cách đó, để cả người quan sát phân biệt chúng cũng đi đến các quy tắc đã được biến đổi đúng trong hệ quy chiếu của mình
Khi xét đến việc có những vật thể như sao neutron và lỗ đen, nơi vật lý lượng tử và thuyết tương đối rộng cùng tham gia, mệnh đề này có vẻ khá nền tảng, và tôi thậm chí còn tự hỏi liệu nó có bị diễn đạt quá mạnh không
Trong một thời gian dài tôi không có trực giác về việc entropy thực sự biểu thị điều gì
Video Veritasium này cuối cùng đã giải thích theo cách khiến tôi hiểu được: https://www.youtube.com/watch?v=DxL2HoqLbyA
Thật tiếc là bài không nhắc đến nguyên lý bất định Heisenberg, và tôi xem đây là giới hạn trên về mặt lý thuyết của cách tiếp cận này
Ngoài ra cũng cần cân nhắc chi phí tính toán là bao nhiêu so với lượng công hữu ích có thể thu được từ những động cơ lượng tử như vậy
Nếu chi phí năng lượng cho việc tính toán vượt quá lượng công hữu ích tiềm năng, thì đó vẫn là lỗ ròng hoặc việc vô ích
Cuối cùng còn có vấn đề phổ giữa các mẫu ẩn và tính ngẫu nhiên
Một số hệ ngẫu nhiên hơn các hệ khác, và khả năng thu được công hữu ích trong phạm vi chi phí năng lượng tính toán hợp lý sẽ giảm dần khi đi xuống phổ ngẫu nhiên
Một hệ có độ bất định Heisenberg tối đa, tức là hệ trong đó các hạt không bị rối và cũng không tương quan với cấu trúc cấp cao hơn của các hạt rối khác, thì không còn chỗ để cải thiện tri thức nên công tiềm năng cũng bằng 0
Đây là entropy tối hậu của các hệ cục bộ và hệ vĩ mô, và có lẽ cũng là nguyên nhân của một số vi phạm nguyên lý bảo toàn năng lượng nhất định như năng lượng tối
Đầu năm nay đã có một luồng thảo luận liên quan
https://news.ycombinator.com/item?id=41037981 ("What Is Entropy? (johncarlosbaez.wordpress.com)", 209 bình luận)
Đồ họa tương tác nhằm cho thấy entropy mang tính chủ quan không thuyết phục lắm
Sau khi không định nghĩa đúng vĩ trạng của hệ đang xét, nó cho thấy các entropy quan sát khác nhau đối với hai vĩ trạng khác nhau
Với Alice là màu sắc, với Bob là hình dạng, kiểu như vậy
Điều này không cho thấy entropy là chủ quan, mà cho thấy việc định nghĩa hệ là chủ quan
Nếu là cùng hai vĩ trạng, chúng vẫn sẽ có cùng entropy
Bài viết có đề cập đôi chút đến phần này nhưng chưa đủ, và có lẽ cũng do tình trạng của văn liệu
Bài báo về entropy quan sát của Safranek và cộng sự thú vị ở chỗ nó cho thấy việc lựa chọn làm thô (coarse graining) thành các vĩ trạng có thể dẫn đến các entropy khác nhau, nhưng không xử lý câu hỏi cốt lõi là vì sao ngay từ đầu lại chọn một cách làm thô hay vĩ trạng cụ thể
Trong văn liệu lý thuyết thông tin, việc chọn một cách làm thô hay vĩ trạng cụ thể có chi phí thông tin, tức chi phí theo nghĩa độ phức tạp Kolmogorov
Trong ví dụ của bài viết, đó là chi phí để chọn hình dạng hay màu sắc nhằm định nghĩa entropy
Vì vậy entropy quan sát có cảm giác giống như một phần của một entropy hay chi phí thông tin lớn hơn, bao gồm cả chi phí thông tin của cách làm thô đã chọn
Điều này nối lại với phần sau của bài viết về chi phí quan sát và nút thắt thông tin, nhưng bài viết và các bài báo được liên kết dường như không bàn rõ và chi tiết về vấn đề chi phí vĩ trạng khác biệt này
Có thảo luận rằng tồn tại chi phí nhiệt động học, nhưng chưa rõ chi phí đó tích lũy ra sao, và vì sao lại chấp nhận một vĩ trạng thay vì vĩ trạng khác
Alice và Bob trong ví dụ về tính chủ quan được định nghĩa bằng các ràng buộc vật lý khác nhau, và có thể xem là hai hệ quan sát với các ràng buộc khác nhau
Từ một góc nhìn khác, hãy giả sử một hộp chứa nhiều hạt là “thuần ngẫu nhiên”
Trong trường hợp này, dù Alice và Bob nhìn thấy gì thì điều quan trọng là số hạt, v.v.; entropy theo màu sắc phụ thuộc vào số lượng màu chứ không phải vị trí hạt, vì nó đã ở trạng thái entropy cực đại
Nếu tái tổ chức các hạt theo một thuộc tính cụ thể, thì cả hai về cơ bản đang làm giảm entropy một lượng nhất định so với trạng thái thuần ngẫu nhiên, và tôi nghĩ điều này có thể liên quan theo cách nào đó đến lượng thông tin cần thiết để đưa các hạt trở lại trạng thái thuần ngẫu nhiên
Bài viết có nhiều liên kết sang các lĩnh vực khoa học và toán học khác, và nội dung về chi phí thông tin của quan sát cũng kết nối với văn liệu toán học và khoa học máy tính thông qua Wolpert (2008), người tiếp cận từ góc độ tính toán, và Rukavicka sau đó
Trong văn liệu thần kinh học cũng có những ý tưởng tương tự về hiệu suất giảm entropy, nhưng hiện tôi không nhớ tên những người liên quan
Bài viết của Quanta thực sự rất hay, nhưng ở một số khu vực cụ thể còn khá mờ, và khó phân biệt đó là sự mơ hồ trong lối viết, sự mơ hồ của chính văn liệu, hay do tôi chưa hiểu đủ
Chủng loài của Alice không có thiết bị đo để cảm nhận entropy phía Bob, nên Alice không thể rút công hữu ích từ hệ của Bob, và ngược lại cũng vậy
Do đó một định nghĩa entropy khách quan phải bao gồm năng lực của người đo
Rốt cuộc cũng giống điều bạn nói về vĩ trạng
Tôi không chỉ ra chính xác được, nhưng đúng là vậy
Họ nhầm lẫn giữa việc định nghĩa hệ và việc định nghĩa entropy của hệ, rồi nói rằng entropy là chủ quan
Hoàn toàn không phải. Entropy chỉ là một giá trị đo
Có vẻ như trong phần bình luận chưa ai xem video này của Sabine. Nó có thể thú vị với những ai quan tâm đến entropy trong vật lý
"I don't believe the 2nd law of thermodynamics. (The most uplifting video I'll ever make.)"
https://m.youtube.com/watch?v=89Mq6gmPo0s
Tôi tiếp cận entropy từ phía học máy, lý thuyết thông tin và xác suất
Với tôi, nó khá trực quan, thú vị và hữu dụng, nhưng không có gì bí ẩn
Hàm mật độ xác suất, nói hoa mỹ thì là histogram, là tri thức tốt nhất hiện có về việc một kết quả nào đó được kỳ vọng xuất hiện bao nhiêu lần
Nếu làm thí nghiệm một lần, ta không thể biết kết quả; ta chỉ có thể đếm số lượng các kết quả khác nhau, và không thể chắc chắn chính xác khi nào kết quả nào sẽ xảy ra
Một hàm mật độ xác suất phẳng nghĩa là tri thức nghèo nàn. Mọi kết quả đều có khả năng gần như như nhau, và tôi rất thiếu hiểu biết. Tức là entropy cao
Một hàm mật độ xác suất nhọn nghĩa là tri thức tốt. Một kết quả nào đó hợp lý hơn nhiều, và entropy thấp
Ở cực đoan, nếu hàm mật độ xác suất là delta Dirac thì đó là tri thức tất định
Điều hơi thú vị là có những trường hợp quan sát mới làm giảm tri thức
Ví dụ, giả sử hiện tại tôi khá chắc mình không bị ung thư, và xác suất ở nhóm tuổi của tôi là 90:10
Ngày mai tôi đi xét nghiệm và nhận kết quả dương tính. Trong số những người ở nhóm tuổi của tôi có kết quả dương tính, khoảng một nửa thực sự bị ung thư
Sau xét nghiệm, xác suất của tôi trở thành 50:50. Giờ tôi hoàn toàn không biết mình có bị ung thư hay không
Trước xét nghiệm, trước khi nhận kết quả dương tính, tôi rất chắc mình không bị ung thư; nhưng thông tin mới là kết quả dương tính đã biến xác suất ung thư từ xác suất biên nhọn
P_Y(y)={0.9,0.1}thành xác suất có điều kiện hoàn toàn mù mờP_Y(y|+ve test)={0.5,0.5}Ví dụ này đến từ bài "How to measure the information gained from one symbol" của DeWeese và Meister: https://pubmed.ncbi.nlm.nih.gov/10695762/
Bài viết hay
Bản chất chủ quan của entropy và thông tin lập tức khiến tôi nghĩ đến Lý thuyết thông tin tích hợp (IIT) về ý thức, và sự vô vọng căn bản của nó
Không thể bàn về thông tin nếu không có góc nhìn. Phải có ai đó định nghĩa trạng thái
Việc con xúc xắc có 6 trạng thái cũng chỉ đúng với con người chúng ta. Còn với một con kiến có thể bị con xúc xắc rơi trúng thì sao?
Việc đưa người quan sát trở lại trong thảo luận về thông tin rất thú vị. Bởi sau đó sẽ ngay lập tức kéo theo các câu hỏi như “người quan sát được cấu thành như thế nào?”, “trong một thực thể gồm hàng nghìn tỷ tế bào, góc nhìn, tức ‘tôi’, nảy sinh ra sao?”
Nếu bạn quan tâm đến lối đi vòng này, bài viết này và cuốn sách của chúng tôi được nhắc đến trong đó đáng để đọc
https://saigaddam.medium.com/consciousness-is-a-consensus-me...