Thống kê Bayes: Ba nền văn hóa

Bayes chủ quan (Subjective Bayes)

• Trường phái Bayes chủ quan truyền thống giả định phân phối sinh dữ liệu (tức là likelihood như một hàm của tham số)
• Với giả định đó, niềm tin trước được mã hóa thành phân phối tiên nghiệm trên tham số
• Sau đó thực hiện suy luận hậu nghiệm và không ngoái lại
• Ngày nay không rõ liệu có ai còn nghiêm ngặt tuân theo triết lý này hay tự xem mình là người theo trường phái Bayes chủ quan hay không

Bayes khách quan (Objective Bayes)

• Triết lý "Bayes khách quan" xuất phát từ sự kết hợp giữa mong muốn thực hiện kiểm định giả thuyết (dùng Bayes factor) và cảm nhận mạnh mẽ về điều Andrew gọi là "Bayes cringe"
• Trích từ bài báo của một người ủng hộ hàng đầu:

Phân tích tham chiếu tạo ra suy luận Bayes khách quan theo nghĩa rằng các phát biểu suy luận chỉ phụ thuộc vào mô hình được giả định và dữ liệu sẵn có, đồng thời phân phối tiên nghiệm được dùng trong suy luận chứa lượng thông tin tối thiểu theo nghĩa thông tin học

• Việc tổ chức hội nghị, xuất bản sách có "Bayes khách quan" trong tiêu đề, v.v. cho thấy vẫn còn nhiều người thực hiện công việc mang đặc trưng này
• Đây cũng phần nào là nền tảng phía sau các phân phối tiên nghiệm gamma(epsilon, epsilon) và normal(0, 10_000) được dùng rộng rãi trong các ví dụ BUGS

Bayes thực dụng (Pragmatic Bayes)

• Andrew theo đuổi triết lý mà ông gọi là "Bayes thực dụng"
• Điều này được trình bày rõ trong ấn bản đầu tiên của cuốn "Bayesian Data Analysis" của Gelman, Carlin, Stern và Rubin

1. Thiết lập một mô hình xác suất đầy đủ, là phân phối xác suất chung cho mọi đại lượng có thể quan sát và không thể quan sát. Mô hình phải nhất quán với hiểu biết về bài toán khoa học nền tảng và quá trình thu thập dữ liệu
2. Tính toán và diễn giải phân phối hậu nghiệm phù hợp, tức phân phối xác suất có điều kiện của các đại lượng không quan sát được mà ta quan tâm, với điều kiện là dữ liệu đã quan sát
3. Đánh giá độ phù hợp của mô hình và hàm ý của phân phối hậu nghiệm kết quả: mô hình khớp với dữ liệu đến mức nào, các kết luận thực chất có hợp lý hay không, và kết quả nhạy cảm ra sao với các giả định mô hình ở bước 1. Từ đó có thể sửa đổi hoặc mở rộng mô hình rồi lặp lại ba bước

• Đây chính là quy trình mà sau này Andrew gọi là "workflow"

Quy trình vận hành tiêu chuẩn trong kỹ thuật

• Đây là quy trình vận hành tiêu chuẩn trong kỹ thuật, được gọi là "thiết kế lặp"
• Gần như toàn bộ machine learning đều được thực hiện theo cách này
• Là người xuất thân từ CS và ML, tôi đã sốc khi biết rằng các nhà thống kê lại không suy nghĩ theo cách đó

Bổ sung về chiến lược khi viết BDA

• Andrew nói rằng vào đầu quá trình viết ấn bản đầu tiên của BDA, ông đã đưa ra quyết định rõ ràng là bỏ qua triết học và đơn giản là cứ "làm" khoa học
• Ông và Rubin đã không đặt tên cho quy trình thiết kế lặp của mình
• Đây là một lựa chọn khôn ngoan vì rất khó mô tả chính xác niềm tin triết học của người khác, và còn khó hơn nữa để thay đổi chúng thông qua tranh luận
• Nếu phương pháp khoa học cần những điều khoản miễn trừ kiểu triết học khoa học, thì có lẽ đó không phải là khoa học quá thuyết phục

Bổ sung về likelihood vs phân phối tiên nghiệm

• Tôi đồng ý với quan điểm của Andrew rằng việc chọn phân phối tiên nghiệm không "chủ quan" hơn hay kém "chủ quan" hơn so với việc chọn likelihood
• Andrew tóm lược điều này ngắn gọn trong bài viết "căng sức với con muỗi là phân phối tiên nghiệm trong khi lại nuốt chửng con lạc đà là likelihood"

Bổ sung về niềm tin vs tri thức

• Về mặt triết học, tôi thích đặc trưng nhận thức luận của phân phối tiên nghiệm và likelihood dưới góc độ "tri thức" hơn là "niềm tin"
• Đây là khuôn khổ do Laplace đưa ra đầu tiên, được John Stuart Mill khảo sát kỹ hơn, và được Gelman cùng cộng sự theo đuổi trong BDA

Bổ sung về nguồn gốc nhan đề của bài viết này

• Năm 1959, C.P. Snow viết bài luận nổi tiếng "Hai nền văn hóa" về nghệ thuật vs khoa học
• Năm 2001, L. Breiman viết bài luận có ảnh hưởng "Mô hình hóa thống kê: Hai nền văn hóa" về sự phân biệt giữa việc mô hình hóa tường minh quá trình sinh dữ liệu và việc dùng các mô hình cực kỳ linh hoạt
• Breiman ủng hộ decision forest trong công trình của ông, và cách tiếp cận đó vẫn chiến thắng trong các cuộc thi Kaggle nơi không có đủ dữ liệu để huấn luyện các mạng nơ-ron hiện đại ở trình độ tiên tiến nhất
• Tôi tự hỏi liệu Andrew có xem decision forest và mạng nơ-ron là ví dụ cho điều ông gọi là "bông hoa đang nở" hay không

Ý kiến của GN+

• Hai cách tiếp cận truyền thống là Bayes chủ quan và Bayes khách quan đều quá cực đoan. Cách tiếp cận Bayes thực dụng đưa ra một điểm thỏa hiệp thực tế và hữu ích
• Đồng ý với quan điểm rằng việc chọn phân phối tiên nghiệm cũng mang tính chủ quan như việc chọn likelihood. Mọi thành phần của mô hình đều đi kèm tính chủ quan và các giả định
• Cách tiếp cận "workflow" gồm đánh giá mô hình, kiểm tra hiệu năng dự báo và lặp lại khi cần nên trở thành tiêu chuẩn trong khoa học
• Việc dùng các phân phối tiên nghiệm giàu thông tin dựa trên dữ liệu quá khứ không hề hiếm, và nên được khai thác nhiều hơn trong các phân tích Bayes
• Cuối cùng, tập trung vào việc thực sự làm khoa học thay vì sa vào triết lý của suy luận Bayes là một chiến lược khôn ngoan. Tuy vậy, đôi khi thảo luận về nền tảng của suy luận cũng có giá trị