Thống kê Bayes: ba nền văn hóa
(statmodeling.stat.columbia.edu)- Tranh luận về thống kê Bayes không chỉ là vấn đề của riêng phân phối tiên nghiệm, mà còn dẫn đến khác biệt trong cách Bayes chủ quan, khách quan và thực dụng nhìn nhận mô hình cũng như quá trình kiểm tra
- Bayes chủ quan là cách truyền thống: giả định phân phối sinh dữ liệu, sau đó mã hóa niềm tin tiên nghiệm về tham số thành phân phối tiên nghiệm và tiến tới suy luận hậu nghiệm
- Bayes khách quan cho rằng suy luận chỉ nên phụ thuộc vào mô hình đã giả định và dữ liệu, còn phân phối tiên nghiệm phải là ít mang thông tin nhất theo nghĩa lý thuyết thông tin
- Bayes thực dụng xây dựng mô hình xác suất chung cho toàn bộ các đại lượng quan sát được và không quan sát được, điều kiện hóa theo dữ liệu, rồi kiểm tra độ phù hợp của mô hình và kết luận; nếu cần thì lặp lại
- Quá trình lặp này gần với thiết kế lặp trong kỹ thuật và cách làm việc phổ biến trong machine learning, khiến phân tích Bayes được nhìn nhận như một workflow mô hình hóa thực tế hơn là một triết lý cố định
Phân biệt ba nền văn hóa Bayes
- Bayes chủ quan trước hết giả định phân phối sinh dữ liệu, tức likelihood nếu nhìn như một hàm của tham số
- Dưới giả định đó, niềm tin sẵn có về tham số được biểu diễn bằng phân phối tiên nghiệm
- Sau đó thực hiện suy luận hậu nghiệm và gần như không quay lại xem xét nữa
- Không chắc liệu trong thực tế đã từng có ai tuân thủ nghiêm ngặt triết lý này hay ngày nay có ai tự đăng ký mình là Bayesian chủ quan hay không
Động cơ của Bayes khách quan và reference prior
- Bayes khách quan có thể được xem là một triết lý xuất phát từ sự kết hợp giữa mong muốn dùng kiểm định giả thuyết, đặc biệt là Bayes factor, và “Bayesian cringe”
- Bài báo năm 2009 của Berger, Bernardo, Sun về reference prior giải thích rằng reference analysis tạo ra suy luận Bayesian khách quan
- Mệnh đề suy luận chỉ phụ thuộc vào mô hình đã giả định và dữ liệu sẵn có
- Phân phối tiên nghiệm được sử dụng phải là ít mang thông tin nhất theo một nghĩa lý thuyết thông tin cụ thể
- Dòng tư tưởng này vẫn tiếp tục thông qua các hội nghị và những cuốn sách có tiêu đề “objective Bayes”
- Các phân phối tiên nghiệm rộng
gamma(epsilon, epsilon)vànormal(0, 10_000)được dùng trong ví dụ BUGS cũng phần nào đứng sau dòng tư tưởng này
Bayes thực dụng và ba bước của BDA
- Cách tiếp cận của Andrew Gelman có thể được gọi là Bayes thực dụng
- Ấn bản đầu tiên của Bayesian Data Analysis của Gelman, Carlin, Stern, Rubin lý tưởng hóa quá trình phân tích dữ liệu Bayesian thành ba bước
- Thiết lập một mô hình xác suất hoàn chỉnh cho toàn bộ đại lượng quan sát được và không quan sát được, tức một phân phối xác suất chung
- Điều kiện hóa theo dữ liệu quan sát để tính toán và diễn giải phân phối hậu nghiệm của các đại lượng không quan sát được mà ta quan tâm
- Đánh giá độ phù hợp của mô hình, tính hợp lệ của các kết luận do phân phối hậu nghiệm hàm ý, và độ nhạy đối với các giả định mô hình hóa
- Nếu có vấn đề, thay đổi hoặc mở rộng mô hình rồi lặp lại cùng ba bước đó
- Ở đây mô hình xác suất là mô hình chung bao gồm cả phân phối tiên nghiệm và likelihood
- Đầu vào được diễn đạt là “knowledge” hơn là “belief”
- Quá trình đánh giá mô hình khớp dữ liệu đến mức nào và kết quả dự đoán ra sao, rồi thử lại nếu có vấn đề, về sau được gọi là “workflow”
Thiết kế lặp quen thuộc trong kỹ thuật và machine learning
- Cách này giống quy trình vận hành chuẩn mà trong kỹ thuật gọi là thiết kế lặp (iterative design)
- Hầu như toàn bộ machine learning cũng được thực hiện theo cách này
- Từ nền tảng khoa học máy tính và machine learning, điều đáng ngạc nhiên là các nhà thống kê không phải lúc nào cũng nghĩ theo cách như vậy
Chiến lược của BDA và tránh tranh luận triết học
- Khi viết ấn bản đầu tiên của BDA, Andrew Gelman đã chọn hướng thực sự “làm” khoa học thay vì bàn dài về triết học
- Gelman và Rubin không đặt một tên riêng cho quá trình thiết kế lặp của mình
- Vì khó định nghĩa chính xác niềm tin triết học của người khác, và càng khó thay đổi chúng bằng tranh luận, lựa chọn này có vẻ khôn ngoan
- Gần với “show, don’t tell”, đây là cách tiếp cận thể hiện phương pháp luận thông qua mô hình hóa thực tế và thực hành khoa học thay vì tranh luận triết học
Phân phối tiên nghiệm và likelihood cần được xử lý cùng nhau
- Một phần thảo luận nói về phân phối tiên nghiệm, nhưng việc chọn phân phối tiên nghiệm không chủ quan hơn hay kém chủ quan hơn việc chọn likelihood
- Bài viết của Andrew Gelman “Straining on the gnat of the prior distribution while swallowing the camel that is the likelihood” tóm tắt quan điểm này
- Về mặt triết học, cách được ưa chuộng hơn là xử lý phân phối tiên nghiệm và likelihood bằng biểu đạt nhận thức luận knowledge thay vì “belief”
- Cách đóng khung này lần đầu được Laplace đưa ra, được John Stuart Mill khám phá sâu hơn, và Gelman cùng các cộng sự cũng đi theo trong BDA
Dòng phả hệ của tiêu đề và hai nền văn hóa của Breiman
- Năm 1959, C.P. Snow viết “The two cultures”, bàn về sự đối lập giữa nghệ thuật và khoa học
- Năm 2001, L. Breiman viết bài có ảnh hưởng “Statistical modeling: the two cultures”
- Sự đối lập của Breiman nói về khác biệt giữa cách mô hình hóa rõ ràng quá trình sinh dữ liệu và cách sử dụng các mô hình rất linh hoạt, tương ứng với mô hình dung lượng cao theo thuật ngữ machine learning
- Trong nghiên cứu của mình, Breiman ủng hộ decision forests; trong các cuộc thi Kaggle không có đủ dữ liệu để khớp các mạng neural hiện đại, cách tiếp cận này vẫn đang chiến thắng
- Bài viết kết thúc bằng câu hỏi liệu decision forests và neural networks có thuộc về trường hợp mà Andrew gọi là “unfolding flower” hay không
1 bình luận
Các ý kiến trên Hacker News
Có thể hiểu tác giả chia phái Bayes theo hai trục: (1) mức độ đặt phân phối tiên nghiệm giàu thông tin dựa trên tri thức hay niềm tin về thế giới, (2) có lặp đi lặp lại chỉnh sửa dạng hàm của mô hình dựa trên độ khớp và tính hợp lệ, hữu ích của đầu ra hay không.
Trong các tổ hợp này, tác giả gọi 3 kiểu là giàu thông tin + lặp = thực dụng, giàu thông tin + không lặp = chủ quan, không giàu thông tin + không lặp = khách quan; nhưng điều khó đồng tình nhất là ô không giàu thông tin + lặp lại lại bị để trống.
Tôi nghĩ đa số những người trong ngành tự gọi mình là Bayesian đều thuộc ô này. Dạng hàm của mô hình, tức quá trình sinh dữ liệu được giả định, đương nhiên nên và cần được cải thiện lặp lại; còn dữ liệu thường đủ lớn để lấn át phân phối tiên nghiệm, nên tiên nghiệm thường là không giàu thông tin hoặc chỉ giàu thông tin ở mức yếu.
Vì vậy toàn bộ cột không lặp có cảm giác như một người rơm, nhưng tác giả nói rõ rằng chính ông cũng từng tin như vậy rồi “bị sốc khi biết các nhà thống kê không nghĩ như thế”.
Những tình huống phân tích thay đổi theo dữ liệu, như “khu vườn những lối rẽ”, dường như cũng là nguyên nhân trực tiếp của cuộc khủng hoảng thống kê và nhận thức luận trong khoa học ngày nay. Bản thân việc lặp lại không xấu, nhưng hàm mục tiêu được tối ưu hóa thường khác với điều khoa học mong muốn.
Với nhà nghiên cứu khoa học thực tế, việc điều chỉnh mô hình lặp đi lặp lại có thể cảm thấy như một hành vi thiếu trung thực nào đó, và điều này cũng có vẻ liên quan sâu sắc đến nhận thức luận khiếm khuyết mà nhiều lĩnh vực đã hội tụ về: p<0.05 thì đúng, không thì sai.
Nói cách khác, số bậc tự do mà người phân tích kiểm soát có thể là cốt lõi của sự khó chịu. Trong bối cảnh Bayes, nếu chọn phân phối tiên nghiệm bằng niềm tin hoặc dữ liệu quá khứ, người phân tích có quyền kiểm soát rất lớn đối với kết quả sẽ ra sao.
Vì vậy tôi nghĩ nhiều lĩnh vực đã nghiêng về một tập các kiểm định “chuẩn” thay vì xây dựng các mô hình thống kê tốt. Những kiểm định này lấy hầu hết các núm điều chỉnh khỏi tay người phân tích và nhìn chung hoạt động bảo thủ hơn.
Cũng có thể tôi đang nhìn sai hướng hoàn toàn, nhưng không biết suy nghĩ hay cách hiểu của mình lệch ở đâu.
Tôi nhớ thời đại học, khi các giáo sư tranh luận bất tận về Bayes so với tần suất luận.
Bài viết rất súc tích, đồng thời giải thích vì sao ngay cả các giáo sư Bayes cũng khác nhau trong cách tiếp cận nghiên cứu và phân tích. Tôi không biết đến phe thứ ba là Bayes thực dụng, nhưng nó chắc chắn khớp với nghiên cứu của một giáo sư từng rất kỹ lưỡng trong việc khớp xác suất và lặp lại nhiều lần để làm đúng phân phối tiên nghiệm và hàm mật độ xác suất chung.
Tôi cũng rất khuyến nghị các nhà khoa học dữ liệu xem bài giảng “Andrew Gelman - Bayes, statistics, and reproducibility (Rutgers, Foundations of Probability)” của Andrew Gelman.
Bayes chủ quan là người rơm mà giới học thuật tần suất luận thích công kích, Bayes khách quan là hình ảnh tự thân ngây thơ của nhiều học giả Bayes, còn Bayes thực dụng là cách tiếp cận của những người thực hành áp dụng thống kê vào điều gì đó thật sự, hay theo cách nói của Gelman là những người làm khoa học.
Tôi vẫn nghĩ xu hướng người Mỹ ghét quan điểm tần suất luận mạnh hơn là vì nó đòi hỏi nền tảng toán học vững hơn.
Tôi luôn không thích bầu không khí buộc phải quyết định mình thuộc “câu lạc bộ” nào, đứng về “phe” nào. Tôi cũng không thích ý tưởng rằng các vấn đề thấy trong khoa học ngày nay có thể bị quy giản thành việc chọn triết lý suy luận nào.
Ở nhiều khía cạnh, tôi gần với hướng lý thuyết thông tin hơn, và nếu buộc phải nói thì có thể là Bayes khách quan, nhưng thật ra tôi không phải tần suất luận cũng không phải Bayes.
Cách phân loại “ba nền văn hóa” này trông hơi giống một màn đánh tráo. Văn hóa “thực dụng” không loại trừ Bayes chủ quan hay khách quan, nên nó không nói được mấy về việc phải chỉ định hoặc diễn giải phân phối tiên nghiệm như thế nào.
Gelman có thể sẽ nói thuật ngữ tốt hơn là thứ gì đó như “tính linh hoạt”, nhưng khi đó vẫn còn câu hỏi khi nào đi theo hướng khách quan, khi nào đi theo hướng chủ quan và vì sao. Có vẻ tốt hơn nếu hình thức hóa điều đó, thay vì để nó lại như một màn khói.
Ngoài ra, nếu đóng vai người bênh vực cho ác quỷ, văn hóa “thực dụng” cũng cho thấy vì sao Bayes trông đáng hoài nghi. Quy trình “chọn phân phối tiên nghiệm”, “xem nó khớp tốt đến đâu”, rồi “lặp lại” có thể trông giống tinh chỉnh mô hình hoặc p-hacking.
Tôi biết ý định không phải vậy, và cũng biết không thể làm mô hình hóa mà không tinh chỉnh, nhưng nếu tiếp cận như thế thì phân phối tiên nghiệm trông như một bậc tự do nữa để khẽ đẩy kết quả theo ý mình.
Tôi đã viết và biên tập các bài báo về suy luận Bayes, và vấn đề chưa bao giờ nằm ở lý thuyết vững chắc. Nó nằm ở cách con người thực sự sử dụng và lạm dụng nó.
Nếu muốn có một góc nhìn đúng đắn về các phương pháp tần suất luận hiện đại, tôi khuyên đọc “In All Likelihood” của Yudi Pawitawn
Các chương đầu giải thích khá trôi chảy sự khác biệt giữa mô thức tần suất luận và Bayes, đặc biệt là sức mạnh của các mô hình tần suất luận hoặc dựa trên khả năng (likelihood) được thiết kế tốt
Trừ một vài ngoại lệ, nếu người theo Bayes thực sự dùng phân phối tiên nghiệm phi thông tin, thì cùng một nhà phân tích, dù dùng mô hình Bayes hay mô hình tần suất luận, cũng phải thu được cùng một đáp án. Trong lĩnh vực tôi làm việc, người ta còn nói rằng 99% các nhà nghiên cứu dùng phương pháp Bayes đều dùng phân phối tiên nghiệm phi thông tin, nên đôi khi tôi tự hỏi có phải họ dùng Bayes chỉ để trông “ngầu” hơn và dễ qua bình duyệt hơn không
Với các mô hình phức tạp, chẳng hạn mô hình có hàng trăm hay hàng nghìn tham số, việc biết phân phối tiên nghiệm có thật sự phi thông tin trong ngữ cảnh của một tập dữ liệu cụ thể hay không có thể cực kỳ khó. Phải chờ mô hình chạy, và nếu thay đổi phân phối tiên nghiệm một cách có hệ thống thì ngay cả khi dùng tài nguyên tính toán hiệu năng cao cũng sẽ mất rất nhiều thời gian
Ngoài ra, trong môi trường Bayes, rất dễ dùng một hoặc nhiều phân phối tiên nghiệm để tình cờ “vá” được một mô hình mà nếu theo tần suất luận thì đã nổ tung với Hessian không xác định dương, qua đó đưa ra chẩn đoán rằng “mô hình có lẽ là vớ vẩn hoặc quá phức tạp so với tập dữ liệu”
Có thể cười nhạo những mô hình có độ phức tạp như vậy, nhưng trong nhiều bối cảnh ứng dụng, đó là thực tế. Ví dụ như các mô hình không-thời gian đối mặt với vấn đề “n lớn”, hoặc các mô hình đánh giá nghề cá tích hợp cung cấp thông tin về trạng thái nguồn lợi và tính bền vững
Vì vậy, dù tôi đang ở vị trí giảng dạy suy luận Bayes ở bậc sau đại học, bất mãn chính của tôi với thống kê Bayes là nó quá dễ bị các nhà phi thống kê và người mới bắt đầu lạm dụng. Điều này đặc biệt đúng hiện nay, khi phần mềm rất linh hoạt cũng mở ra cho cả các nhà phi thống kê như nhà sinh học
Nhìn chung, lập luận của Gelman rằng cả hai mô thức đều mang tính chủ quan, và dưới cùng vẫn là “rùa chồng rùa”, tức tính chủ quan, là chính xác và tôi rất đồng cảm
Theo tôi, xác suất là một khái niệm không được định nghĩa đúng đắn và không thể phản chứng. Dù vậy, về mặt kinh nghiệm nó có vẻ mô hình hóa khá tốt một số khía cạnh của thế giới. Nhưng liệu nó cũng có thể đang dẫn dắt chúng ta sai không?
Câu p(X)=0.5, tức xác suất của sự kiện X là 0.5, thực sự có nghĩa là gì? Nó có phải là một mệnh đề không? Nếu có, nó có thể bị phản chứng không, và bằng cách nào?
Nếu không phải là mệnh đề thì nó có nghĩa là gì? Tôi sẽ rất biết ơn nếu ai đó có nền tảng lý thuyết vững hơn giải thích. Tôi còn nhiều điều muốn nói, nhưng trước hết muốn nghe câu trả lời từ những người có nền tảng chặt chẽ
Mọi xác suất được định nghĩa bằng ba thứ: một tập hợp, một tập hợp các tập con của tập hợp đó — nói đơn giản là cách nhóm các thứ lại — và một hàm ánh xạ các tập con đó vào các số từ 0 đến 1. Để hợp lệ, tập hợp các tập con, còn gọi là các sự kiện, phải thỏa thêm một số quy tắc
Ví dụ p(X)=0.5 chỉ có nghĩa là một hàm nào đó gán giá trị 0.5 cho một tập con nào đó được gọi là X
Lý do điều này có vẻ hữu ích để mô hình hóa thế giới thực có thể tìm thấy ở nguồn gốc của lý thuyết. Nó không xuất hiện từ hư vô, mà được tạo ra vì người ta muốn hình thức hóa các sự kiện có vẻ ngẫu nhiên trong thế giới thực
Tung đồng xu, trò chơi may rủi, và nhiều bài toán trong vật lý thống kê thuộc loại này. Ngược lại, trong suy luận, dự báo và ước lượng ở thế giới thực, xác suất mang tính chủ quan và ít có thể định lượng hơn rất nhiều so với điều các nhà thống kê, kể cả những người Bayes, vẫn nghĩ
Xác suất có thể dẫn chúng ta sai không? Tôi nghĩ là có. Tôi ngày càng có cảm giác rằng mọi ngành khoa học dựa vào kiểm định giả thuyết thống kê như phương pháp kinh nghiệm chủ yếu về cơ bản gần như là một đống rác khổng lồ, và khủng hoảng tái lập chỉ là phần nổi của tảng băng. Bao gồm kinh tế học, tâm lý học xã hội, phần lớn y học, khoa học dữ liệu, v.v.
Tôi cho rằng những câu như p(X)=0.5 trong hầu hết trường hợp là mệnh đề không thể phản chứng. Ngay cả với tung đồng xu, nơi có thể làm nhiều thí nghiệm với chi phí thấp, bạn cũng phải tung một triệu lần mới chỉ “xác nhận” được xác suất tính toán với độ chính xác khoảng 1%. Theo chuẩn của khoa học chính xác thì rất tệ, và sẽ còn tệ hơn nếu giả định kém vững chắc hơn, không gian mẫu phức tạp hơn, hoặc chi phí tái lập cao hơn
Nếu gom lẫn các định nghĩa không tương thích với nhau, thì việc nó trông như “một khái niệm có định nghĩa không rõ ràng và không thể phản chứng” cũng không có gì đáng ngạc nhiên
Theo quan điểm Bayes chủ quan, p(X) là một giá trị đo mức độ tin chắc mà tôi hoặc một người cụ thể nào đó có rằng một mệnh đề là đúng, phán đoán về trọng lượng của bằng chứng ủng hộ hoặc phản đối nó, hoặc mức độ hiểu biết của tôi về việc nó đúng hay sai
0.5 có nghĩa là không tin chắc theo bên nào, không có bằng chứng theo bên nào hoặc bằng chứng hai phía triệt tiêu hoàn toàn, và hoàn toàn không có hiểu biết về việc mệnh đề đó có đúng hay không
Đây là một mệnh đề theo cùng nghĩa với việc “Giáo hoàng tin rằng Chúa tồn tại” là một mệnh đề. Dù Chúa có thực sự tồn tại hay không, việc Giáo hoàng tin như vậy rất có khả năng là đúng
Vì vậy, tuyên bố về niềm tin của tôi có thể dễ dàng bị phản chứng bằng tự phản tỉnh của tôi; và tuyên bố về niềm tin của người khác cũng có thể phản chứng nếu có thể hỏi người đó, người đó sẵn lòng trả lời, và ta cho rằng họ không có lý do để nói dối
Ví dụ, giả sử Nate Silver và Andrew Gelman mỗi người công bố xác suất cho kết quả của mọi cuộc đua trong kỳ bầu cử tháng 11. Sau khi có kết quả bầu cử, ta không thể nói từng xác suất riêng lẻ là đúng hay sai, nhưng có thể nói ai chính xác hơn
Đây là một câu trả lời thực dụng bác bỏ P(X)=0.5. Và ta có thể cố hiểu quyết định thực dụng này bằng một lý thuyết nào đó. Nói thêm, vì đúng chính xác 0.5 gần như là bất khả, nên kiểm tra xem nó có nằm trong một khoảng như (0.49, 0.51) sẽ hợp lý hơn
Định lý giới hạn trung tâm nói rằng nếu thực hiện các phép thử độc lập, ta có thể thu được xác suất của X, và trong giới hạn, số lần trung bình X xảy ra sẽ tiến gần p(X)
Nhưng ‘giới hạn’ nghĩa là vô hạn phép thử, nên không có chuỗi ban đầu nào quyết định được giới hạn đó. Phải chọn một N lớn làm mốc rồi lấy trung bình
Nhưng điều này có phải là riêng có của xác suất không? Nếu có một câu về thế giới như “có một cái cây ở vị trí G”, và có một thủ tục để kiểm tra câu đó, chẳng hạn “đi đến G và tìm cây”, liệu ta có thể nói thủ tục đó chắc chắn xác định được đúng sai của câu không? Luôn có các trở ngại, ví dụ “ảo ảnh trông giống cây”, v.v. Để loại trừ mọi trở ngại như vậy, ta phải giả định một quá trình quan sát lý tưởng hóa
Sự lý tưởng hóa hoạt động trong kiểm chứng xác suất là vô hạn quan sát độc lập, và điều đó cho ta p(X)
Tôi không định bênh vực chủ nghĩa tần suất; ý tôi là việc cần một lý tưởng của quá trình quan sát không nên bị xem là một trở ngại áp đảo. Tất nhiên, nếu có trở ngại mang tính nguyên lý, như việc quan sát đồng thời vị trí và động lượng trong cơ học lượng tử, thì cũng có thể từ bỏ khái niệm xác suất
Cần nhớ rằng bài viết gây tranh luận của Breiman là về phương pháp sinh so với phương pháp phân biệt. Tức là không nên bắt đầu phân tích từ việc có thể mô hình hóa quá trình tạo dữ liệu như thế nào, mà nên bắt đầu từ dự đoán
Từ dòng chảy đó xuất hiện các phương pháp hộp đen phi sinh như boosting tree, bagging, random forest, XGBoost
Ngay cả ngày nay, phần lớn công cụ học máy cổ điển cũng không mang tính sinh
Điểm hay của thống kê Bayes nằm ở chỗ nó mang tính chủ quan. Bạn không nhất thiết phải thuộc trường phái chủ quan; bạn có thể chọn cách diễn giải theo phán đoán chủ quan của mình
Tôi xem đây là điểm mạnh của chủ nghĩa Bayes. Bất kỳ công việc thống kê nào cũng thấm đẫm phán đoán chủ quan của từng con người. Không né tránh sự thật bất biến này thì trái lại còn khách quan hơn
Bayes hacking: tìm lần lặp mang lại mức ý nghĩa lớn nhất cho nghiên cứu của mình
Deep learning nằm ở đâu?
Người làm machine learning có thể dùng mô hình giống, thậm chí cùng một mô hình với các nhà thống kê Bayes, nhưng họ có xu hướng đánh giá mô hình chủ yếu, hoặc hoàn toàn, dựa trên hiệu năng dự đoán hơn là trực giác về vì sao dữ liệu lại có những giá trị như vậy
Có thể xem bài báo kinh điển “Two Cultures” của Breiman mà tiêu đề bài này tham chiếu: https://projecteuclid.org/journals/statistical-science/volum...
Dù vậy cũng đã có tiến bộ trong suy luận Bayes và deep learning Bayes, nên bạn có thể xem các framework như Pyro được xây trên PyTorch
Đặc biệt, suy luận biến phân là một họ kỹ thuật giúp các vấn đề kiểu này có thể tính toán được. Nó xuất hiện ở nhiều nơi, từ variational autoencoder đến mô hình hóa không gian trạng thái chuỗi thời gian và reinforcement learning
Nếu muốn học thêm, tôi khuyên đọc giáo trình machine learning của Murphy: https://probml.github.io/pml-book/book2.html
Bayes gán một phân phối cho các tham số rồi điều kiện hóa trên dữ liệu để thu được phân phối hậu nghiệm, và dựa vào đó thu được phân phối dự đoán hậu nghiệm cho dữ liệu mới
Ngược lại, trường phái tần suất xem tham số là các đại lượng cố định và ước lượng chỉ bằng likelihood. Ví dụ, có thể dùng maximum likelihood và cũng có thể dùng các mẹo như regularization; những thứ này cũng có thể được gán một diễn giải Bayes