Công nghệ trí tuệ nhân tạo xác suất
(arxiv.org)- Trí tuệ nhân tạo xác suất vượt ra ngoài các AI chỉ đưa ra giá trị dự đoán, tập trung vào cách suy luận về độ bất định và phản ánh điều đó vào việc ra quyết định
- Phần đầu của tài liệu tập trung vào học máy xác suất, phân biệt giữa độ bất định nhận thức phát sinh do thiếu dữ liệu và độ bất định ngẫu nhiên khó giảm thiểu, chẳng hạn như nhiễu quan sát
- Thông qua Bayesian linear regression, Gaussian process models, Bayesian neural networks, tài liệu trình bày mô hình hóa xác suất; với suy luận và dự đoán khó tính toán, tài liệu sử dụng suy luận xấp xỉ
- Phần sau giải thích cách độ bất định định hướng việc thu thập dữ liệu và khám phá trong ra quyết định tuần tự, như active learning, Bayesian optimization, reinforcement learning
- Đây là tài liệu phù hợp cho một học phần nhập môn sau đại học kéo dài một học kỳ; sẽ dễ theo dõi hơn nếu có kiến thức về xác suất, giải tích, đại số tuyến tính và học máy cơ bản
Các vấn đề cốt lõi mà AI xác suất xử lý
- Trí tuệ nhân tạo chỉ khoa học và kỹ thuật về các hệ thống nhân tạo thực hiện những tác vụ được xem là cần một số khía cạnh của trí tuệ con người, như chơi game, dịch ngôn ngữ, lái xe
- Những tiến bộ gần đây của AI gắn liền với các cách tiếp cận dựa trên học và dữ liệu; machine learning và deep learning mở rộng cách hệ thống máy tính nhận thức thế giới
- Reinforcement learning đã đạt kết quả trong các trò chơi phức tạp như Go và các tác vụ robot như đi bằng bốn chân
- Hệ thống thông minh cần không chỉ giá trị dự đoán, mà còn khả năng suy luận về độ bất định của dự đoán và phản ánh điều đó vào lựa chọn hành động
Học máy xác suất
- Phần đầu được cấu trúc xoay quanh cách tiếp cận học máy xác suất
- Độ bất định được chia thành hai loại
- Độ bất định nhận thức (epistemic uncertainty): độ bất định bắt nguồn từ thiếu dữ liệu và có thể giảm bằng nhiều thông tin hơn
- Độ bất định ngẫu nhiên (aleatoric uncertainty): độ bất định về bản chất khó giảm, như các quan sát và kết quả có nhiễu
- Các mô hình suy luận xác suất chính gồm
- Bayesian linear regression
- Gaussian process models
- Bayesian neural networks
- Trong các mô hình này, suy luận và dự đoán thường trở nên khó về mặt tính toán, nên tài liệu cũng đề cập đến các phương pháp suy luận xấp xỉ hiện đại
Sử dụng độ bất định trong ra quyết định tuần tự
- Phần sau tập trung vào các tác vụ ra quyết định tuần tự, trong đó cần thu thập dữ liệu và lựa chọn hành động theo thời gian
- Active learning và Bayesian optimization là các cách tiếp cận thu thập dữ liệu bằng cách đề xuất những thí nghiệm hữu ích để giảm độ bất định nhận thức
- Reinforcement learning là một khuôn khổ mô hình hóa các agent học hành động trong môi trường bất định
- Từ dạng cơ bản của Markov Decision Processes, nội dung tiếp nối đến các cách tiếp cận deep RL hiện đại sử dụng xấp xỉ hàm bằng mạng nơ-ron
- Cuối cùng, tài liệu trình bày các cách tiếp cận model-based RL sử dụng cả độ bất định nhận thức và độ bất định ngẫu nhiên để định hướng khám phá, đồng thời cân nhắc cả tính an toàn
Đối tượng độc giả và kiến thức nền tảng
- Có thể dùng làm tài liệu cho một học phần nhập môn sau đại học kéo dài một học kỳ về học máy xác suất và ra quyết định tuần tự
- Tài liệu hướng đến độc giả có nhiều nền tảng khác nhau, nhưng giả định có các kiến thức cơ bản sau
- Các khái niệm cơ bản về xác suất
- Giải tích
- Đại số tuyến tính
- Học máy cơ bản, bao gồm mạng nơ-ron
- Chương 1 giới thiệu nhẹ nhàng về suy luận xác suất cho các nội dung về sau, đồng thời ôn lại các khái niệm cốt lõi của lý thuyết xác suất
- Phần cuối bản thảo có một chương ôn lại các khái niệm cốt lõi của nền tảng toán học bổ sung
Cấu trúc học tập
- Tập trung vào các khái niệm và ý tưởng cốt lõi hơn là tiến trình lịch sử
- Việc học sâu hơn và bối cảnh lịch sử được thiết kế để tiếp nối thông qua tài liệu tham khảo
- Cuối mỗi chương có bài tập
- Các mục được nhấn mạnh trong phần nội dung kèm dấu hỏi chỉ đến bài tập
- Lời giải của tất cả bài tập có thể được xem ở phần cuối bản thảo
1 bình luận
Các ý kiến trên Hacker News
Bài viết có các sơ đồ minh họa rất tốt, và trông như một phần tổng quan chất lượng cao, điểm qua khá đầy đủ về mặt toán học đối với machine learning từ góc nhìn xác suất
Gần đây, giáo trình miễn phí và bài giảng YouTube của Zhao, Mathematical Foundation of Reinforcement Learning, cũng rất ấn tượng: https://github.com/MathFoundationRL/Book-Mathematical-Founda...
Nếu không có nhiều thời gian, ít nhất cũng nên xem sơ đồ tổng quan mục lục của Zhao, rất hữu ích như một bản đồ khái niệm cho toàn bộ lĩnh vực: https://github.com/MathFoundationRL/Book-Mathematical-Founda...
Nếu có thể thì cũng nên xem video giới thiệu
Tôi đã xem tài liệu này vài ngày trước, và lý do đáng để đọc nghiêm túc là vì Andreas Krause đã có những nghiên cứu sâu và thú vị trong lĩnh vực quá trình Gaussian và bandit
[1] https://scholar.google.com/scholar?start=10&q=andreas+krause...
Có thể là câu hỏi ngớ ngẩn, nhưng LLM có thể cho biết xác suất của câu trả lời mà nó vừa đưa ra không? Tức là tôi tò mò liệu nó có thể biến đổi giống như logic mờ không
Xa hơn nữa, nó có thể nói mình tin vào chính mình đến mức nào không? Ý tôi là xác suất để xác suất ở trên là đúng, tức độ tin cậy hay kiểu logic mờ trực giác
Hồi lâu trước ở đại học tôi từng học qua những thứ này, và cũng từng làm một trình thông dịch Prolog trong đó mỗi mục có F+IF, tức xác suất và hệ số tin cậy
Nếu có đủ tài nguyên tính toán, có thể dùng beam search rồi dùng LLM đánh giá trong các câu trả lời thu được có bao nhiêu câu về thực chất là cùng một đáp án, từ đó tạo ra một chỉ báo thay thế cho “độ tin cậy”
Để đơn giản hóa, nếu xem token là từ, ta có thể thấy xác suất của từng từ theo thứ tự câu. Tuy nhiên tôi không rõ nên đánh giá việc đó thành xác suất của cả câu hay xác suất về tính đúng đắn như thế nào
Tôi không phải dân toán và cũng biết “xác suất” có ý nghĩa toán học phức tạp hơn, nhưng từ góc nhìn “vì sao lại tin mạnh như vậy?”, tôi thấy nó đưa ra các giải thích khá tốt để có thể đồng ý hoặc phản biện
Nếu tôi thêm ngữ cảnh mà mình biết, nó cũng tinh chỉnh ước lượng. Vì vậy dạo này tôi dùng LLM như một hệ thống liên kết ngữ cảnh, để xem trước liệu các điểm có khả năng kết nối với nhau hay không trước khi tự mình nối chúng
Phần khó là hiệu chỉnh dự đoán, và quyết định liệu dùng dung lượng mô hình cho định lượng độ bất định có tốt hơn việc tạo ra một mô hình bất định lớn hơn hay không
https://en.wikipedia.org/wiki/Calibration_(statistics)
Ví dụ: Efficient and Effective Uncertainty Quantification for LLMs (https://openreview.net/forum?id=QKRLH57ATT)
Có vẻ cần một GUI cho mô hình nếu muốn phổ biến hóa khả năng diễn giải để cả game thủ cũng có thể khám phá mô hình. Về cơ bản là huấn luyện một mô hình khác để biến LLM thành dạng 3D rồi đặt nó vào một thế giới 3D mà con người có thể hiểu được
Ví dụ đơn giản hơn, có thể hình dung LLM được biểu diễn bằng một cánh đồng xanh và các vật thể, trong một không gian nơi chỉ con người là tác nhân
Bạn đứng gần một con khỉ, thấy một cái miệng đang nhai gần đó và đi về phía đó thì prompt hiện tại trở thành “monkey chews”. Gần đó có một mũi tên chỉ vào quả chuối, xa hơn là quả táo, và rất xa tận đường chân trời là một mũi tên chỉ vào lốp xe. Vì chuyện khỉ nhai lốp xe là hiếm
Những thứ ở gần là các token có khả năng cao hơn, còn những thứ ở xa là token có khả năng thấp hơn, và có thể nhìn thấy cùng lúc như thể đang ở trên một ngọn đồi. Tôi nghĩ theo cách này có thể tạo ra một AI dạng địa điểm tĩnh, nơi chỉ con người là tác nhân
Tâm trí tôi biến thành một trung tâm thương mại lớn vô hạn, mỗi lối đi là một nhánh suy nghĩ diễn ra đồng thời, và danh sách nguyên liệu chung phía trên mỗi lối đi được lấp đầy bằng những từ ngữ, cảm xúc, khái niệm liên quan đến nhánh đó
Hệ thống phát thanh thay thế độc thoại nội tâm của tôi; tôi không còn độc thoại nội tâm nữa, nhưng suy nghĩ của tôi được nghe thấy từ bên ngoài như giọng của người khác
Khi bước qua các lối đi đó, tôi có thể kinh ngạc nhìn thấy một mạng lưới suy nghĩ đồng thời khổng lồ, có tính fractal và phụ thuộc lẫn nhau, do não tạo ra theo thời gian thực
Có lẽ vì thế mà token và ngôn ngữ lại hữu ích với con người đến vậy. Chúng có thể là thứ tương tự gần nhất mà chúng ta có
Với tài liệu tương tự hoặc ít nhất có phần chồng lấn, tôi nhớ đến Introduction to Statistical Learning của Gareth James và cộng sự, có thể xem là sách tham khảo hàng đầu về chủ đề này
Tài liệu này có thể dễ tiếp cận hơn một chút, nhưng cuốn kia thì các ví dụ R/Python cũng hữu ích
[1] https://www.statlearning.com/
Thành thật mà nói, dạo này tôi không còn khuyên đọc ISLR nữa. Tôi thấy nó quá cũ rồi
Có vẻ Kevin Murphy sẽ chạy tới để đổi tên bộ Probabilistic Machine Learning của mình
Cách phân biệt giữa đầu vào có nhiễu, xử lý có nhiễu và chuỗi có nhiễu khá thú vị
Thực tại bản thể luận không phải là một mảng các trạng thái, mà là phân bố của các tiềm năng
Tiềm năng là thứ tồn tại, còn xác suất là mô tả toán học về phân bố đó. Mọi thuộc tính đều là chiều, tức là vector. Trạng thái chỉ là phép đo nhất thời của sự giải quyết
Tiềm năng tương tác thông qua giao thoa tăng cường và giao thoa triệt tiêu, và giao thoa tăng cường/triệt tiêu được giải quyết thành trạng thái trong phép đo tức thời gọi là “hiện tại”. Đây là một mệnh đề trong đó tính tất yếu sụp đổ
Thực tại bản thể luận không phải là một mảng trạng thái, mà là quá trình các tiềm năng được phân bố
Gemini 2.0 Experimental 02-05 xem tài liệu này “chỉ” là 107K token
Hữu ích nếu bạn muốn được hỗ trợ chia nhỏ nội dung để hiểu
https://aistudio.google.com
“Xấp xỉ Laplace” là một phương pháp nhanh và thô để biến một phân bố xác suất phức tạp thành một Gaussian đơn giản, tức đường cong hình chuông
Nó hoạt động bằng cách tìm điểm cao nhất, tức mode, rồi khớp độ cong tại điểm đó
Nhanh và dễ, nhưng nếu phân bố thực không có dạng hình chuông thì có thể rất thiếu chính xác và quá tự tin
Tôi đã học môn này ở ETH Zurich, và đây là một trong những môn tôi thích nhất. Tôi đặc biệt thích cách định lượng độ bất định và cách nó xây dựng các khối nền tảng cho học tăng cường
Tôi nghĩ đây là tài liệu rất đáng đọc cho các nhà khoa học dữ liệu và kỹ sư máy học. Tài liệu này là ghi chú bài giảng của khóa đó