Bài tập Pen and Paper trong học máy (2022)

• Pen & Paper là một tập hợp bài tập kèm lời giải chi tiết được tạo ra để giúp độc giả đã tiếp cận lý thuyết và khái niệm machine learning đào sâu hiểu biết thông qua việc giải bài
• Khi lời giải bài tập trong giáo trình và bài giảng quá ngắn hoặc không có, cơ hội học tập rất dễ biến thành sự nản lòng, vì vậy tài liệu này hướng tới mức độ giải thích đủ chi tiết để người học có thể lần theo quá trình giải
• Coding và mô phỏng cũng quan trọng, nhưng phần lớn bài toán được thiết kế để có thể giải bằng bút và giấy, tập trung vào việc tăng cường tư duy toán học
• Các bài toán chủ yếu được tổng hợp từ bài tập của các khóa “Unsupervised Machine Learning” của University of Helsinki và “Probabilistic Modelling and Reasoning” của University of Edinburgh, với phạm vi tập trung vào phương pháp không giám sát, suy luận và học
• Michael Gutmann kỳ vọng bộ sưu tập bài toán sẽ tiếp tục được mở rộng, đồng thời công bố mã nguồn LaTeX, hướng dẫn báo lỗi qua GitHub Issues và liên hệ trực tiếp cho các đóng góp lớn hơn

---

Cuốn sách giúp đào sâu hiểu biết qua bài tập

• Như câu “use it or lose it”, kỹ năng sẽ mai một nếu không luyện tập, và khi học kỹ năng mới cũng cần áp dụng lặp đi lặp lại
• Nhiều giáo trình và bài giảng có cung cấp bài tập, nhưng nếu lời giải quá ngắn hoặc không có thì việc giải bài rất dễ trở thành nguồn gốc của sự nản lòng và bị bỏ qua
• Đây là một tuyển tập bài tập kèm lời giải chi tiết
  • Mục tiêu là đạt mức chi tiết đủ để độc giả có thể theo dõi lời giải và hiểu các kỹ thuật được sử dụng
  • Không thay thế giáo trình hay bài giảng về machine learning
  • Phù hợp với tình huống người đọc đã xem qua lý thuyết và khái niệm liên quan, rồi củng cố hiểu biết bằng cách giải bài

Cấu trúc lấy bút và giấy làm trung tâm

• Trong machine learning, coding và mô phỏng trên máy tính là rất quan trọng
• Tuy vậy, phần lớn bài toán trong sách có thể giải bằng bút và giấy
  • Cấu trúc lấy bút và giấy làm trung tâm giúp giảm dung lượng và đơn giản hóa phần giải thích
  • Hữu ích cho việc tăng cường năng lực toán học
• Nếu dùng cùng với thực hành trên máy tính, nó có thể giúp hiểu khái niệm sâu hơn

Chủ đề được đề cập và phạm vi

• Các bài toán chủ yếu là sự kết hợp tài liệu được phát triển từ hai khóa học
  • “Unsupervised Machine Learning” của University of Helsinki
  • “Probabilistic Modelling and Reasoning” của University of Edinburgh
• Không bao quát toàn bộ machine learning
• Trọng tâm được đặt mạnh vào các phương pháp không giám sát, suy luận và học
• Trong phần nội dung được cung cấp có ví dụ ở Chương 1 Linear Algebra với bài toán trực giao hóa Gram–Schmidt
  • Xác nhận bằng tích vô hướng rằng u1, u2 được tạo từ hai vector là trực giao với nhau
  • Nếu a2 là bội số của a1 thì trong quá trình trực giao hóa, u2 sẽ trở thành vector không
  • Chỉ ra rằng mọi tổ hợp tuyến tính bất kỳ của a1, a2 khi độc lập tuyến tính đều có thể được viết lại bằng u1, u2

Cách mở rộng và đóng góp

• Bộ sưu tập bài toán được định hướng sẽ lớn dần theo thời gian thông qua việc bổ sung bài mới
• Mã nguồn LaTeX được công khai tại kho lưu trữ GitHub
• Có thể báo cáo sai sót hoặc lỗi chính tả qua GitHub Issues
• Nếu muốn đóng góp lớn hơn, tài liệu hướng dẫn cách liên hệ trực tiếp

[GN⁺]

Ý kiến trên Hacker News

• Trông rất hay, nhưng điều gây bực nhất khi học machine learning là dù đào sâu lý thuyết đến đâu cũng khó thấy nó liên hệ thế nào với các lựa chọn thực tế
  Ví dụ, tôi muốn biết lý thuyết giúp thế nào trong các quyết định như số neuron trong một lớp, số lớp, hàm kích hoạt, nên dùng mạng nơ-ron hay kỹ thuật khác

  • Có thể hữu ích: https://github.com/google-research/tuning_playbook
  • Việc hầu như bài báo machine learning nào cũng có thí nghiệm ablation quy mô lớn cho từng thứ như số neuron mỗi lớp, số lớp, hàm kích hoạt, gần như là tín hiệu rằng thật ra chẳng ai biết chắc phần đó
    Đây là một lĩnh vực kiểu thử ngẫu nhiên đủ thứ rồi tìm cái chạy tốt, sao chép ý tưởng của nhau và dần hình thành vài chỉ dẫn mơ hồ
    Nếu muốn thứ gì đó logic và có thể giải thích được thì đây gần như là lĩnh vực tệ nhất; phần lớn công việc là gán nhãn dataset, trả chi phí tính toán và hy vọng mọi chuyện ổn
  • Phần lớn không thể học chỉ bằng lý thuyết thuần túy hay thực hành thuần túy, và hầu như mọi thứ liên quan đến công việc hiện đại cũng vậy
    Trong machine learning, không thể suy ra mọi thứ từ lý thuyết. Nếu làm được vậy thì hiệu năng của các mô hình ngôn ngữ lớn thật sự lớn đã không khiến chúng ta ngạc nhiên đến thế
    Đồng thời, nếu không thể suy luận phần toán liên quan, sẽ khó hiểu vì sao không hiệu quả hoặc có những lựa chọn nào. Rất nhiều yếu tố đan xen với nhau: kiến trúc, hàm mất mát, hàm kích hoạt, kỹ thuật tối ưu hóa, siêu tham số, thời gian và tài nguyên huấn luyện, v.v.
  • Hiện nay thực hành machine learning đang đi trước lý thuyết rất xa. Ngay cả khi lý thuyết bắt kịp, câu trả lời cho câu hỏi có khả năng vẫn phụ thuộc vào bản chất của quá trình tạo dữ liệu, nên cuối cùng vẫn phải trả lời bằng thực nghiệm
    Tôi cho rằng giá trị của lý thuyết nằm ở việc cung cấp một khung khái niệm chung. Tương tự như lý thuyết tiệm cận của thuật toán ngày nay không nói chính xác nên dùng thuật toán nào, nhưng vẫn chỉ ra hướng đi rộng
  • Từ góc nhìn người mới, điều cốt lõi tôi rút ra từ khóa Coursera của Andrew Ng, đặc biệt là phần mạng nơ-ron, là việc thêm nhiều neuron và lớp hơn “mức tối thiểu cần thiết” thường vẫn ổn
    Nếu xét đến các hạng regularization hợp lý thì rủi ro overfitting không quá lớn, nhưng đáng tiếc là không có quy tắc nào cho giá trị tối thiểu đó nên phải thử và sai. Ngược lại, nếu cứ làm mạng lớn bừa bãi thì sẽ kém hiệu quả và cuối cùng chậm đi
    Với lớp đầu ra, hàm kích hoạt phần lớn do bài toán cần giải quyết quyết định; với các lớp bên trong thì thường bắt đầu bằng ReLU, rồi thử các biến thể phổ biến theo các heuristic phù hợp với bài toán
    Tất nhiên cũng nên cân nhắc lấy một mô hình khác đã thành công ở bài toán tương tự làm điểm xuất phát

• Thật sự gọn gàng. Làm tôi nhớ đến các bài tập AI By Hand của Tom Yeh: https://www.byhand.ai/

  • Tôi đã mong chờ thứ như thế này, rất cảm ơn. Bài báo trong bài gốc cũng hay, nhưng có cảm giác nó chỉ dễ nghe với những người đã biết nội dung rồi
    Bản thân tài liệu thì rất tuyệt vời cho người đã biết các nội dung đó

• Trông gọn gàng. Nhưng hơi tiếc là lời giải nằm ngay sau đề, nên khó tránh việc đọc đáp án của bài tiếp theo trước khi tự suy nghĩ

• Rất hay. Tôi đang làm về machine learning nhưng vẫn có hội chứng kẻ mạo danh với nền tảng toán, đặc biệt là đại số tuyến tính và các phép toán ma trận/tensor
  Tôi muốn biết thêm các bộ bài tập tập trung vào năng lực nền tảng của deep learning. Cách hợp với tôi nhất là mỗi ngày tự làm một chút và học từ góc nhìn của nhiều giáo viên khác nhau

• Trong số các practitioner hiện đang tạo ra machine learning “hữu ích”, có bao nhiêu người có thể giải được một phần các bài này? Và họ có cần phải làm được không?

  • Tôi nghĩ là không. Không nhất thiết phải giải được, cũng không cần như vậy
    Những bài tập này hữu ích cho độ chín toán học, thứ dẫn đến trực giác cần thiết để phát triển thuật toán mới hoặc tối ưu hóa cấp thấp
    Trong trường hợp thông thường là huấn luyện, triển khai và sử dụng các thuật toán machine learning hiện có thì không cần
  • Tin tốt là nếu bạn không quan tâm đến việc mở rộng các kỹ thuật mới nhất và chỉ muốn gọi API, thì không cần học sâu về machine learning
  • Còn tùy bạn định nghĩa “practitioner machine learning”, “tạo ra” và “machine learning” như thế nào. Nhìn vào phần tối ưu hóa, có những người hiểu rất rõ phần này, đến mức có thể nhanh chóng lặp trong đầu các hàm mất mát khả dĩ, cách cập nhật tham số và những điểm có thể thất bại
  • Một số người xem việc học như việc vặt và chỉ muốn học mức tối thiểu cần thiết để hoàn thành công việc. Những người khác lại tìm được insight và niềm vui trong việc học, thích giải bài và đọc tài liệu
    Cả hai cách tiếp cận đều có thể đóng góp và dẫn đến thành công, nhưng cách làm khác nhau
  • Tôi cũng tò mò điều tương tự. Tôi đã làm kỹ sư machine learning vài năm và cũng có vài bằng cấp trong lĩnh vực này
    Lướt qua tài liệu thì tôi nhận ra gần như tất cả, nhưng nếu bị hỏi không có ngữ cảnh thì có lẽ tôi sẽ không nhớ ra nhiều chủ đề. Có lẽ đã có thời tôi làm được
    Tôi tò mò mọi người còn nhớ những nội dung này đến mức nào. Không biết tôi là kẻ lừa đảo vốn dở toán, hay việc quên dần theo thời gian nếu không dùng thường xuyên là bình thường

• Đẹp ở chỗ có cả lời giải. Tôi cũng quan tâm nếu có thêm các bài tập giấy bút như thế này cho những chủ đề khác

  • Không biết bạn đang nói đến chủ đề nào khác, nhưng chỉ riêng “1000 exercises in probability” cũng đủ khiến bạn bận một thời gian. Có thể tìm PDF trên mạng
    Với các câu đố thiên về toán khác, hãy xem “The colossal book of short puzzles and problems” và “The art and craft of problem solving”

• Đã từng được thảo luận trước đây: Pen and paper exercises in machine learning (2021) - https://news.ycombinator.com/item?id=31913057 - tháng 6 năm 2022, 55 bình luận

• Thật buồn cười khi các nhà toán học lúc nào cũng cố lén nhét đại số tuyến tính và lý thuyết ma trận vào machine learning. Nếu không biết rõ, người ta có thể tưởng giới học thuật đã phát minh ra các mô hình ngôn ngữ lớn và là chuyên gia cần được tham vấn
  Ngược lại, tôi cho rằng giới học thuật và các nhà lý thuyết đã làm machine learning chậm lại, coi thường kỹ thuật tính toán quá mức và ép nhiều thế hệ nghiên cứu sinh làm các chứng minh ký hiệu như ví dụ này

  • Nếu muốn đóng góp cho machine learning chứ không chỉ dùng các kỹ thuật hiện có, năng lực toán học là yếu tố hạn chế lớn nhất
    Có ai đang đóng góp mà lại không thành thạo đại số tuyến tính không?
    Và tôi cũng thắc mắc vì sao lại tóm gọn cả lĩnh vực bằng các mô hình ngôn ngữ lớn
  • Góc nhìn thú vị. Bạn có thể giới thiệu tài liệu nào ưu tiên kỹ thuật tính toán hơn chứng minh ký hiệu không?
  • Thú vị đấy. Bạn có thể chia sẻ một ví dụ như vậy không?

• arXiv chẳng phải là nơi dành cho các bài báo cấp độ nghiên cứu sao? Tôi ngạc nhiên khi thấy loại tài liệu này được đưa lên đó