Nền tảng của Computer Vision (2024)
(visionbook.mit.edu)- Foundations of Computer Vision là giáo trình nhập môn về computer vision kết hợp cả xử lý ảnh và machine learning, hướng tới không chỉ sinh viên đại học/cao học mới bắt đầu mà cả các practitioner giàu kinh nghiệm
- Sau khi lần đầu được đề xuất với MIT Press vào tháng 11 năm 2010, việc viết sách đã kéo dài hơn 10 năm, và mục tiêu ban đầu là tạo ra các chương ngắn gọn, cốt lõi đã liên tục được mở rộng giữa những thay đổi của lĩnh vực
- Cuộc cách mạng deep learning năm 2012 đã cung cấp các công cụ để biến những ý tưởng cũ thành các triển khai thực tế, và cả những khái niệm ban đầu từng bị gạt sang một bên cũng dần trở nên quan trọng trở lại theo thời gian
- Cuốn sách gồm 15 Part bao quát quá trình hình thành ảnh, học máy, xử lý tín hiệu và ảnh, bộ lọc, biểu diễn đa tỉ lệ, mạng nơ-ron, mô hình sinh, hình học 3D, chuyển động, hiểu cảnh, cho tới lời khuyên dành cho nhà nghiên cứu
- Thay vì cố bao trùm mọi thành tựu mới nhất của computer vision hoặc đi sâu vào phân tích hình dạng, theo dõi đối tượng, phân tích tư thế người hay nhận diện khuôn mặt, sách tập trung vào các khái niệm nền tảng cần thiết để hiểu nhiều ứng dụng khác nhau
Đây là cuốn sách dành cho ai
- Foundations of Computer Vision trình bày các chủ đề nền tảng của computer vision từ góc nhìn xử lý ảnh và machine learning
- Độc giả chính là sinh viên đại học và cao học bước vào lĩnh vực computer vision, đồng thời cũng hướng đến việc trở thành cuốn sách hữu ích cho những practitioner nhiều kinh nghiệm
- Sách chứa nhiều hình trực quan hóa để giúp xây dựng trực giác về các khái niệm
- Ban đầu, tác giả dự định viết một cuốn sách lớn bao quát rộng lĩnh vực, nhưng vì phạm vi của computer vision quá lớn nên đã chuyển hướng sang một cuốn nhỏ hơn
- Mỗi chương ban đầu được định giới hạn trong 5 trang trở xuống
- Giới hạn này buộc tác giả tập trung vào những khái niệm quan trọng cần thiết để hiểu từng chủ đề
- Cuối cùng, mục tiêu viết một cuốn sách ngắn vẫn không đạt được
Hành trình viết kéo dài hơn 10 năm
- Ý tưởng cho cuốn sách lần đầu được đề xuất với MIT Press vào ngày 24 tháng 11 năm 2010
- Quá trình viết không diễn ra theo đường thẳng; bản thảo không chỉ tăng dần mà có giai đoạn còn thu gọn lại trước khi lại tiếp tục mở rộng
- Toàn bộ công việc mất hơn 10 năm
- Trong quá trình viết, tác giả đã tạo ra và tinh chỉnh nhiều ví dụ, với mục tiêu giúp người đọc tự tái hiện các ví dụ đó để học
Những ý tưởng cũ vẫn tiếp tục sau deep learning
- Computer vision đã thay đổi rất nhiều trong 10 năm qua, nhưng các phương pháp hiện tại có gốc rễ sâu xa trong lịch sử computer vision và AI trước đây
- Dù tên gọi đã thay đổi và một số ý tưởng mới xuất hiện, các phương pháp ngày nay không hề tách rời khỏi những khái niệm trước đó
- Cuốn sách nhấn mạnh các chủ đề thống nhất nằm phía sau nhiều khái niệm
- Một trong những ẩn dụ trung tâm là nhiều góc nhìn (view)
- Quan sát cùng một cảnh vật lý thực từ các góc độ, cảm biến và thời điểm khác nhau
- Gom nhiều góc nhìn lại để hiểu thực tại nằm bên dưới
- Bản thân cuốn sách cũng kết hợp nhiều góc nhìn để tìm ra nền tảng của computer vision
- Cuộc cách mạng deep learning năm 2012 đã làm vững chắc hơn nền móng của computer vision và cung cấp các công cụ để biến nhiều ý tưởng được đề xuất từ thời kỳ đầu của lĩnh vực thành những triển khai hoạt động được
- Sau deep learning, một số ý tưởng ban đầu từng bị lãng quên trong một thời gian, nhưng rồi nhiều ý tưởng đã quay trở lại khi thời gian trôi qua
Phạm vi cuốn sách qua 15 Part
- Phần lớn các chương giả định người đọc đã hiểu những chủ đề được trình bày trước đó, vì vậy nên đọc theo thứ tự
- Part I: giới thiệu các bài toán thị giác, đặt chúng vào bối cảnh xã hội, trình bày các chủ đề tạo động lực, hệ thống thị giác đơn giản và các công cụ toán học cơ bản
- Part II: quá trình hình thành ảnh
- Part III: nền tảng của học máy thông qua các ví dụ thị giác và các khái niệm có thể áp dụng rộng rãi
- Part IV: nhập môn xử lý tín hiệu và ảnh, là nền tảng của computer vision
- Part V: các bộ lọc tuyến tính và ứng dụng như Gaussian kernels, binomial filters, image derivatives, Laplacian filter, temporal filters
- Part VI: biểu diễn ảnh đa tỉ lệ
- Part VII: mạng nơ-ron cho thị giác
- convolutional neural networks
- recurrent neural networks
- transformers
- Tập trung vào các nguyên lý chính hơn là các kiến trúc cụ thể
- Part VIII: mô hình thống kê của ảnh và graphical models
- Part IX: hai hướng tiếp cận mô hình hóa mạnh mẽ trong kỷ nguyên mạng nơ-ron
- Mô hình hóa sinh khảo sát các mô hình ảnh thống kê để tạo ảnh tổng hợp tuân theo quá trình hình thành ảnh tự nhiên và các quy luật hình học phù hợp
- Học biểu diễn tìm ra các biểu diễn trừu tượng hữu ích của ảnh như vector embedding
- Part X: các thách thức phát sinh khi xây dựng hệ thống thị giác dựa trên học máy
- Part XI: các công cụ hình học và ứng dụng để tái dựng cấu trúc thế giới 3D từ ảnh 2D
- Part XII: xử lý chuỗi và đo lường chuyển động
- Part XIII: hiểu cảnh và phát hiện đối tượng
- Part XIV: lời khuyên cho các nhà nghiên cứu trẻ về thuyết trình, viết bài báo và thái độ nghiên cứu hiệu quả
- Part XV: quay lại hệ thống thị giác đơn giản đã nêu ở Part I và áp dụng các kỹ thuật trong sách vào các bài toán đồ chơi
Những gì cố ý không đi sâu
- Sách không cung cấp bài tổng quan về các thành tựu mới nhất của computer vision hiện đại
- Sách cũng không đi sâu vào nhiều ứng dụng như phân tích hình dạng, theo dõi đối tượng, phân tích tư thế người hay nhận diện khuôn mặt
- Những chủ đề ứng dụng như vậy phù hợp hơn để học qua các bài báo hội nghị computer vision mới nhất và các chuyên khảo chuyên sâu
- Trọng tâm của sách là các khái niệm nền tảng, chứ không phải các kết quả mới nhất trên toàn bộ ứng dụng
Các cuốn sách liên quan được nhắc tới
- Các giáo trình computer vision tổng quát được nhắc đến gồm
- Computer Vision: A Modern Approach
- Computer Vision: Algorithms and Applications của Rick Szeliski
- Nền tảng dựa trên vật lý được trình bày tốt trong Robot Vision của Horn
- Vision của David Marr được đánh giá là cuốn sách đã đưa tác giả đến với computer vision, với trực giác và văn phong xuất sắc
- Hình học thị giác đa camera được trình bày chi tiết trong Multiple View Geometry in Computer Vision của Hartley và Zisserman
- Liên quan đến hình học 3D còn có Solid Shape của Koenderink, Three-Dimensional Computer Vision của Faugeras, và Introductory Techniques for 3D Computer Vision của Trucco và Verri
- Với các giáo trình về học máy, sách nhắc tới các tác phẩm của Mackay, Bishop, Murphy, và Goodfellow·Bengio·Courville
- Các mô hình xác suất cho thị giác được trình bày tốt trong giáo trình của Prince
- Với tri giác thị giác của con người, Vision Science: Photons to Phenomenology của Steve Palmer được nhắc đến như một tài liệu quan trọng
- Ở thị giác mức thấp có Signal Processing for Computer Vision của Granlund và Knutsson, còn thị giác mức cao có High-level Vision của Ullman
- Về ánh sáng và thị giác, Light and Color in the Outdoors của Minnaert được nhắc đến
Thông tin trích dẫn và tài liệu giảng dạy
- Mục BibTeX để trích dẫn sách bao gồm các thông tin sau
- title:
Foundations of Computer Vision - author:
Torralba, A. and Isola, P. and Freeman, W.T. - isbn:
9780262378666 - lccn:
2023024589 - series:
Adaptive Computation and Machine Learning series - year:
2024 - publisher:
MIT Press
- title:
- Bản in có thể mua tại MIT Press
- Slide dành cho giảng viên có thể tải về từ Dropbox
1 bình luận
Ý kiến Hacker News
Có một đoạn thú vị trong On Research, Writing and Speaking: “Nghe như là việc rất vất vả.” Đúng vậy. Giờ đây không còn là vấn đề thông minh hay không nữa. Đến mức này thì những người xung quanh bạn cũng đều thông minh cả. Ở bậc sau đại học, người chăm chỉ sẽ tiến xa hơn
Nhiều người nhận ra điều này khi vào đại học, nhưng bậc cử nhân vẫn còn có nội dung học khá rõ ràng và có giới hạn trên nên vẫn có thể trụ được phần nào. Trong khi đó, chương trình tiến sĩ gần như không có trần, cũng không có số lượng bài báo cố định phải đọc mỗi tuần, và cũng không có kiểu “phần này không thi”. Không phải là lợi ích của việc thông minh hơn trở nên phẳng đi, mà là đơn giản không có trần. Bạn luôn có thể đọc nhiều hơn, tiếp tục theo kịp dòng thác tài liệu, và không ngừng cải thiện thí nghiệm cũng như phương pháp
Ngoài ra còn cần kỹ năng mềm và mạng lưới quan hệ. Bạn phải đi hội nghị để nắm được dòng chảy của cộng đồng, gặp gỡ mọi người để uống cà phê hoặc ăn tối. Thay vì chờ được giao việc như thời đại học, bạn phải tự chủ động, vừa đủ hoài nghi và phê phán với các phương pháp hiện có, vừa phải đưa ra những ý tưởng mới đủ liên quan và thú vị để cộng đồng có thể hiểu và chấp nhận
Không có sự đồng bộ từ bên ngoài do bài giảng và kỳ thi mang lại, bạn phải tự quản lý thời gian, đặt ra hạn chót và thói quen cho chính mình. Những thứ này thực tế là không có giới hạn trên và kỳ vọng cũng mơ hồ. Dù bạn đã làm rất kỹ, vẫn có thể lần đầu tiên bị từ chối chỉ vì người phản biện không thấy đủ mới mẻ hoặc vì chưa hợp với xu hướng nhất thời
Cuối cùng, chương trình tiến sĩ có thể đẩy bất kỳ ai tới giới hạn tinh thần. Điều đó rất dễ gây nản, và nổi tiếng là giai đoạn cực kỳ khó khăn với nhiều nghiên cứu sinh. Tất nhiên, nếu mục tiêu chỉ là lấy bằng thì chiến lược “cố trụ” vẫn khả thi, nhưng những người nhắm tới con đường học thuật thường kỳ vọng nhiều hơn mức tối thiểu, và đặc biệt là những người từng dựa vào thành tích tốt ở bậc cử nhân càng như vậy
Một cuốn sách hay khác trong lĩnh vực này là: Computer Vision, Fifth Edition, E.R. Davies, Academic Press, ISBN-13 978-0128092842
Forsyth & Ponce cũng tốt nhưng giờ đã hơi cũ. Kinh điển về 3D thì vẫn là Multiple View Geometry của Hartley & Zisserman
Thật ngạc nhiên khi cuốn sách này được phát hành miễn phí. Biết ơn tác giả hoặc nhà xuất bản, bên nào đã quyết định công khai nó
Điều này tương phản khá rõ với những lĩnh vực khác ở Mỹ, nơi giáo sư gần như buộc sinh viên phải mua bản mới nhất của giáo trình với giá hàng trăm đô. Nhờ vậy, ngay cả những người ở các quốc gia kém dư dả về kinh tế cũng có thể tiếp cận tài liệu tốt nhất từ bất cứ đâu trên thế giới. Nhiều nơi còn chia sẻ cả tài liệu giảng dạy và video bài giảng lên mạng
Phần “Writing this book” có thể vô tình khiến người ta hiểu rằng LLM đã được dùng cho 2/3 bản thảo
Có lẽ ý ở đây là LLM đã cung cấp nhiều chất liệu để viết hơn rất nhiều, nhưng nên sửa cho rõ ràng hơn
Nhìn vào thì có vẻ như biểu đồ chỉ đang đánh dấu các sự kiện quan trọng trong lĩnh vực học máy/trí tuệ nhân tạo
Với người đang làm trong lĩnh vực này, tôi tò mò không biết nội dung này hiện còn đúng đến mức nào. Nhìn từ bên ngoài, có vẻ như phần lớn học máy, bao gồm cả thị giác máy tính, đã bị đảo lộn hoàn toàn bởi các tiến bộ trong 2 năm qua
Có rất nhiều ứng dụng thị giác máy tính thực sự tạo ra lợi nhuận được xây dựng bằng các phương pháp cổ điển như biến đổi Hough, Canny edge, SIFT, Harris corner. Nếu muốn trông như một chuyên gia nghiêm túc chứ không phải kiểu người chỉ ném ra thuật ngữ thời thượng rồi ghép API mà không hiểu nền tảng, bạn cần biết những thứ này
Cơ hội dùng các mô hình và kỹ thuật mới nhất không nhiều như người ta nghĩ. Thường là chúng không liên quan đến thế, chỉ phù hợp với các trường hợp cực kỳ đặc thù, hoặc đơn giản là mức độ phức tạp đó không cần thiết
Tôi muốn biết có khóa học thị giác máy tính nào dựa trên cuốn sách này không. Nếu có video hay tài liệu tương tự thì rất muốn biết
Tôi muốn được gợi ý một cuốn sách hay về machine vision. Theo tôi, nền tảng của machine vision hiệu quả, và rộng hơn là thị giác máy tính, nằm ở việc chọn đúng camera, hệ quang học và ánh sáng. Đầu vào tệ thì đầu ra cũng tệ, nên hình ảnh chất lượng cao là điều thiết yếu