Lỗi bóp méo hiện thực được phát hiện trong nhiếp ảnh điện toán của Apple
(appleinsider.com)- Một bức ảnh váy cưới của diễn viên hài kiêm diễn viên người Anh Tessa Coates cho thấy nhân vật thật và hình phản chiếu trong hai tấm gương có tư thế khác nhau, làm lộ ra điểm yếu trong xử lý ảnh của iPhone
- Nguyên nhân không phải là hiện tượng siêu thực, mà là lỗi nhiếp ảnh điện toán khi iPhone không thể gom các hình phản chiếu trong gương thành cùng một người
- Bức ảnh được chụp bằng chế độ toàn cảnh, và trong lúc Coates di chuyển, hình ảnh từ các khoảnh khắc khác nhau đã được ghép lại thành một ảnh duy nhất
- Thuật toán của Apple chọn hình ảnh “tốt nhất” cho từng vùng dựa trên độ bão hòa, độ tương phản, chi tiết, không bị nhòe, v.v., nhưng cuối cùng lại chọn các khoảnh khắc khác nhau cho từng tấm gương
- Trong những cảnh có sự kết hợp giữa gương và chuyển động, ngay cả smartphone đời mới cũng có thể tạo ra kết quả ghép khác với thực tế, khiến đôi khi khó có thể tin hoàn toàn vào ảnh chụp
Ba tư thế xuất hiện trong bức ảnh trước gương
- Diễn viên hài kiêm diễn viên người Anh Tessa Coates được chụp ảnh trước gương khi đang thử váy cưới
- Trong ảnh có Coates ngoài đời thật cùng hình phản chiếu ở hai bên gương, nhưng tư thế của ba hình ảnh lại khác nhau
- Một tấm gương cho thấy cô hạ tay xuống
- Tấm gương còn lại cho thấy cô chắp tay trước eo
- Nhân vật thật thì đặt tay trái bên cạnh cơ thể
- Nhìn bên ngoài thì rất kỳ lạ, nhưng nguyên nhân là lỗi phát sinh trong quá trình xử lý ảnh của iPhone
Điều đã xảy ra trong pipeline chụp ảnh của iPhone
- iPhone thực hiện hàng tỷ phép tính vào khoảnh khắc nhấn nút chụp để tạo ra một bức ảnh
- Trong trường hợp này, camera không nhận ra rằng nó đang chụp gương, và xử lý ba hình ảnh của Coates như thể đó là những người khác nhau
- Khi bức ảnh được chụp trong lúc Coates đang di chuyển, nhiều khung hình của cùng một cảnh ở các khoảnh khắc khác nhau đã được ghi lại
Chế độ toàn cảnh và ghép ảnh
- Theo cập nhật, bức ảnh này được chụp bằng chế độ toàn cảnh
- Khi chụp toàn cảnh, camera ghi lại nhiều hình ảnh trong lúc quét qua cảnh, rồi thuật toán nối chúng lại với nhau
- Thuật toán của Apple chọn hình ảnh tốt hơn ở từng phần dựa trên độ bão hòa, độ tương phản, chi tiết, không bị nhòe, v.v.
- Ảnh ghép cuối cùng lẽ ra phải là kết quả diễn giải khoảnh khắc đó theo cách đẹp nhất và thực tế nhất, nhưng do có gương xuất hiện, các khoảnh khắc khác nhau đã còn lại trong từng hình phản chiếu
Vì sao “ba Tessa” được tạo ra
- Thuật toán không thể gom nhân vật thật và hai hình phản chiếu trong gương thành cùng một người
- Khi ở mỗi vùng gương, một khung hình khác nhau được đánh giá là phù hợp hơn, ảnh cuối cùng đã đồng thời chứa các tư thế khác nhau
- Kết quả là một ảnh ghép trong đó nhân vật thật và hai hình phản chiếu thực hiện các động tác khác nhau
Khả năng tái tạo và giới hạn
- Kết quả như vậy có thể được tái tạo không chỉ trên các iPhone gần đây mà cả trên nhiều smartphone khác
- Nguyên nhân nằm ở giới hạn của nhiếp ảnh điện toán khi xử lý gương
- Một số người trẻ đã nắm bắt hiện tượng này và dùng nó để tạo ra những hình ảnh hài hước cho mạng xã hội
1 bình luận
Ý kiến trên Hacker News
Tôi nghĩ bài viết gốc[0] mà bản tóm tắt ngắn này tham chiếu có thể là nguồn tốt hơn
[0]: https://petapixel.com/2023/11/16/one-in-a-million-iphone-pho...
Những người theo chủ nghĩa thuần túy có lẽ sẽ luôn ghét ý tưởng nhiếp ảnh điện toán, nhưng tôi thật sự thích việc iPhone có thể chụp tốt ảnh ban đêm, thiếu sáng và chuyển động khi cầm tay
Tôi từng chụp được cả những bức ảnh đêm mà tôi nghĩ là bất khả thi với một cảm biến nhỏ về mặt vật lý
Nó có phản ánh cảnh thực lúc đó hoàn hảo 100% đến từng pixel không? Không, nhưng tôi không bận tâm lắm
Trước đây tôi cũng từng ghép phơi sáng HDR, ghép tiêu điểm để có độ sâu trường ảnh nông, chụp nhiều tấm một không gian đông đúc rồi ghép thành ảnh không có người và xe; tất cả đều không phải là tái hiện hoàn hảo cảnh mắt nhìn thấy, nhưng việc kết hợp nhiều mức phơi sáng vẫn làm tốt vai trò ghi lại chủ thể tôi muốn
Bản thân ống kính cũng tạo ra khiếm khuyết và biến đổi, phim và quá trình tráng rửa cũng vậy
Nhưng muốn có quyền quyết định thứ gì được chụp và nó trông ra sao không khiến bạn thành người theo chủ nghĩa thuần túy
Chính những lựa chọn đó là yếu tố biến nhiếp ảnh thành nghệ thuật
Rốt cuộc công nghệ này lấy quyền kiểm soát đó khỏi người dùng
Nếu bạn thấy ổn khi Apple quyết định chủ thể và diện mạo của bức ảnh thì không sao, nhưng tôi nghĩ nhiều người sẽ không như vậy
Chẳng mấy chốc máy ảnh có lẽ sẽ không chỉ chọn khung hình đẹp nhất cho từng người, mà còn chọn đôi mắt đẹp nhất, chỉnh đối xứng, tông da đẹp mắt nhất về thẩm mỹ, v.v.
Ở một mức độ nào đó chuyện này vốn luôn như vậy, nhưng một khi ảnh đã từ bỏ vờ rằng mình là “thật”, có vẻ như nó tất yếu sẽ đi theo hướng đó
Tôi nhớ đến cảnh chân dung thuyền trưởng trong WALL-E ngày càng béo hơn, nhưng thật ra theo thời gian thuyền trưởng trong ảnh lẽ ra phải ngày càng hấp dẫn và như tượng tạc hơn
Dù ngoài đời thì vẫn béo phì
Có thể chụp ảnh ban đêm, nhưng so với những gì cảm biến của tôi, tức đôi mắt, nhìn thấy thì nhiều khi rất khó nhận ra
Không phải là một thực tại tốt hơn chút ít, mà giống như máy ảnh tự quyết định sắp đặt ánh sáng ra sao theo cách không liên quan đến bố cục trước mặt
Cũng từng có bài nói rằng khi các giả định của iPhone về ánh sáng đẹp bị phá vỡ, nó đơn giản là làm hỏng ảnh chân dung
Có lúc tôi thích ảnh từ điện thoại 5 năm tuổi hơn ảnh từ điện thoại mới nhất, không phải vì phần cứng tốt hơn mà vì việc tinh chỉnh tệ hơn
Khi chụp những đối tượng không thường xuất hiện trong mô hình, chẳng hạn không gian chui lọt, đường ống, hay ảnh cận cảnh nha khoa, những chuyện thú vị sẽ xảy ra
Tôi từng nhận được kết quả hoàn toàn vô dụng nếu không dùng chế độ RAW, và các bước xử lý nhiếp ảnh điện toán dường như hoàn toàn không biết mình đang làm gì
Thay vì là giới hạn của cảm biến, có những lúc iPhone tự ý can thiệp nhiều hơn và khiến ảnh tệ hơn trước rất nhiều
Có lẽ chỉ cảnh sát hoặc điều tra viên bảo hiểm mới cần mô tả thực tại mà cảm biến nhìn thấy hoàn hảo đến từng pixel
Nhiếp ảnh như một nghệ thuật vốn không xoay quanh sự thuần khiết; đa số chúng ta muốn những bức ảnh phản ánh điều mình đã thấy và cách mình nhìn, và sẽ chấp nhận các bước kỹ thuật để render điều đó
Nếu mặt trăng đẹp và chiếu sáng dịu lên phong cảnh, ta muốn một bức ảnh có cả vầng trăng sáng lẫn nền tối, và điều đó có thể cần rất nhiều tính toán
Nhưng cô dâu doppelgänger, ảnh HDR quá tay, hay phong cảnh bị xóa chim và cột thì không phải là cảnh ai đó đã nhìn thấy
Nó có thể là một bức tranh đẹp, nhưng cá nhân tôi thấy nó bước sang một loại nghệ thuật khác với nhiếp ảnh
Vài tháng trước tôi gặp chuyện tương tự với Pixel 7
Trong bức ảnh con hươu này: https://photos.app.goo.gl/qChwaw9C29WVdAmr6
Nếu phóng to lên, mọi thứ ở mức chi tiết đều trông như tranh sơn dầu, đặc biệt là mặt con hươu và bức tường phía sau
Bức tường thật và con hươu thật hoàn toàn không trông như vậy, và tôi cũng không dùng bộ lọc nào
Nhiếp ảnh điện toán thật sự rất tuyệt, nhưng cũng hơi đáng lo
Ảnh chụp bằng iPhone 6s khoảng năm 2016 khi phóng to cũng trông tương tự
Những họa tiết kiểu mosaic như vậy nhìn dễ chịu hơn ảnh đầy nhiễu
Theo các định luật vật lý, ống kính và cảm biến nhỏ của điện thoại có giới hạn trong việc thu nhận ánh sáng
Phần cứng đã khá hơn nhiều nhưng vẫn chưa chạm tới giới hạn, và dù vậy bạn cũng sẽ không thích nếu điện thoại xuất thẳng ảnh RAW đầy nhiễu mà không xử lý
Cũng không thể loại bỏ phần xử lý cần thiết để chuyển sang lưới pixel và không gian màu đúng
Pixel 7 không có camera zoom chuyên dụng nên nếu đã zoom thì đó là zoom kỹ thuật số, và chất lượng giảm nhiều
Các bước xử lý phải dùng những khung hình chất lượng thấp, và kết quả như vậy thường xảy ra
Người dùng điện thoại lẽ ra không phải bận tâm chuyện này, nhưng theo kinh nghiệm, với điện thoại không có camera zoom, nhiều khi tốt hơn là chụp không zoom hoặc không vượt quá 2x rồi cắt lại sau
Có thể trong phần cài đặt sẽ giảm được mức lọc
Những chuyện như thế này xảy ra ngày càng thường xuyên, giống như một sự kết hợp đáng ngại giữa “nén tốt hơn nếu bạn không thực sự soi vào ảnh” và “cải tiến bằng AI”
Vài tuần trước tôi chụp được một bức ảnh con trai rất đẹp; bố cục, biểu cảm, tiêu điểm và ánh sáng đều hoàn hảo, chỉ có đúng một vấn đề
Thuật toán của điện thoại đã quyết định rằng bóc bỏ da của con trai tôi và thay bằng kết cấu của bức tường phía sau thì tốt hơn
Tất nhiên chắc là lỗi của tôi vì đã mua một chiếc điện thoại rẻ như Galaxy S22 Ultra, và S23 Ultra hẳn sẽ tốt hơn, nhưng lúc đó nó vẫn chưa ra mắt
Vì vậy tôi bật RAW để ít nhất còn cứu được ảnh về sau, nhưng RAW chỉ hoạt động trong chế độ camera “Pro” bất tiện và thỉnh thoảng lại âm thầm quay về chế độ không phải Pro
Cuối cùng tôi bỏ cuộc và cài một ứng dụng camera bên thứ ba
Ít nhất thì có vẻ tôi nên tin Mark, vì anh ấy không chủ động phá hỏng ảnh của tôi: https://play.google.com/store/apps/details?id=net.sourceforg...
Ngoài phép màu khử nhiễu mặc định và hiệu chỉnh độ sáng trong điều kiện thiếu sáng, cùng tính năng thay mặt trăng ngớ ngẩn, tôi cũng không thấy nó dùng nhiếp ảnh điện toán
Chỉ riêng ống kính 10x đã thắng Apple rồi, nên không cần phải làm trò vớ vẩn liên quan đến mặt trăng
Tôi thấy ứng dụng camera mặc định ổn
Dù các ví dụ như thế này chưa hẳn là vậy, tôi nghĩ về sau chúng sẽ được tích lũy và đưa ra như một phần của biện hộ pháp lý
Dù có hợp lý hay không, những trường hợp cực đoan như vậy có thể khiến một số thẩm phán và bồi thẩm đoàn vượt qua ngưỡng nghi ngờ hợp lý
Việc AI thao túng là có thật, và ranh giới của nó có thể khó dự đoán
Tệ hơn nữa, một người ở hiện trường bom nổ có thể bị ghi lại như thể đã phản ứng trước vụ nổ
Chúng ta có những giả định mặc định về quan hệ nhân quả, và AI này phá vỡ chúng
Trong một số tình huống cụ thể, điều đó có thể cực kỳ hệ trọng
Gia đình tôi thích chụp ảnh pano-Frankenstein
Nếu lia panorama ngang qua khuôn mặt trong khi một người thay đổi biểu cảm thật nhanh và kịch tính, điện thoại sẽ cố ghép khuôn mặt thành một hình ảnh nhất quán, tạo ra kết quả khá buồn cười
Các mẫu Google Pixel mới nhất bắt đầu lưu khung hình ngay từ khoảnh khắc bạn mở ứng dụng camera
Khi bạn thực sự chụp ảnh, nó dùng một phần các khung hình trước đó để về cơ bản ghép HDR mà không có độ trễ
Điều tương tự có thể đã xảy ra ở đây
Có lẽ trong quá trình xử lý, nó chọn mức phơi sáng tối ưu cho từng phần của ảnh từ các khung hình khác nhau, tạo ra hiệu ứng như vậy
Có những người đi quanh một địa điểm mới, mở camera hàng giờ để có thể chụp ngay thứ gì đó hay ho, rồi phàn nàn rằng đến giờ trưa pin đã chết
Tôi không chắc chuyện này có thật không
Apple chưa từng công khai nói rằng họ thao túng đến mức này, và tất nhiên điều đó không có nghĩa là họ không làm, nhưng phạm vi chuyển động mà người phụ nữ đó phải trải qua trong một lần chụp có vẻ không khả thi
Ngay cả với Live Photos tôi cũng không nghĩ chuyện như vậy sẽ xảy ra
Nếu là thật thì khá kỳ lạ nên tôi muốn tin, nhưng trông hơi quá hoàn hảo
Có lẽ đã có ai đó đang cố chứng minh hoặc bác bỏ rồi
Tôi từng ở nhà bướm, và một bức ảnh cận cảnh đã xóa mất chân bướm, chỉ còn lại cánh
Liên kết ảnh: https://ibb.co/nwbw5xY
Điện thoại đã giả định chân là một phần của nền
Chuyện tương tự cũng xảy ra với tóc
Chân mỏng nên dễ bị diễn giải là nhiễu
Đặc biệt là khi dùng zoom số và ánh sáng yếu, số pixel rất ít và nhiễu trên mỗi pixel lại lớn, nên càng dễ như vậy
Theo tôi nghe trong một podcast gần đây[0], nếu nhấn giữ nút trong ứng dụng camera của iPhone, nó sẽ chụp một loạt ảnh rồi hiển thị một tấm được đánh giá là “tốt nhất”, chẳng hạn như tấm mà mọi người đều mở mắt
Tất nhiên đó không phải là điều đã xảy ra ở đây
Vì tôi thường tránh đưa người vào ảnh nên lần nào cũng quên thử tính năng này
[0] Có lẽ là tập này: https://podcasts.apple.com/nz/podcast/the-talk-show-with-joh...
Giờ nhấn giữ nút sẽ chuyển sang quay video
Với người không quay video như tôi thì khá phiền
Nếu dùng nút trên màn hình, có thể vuốt sang trái để chụp liên tiếp, nhưng theo tôi biết thì không có cách nào kích hoạt chụp liên tiếp bằng nút âm lượng
Có lẽ nút lập trình mới trên dòng iPhone 15 có thể làm được
Việc chụp ảnh thực chất là một đoạn video ngắn, rồi chọn khung hình tối ưu trong đó