Camera “meta-optics” cỡ hạt muối
(cacm.acm.org)- Nhóm nghiên cứu từ Princeton University và University of Washington đã chế tạo camera meta-optics có kích thước bằng hạt muối, đề xuất một thiết bị chụp ảnh nhỏ hơn 500.000 lần so với các camera truyền thống cho chất lượng hình ảnh tương đương
- Trên metasurface rộng 0,5 mm, họ bố trí 1,6 triệu nano-anten hình trụ, đồng thời tăng khả năng thu nhỏ nhờ cấu trúc có thể chế tạo như chip bán dẫn
- Các camera meta-optics trước đây bị giới hạn trong việc tạo ảnh màu toàn phần góc rộng và sắc nét, nhưng thiết bị lần này tạo ra hình ảnh đủ màu, góc nhìn rộng với chất lượng gần tương đương camera thông thường
- Nhóm nghiên cứu dùng tối ưu hóa AI để tính nhanh thiết kế nano-anten, và sử dụng một pipeline tích hợp phần cứng - phần mềm với mạng nơ-ron dựa trên vật lý để loại bỏ quang sai do camera tạo ra
- Công nghệ này có thể dẫn tới các ứng dụng như nội soi nhỏ hơn, camera cho smartphone·thiết bị đeo·AR/VR, drone, các mảng biến toàn bộ bề mặt thành camera, và kính thiên văn siêu nhẹ cho không gian
Camera meta-optics cỡ hạt muối
- Nhóm nghiên cứu từ Princeton University và University of Washington đã hiện thực hóa camera meta-optics với kích thước chỉ bằng một hạt muối
- Camera này nhỏ hơn rất nhiều so với camera truyền thống nhưng vẫn hướng tới chất lượng ảnh màu toàn phần ở mức tương đương
- So với các camera truyền thống chụp được chất lượng ảnh cùng cấp, nó nhỏ hơn 500.000 lần
- Thiết bị là một hệ thống camera siêu nhỏ do nhóm nghiên cứu phát triển, dựa trên công nghệ metasurface
- Metasurface được gắn 1,6 triệu cột hình trụ
- Cách chế tạo tương tự sản xuất chip máy tính
Giới hạn của ống kính truyền thống và cách tiếp cận metasurface
- Trong thiết kế camera, ràng buộc cốt lõi là đánh đổi giữa kích thước và lượng ánh sáng, vừa phải làm thiết bị nhỏ nhất có thể, vừa phải ghi nhận được nhiều ánh sáng
- Smartphone là ví dụ điển hình: thân máy mỏng đi nhưng để nâng chất lượng ảnh, nhiều ống kính được thêm vào khiến mô-đun camera lớn hơn và lồi ra
- Metasurface là vật liệu nhân tạo có thể điều khiển ánh sáng theo cách độc đáo
- Đây là cấu trúc phẳng siêu mỏng với bề rộng khoảng 0,5 mm
- Trên bề mặt có hàng triệu cột hình trụ gọi là “nano-antenna”
- Mỗi nano-antenna có thể được tinh chỉnh để định hình ánh sáng theo cách cụ thể
- Ống kính khúc xạ tiêu chuẩn cải thiện hiệu năng thông qua hình dạng bề mặt và thay đổi vật liệu, còn metasurface có thể điều khiển ánh sáng ở mức dưới bước sóng
- Ống kính meta-optic của camera này có kích thước 0,5 mm, cảm biến là 1 mm, và metasurface đơn được thiết kế để có khả năng điều hướng ánh sáng lớn hơn ống kính truyền thống
Khác biệt so với các camera meta-optics trước đây
- Nhóm nghiên cứu không tập trung vào bản thân ý tưởng dùng metasurface cho camera, mà tập trung vào việc đạt được chất lượng đủ để dùng cho ứng dụng hình ảnh thực tế
- Các cách tiếp cận trước đây chưa đạt tới thiết kế camera meta-optics có thể ghi lại ảnh màu toàn phần vừa sắc nét vừa có góc nhìn rộng
- Thiết bị lần này được giới thiệu là bộ tạo ảnh nano-quang học không phụ thuộc phân cực chất lượng cao đầu tiên dành cho chụp ảnh đủ màu, góc rộng
- Chất lượng hình ảnh đạt mức tương đương ngay cả khi so với những camera truyền thống lớn hơn một bậc độ lớn
Thiết kế dựa trên AI và pipeline hậu xử lý
- Nhóm nghiên cứu đồng thời cải thiện thiết kế phần cứng và hậu xử lý phần mềm để giảm các hạn chế của những hệ thống chụp ảnh meta-optics trước đây
- Bước đầu tiên là tính toán thiết kế nano-antenna trên metasurface bằng thuật toán tối ưu hóa AI
- Việc mô phỏng phản hồi quang học của metasurface và tính gradient tương ứng có chi phí tính toán cao
- Nhóm nghiên cứu tạo ra một “proxy” để xấp xỉ nhanh vật lý của metasurface, từ đó tính toán thiết kế nhanh hơn
- Bước thứ hai là xử lý hình ảnh do camera ghi lại bằng mạng nơ-ron dựa trên vật lý
- Mạng nơ-ron này được huấn luyện dựa trên vật lý của metasurface
- Nó có thể loại bỏ quang sai do camera tạo ra
- Nhóm nghiên cứu coi metasurface là một lớp khả vi có thể tối ưu hóa, và tối ưu nó như một lớp mạng nơ-ron quang học tính toán bằng ánh sáng
- Trình mô phỏng vật lý metasurface và thuật toán hậu xử lý được kết hợp thành một pipeline duy nhất
- Pipeline này được dùng để chế tạo camera meta-optic thực tế
- Nó tái tạo hình ảnh đã chụp thành ảnh màu toàn phần chất lượng cao
- Để ống kính hoạt động đúng trong các ứng dụng băng thông rộng, cần có cách tiếp cận kết hợp với xử lý tính toán
Ứng dụng trong y tế, thiết bị tiêu dùng và drone
- Lĩnh vực ứng dụng trực tiếp nhất là hình ảnh y khoa
- Camera càng nhỏ thì mức độ xâm lấn càng giảm
- Nội soi siêu nhỏ dùng camera meta-optics có thể mở ra các phương pháp chẩn đoán và phẫu thuật không xâm lấn mới
- Nó cũng có thể cho phép chụp các vùng cơ thể mà công nghệ hiện tại khó tiếp cận
- Trong phần cứng tiêu dùng, camera và ống kính cũng có thể được thiết kế nhỏ hơn một bậc độ lớn so với thiết bị hiện nay
- Màn hình smartphone hoặc chính mặt lưng smartphone có thể trở thành camera
- Có thể tích hợp camera chất lượng cao lên bề mặt thiết bị đeo như kính mắt
- Kính thực tế ảo có thể nhẹ hơn và gọn gàng hơn
- Drone cũng có thể chịu tác động từ các camera nhỏ hơn
- Cả mục đích quân sự như trinh sát lẫn mục đích dân sự như giao hàng đều cần camera
- Camera nhỏ hơn nhiều có thể dẫn tới drone nhẹ hơn và tiêu thụ pin thấp hơn
Khả năng biến toàn bộ bề mặt thành camera
- Camera nhỏ của nhóm nghiên cứu gợi mở cách nghĩ lại về camera lớn dưới dạng mảng phẳng gồm các camera cỡ hạt muối
- Những mảng như vậy có thể dẫn tới cách biến chính bề mặt thành camera
- Metasurface lớn hơn cũng có thể thay thế các ống kính cần thiết cho kính thiên văn
- Việc chế tạo kính thiên văn có thể trở nên dễ dàng hơn
- Việc đưa các ống kính mạnh hơn vào không gian cũng có thể dễ hơn
Phương thức chế tạo và vật liệu
- Metasurface có thể được tạo ra bằng cùng kiểu công nghệ đã trưởng thành đang dùng trong sản xuất chip máy tính
- Ngày nay, chip máy tính được sản xuất trên wafer, và một wafer có thể chứa hàng trăm bản sao của cùng một con chip
- Metasurface cũng có thể được sản xuất theo cách tương tự, nên có khả năng giảm mạnh chi phí cho mỗi metasurface riêng lẻ
- Nhóm nghiên cứu sử dụng silica wafer cho bề mặt gắn, và silicon nitride cho nano-antenna
- Cả hai vật liệu đều tương thích với công nghệ chế tạo bán dẫn hiện đang dùng để sản xuất chip máy tính
Đọc thêm
- Researchers shrink camera to the size of a salt grain: Giới thiệu nghiên cứu năm 2021 của Princeton University
- Researchers develop tiny camera the size of a grain of salt – and it could turn your phone into one big camera: Bài viết liên quan của The Independent
- Neural nano-optics for high-quality thin lens imaging: Bài báo liên quan đăng trên Nature Communications
1 bình luận
Ý kiến trên Hacker News
Tôi khá hoài nghi với câu “tạo ra ảnh màu đầy đủ có chất lượng tương đương camera thông thường” vì bài viết không có ví dụ ảnh chụp bằng nano-camera, nhưng trong bài báo gốc có vài ví dụ khá ấn tượng
https://www.nature.com/articles/s41467-021-26443-0/figures/2
Độ nét và màu sắc rõ ràng có vẻ còn thiếu
Nếu chỉ đơn giản là dùng mạng nơ-ron để khôi phục ảnh, thì nó giống kiểu Samsung dán ảnh mặt trăng vào khi phát hiện một đĩa trắng, nên không ấn tượng lắm
Vài năm trước, tôi nghe trong một cuộc phỏng vấn với một nhà tương lai học câu chuyện như thế này: một ngày nào đó trẻ em sẽ mua một tờ sticker ở cửa hàng đồ chơi, và mỗi sticker thực ra là một camera gắn địa chỉ IPv6
Dán sticker ở đâu đó rồi mở địa chỉ đó trong trình duyệt là có thể xem video camera thời gian thực
Các thành phần tạo nên công nghệ này đã tồn tại, chỉ là chưa đủ rẻ để tung ra thị trường đại chúng; và khi kinh tế theo quy mô phát huy tác dụng, xã hội sẽ phải xem xét lại rất nhiều ý nghĩa của quyền riêng tư vật lý
Có lẽ có thể, nếu thay đổi rất mạnh ý nghĩa của “sticker”
Có lẽ phải thêm một điều nữa cho Vernor Vinge
Công nghệ này có vẻ có thể trực tiếp hiện thực hóa giám sát phổ quát trong A Deepness in the Sky, nên cần theo dõi kỹ
Nếu tôi nhớ đúng thì chúng cỡ hạt giống
https://en.wikipedia.org/wiki/The_Peace_War
Có thể vì các chủ đề khác đã hút mất sự chú ý và vốn đầu tư, nhưng cũng có khả năng nó đã đạt đến mức đủ thú vị để nhiều nhóm R&D đi vào diện hợp đồng bảo mật của chính phủ
Nhân tiện, tên đúng là “Vernor”
Camera luôn được mô tả lớn hơn hạt cát rất nhiều
Trong đó, sương tiện ích orphidnet cho phép tri giác và trực quan hóa phổ quát
Ở đây mọi người đều nghĩ đến quyền riêng tư và giám sát, nhưng tôi thì tự hỏi liệu công nghệ này có cho phép dùng laser gia tốc nano-camera lên tới tốc độ tương đối tính để chụp cận cảnh các hệ sao khác hay không
Ngay cả không đi tới Proxima Centauri, có nhiều camera hơn trong hệ Mặt Trời của chúng ta cũng sẽ rất tốt
https://en.wikipedia.org/wiki/Breakthrough_Starshot
Nếu kích thước rất nhỏ và góc nhìn rộng, có lẽ có thể đặt một ống kính thông thường lên trên mảng để tạo góc siêu rộng cỡ 160×160 độ cho camera smartphone
Cũng có thể làm camera độc lập 360×180 độ cực nhỏ; nếu đặt vài camera vào kính AR thì có thể nắm bắt môi trường xung quanh rất tốt trong phạm vi 360×160 độ
Một ứng dụng khác có thể là camera trường ánh sáng nhỏ
Tôi không rõ công nghệ này có thể áp dụng trực tiếp hay cần biến đổi, nhưng nếu có camera trường ánh sáng nhỏ và rẻ, nó sẽ hữu ích cho lấy nét sau khi chụp và cảm nhận 3D/tái dựng cảnh tốt hơn stereo
Nhìn mô tả “triển khai hậu xử lý ảnh dựa trên AI độc quyền để tạo ảnh chất lượng cao từ camera”, khó có thể xem nó là so sánh được với camera thông thường theo nghĩa trực giác
Upscaling, khử nhiễu, khử nhòe, chỉnh màu, hiệu chỉnh vùng tối và vùng sáng; sau khi đi qua pipeline xử lý, gần như chẳng còn gì là đúng nguyên trạng cảm biến đã thấy
Camera điện thoại chỉ làm cực đoan hơn rất nhiều so với camera chuyên nghiệp, nhưng tất cả đều xử lý như vậy
Có vẻ không phải tin mới
Đây là bài báo công bố năm 2021, và trước đây cũng đã được đăng ở đây
https://news.ycombinator.com/item?id=29399828
Nếu là thật, có lẽ có thể nhét mảng 10.000 camera (100×100) vào smartphone và làm những việc thú vị bằng nhiếp ảnh điện toán
Nếu áp dụng đơn giản cho 10.000 cảm biến thì sẽ mất khoảng 10 phút, nhưng chắc chắn có dư địa tối ưu hóa và song song hóa
Vì cảm biến tạo ảnh 720×720px, một mảng 100×100 sẽ là 72.000×72.000px, tức khoảng 5 gigapixel
Đó là số pixel khổng lồ để smartphone xử lý và lưu trữ
Vì vậy các chuyên gia vẫn mang theo camera full-frame lớn thay vì điện thoại
Cũng có vấn đề về tốc độ như chụp thể thao, nhưng nói đơn giản thì tốc độ cũng bị ảnh hưởng bởi lượng dữ liệu cần xử lý và độ phân giải
Cảm biến độ phân giải cao gặp vấn đề file quá lớn, xử lý chậm hơn ảnh chất lượng cao kích thước nhỏ và chiếm nhiều dung lượng lưu trữ hơn rất nhiều
Với video thì còn tệ hơn
Có lẽ đó cũng là lý do Apple duy trì camera chính ở 12 megapixel trong một thời gian dài
Có phần mô tả thiết bị quang học nghe rất hay, nhưng ảnh thực sự được ghi lại như thế nào thì không nói rõ
Lại còn có cả phần “mạng nơ-ron”
Tôi tự hỏi liệu AI tạo sinh có “nâng cấp” bằng cách lấp các vùng mờ dựa trên những pixel có khả năng thống kê cao nhất hay không
Bài viết khá tệ
Có lẽ mô hình tính toán tiêu chuẩn cũng làm được, nhưng khối lượng tính toán sẽ rất lớn
Vì vậy “nâng cấp” có thể mang nghĩa tương tự như cách JPEG lưu ảnh ở định dạng có mất mát
(2021) Bản gốc thực sự ở đây: https://light.princeton.edu/publication/neural-nano-optics/