AV1@Scale: Sự thức tỉnh của tổng hợp hạt phim
(netflixtechblog.com)- Netflix đang mở rộng các luồng Film Grain Synthesis (FGS) của AV1 ra toàn cầu, nhằm giảm lượng dữ liệu streaming sử dụng trong khi vẫn giữ được kết cấu hạt phim
- FGS không nén trực tiếp hạt phim, mà gửi video đã loại bỏ hạt cùng tham số mô hình hạt, rồi tổng hợp lại theo từng khối tại thời điểm phát
- Trong ví dụ They Cloned Tyrone, AV1 FGS đạt 2804 kbps so với AV1 thông thường 8274 kbps, cho thấy mức giảm bitrate khoảng 66% ở cảnh có hạt phim mạnh
- Trong đánh giá khoảng 300 tựa phim, bitrate trung bình ở 1080p trở lên giảm 36%, nhưng ở dưới 1080p hiệu quả chỉ khoảng 10% vì nhiễu giảm do downscaling
- Trong A/B test trước khi triển khai, Netflix quan sát thấy bitrate ban đầu giảm 24%, bitrate trung bình giảm 31,6%, rebuffering giảm 10%, độ trễ khởi động giảm 10%; từ tháng 3/2025 công nghệ này đang được áp dụng quy mô lớn trên các thiết bị hỗ trợ
Netflix mở rộng AV1 Film Grain Synthesis
- Netflix gần đây đã mở rộng áp dụng các luồng AV1 Film Grain Synthesis (FGS) cho thành viên trên toàn thế giới
- FGS đã được đưa vào từ những ngày đầu của chuẩn AV1, nhưng tại thời điểm Netflix ra mắt codec AV1 ban đầu năm 2021, tính năng này chỉ được bật cho một số lượng tựa phim hạn chế
- Mục tiêu của đợt mở rộng này là nâng cao hiệu quả dữ liệu trong khi vẫn bảo toàn tính toàn vẹn nghệ thuật của hạt phim
- Hạt phim là yếu tố tạo nên kết cấu, cảm giác chân thực và nét hoài cổ của phim cổ điển, nhưng do có tính ngẫu nhiên cao nên với các phương pháp nén truyền thống, cần phải đánh đổi giữa giảm kích thước tệp và bảo toàn hạt phim
- Video kỹ thuật số cũng có nhiễu từ cảm biến camera hoặc hạt được cố ý thêm vào trong hậu kỳ, khiến việc xử lý nén trở nên khó hơn
Cách AV1 FGS xử lý hạt phim
- Thay vì nén trực tiếp hạt phim, AV1 FGS trước tiên mã hóa denoised video đã loại bỏ hạt khỏi video gốc
- Các tham số mô hình hóa hình dạng và cường độ của hạt được truyền cùng dữ liệu video đã nén, rồi được tổng hợp lại trong lúc phát
- Chuẩn AV1 không quy định cụ thể phương pháp loại bỏ hạt, nên người dùng có thể chọn denoiser mong muốn
- Ở giai đoạn phát, hạt phim được khôi phục bằng phương pháp dựa trên khối đã được tối ưu để hoạt động mượt mà trên thiết bị tiêu dùng
- Có thể xem giải thích chi tiết hơn trong bài báo gốc
Mô hình mẫu hạt và cường độ hạt
-
Film Grain Pattern
- Mô hình tự hồi quy (auto-regressive model) tái tạo mẫu hạt phim
- Tham số cốt lõi là các hệ số AR, có thể ước lượng từ phần dư giữa video nguồn và denoised video
- Mô hình này nắm bắt tương quan không gian giữa các mẫu hạt để duy trì đặc tính nhiễu của bản gốc
- Điều chỉnh các hệ số AR
{ai}có thể làm hình dạng hạt thô hơn hoặc mịn hơn - Các hệ số này được dùng để tạo mẫu nhiễu 64x64, và trong lúc phát, các patch 32x32 ngẫu nhiên được trích xuất rồi cộng vào video đã giải mã
-
Film Grain Intensity
- Hàm scaling kiểm soát diện mạo của hạt theo điều kiện độ sáng
- Hàm này được ước lượng trong quá trình mã hóa, và mô hình hóa quan hệ giữa giá trị pixel và cường độ nhiễu bằng hàm tuyến tính từng đoạn
- Cường độ hạt được điều chỉnh theo độ sáng và màu sắc của video để tái hiện diện mạo gần với video gốc hơn
Cải thiện chất lượng hình ảnh và giảm bitrate
- Netflix dùng một khung hình trong They Cloned Tyrone làm ví dụ để so sánh AV1 thông thường với AV1 FGS
- AV1 thông thường là 8274 kbps, còn AV1 FGS là 2804 kbps, cho thấy mức giảm bitrate khoảng 66%
- Trong ví dụ có hạt phim mạnh này, AV1 thông thường có thể xuất hiện nhiễu méo dạng giống mẫu DCT, trong khi phiên bản FGS vẫn bảo toàn tính toàn vẹn của hạt phim ngay cả ở bitrate thấp hơn
- Nhiễu được tổng hợp có thể che lấp artifact nén, tạo trải nghiệm thị giác tốt hơn
- Có thể thấy artifact nén trong luồng AV1 thông thường và luồng AV1 FGS không có nhiễu tổng hợp
- Luồng AV1 FGS có áp dụng tổng hợp hạt che một phần artifact nén thông qua contrast masking của hệ thị giác con người
Giới hạn của đo lường chất lượng và đánh giá catalog
- Netflix hiện chưa có mô hình chất lượng chuyên dụng cho tổng hợp hạt phim
- Vì nhiễu trong video nguồn và video đã giải mã xuất hiện ở các vị trí pixel khác nhau, các phương pháp so sánh theo từng pixel như PSNR hay VMAF có thể cho điểm chất lượng thấp
- Đánh giá nội bộ xác nhận có cải thiện chất lượng thị giác và giá trị kỹ thuật
- Netflix đã chọn khoảng 300 tựa phim với mức hạt khác nhau để đánh giá tác động của AV1 FGS
- Ở độ phân giải 1080p trở lên, bitrate trung bình giảm 36%
- Ở độ phân giải dưới 1080p, mức giảm bitrate chỉ khoảng 10%
- Lý do hiệu quả thấp hơn ở độ phân giải thấp có thể là do nhiễu bị lọc trong quá trình downscaling
- Khi bật công cụ mã hóa FGS, overhead cú pháp tiếp tục được thêm vào bitstream
Tác động streaming quan sát được trong A/B test
- Trước khi triển khai, Netflix đã dùng A/B test để đánh giá tác động của việc bật AV1 FGS lên toàn bộ trải nghiệm streaming
- Kết quả thử nghiệm dẫn đến QoE mượt mà và ổn định hơn
- Các cải thiện quan sát được như sau
- Bitrate khi bắt đầu phát giảm 24% và bitrate trung bình giảm 31,6%, làm giảm yêu cầu băng thông mạng và nhu cầu lưu trữ luồng tải xuống
- Tỷ lệ lỗi phát giảm khoảng 3%
- Số lần rebuffering giảm 10% và thời lượng rebuffering giảm 5%
- Độ trễ khởi động giảm 10%, có thể vì bitrate thấp hơn giúp thiết bị đạt mức buffer mục tiêu nhanh hơn
- Các lần sụt bitrate dễ nhận thấy giảm 10%, và thời gian người dùng điều chỉnh vị trí phát cũng giảm 10%
- Trên thiết bị hỗ trợ 4K, khoảng 0,7% thời gian xem dịch chuyển từ 1080p trở xuống lên 2160p
- Sự dịch chuyển độ phân giải này đến từ việc bitrate tại điểm chuyển giảm, khiến dễ đạt độ phân giải cao nhất trong phiên xem hơn
Trạng thái triển khai và kế hoạch tiếp theo
- Netflix đã triển khai FGS trên quy mô lớn từ tháng 3/2025, và hiện nhiều người dùng có thể xem các luồng bật FGS trên thiết bị hỗ trợ
- Các ví dụ để trải nghiệm luồng FGS gồm The Hot Spot, Kung Fu Cult Master, Initial D, God of Gamblers II, Baahubali 2: The Conclusion, Dept. Q
- Với một số tựa phim, cần tắt HDR trong menu cài đặt để trực tiếp trải nghiệm luồng FGS mới
- Bài viết tiếp theo sẽ đề cập cách Netflix triển khai công việc này trong pipeline mã hóa video và những insight thu được
1 bình luận
Các ý kiến trên Hacker News
Đang bỏ sót điểm rằng nhiễu được tổng hợp có thể không chứa chi tiết và thông tin vốn có trong nhiễu gốc
Nếu xem một bản mã hóa chất lượng cao có nhiễu thật, khi chuyển từ ảnh tĩnh sang video, độ phân giải tăng lên đáng kinh ngạc. Nhiễu trông như đang nhảy múa trên tín hiệu, và ở 24fps tín hiệu phía sau vẫn hiện rõ
Ngược lại, nếu loại bỏ nhiễu theo từng khung hình tĩnh rồi phủ lại một lớp nhiễu nhân tạo “về mặt thẩm mỹ” trông tương tự, chi tiết gốc không thể khôi phục được và khi xem ở 24fps thì về cơ bản sẽ mờ hơn. Với những bộ phim cũ có nhiều nhiễu, chênh lệch chi tiết có thể lên tới 2 lần
Nếu H.265 hay AV1 xét đến chuyển động, nhìn đồng thời nhiều khung hình trước/sau và tạo ra khung hình “khử nhiễu”, thì về lý thuyết có thể tìm và mã hóa tín hiệu của toàn bộ chi tiết theo trục thời gian, nhưng tôi không biết thực tế có làm vậy không. Nếu tôi sai thì muốn được biết
Điểm cốt lõi là không nên so sánh khử nhiễu và tổng hợp bằng ảnh tĩnh. Việc chi tiết bị loại bỏ hay được giữ lại phải được so sánh bằng video thực tế đặt cạnh nhau. Nhiễu không chỉ là nhiễu, nó cũng là chi tiết
Về mặt thẩm mỹ, có vẻ film grain tổng hợp của AV1 không xét đến kích thước hạt trong video gốc. Vì vậy, hạt dày đến từ các tinh thể bạc halide lớn của phim cũ có thể xuất hiện trong bản tổng hợp như hạt mịn, khiến trông không tự nhiên. Một bộ khử nhiễu phim tốt có thể làm giảm vấn đề này
Ngoài ra, nó không mô hình hóa đúng các thành phần màu tách biệt của phim, nhưng người ta nói rằng thường không phải vấn đề lớn vì nguồn video của Netflix ngay từ đầu đã hay được chroma subsampling: https://norkin.org/pdf/DCC_2018_AV1_film_grain.pdf
Tôi chỉ đọc sơ qua về lĩnh vực này nên có thể sai
Để giải thích khía cạnh thời gian, hãy nghĩ đến máy chiếu phim truyền thống. Giữa mỗi khung hình, ta nhìn thấy bóng tối hoàn toàn trong một khoảng thời gian rất ngắn. Có thể gọi bóng tối đó là “nhiễu”, và nếu dừng lại đúng khoảnh khắc ấy thì sẽ hoàn toàn không thấy tín hiệu gốc
Nhưng hệ thị giác của chúng ta lấy trung bình theo thời gian ở một mức nào đó, nên hầu như không nhận ra sự nhấp nháy đó (https://en.wikipedia.org/wiki/Flicker_fusion_threshold). Nhiễu và grain dường như cũng được nhận thức tương tự, ít nổi bật hơn so với phần tín hiệu/hình ảnh ổn định
Giống như các nhiếp ảnh gia thiên văn chồng nhiều ảnh nhiễu để thu được ảnh có tỷ lệ tín hiệu trên nhiễu cao, tôi nghĩ não cũng làm điều gì đó tương tự ở một mức độ nhất định. Ý không phải là nó ảo giác ra chi tiết không tồn tại, mà là nhiễu được ghi lại sẽ quay về giá trị trung bình theo thời gian, và giá trị trung bình đó thể hiện tín hiệu thật rõ hơn. Dĩ nhiên không hoàn hảo vì có nhiễu mang tính hệ thống/không ngẫu nhiên, nhưng thường thì điều đó ít quan trọng hơn
Các thuật toán khử nhiễu chỉ xử lý từng khung hình riêng lẻ không có ngữ cảnh này, nên dễ làm mất chi tiết hoặc cố bù bằng phỏng đoán. AV1 không ép buộc một thuật toán cụ thể, nên về lý thuyết một thuật toán thông minh có thể dùng ngữ cảnh thời gian để giữ lại thêm chi tiết
Nếu lấy trung bình vài khung hình tĩnh, tín hiệu không đổi sẽ được giữ lại còn nhiễu ngẫu nhiên sẽ triệt tiêu lẫn nhau, làm tỷ lệ tín hiệu trên nhiễu tốt hơn. Việc giữ lại bản thân nhiễu không hữu ích
Hiệu ứng nhìn thấy có thể là sở thích thẩm mỹ đối với chuyển động của grain gốc, hoặc là do so sánh nội dung băng thông thấp có các artifact nén mạnh như làm mượt/lọc thông thấp với phiên bản băng thông cao giữ được toàn bộ chi tiết. Điều này tách biệt với lớp grain phủ lên trên
Giá trị của việc thêm nhiễu có thể còn đáng bàn về mặt triết lý, nhưng vấn đề trong ví dụ này là quá trình khử nhiễu làm mọi thứ bị làm mờ quá mức, khiến cả bản đã khử nhiễu lẫn ảnh hạt tổng hợp đều trông kém sắc nét hơn bản gốc một cách rõ rệt
Bản thân hạt cũng trông quá giống nhiễu cơ bản, không giống hạt phim thật
Kết quả là hạt gốc bị “loang” ra vùng rộng hơn và trông đục, còn việc cố mã hóa các hạt sắc nét lại làm mất cả độ sắc nét của cảnh thật
Tổng hợp hạt phim là hợp lý trong streaming bị giới hạn băng thông. Tuy vậy, tôi đồng ý rằng hạt tổng hợp trong ví dụ trông không giống hạt cho lắm. Và tùy lượng cũng như cách khử nhiễu, chi tiết cảnh có thể bị làm mờ
Sẽ tốt nếu có tùy chọn bật/tắt mô phỏng phim
Một trong những bộ phim tôi thích nhất, The Holdovers, đã làm mô phỏng phim rất tốt. Phim lấy bối cảnh thập niên 70 nên cố trông giống phim của thời đó
Với mắt tôi thì rất tuyệt, nhưng người mê phim nhựa thật sự hẳn sẽ nhận ra nhiều chỗ chưa chính xác
Trong tương lai gần, có lẽ Netflix có thể xử lý một số hiệu ứng hậu kỳ ở phía client. Nếu bị rối loạn sắc giác thì dùng chế độ phù hợp, còn nếu ghét hạt giả thì tắt đi
Có vài điểm cần lưu ý
Khung hình tĩnh không phải là cách đặc biệt tốt để đánh giá chất lượng video
Ngay cả một bộ lọc khử nhiễu hoàn hảo về mặt lý thuyết[1] cũng sẽ luôn trông ít chi tiết hơn nguồn gốc. Vì hệ não/mắt tạo ra nhiều chi tiết hơn từ ảnh có nhiễu so với ảnh bị mờ
[1] Hoàn hảo ở đây nghĩa là bảo toàn 100% các chi tiết không phải hạt, chứ không phải khôi phục một cách kỳ diệu những chi tiết đã mất do nhiễu
Thêm một điểm cộng: nhiều người xem sẽ hoan nghênh tùy chọn tắt nó đi
Câu chuyện thật sự ở đây là phần “áp dụng ở quy mô lớn”. Tổng hợp hạt phim đã có trong các encoder AV1 phổ biến từ một thời gian rồi, nhưng để tránh vấn đề thì vẫn cần một mức tinh chỉnh thủ công nhất định
Vì vậy trong môi trường sản xuất, nó chỉ được dùng cho catalog rất hạn chế hoặc các tựa đặc biệt quan trọng. Ở đây họ không nói chi tiết đã vượt qua vấn đề đó như thế nào, nhưng việc nó được triển khai rộng hơn là điều đáng mừng
Nói về phía ghét hạt, mọi thứ tự nhiên đều có một mức nhiễu hoặc hạt nào đó. Cả những cảm biến số tốt nhất cũng có, thậm chí mắt người cũng có
Nó hữu ích hơn một hiệu ứng thẩm mỹ đơn thuần. Nó làm tăng độ sắc nét cảm nhận được và có xu hướng che các khuyết điểm như hiện tượng phân dải màu hoặc artifact nén
Điều đó không có nghĩa mọi loại nhiễu và hạt đều tốt. Nó có thể là thứ không thể tránh vì giới hạn kỹ thuật, cũng có thể là kết quả của lựa chọn sáng tạo tệ, và có thể gây xao nhãng
Nhưng tôi cho rằng phương án thay thế là áp khử nhiễu lên mọi thứ còn tệ hơn nhiều. Ngày nay nhiều camera mặc định làm như vậy, và với mắt tôi, hiện tượng làm phẳng do khử nhiễu tạo ra thường trông không thực tế và khó chịu hơn nhiều
Tôi không hiểu câu “grain = tính chân thực”. Ngoài đời, trong mắt tôi đâu có grain
Tuy vậy, tôi thừa nhận vai trò của grain như một công cụ nghệ thuật, nên bản thân công nghệ này vẫn thú vị
Nhìn xung quanh thì gần như mọi bề mặt đều có một dạng kết cấu vi mô nào đó và không đồng nhất về mặt thị giác. Khi điều này được ghi lại thành video, kết cấu vi mô bị giảm đi do quang học của camera, độ phân giải giới hạn và việc làm mượt khi nén. Film grain cung cấp lại một phần kích thích thị giác tần số cao đã mất
Mắt và não chúng ta thích những kích thích tần số cao như vậy, và không quá khắt khe về việc mẫu nhiễu chính xác của cảnh gốc có được tái tạo hay không. Vì thế encoder x265 tạo video H.265 không có tổng hợp grain, nhưng có tham số psy-rd. Nó gần với ý “hãy làm cho video nén trông có ‘năng lượng’ như bản gốc, dù năng lượng đó không nằm đúng cùng vị trí”, còn psy-rdoq thì gần với “hãy ưu tiên năng lượng cao hơn nói chung”
Điều chỉnh các tham số như vậy có thể làm video nén trông tốt hơn mà không cần lưu thêm nhiều dữ liệu
May là mắt chúng ta nhạy hơn camera rất nhiều. Nhưng “tính chân thực” ở đây đến từ cách nó được ghi lại bằng công nghệ thời đó. Không khác gì tiếng nhiễu của máy hát hay cách tín hiệu CRT bị nhòe. Nó “thật” đối với công nghệ mà đạo diễn sử dụng, và cách họ biết khán giả sẽ xem phim
Cũng như nét cọ của Van Gogh là thứ thật đối với tranh của ông. Chắc hẳn ta sẽ không muốn dùng giấy nhám mài tranh sơn dầu cho phẳng. Vì đó là hiện thực của phương tiện gốc. Do đó, với bản in số của phim nhựa, ta cũng muốn giữ tối đa hiện thực của bản gốc
Khi biết nhiều về một chủ đề, ta có thể đọc ra nhiều lịch sử của đối tượng đó, và điều đó cũng thay đổi cảm xúc
Một đứa trẻ xem tiểu phẩm của Buster Keaton, nín thở rồi khúc khích thích thú, và một nhà phê bình điện ảnh biết loại phim nhựa và camera nào đã được dùng, sự trừu tượng hóa trong cảnh có ý nghĩa gì, chất vải trang phục của Keaton ra sao, sẽ có những trải nghiệm thẩm mỹ chủ quan khác nhau về cùng một phương tiện
Gu thẩm mỹ chủ quan nằm trong phạm vi nhận thức. Ta cần một lý thuyết trí tuệ chính thức được ánh xạ vào não người, và những hiện tượng chủ quan như vậy cuối cùng sẽ quy về xử lý dữ liệu được cá nhân hóa và các điều kiện ban đầu
Film grain, khi tương phản với hoạt hình cel sạch sẽ, cũng có thể khiến người ta dễ tạm gác sự hoài nghi hơn. Vì họ đã học cách liên hệ việc không có grain với hoạt hình phi thực tế, một số phương tiện nhất định, và CGI. Video gia đình và tin tức từng có grain và chất lượng thấp, nên grain trở nên có tương quan với “đồ thật”
Theo tôi, chẳng có gì sâu xa hơn thế. Chúng ta là sản phẩm của thời đại. 40 năm nữa, phương tiện có thể thay đổi khiến film grain gắn với tính siêu thực, hoặc vì về bản chất nó là nhiễu nên bị loại bỏ hoàn toàn
Tôi không rõ tâm lý thị giác đằng sau đó. Có thể nó thêm lại các tần số cao bị nén rửa trôi, hoặc hoạt động giống một dạng dithering nào đó
Về mắt thì, xét theo vật lý lượng tử, có lẽ nên xem là mắt cũng có grain. Chỉ là não lọc nó đi nên ta không nhận ra. Tôi không rõ điều này tương tác với film grain như thế nào
Tôi nghĩ những người làm kính ngày xưa hẳn sẽ vô cùng mê mẩn việc ngày nay có thể làm ra những tấm kính lớn và đồng đều như vậy, vậy mà chúng ta lại bắt chước sự thỏa hiệp mà họ buộc phải chấp nhận chỉ vì thấy quen mắt
Câu “khi xem phim kinh điển, chuyển động tinh tế của film grain thêm tính chân thực và hoài niệm cho mọi cảnh” theo tôi chỉ là thêm nhiễu thị giác che mất chi tiết của cảnh thật
Hoài niệm cũng có thể bám vào những dấu hiệu thị giác nổi bật hơn, như diễn viên xưa hay ký ức cũ từ lần đầu xem
Câu “đóng góp vào tính chân thực của phim” cũng ngược lại, vì ngoài đời không có grain
Dù vậy, tôi vẫn mừng vì AV1 tiếp tục phát triển và có cơ chế thay thế mang tính thuật toán, thay vì lãng phí bitrate để mã hóa rác thị giác. Như vậy cũng dễ tắt hơn
Nếu film grain là một phần trong tầm nhìn của đạo diễn, nó cũng hợp lệ như lựa chọn đặt nhạc nền kịch tính ngoài không gian cảnh phía sau. Điều đó rất không chân thực, nhưng cực kỳ hiệu quả trong việc khơi gợi cảm xúc, và đó là mục đích của nghệ thuật
Nhà quay phim Steve Yedlin giải thích nó là việc cho mắt khán giả một thứ gì đó để “bám vào”
Trong cuộc gọi điện thoại di động, codec AMR-WB về danh nghĩa thu được dải 50Hz~7000Hz. Nhưng điều đó chỉ đúng ở bitrate cao nhất có thể chọn là 23.85Kbps
Ở mức phổ biến nhất 12.65Kbps, nó chỉ chứa đến 6400Hz, còn 6400~7000Hz được tổng hợp bằng tần số thấp và nhiễu. Vì có nhiễu nghe vẫn hay hơn là không có
Film grain nên biến mất. Thời của nó đã qua. Ảnh sepia và phim câm 16fps chiếu ở 24fps cũng đã chết rồi, tiếp theo là film grain
Eastman Business Park ở Rochester cũng đã bị phá dỡ
Và mong mọi người đừng thêm bụi với vết xước vào video YouTube nữa
Việc quay video trước, rồi ở khâu hậu kỳ loại bỏ nhiễu, sau đó lại thêm nhiễu, đến lúc mã hóa lại loại bỏ nhiễu lần nữa, rồi khi giải mã lại thêm nhiễu vào, nghe có vẻ hơi bức bối
Ánh sáng giả, bóng đổ giả, bầu trời giả, v.v.
Giờ thì mọi thứ đều là giả. Tôi muốn công nghệ hoạt động với bản scan phim gốc. Tốt nhất là theo cách thậm chí không dùng nén JPEG, bước đầu tiên làm mất chi tiết
Phát hiện chuyển động, key frame, delta frame thì được, nhưng phải là video lossless. Tất nhiên là để đưa vào Blu-ray, còn streaming thì không quan tâm lắm