Media Production Suite (MPS) của Netflix
(netflixtechblog.com)- Netflix đã phát triển Media Production Suite (MPS) nhằm đổi mới hệ thống quản lý media truyền thống dựa trên hạ tầng vật lý vốn kém hiệu quả và phức tạp
- Đây là giải pháp kỹ thuật với quy trình làm việc dựa trên đám mây, giúp các nhà sáng tạo tập trung nhiều hơn vào công việc sáng tạo, đồng thời cho phép cộng tác toàn cầu từ khâu sản xuất đến hậu kỳ
Vấn đề cần giải quyết
- Một tác phẩm Netflix trung bình tạo ra khoảng 200TB tệp camera gốc (OCF), và một số dự án vượt quá 700TB (chưa tính các tệp đang xử lý, VFX, tài sản 3D...)
- Theo cách truyền thống, các media này được sao chép sang thiết bị lưu trữ vật lý như băng LTO rồi vận chuyển, gây khó khăn cho việc truy xuất/phát lại/chia sẻ, đồng thời làm giảm tốc độ truy cập khi cộng tác toàn cầu
- Ngay cả khi quy trình số đã hoàn chỉnh, việc phân phối media giữa nhiều bộ phận và vendor vẫn rất khó khăn, và do thiếu tự động hóa cùng tiêu chuẩn hóa nên mức độ phụ thuộc vào thao tác thủ công vẫn cao
- Điều này dẫn đến các vấn đề như tăng lỗi và rủi ro bảo mật trong quá trình hậu kỳ, cộng tác khó hơn và thời gian làm việc bị kéo dài
- Chuyển dịch lên đám mây là điều bắt buộc, nhưng cũng kéo theo những thách thức mới:
- Một số cơ sở hậu kỳ vẫn phải phụ thuộc vào rất nhiều ổ cứng ngoài để vận chuyển trực tiếp giữa các vendor
- Nhu cầu về một giải pháp đám mây tập trung ngày càng trở nên cấp thiết
- Netflix tin rằng “những câu chuyện tuyệt vời có thể đến từ bất cứ đâu”, nhưng hạ tầng kỹ thuật truyền thống lại hạn chế khả năng tiếp cận media và khai thác nhân tài
- Nhà sản xuất không chỉ cần truy cập vào kho lưu trữ đám mây mạnh mẽ mà còn phải có môi trường làm việc hiệu năng cao và khả năng phát lại theo thời gian thực
- Ở một số khu vực hoặc trong môi trường sản xuất ngân sách thấp, việc tận dụng công nghệ hiện đại vẫn còn khó khăn
- Để vượt qua các giới hạn này, ngành đang chú ý đến xu hướng toàn cầu là rời bỏ cách làm truyền thống mang media đến cho nghệ sĩ và ứng dụng, để chuyển sang quy trình làm việc lấy đám mây làm trung tâm, đưa con người và ứng dụng đến nơi có media
- Xu hướng này cũng nổi bật tại các triển lãm công nghệ phát thanh truyền hình quốc tế như IBC và NAB
- Tuy nhiên, biến tầm nhìn đó thành hiện thực ở quy mô Netflix với hàng trăm tựa phim là một thách thức chưa từng có
Khó khăn khi xây dựng giải pháp kỹ thuật toàn cầu
- Xây dựng một giải pháp ở quy mô toàn cầu đi kèm các vấn đề phức hợp như sau:
- Môi trường sản xuất phim và series có sự khác biệt rất lớn giữa các khu vực về khả năng tiếp cận công nghệ, thông lệ tốt nhất và mức độ tiêu chuẩn hóa
- Có nơi sở hữu lịch sử ngành điện ảnh hơn 100 năm, trong khi một số quốc gia chỉ mới bắt đầu
- Thách thức cốt lõi là phát triển công nghệ có thể đáp ứng các thị trường với ngôn ngữ và quy trình làm việc khác nhau
- Các yêu cầu đa dạng từ nhân tài và vendor trên toàn thế giới là một rào cản lớn đối với tiêu chuẩn hóa
- Một số cơ sở VFX và hậu kỳ tiên tiến đã xây dựng script tự động hóa nội bộ để xử lý tệp và metadata theo định dạng riêng, nhưng mức độ tùy biến đó tốn rất nhiều thời gian
- Việc áp dụng quy trình làm việc mới gặp rào cản vì lo ngại có thể phá vỡ quy trình hiện có
- Ngay cả thay đổi nhỏ cũng có thể ảnh hưởng lớn đến lợi nhuận của vendor, vì vậy công nghệ được đưa vào phải mang lại lợi ích thực tế và rõ ràng
- Netflix cần xử lý rất nhiều tựa phim mà không phải mở rộng nhân sự vận hành, vì vậy tự động hóa trở thành yếu tố bắt buộc
- Quản lý màu sắc và khung hình, cấu trúc tệp bàn giao... đều phải được kiểm soát tự động mà không cần người dùng can thiệp, tránh mô hình để con người chỉnh sửa JSON thủ công để ánh xạ
- Để làm được điều đó, Netflix tích cực áp dụng công nghệ dựa trên các tiêu chuẩn mở như:
- ACES, AMF: tự động hóa pipeline màu sắc và đảm bảo tính nhất quán
- ASC MHL: xác minh và theo dõi tính toàn vẹn của tệp
- ASC FDL: tích hợp thông tin khung hình để tăng khả năng tương thích giữa các quy trình
- OTIO: trao đổi timeline và thông tin dựng phim
- Việc áp dụng các tiêu chuẩn này cho phép tự động chuẩn hóa video về một định dạng chung dù chúng có độ phân giải, định dạng, ống kính hay vùng an toàn khung hình khác nhau
- Trước đây việc này chỉ giới hạn ở các tác phẩm ngân sách cao và được thực hiện thủ công, nhưng giờ nhờ tự động hóa dựa trên tiêu chuẩn, có thể cung cấp cùng một tính năng nâng cao cho mọi người dùng
- Người dùng có thể kiểm soát quy trình nâng cao mà không cần tự thiết lập các cấu hình phức tạp
Câu trả lời của Netflix — Media Production Suite (MPS) dựa trên Content Hub
- Netflix thiết kế MPS (Media Production Suite) với mục tiêu phát triển một giải pháp mở rộng toàn cầu có thể dùng ở nhiều thị trường khác nhau
- Hệ thống cung cấp chức năng mạnh mẽ và các tùy chọn tùy biến đủ làm hài lòng các chuyên gia giàu kinh nghiệm, đồng thời vẫn giữ giao diện trực quan và tinh gọn để người mới cũng có thể sử dụng dễ dàng
- Thông qua hợp tác với các nhóm nội bộ Netflix, các vendor toàn cầu và nhân sự sản xuất, Netflix đã hiện thực hóa một bộ công cụ dân chủ hóa công nghệ bên trong Content Hub
- Tận dụng lợi thế quy mô và nguồn lực dồi dào để khai phá nhân tài toàn cầu, giảm công việc lặp lại không mang tính sáng tạo, thu hẹp khoảng cách giữa các thị trường và tối đa hóa thời gian dành cho công việc sáng tạo
Các thành phần của Media Production Suite
1. Cấu trúc hạ tầng lai của Netflix
- Hệ thống được xây dựng dưới dạng hạ tầng lai kết hợp năng lực dựa trên đám mây với hạ tầng vật lý
- Hạ tầng vật lý được bố trí gần các địa điểm sản xuất trọng yếu trên toàn thế giới để tối ưu hiệu năng cho người dùng
- Kết nối với hạ tầng đám mây AWS thông qua Netflix Open Connect (mạng phân phối nội dung)
- Cấu trúc được tối ưu cho việc xử lý media camera và âm thanh dung lượng lớn
- Netflix đang xây dựng các Content Hub Ingest Center trên toàn cầu để hỗ trợ tải lên nhanh hơn
- Tập trung media trên đám mây để loại bỏ nhu cầu vận chuyển media vật lý, đồng thời cải thiện bảo mật và khả năng truy cập
2. Tự động hóa và bộ công cụ
- Cung cấp nhiều bộ công cụ khai thác media khác nhau được xây dựng trên hạ tầng lai
-
Công cụ chính:
- Footage Ingest : ứng dụng cho phép người dùng tải tệp media lên Content Hub
- Media Library : thư viện trung tâm để tìm kiếm, xem trước, chia sẻ và tải xuống media
- Dailies : quy trình dailies tự động hóa kiểm tra chất lượng, đồng bộ âm thanh, áp màu, render và gửi sang đội dựng
- Remote Workstations : cho phép truy cập workstation và lưu trữ cho dựng phim từ xa
- VFX Pulls : tự động chuyển đổi và chuyển giao dữ liệu hình ảnh, màu sắc và khung hình cho vendor VFX
- Conform Pulls : tự động hóa việc hợp nhất, trimming và chuyển giao OCF cho công đoạn khóa dựng
- Media Downloader : công cụ tự động tải xuống khi media được tải lên đám mây
- Mức độ hoàn thiện của từng công cụ hiện khác nhau, nhưng hơn 350 tựa phim trên toàn thế giới đã sử dụng ít nhất một hay nhiều chức năng
- Người dùng trải rộng khắp UCAN (Mỹ/Canada), EMEA (châu Âu/Trung Đông/châu Phi), SEA (Đông Nam Á), LATAM (Mỹ Latinh), APAC (châu Á - Thái Bình Dương)
Nghiên cứu điển hình: series sản xuất tại Brazil ‘Senna’ - sự tiến hóa được tạo nên từ việc áp dụng sớm và phản hồi với MPS
- Series ‘Senna’ được sản xuất tại Brazil, kể về cuộc đời của huyền thoại F1 Ayrton Senna, là một trường hợp áp dụng sớm MPS (Media Production Suite) trong môi trường đồng sản xuất toàn cầu
- Series này được quay tại Argentina, Uruguay, Brazil và Anh; đội dựng phân tán giữa Porto Alegre của Brazil và Tây Ban Nha, còn các studio VFX thì trải khắp Brazil, Canada, Mỹ và Ấn Độ để cùng cộng tác
- Scanline VFX phụ trách toàn bộ phần sản xuất VFX, và MPS hoạt động như nền tảng cốt lõi hợp nhất môi trường sản xuất toàn cầu
-
Khởi đầu của sản xuất dựa trên đám mây
- Cốt lõi của việc áp dụng MPS là tải tệp camera gốc (OCF) và tệp âm thanh (OSF) lên đám mây, qua đó loại bỏ hoàn toàn việc vận chuyển thiết bị lưu trữ vật lý như băng LTO hay ổ cứng ngoài
- Giám sát hậu kỳ Gabriel Queiroz cho biết: “Việc di chuyển tất cả số media này bằng phương thức vật lý mất quá nhiều thời gian và quá kém hiệu quả.”
- Trên thực tế, Senna là một trong những trường hợp đầu tiên được sản xuất mà không dùng băng LTO, đánh dấu bước tiến lớn về hiệu quả sản xuất, tốc độ và bảo mật
-
Quy trình làm việc đám mây tự động bắt đầu với Footage Ingest
- Sau khi kết nối ổ đĩa, ứng dụng Footage Ingest của Netflix sẽ thực hiện tự động xác minh và trích xuất metadata, kiểm tra checksum, tạo proxy và cả sao lưu thứ cấp
- Trước đây, ở mỗi bước phải gọi trực tiếp cho vendor để hỏi tiến độ, còn bây giờ có thể theo dõi theo thời gian thực trên dashboard của Content Hub
-
VFX Pulls: phân phối dữ liệu hiệu ứng hình ảnh được tự động hóa
- Senna có lượng footage lớn và rất nhiều shot VFX, nên tính năng VFX Pulls giữ vai trò cốt lõi
- Nếu theo quy trình cũ, dữ liệu phải được trao đổi theo nhiều định dạng và cách truyền khác nhau tùy từng vendor
- Khi dùng MPS, assistant editor chỉ cần tải EDL lên là hệ thống tự động transcoding, sắp xếp các tệp màu và lưu vào Workspaces kiểu Google Drive
- Tất cả vendor đều thực hiện công việc I/O theo cùng một cách, từ đó tăng tính tương thích và hiệu quả giữa sản xuất, dựng và chỉnh màu
-
Conform Pulls và hỗ trợ khóa dựng
- Ở giai đoạn dựng cuối, cơ sở DI Quanta sử dụng dịch vụ Conform Pull của MPS để tự động thực hiện tải EDL lên, kiểm tra chất lượng, trimming media và đóng gói
- Ban đầu đây là tính năng beta, nhưng nhờ phản hồi từ Senna và nhiều dự án khác, hiện nay đã hỗ trợ ghép khớp linh hoạt (fuzzy matching) giữa EDL và OCF
- Trong tương lai, hệ thống còn dự kiến triển khai perceptual conform dựa trên computer vision, mở rộng sang cách nhận diện trực tiếp chính nội dung hình ảnh chứ không chỉ metadata
Senna đã trở thành một bước ngoặt quan trọng trong quá trình tiến hóa của MPS, đồng thời là ví dụ tiêu biểu chứng minh rằng cộng tác dựa trên đám mây có thể tạo ra kết quả thực chất trong môi trường sản xuất toàn cầu của Netflix
Kết luận
- Media Production Suite (MPS) là bước nhảy vọt mang tính đột phá đã thay đổi tận gốc cách Netflix sản xuất media
- Bằng cách tích cực áp dụng các tiêu chuẩn mở, Netflix đã hiện thực hóa một giải pháp đáp ứng cả tính kinh tế lẫn khả năng tiếp cận công nghệ ở quy mô toàn cầu
- Bằng việc loại bỏ các công việc lặp lại và không mang tính sáng tạo, hệ thống tạo ra môi trường để đội ngũ sản xuất tập trung nhiều hơn vào kể chuyện sáng tạo
- Thông qua quy trình làm việc dựa trên đám mây và hạ tầng cộng tác toàn cầu, Netflix không chỉ cải thiện hiệu quả mà còn nâng cao cả chất lượng nội dung
- Trong thời gian tới, Netflix sẽ tiếp tục tập trung vào việc giải phóng tiềm năng của lực lượng sáng tạo toàn cầu thông qua đổi mới liên tục và tinh chỉnh quy trình
- MPS là nền tảng cốt lõi của sản xuất nội dung tương lai, và Netflix đang dẫn dắt sự thay đổi hướng tới một ngành công nghiệp kết nối hơn và sáng tạo hơn
1 bình luận
Ý kiến trên Hacker News
Khi đọc bài này, tôi đã tự hỏi UI sẽ được so sánh thế nào với công cụ tôi đang dùng hiện tại
Chỉ đến khi đọc xong bài báo, tôi mới nhận ra đây không phải là bài kiểu "hãy tận hưởng công cụ chúng tôi tạo ra" mà là "hãy xem chúng tôi tuyệt vời đến mức nào"
Tôi đã đọc về quá trình quay Collateral. Đây là một trong những bộ phim kinh phí lớn đầu tiên được quay bằng kỹ thuật số
Tự động hóa đã trở thành điều thiết yếu. Độ phức tạp của việc quản lý màu sắc, khung hình và các deliverable đòi hỏi người dùng phải kiểm soát và quản lý trơn tru mà không cần can thiệp thủ công
15 năm trước, startup đầu tiên tôi làm việc cung cấp API cho streaming nhạc ở Ấn Độ
Tôi tự hỏi với quy mô tài sản mà họ nhắc tới (hàng trăm terabyte), làm sao có thể xử lý việc này qua mạng
Thông tin bổ sung về cấu hình workstation từ xa của Netflix cho nghệ sĩ
Tôi nghĩ thứ này có thể phát triển thành một nền tảng kiểu AWS. Nó sẽ dân chủ hóa khả năng tiếp cận công nghệ tiên tiến và giải quyết hiệu quả vấn đề công cụ
Tôi tự hỏi điều gì tạo nên một câu chuyện hay
Phần gây ấn tượng nhất với tôi là vẫn có rất nhiều công việc thủ công và dễ phát sinh lỗi là chuyện phổ biến trong ngành
Tôi tự hỏi họ dùng ngôn ngữ nào. Ảnh chụp màn hình của ứng dụng desktop trông như native