- Khi cung cấp cho Claude Fable 5 và GPT-5.6 Sol cùng một bài hát, lời bài hát, ngân sách 25 USD và 100 USD, cùng khả năng tìm kiếm web và
ffmpeg, rồi giao toàn bộ quy trình từ nghiên cứu đến tạo và biên tập video, cả bốn lần chạy đều tự động hoàn thành video đủ thời lượng có ghép bản nhạc gốc - Các mô hình cũng tự chọn mô hình sinh nội dung và cách sản xuất; trong 3 trên 4 lần chạy, chúng dùng text-to-video, còn chỉ riêng lần chạy 25 USD của Sol là dựng pipeline tạo ảnh tĩnh trước rồi mới hoạt họa
- Chi phí sinh nội dung ở các lần chạy 100 USD chỉ là 36.57 USD với Sol và 48.60 USD với Fable; nếu tính cả chi phí token LLM thì lần lượt là 39.82 USD và 73.65 USD, nghĩa là Fable kết thúc nhanh hơn nhưng tốn kém hơn
- Trong mọi kết quả, vẫn thiếu sự nhất quán của nhân vật và câu chuyện, thiếu đồng bộ nhịp độ giữa chuyển động trong video với âm nhạc, đồng thời cũng thiếu bước tự đánh giá và biên tập lại các clip đã tạo; ngoài ra còn có xu hướng diễn hình lời bài hát quá sát nghĩa đen
- Lần chạy 25 USD của Sol cho thấy khâu biên tập sáng tạo nhất nhờ dùng text overlay và hiệu ứng ảnh tĩnh, nhưng nhìn chung các mô hình vẫn chủ yếu nối đơn giản các clip sinh ra, đồng thời chưa tận dụng tốt ngân sách 100 USD và Replicate
Thử nghiệm tạo MV tự động
- Một agent harness cỡ nhỏ được thiết kế để nhận bài hát, ngân sách USD cố định và các công cụ, rồi tự động thực hiện toàn bộ quy trình làm MV
- Nghiên cứu các mô hình tạo video và API có thể dùng
- Tạo clip và tự kiểm tra trực tiếp
- Biên tập bằng
ffmpegđể lắp ráp video hoàn chỉnh
- Để quan sát sự khác biệt trong cách dùng công cụ giữa các mô hình, bài toán được thiết kế như một tác vụ mở dài hạn, nơi mỗi mô hình tự quyết định đối tượng nghiên cứu, nội dung tạo ra và cách biên tập
- Mọi lệnh gọi công cụ đều được ghi lại để có thể xem quy trình làm việc của từng mô hình, và toàn bộ harness được công khai tại music-video-arena
- Claude Fable 5 và GPT-5.6 Sol được chạy với ngân sách 25 USD và 100 USD, tổng cộng so sánh bốn lần chạy
- Tất cả các lần chạy đều nhận cùng bài “Uptown Funk” của Bruno Mars và Mark Ronson, một phần mô tả văn bản ngắn, cùng bản lời bài hát có gắn mốc thời gian
6 công cụ và ràng buộc ngân sách
- Mỗi mô hình sử dụng 6 công cụ sau trong vòng lặp gọi công cụ tự động
plan: sắp xếp suy nghĩ mà không phát sinh chi phí hay hành động thực tếweb_search: nghiên cứu mô hình sinh nội dung và API, và khi cần thì tìm thêm thông tin về MVget_budget: kiểm tra ngân sách còn lạigenerate_image,generate_video: hai công cụ duy nhất tiêu ngân sách, nơi mô hình tự chọn mô hình FAL hoặc Replicate và các tham sốrun_command: shell cục bộ dùngffmpegvàffprobeđể phân tích âm thanh, cắt/nối clip và ghép video cuối cùng
- Khi ngân sách về 0, các yêu cầu sinh nội dung trả phí sẽ bị từ chối, nhưng khâu biên tập tiếp theo vẫn có thể tiếp tục
- Không chỉ tin nhắn mô hình và lệnh gọi công cụ, mà cả chi phí tính tiền và lỗi cũng đều được ghi lại
Kết quả của bốn lần chạy
- Cả bốn lần chạy đều tự kết thúc mà không vướng giới hạn bước hay thời gian, đồng thời tạo ra video hợp lệ với độ dài đầy đủ có ghép bản gốc
- Thời gian chạy và kết quả sinh nội dung như sau
- Fable 5 · 25 USD: 39 phút 10 giây, 54 clip, 1 lần thất bại, 24.30 USD, 1280×720
- Sol · 25 USD: 42 phút 52 giây, 46 clip, 10 lần thất bại, 23.18 USD, 1280×720
- Sol · 100 USD: 49 phút 39 giây, 70 clip, 2 lần thất bại, 36.57 USD, 1280×720
- Fable 5 · 100 USD: 38 phút 56 giây, 80 clip, không thất bại, 48.60 USD, 1920×1080
- Chi phí sinh nội dung chỉ tính phần định lượng của FAL, không bao gồm chi phí token cho chính việc chạy mô hình
- Ở các lần chạy 25 USD, cả hai mô hình gần như dùng hết ngân sách, nhưng ở các lần chạy 100 USD thì Sol chỉ dùng 36.57 USD còn Fable dùng 48.60 USD
- Khi ngân sách lớn hơn, tổng số cảnh video được tạo cũng tăng lên; số clip riêng biệt trong mỗi lần chạy là 46–80 clip
- Thời gian thực tế tính theo đồng hồ còn bao gồm cả thời gian mô hình thử lại và chờ trong hàng đợi của nhà cung cấp
Pipeline tạo nội dung theo từng mô hình
- Khi để mô hình tự chọn công cụ, 3 trên 4 lần chạy chỉ dùng text-to-video, còn riêng lần chạy 25 USD của Sol thì dựng pipeline image-to-video
- Fable 5 · 25 USD
- Chọn Wan 2.5 t2v mà không dùng mô hình ảnh
- Đây là cách làm text-to-video với giá 0.05 USD cho mỗi giây video đầu ra
- Sol · 25 USD
- Tạo keyframe bằng FLUX schnell với giá 0.003 USD mỗi ảnh
- Hoạt họa ảnh tĩnh bằng Wan 2.2-5b i2v với giá 0.10 USD mỗi giây
- Sol · 100 USD
- Không dùng mô hình ảnh, mà trộn ba mô hình video trong cùng một lần chạy như Wan 2.5, Veo 3.1 Lite và Hailuo 2.3 Standard
- Wan 2.5 có giá 0.05 USD mỗi giây, Veo 3.1 Lite là 0.10 USD mỗi giây, còn Hailuo 2.3 Standard khoảng 0.28 USD cho mỗi clip dài khoảng 6 giây
- Fable 5 · 100 USD
- Chỉ dùng Seedance 1.0 Pro t2v mà không dùng mô hình ảnh
- Đây là mức giá theo token, khoảng 0.62 USD cho một clip 5 giây độ phân giải 1080p, tương đương khoảng 0.12 USD mỗi giây
- Dù được cấp khóa cho cả hai dịch vụ, cả bốn lần chạy đều chỉ dùng FAL và không truy cập Replicate
Lệnh gọi công cụ và lỗi
- Thống kê lệnh gọi công cụ bao gồm không chỉ các yêu cầu thành công mà cả những lần thử sinh nội dung thất bại
- Toàn bộ kế hoạch, lịch sử lệnh gọi và lệnh shell của từng lần chạy có thể xem trong các bản ghi sau
- Các lần gọi thất bại chủ yếu do lỗi mạng tạm thời với phía nhà cung cấp
- Những yêu cầu thất bại không bị tính phí, nhưng quá trình thử lại vẫn tiêu tốn các bước làm việc
Lượng token và tổng chi phí thực tế
- Lượng token của từng lần chạy như sau
- Fable 5 · 25 USD: đầu vào 1,476,900, đầu ra 44,341, không có đầu vào cache
- Sol · 25 USD: đầu vào 2,956,270, đầu ra 33,220, suy luận 9,656, đầu vào cache 2,558,029
- Sol · 100 USD: đầu vào 2,097,572, đầu ra 31,715, suy luận 12,330, đầu vào cache 1,819,050
- Fable 5 · 100 USD: đầu vào 2,264,610, đầu ra 48,029, không có đầu vào cache
- Giá token của Fable 5 là 10 USD và 50 USD cho mỗi triệu token đầu vào và đầu ra; với Sol lần lượt là 5 USD và 30 USD
- Tổng chi phí mỗi lần chạy khi cộng chi phí sinh nội dung và token LLM là
- Fable 5 · 25 USD: sinh nội dung 24.30 USD + LLM 16.99 USD = 41.29 USD
- Sol · 25 USD: sinh nội dung 23.18 USD + LLM 4.27 USD = 27.45 USD
- Sol · 100 USD: sinh nội dung 36.57 USD + LLM 3.25 USD = 39.82 USD
- Fable 5 · 100 USD: sinh nội dung 48.60 USD + LLM 25.05 USD = 73.65 USD
- Riêng chi phí token của Fable đã ở mức 16.99–25.05 USD, chiếm khoảng 30–40% tổng chi phí
- Sol dù có quy mô token tương đương nhưng chi phí token chỉ dừng ở khoảng 3–4 USD
- Chi phí sinh nội dung là ước tính tốt nhất dựa trên bảng giá của từng mô hình
Những giới hạn bộc lộ trong kết quả
- Cả bốn video đều cho thấy ngoại hình nhân vật lặp lại thay đổi giữa các cảnh, và không duy trì được một câu chuyện nhất quán từ đầu tới cuối
- Có xu hướng diễn giải lời bài hát quá theo nghĩa đen
- Ở câu “Make a dragon wanna retire, man”, mô hình đưa hẳn một con rồng thật vào khung hình
- Một vài cảnh thì thú vị, nhưng khi lặp lại cùng kiểu xử lý sẽ trở nên gượng gạo
- Mọi lần chạy đều dùng
ffmpegđể phát hiện nhịp nhằm cắt cảnh đúng beat, nhưng các chuyển động bên trong clip như nhảy múa hay chuyển động camera lại hầu như không khớp nhịp độ của bài hát- Ở cảnh “gotta kiss myself I’m so pretty”, động tác hôn của nhân vật chính diễn ra quá chậm
- Lần chạy 25 USD của Sol sử dụng các cách biên tập không thấy ở những lần khác, như chèn văn bản và làm chuyển động ảnh tĩnh bằng hiệu ứng video
- Các lần chạy còn lại phần lớn chỉ nối đơn giản các clip đã sinh, và chỉ có lần chạy 100 USD của Sol là thử kết hợp nhiều mô hình video, khác với Fable
Hạn chế về tự rà soát và tận dụng ngân sách
- Sau khi tạo clip, nối lại và ghép nhạc, gần như không có vòng lặp biên tập nào như cắt lại hay thêm hiệu ứng
- Các mô hình cũng không kiểm tra nghiêm túc chất lượng của clip đã tạo; trong kết quả 100 USD của Sol còn có cả những clip AI chất lượng thấp
- Fable 5 tình cờ chọn được mô hình cho đầu ra nhất quán hơn
- Fable kết thúc nhanh hơn Sol, nhưng chi phí mỗi lần chạy lại cao hơn và cũng ghi nhận mức tổng chi phí cao nhất
- Về mặt chủ quan, video 100 USD của Fable được ưa thích hơn đôi chút, nhưng cả bốn kết quả vẫn chưa đạt mức xuất sắc
- Ngay cả với ngân sách 100 USD, cả hai mô hình đều không chi tiêu gần mức trần và số bước làm việc cũng không nhiều
- Chúng hoàn toàn có thể dùng phần ngân sách còn lại để tạo trước hình ảnh nhân vật nhất quán rồi mới hoạt họa, nhưng không mô hình nào chọn cách này
- Với các tác vụ mang tính chủ quan và thiên về phong cách, ngay cả những mô hình hàng đầu hiện nay vẫn còn nhiều dư địa để cải thiện
Tự chạy thử
- Tại music-video-arena, bạn có thể chọn bài hát và ngân sách mong muốn, thay mô hình so sánh rồi chạy lại cùng thí nghiệm này
- Dự án là mã nguồn mở và tiếp nhận issue, PR cùng phản hồi về cấu hình thí nghiệm
1 bình luận
Ý kiến trên Hacker News
So với vài năm trước thì đây là công nghệ ấn tượng, nhưng giá trị nghệ thuật thì hoàn toàn không có. Nó giống như một thứ chất nhầy xám xịt được tạo ra bằng cách lấy trung bình mọi khái niệm gợi ra từ bài hát; một người sáng tạo có tài năng và tầm nhìn, ngay cả không có ngân sách, cũng có thể làm ra tác phẩm thú vị và vui hơn trong nửa ngày buổi chiều
Ví dụ, có thể chỉ dẫn chi tiết theo cảnh và thời lượng rằng hai nhân vật ở cảnh trước, trong trang phục đại tư tế Vương triều Trung kỳ Ai Cập với gương mặt mèo, sẽ đứng trên lưng voi đang lao trên sông và nhảy theo nhạc. AI là công cụ, nên nếu chỉ nói “hãy làm một MV nền Ai Cập cho bài hát này” thì việc nó trở nên thô kệch là điều hiển nhiên
Có lẽ rồi sẽ có người dùng AI theo cách thực sự xuất sắc về mặt nghệ thuật, nhưng tôi lo rằng khi nội dung tầm thường được tạo tự động tràn ra với số lượng áp đảo, việc tìm ra tác phẩm thú vị sẽ ngày càng khó hơn, bất kể có dùng AI hay không. Hy vọng xu hướng này sẽ đưa con người quay lại với cộng đồng địa phương ngoài đời và nghệ thuật vật lý
Người thật sự có năng lực và tài năng có thể dùng các công cụ này để làm ra tác phẩm đáng kinh ngạc với chi phí rẻ, và công nghệ này vẫn còn rất xa mới tới đỉnh điểm
Vấn đề là người ta không so AI với một người trung bình trong lĩnh vực đó, mà lại đem so với thiên tài xuất hiện một lần trong đời
Không rõ do prompt hay cách triển khai, nhưng kết quả sao chép ca từ quá sát nghĩa đen. Một MV xuất sắc thường tạo ra mạch tự sự theo chủ đề hơn là bám chặt vào từng câu chữ của lời bài hát, bắt đầu mơ hồ rồi thông qua các thủ pháp văn học để hé lộ điều gì đó
Foundcủa Amber Run là ví dụ đáng để so sánh giữa lời bài hát, hình ảnh và diễn tiến tự sự trong video: https://www.youtube.com/watch?v=Yj6V_a1-EUARiptidecủa Vance Joy là ví dụ hay: https://www.youtube.com/watch?v=uJ_1HMAGb4kGenghis Khancũng đáng tham khảo: https://youtu.be/P_SlAzsXa7EĐặc biệt, câu đầu thật ra là một cách nói khá lộ liễu để chỉ cocaine, nên sự bám nghĩa đen đến mức lố bịch của video tạo ra đối lập rất chuẩn với phần ca từ vốn thông minh và giàu sáng tạo. Nếu lời bài hát cũng đơn giản như chất lượng video, chắc nó sẽ thành kiểu “Giờ thì tất cả chúng ta hãy hít cocaine đi!”
AI đang phá vỡ cấu trúc kinh tế từng nâng đỡ tầng lớp trung lưu nghệ sĩ ở quy mô đáng kể. Nhiều nghệ sĩ được trả tiền vì độ hoàn thiện về mặt thẩm mỹ hơn là giá trị nghệ thuật, và dù đó không phải công việc giàu tính sáng tạo nhất, nó vẫn giúp họ kiếm sống, mài giũa tay nghề và theo đuổi mục tiêu sáng tác thực sự ở bên cạnh
Nếu đang điều hành một công ty có ngân sách, thì dù có thể tự làm mọi thứ, bạn cũng sẽ không phí thời gian dùng Claude để làm mỹ thuật. Những người từng nhận thù lao cao cho các việc AI dễ thay thế sẽ bị đẩy ra ngoài, nhưng ngay từ đầu thị trường lương cao đó cũng không lớn lắm đối với giới nghệ sĩ trung lưu
Ngày càng có nhiều người tự hào cổ xúy chủ nghĩa gia tốc, tức biến mọi thứ thành tệ nhất có thể để làm thế giới xấu đi và kéo người khác xuống ngang mình; chẳng khác nào biến hành vi cua trong xô thành một triết lý chính trị, kinh tế và lao động
Những người thực sự sáng tạo sẽ dùng AI không phải như đường tắt mà như bộ khuếch đại năng lực, và từ đó mọi thứ mới bắt đầu thú vị. Trong phần mềm đã có những người nhờ LLM mà hiện thực hóa được thứ trước đây họ không thể làm do kỹ năng lập trình còn thiếu; nếu thái độ ấy lan sang giới nghệ sĩ, sẽ xuất hiện các tác phẩm AI có thể gọi là nghệ thuật thật sự
Muốn tìm nhạc hay thì từ lâu đã phải tìm ở nơi khác, và 90% nhạc đại chúng vốn đã là rác sản xuất hàng loạt từ trước khi có AI. Một cuộc phỏng vấn cũ của Frank Zappa về sự suy thoái của ngành công nghiệp âm nhạc đến nay vẫn còn nguyên giá trị: https://www.youtube.com/watch?v=KZazEM8cgt0
Đây là kiểu video giống nhạc của Suno: chỉ thấy có vẻ ổn khi xem qua loa, còn hễ chú ý kỹ là đủ loại lỗi lộ ra ngay, rất tệ
Uptown Funk, bản hit cực lớn năm 2014: https://www.youtube.com/watch?v=OPf0YbXqDm0Tất nhiên, tôi đồng ý là phần hình ảnh rất tệ
https://www.cbc.ca/news/canada/ai-baby-slop-9.7166873
https://www.nytimes.com/2026/02/26/us/ai-videos-children-you...
Với người lớn, có vẻ AI cũng có thể tạo ra vô hạn những video kiểu
OW, My balls!trong phimIdiocracy.https://substackcdn.com/image/fetch/$s_!Dh4l!,f_auto,q_auto:...
https://media.licdn.com/dms/image/v2/D4E22AQEqLntg_DW7vg/fee...
higgsfield ai, vốn chuyên cho lĩnh vực videoThật thú vị khi thấy rằng nếu không dùng mô hình video và sự dàn dựng trực tiếp, kết quả lại tệ đến mức này. Hai clip phía trước được tôi tạo bằng Kling mà chính tôi đang dùng, tôi không liên quan gì với họ: https://xcancel.com/PJaccetturo/status/2076312902685085815#m
Tất nhiên đây không phải kết quả tạo ra chỉ trong một lần, và tôi còn hoàn thiện bằng trình biên tập video, nhưng hoàn toàn có thể đạt được mức độ trung thực như thế này
Việc những người làm video thừa nhận rằng “không có MV nào thực sự xuất sắc” là một điều đáng mừng. Cũng tò mò không biết ngoài token ra thì còn tốn bao nhiêu thời gian nữa
Nếu bỏ ra 25 đô la và 45 phút mà chỉ nhận lại một video về cơ bản không xem nổi, thì có lẽ vẫn chưa cần lo các nhà làm phim độc lập sẽ bị thay thế
Về mặt triết học, tôi cho rằng nghệ thuật về bản chất là của con người. Ý nghĩa và sức ảnh hưởng đến từ cuộc đời của nghệ sĩ, bối cảnh của tác phẩm, nỗ lực và đau khổ, sở thích cá nhân và hoàn cảnh của con người đã tạo ra một thứ gì đó cụ thể, chứ không chỉ từ vẻ ngoài hào nhoáng
Có thể dùng AI như một công cụ tạo nghệ thuật, nhưng nếu một người chỉ nhập prompt trong 1–2 phút, chỉnh sửa chút ít rồi đem bán như nghệ thuật của mình, thì đó chỉ là nội dung làm cho dễ mà thôi. Ngay cả khi không có AI, nội dung vẫn đang tuôn ra nhanh hơn tốc độ chúng ta có thể xem, và nghệ thuật có ý nghĩa khác với sản phẩm tạo sinh hàng loạt
Vì nghệ thuật mang tính chủ quan, ai đó vẫn có thể tìm thấy ý nghĩa trong sản phẩm do AI tạo ra, và nếu cách trình bày độc đáo chạm được đến chiều sâu nào đó thì nó cũng có thể trở thành nghệ thuật. Nhưng thứ rác này không thuộc trường hợp đó, và kể cả chỉ là một bài thử nghiệm tính năng, nó vẫn sẽ được chấp nhận ở nhiều nơi vì rẻ và đủ tốt, nên cần phản đối thêm một kiểu cắt giảm chi phí nữa không làm thế giới tốt đẹp hơn
Giống như câu “nghệ thuật là bất cứ thứ gì bạn có thể qua mặt người khác mà không bị phát hiện”, tranh luận về thế nào là nghệ thuật không phải điều mới mẻ, và bản thân việc công nghệ kiểu này kích thích mọi người bàn luận quan điểm của mình có thể chính là cách văn hóa được hình thành. Cũng là một câu hỏi thú vị rằng nghệ thuật là nghệ thuật vì người sáng tạo đã làm gì, hay vì cách người thưởng thức tiếp nhận nó
Cũng đáng để nghĩ xem nếu bạn bị một tác phẩm không rõ nguồn gốc làm rung động, rồi sau đó mới biết nó được tạo ra 100% bởi AI, thì nó có còn là nghệ thuật hay không
Nếu áp dụng tiêu chuẩn cao như thế, thì phần lớn MV do con người làm ra cũng không phải nghệ thuật: https://en.wikipedia.org/wiki/Potboiler
Có người có thể cho rằng Centre Pompidou đầy ắp những tác phẩm thiên tài, nhưng tôi lại không thấy thưởng thức được mấy, và tác phẩm AI cũng gặp đúng vấn đề đó
Một cuốn sách thì vẫn là một cuốn sách, có thể hay hoặc dở, nhưng việc nó do Goethe, chú Clara, một LLM hay một con chó viết không phải là một phần của bản thân tác phẩm. Con người có thể dễ bị hấp dẫn bởi những hậu trường hay ho, nhưng điều đó không nên quan trọng trong việc phán đoán nghệ thuật
Mọi mô hình đều xử lý thiết kế trang phục rất tốt, nên tôi tự hỏi có phải vì chúng được huấn luyện trên rất nhiều dữ liệu thời trang để nhắm đến ứng dụng trong ngành fashion hay không
Làm phim vốn dĩ là một quá trình lặp đi lặp lại để cải thiện, và ngay cả ngoài đời cũng không ai hoàn thành MV trong một lần. Agent sẽ phải xem lại kết quả ở từng giai đoạn và chỉnh sửa lặp lại, nên vẫn còn nhiều chỗ để cải thiện
Ngay cả MV gốc của
Uptown Funkchắc cũng có ngân sách khoảng 100.000 đô, còn ngay cả phim độc lập truyền thống cũng đắt vì chi phí thiết bị, nhân sự và địa điểm. Trong bất kỳ ngành nào, giảm chi phí xuống còn 1/100 cũng là một thay đổi cực lớnViệc câu hát “don't believe me just watch” được minh họa theo đúng nghĩa đen bằng một cánh tay đeo đồng hồ thật sự quá buồn cười. Cảm giác như một trò đoán chữ bằng điệu bộ
retiredĐây là một thử nghiệm thú vị và kết quả cũng đáng kinh ngạc, nhưng nếu là nhạc sĩ thì tôi dám chắc chỉ cần 25 đô la và 45 phút cùng vài người bạn là đã có thể làm ra một MV hay hơn rất nhiều
OK Go từng thành công lớn trên YouTube thời kỳ đầu với
Here It Goes Again: https://www.youtube.com/watch?v=dTAAsCNK7RADù vậy, những trường hợp như thế là ngoại lệ, còn phần lớn mọi người không có khả năng tạo ra kết quả sáng tạo với ngân sách eo hẹp. Nhưng điều đó không có nghĩa là kết quả AI này tốt hơn; trái lại, nó hoàn toàn tệ hại