Qwen VLo - từ việc 'hiểu' thế giới đến 'miêu tả' thế giới
(qwenlm.github.io)- Qwen VLo là một mô hình preview mở rộng năng lực hiểu hình ảnh của QwenVL·Qwen2.5 VL sang tạo sinh hình ảnh, và có thể dùng thử ngay trong Qwen Chat
- Thay vì hoàn thiện ảnh trong một lần, mô hình dùng tạo sinh tiến dần theo thứ tự từ trái sang phải, từ trên xuống dưới để tăng tính nhất quán và hài hòa của kết quả
- Tập trung vào tái sáng tạo hình ảnh: thay đổi màu sắc, phong cách và đối tượng trong khi vẫn giữ được ý nghĩa và cấu trúc của ảnh gốc
- Chỉ với chỉ dẫn ngôn ngữ tự nhiên, mô hình có thể thay nền, thêm/xóa đối tượng, chuyển đổi phong cách, chỉnh sửa văn bản, tạo poster, cũng như sinh depth map, segmentation map, detection map và thông tin cạnh
- Vì vẫn đang ở giai đoạn preview, mô hình vẫn có thể gặp sai lệch, không khớp với ảnh gốc hoặc không tuân thủ chỉ dẫn; một số tính năng như đầu vào đa ảnh và tạo ảnh với tỷ lệ khung hình cực đoan vẫn chưa được phát hành chính thức
Vai trò và cách tiếp cận của Qwen VLo
- Qwen VLo là mô hình hợp nhất giữa hiểu và tạo sinh đa phương thức, vượt từ việc hiểu hình ảnh sang tái tạo lại hình ảnh dựa trên sự hiểu đó
- Phiên bản hiện tại là preview và có thể sử dụng tại Qwen Chat
- Có thể tạo ảnh chỉ bằng văn bản, hoặc tải ảnh lên rồi chỉnh sửa bằng ngôn ngữ tự nhiên
- Có thể tạo ảnh bằng prompt văn bản như “Generate a picture of a cute cat”
- Có thể tải ảnh con mèo lên rồi chỉnh sửa bằng chỉ dẫn như “Add a cap on the cat’s head”
Tạo sinh tiến dần từ trái sang phải
- Qwen VLo sử dụng phương thức tạo sinh tiến dần để cấu thành hình ảnh theo trình tự
- Trong quá trình tạo, mô hình liên tục tinh chỉnh và tối ưu dự đoán để tăng tính nhất quán và độ hài hòa của ảnh cuối cùng
- Cơ chế này được thiết kế để nâng cao chất lượng thị giác và mang lại trải nghiệm sáng tạo nơi người dùng có thể kiểm soát kết quả linh hoạt hơn
- Khi kết hợp với tạo sinh độ phân giải động, mô hình phù hợp với các tác vụ cần kiểm soát chi tiết như quảng cáo có nhiều chữ hoặc các khung truyện tranh
- Có thể theo dõi tiến trình tạo ảnh từng bước và điều chỉnh theo thời gian thực
Các khả năng được mở rộng từ hiểu sang tạo sinh
-
Tái sáng tạo nhưng vẫn giữ cấu trúc gốc
- Các mô hình đa phương thức hiện có có thể làm lệch nghĩa trong quá trình tạo, hiểu nhầm ô tô thành đối tượng khác, hoặc không giữ được cấu trúc cốt lõi của ảnh gốc
- Qwen VLo hướng tới việc duy trì tính nhất quán ngữ nghĩa ở mức cao trong khi tạo, bằng cách tăng cường khả năng nắm bắt chi tiết
- Nếu yêu cầu “đổi màu” cho ảnh ô tô, mô hình có thể nhận diện mẫu xe và thay đổi phong cách màu sắc trong khi vẫn giữ cấu trúc ban đầu
-
Chỉnh sửa ảnh bằng ngôn ngữ tự nhiên
- Có thể xử lý các chỉ dẫn như “hãy biến bức ảnh này thành phong cách Van Gogh”, “hãy làm nó giống ảnh thế kỷ 19”, hoặc “hãy thêm bầu trời quang đãng”
- Hỗ trợ các tác vụ như chuyển đổi phong cách nghệ thuật, tái cấu trúc cảnh và chỉnh sửa chi tiết
- Các tác vụ nhận thức thị giác truyền thống như dự đoán depth map, segmentation map, detection map và thông tin cạnh cũng có thể được thực hiện dưới dạng chỉ dẫn chỉnh sửa
- Có thể xử lý nhiều chỉ dẫn phức hợp như chỉnh sửa đối tượng, sửa văn bản và đổi nền chỉ trong một lệnh
-
Hỗ trợ chỉ dẫn đa ngôn ngữ
- Hỗ trợ nhiều ngôn ngữ, bao gồm tiếng Trung và tiếng Anh
- Người dùng có thể mô tả yêu cầu và nhận kết quả bất kể ngôn ngữ sử dụng
Các loại tác vụ có thể thấy trong demo
-
Tạo ảnh và chỉnh sửa liên tiếp
- Demo cho thấy quy trình tạo một chú Shiba Inu dễ thương, sau đó đổi nền thành đồng cỏ, thêm mũ đỏ và kính râm đen trong suốt, rồi chèn chữ “QwenVLo” lên chiếc mũ
- Có thể tiếp tục chuyển cùng bức ảnh sang phong cách Ghibli, phong cách 3D Q-version hoặc tái sử dụng các đối tượng đã chỉnh sửa trong ngữ cảnh chỉnh sửa nối tiếp
- Cũng bao gồm các tác vụ như phát hiện cây bút bằng mặt nạ màu xanh hoặc phân đoạn viền chú chó bằng mặt nạ màu hồng
-
Chuyển đổi phong cách và diễn giải lại
- Có thể biến tranh minh họa thành ảnh thật, thay nền bằng Eiffel Tower hoặc làm nhân vật bay lơ lửng như bóng bay
- Cũng có các tác vụ chuyển ảnh cặp đôi thành sticker minh họa phẳng tối giản hoặc figure sưu tầm render 3D, rồi thêm dòng chữ “Happy Wedding”
- Bao gồm chuyển đổi sang các phong cách Ghibli, One Piece, Dragon Ball, SpongeBob, Minecraft và pixel art
- Ngoài ra còn có ví dụ biến mèo thành phong cách Pixar 3D hoặc chuyển đường chân trời đêm của Miami sang phong cách mô hình vật liệu đặc biệt với chất liệu thạch
-
Xử lý prompt phức tạp
- Có thể tạo ảnh gồm một người đàn ông đội mũ đen trên tàu điện ngầm, một phụ nữ đeo kính râm đỏ, một chú Husky, Statue of Liberty bên ngoài cửa sổ và biển ga “Qwen VLo” trong cùng một khung hình
- Cũng xử lý các chỉ dẫn kế thừa kết quả trước đó, như cảnh góc nhìn thứ nhất đang vẽ sơ đồ vào cuốn sổ, hoặc cảnh Isaac Newton trình diễn thí nghiệm với lăng kính
- Bao gồm cả prompt dạng poster tạo ảnh góc rộng quy mô lớn, trong đó mèo đen là nhân vật chính đối đầu với bầy động vật, người ngoài hành tinh và đĩa bay
Tạo poster và ảnh có văn bản
- Qwen VLo không chỉ hỗ trợ các tác vụ kết hợp đầu vào văn bản và hình ảnh mà còn hỗ trợ tạo sinh văn bản-thành-hình ảnh
- Ngoài ảnh thông thường, mô hình còn có thể tạo poster song ngữ chứa tiếng Trung và tiếng Anh
- Nghệ thuật hoạt hình pháp sư đêm với dòng chữ “Qwen VLo!” được tạo thành từ năng lượng
- Cảnh selfie của một chú mèo màu cam đeo kính râm và bịt tai
- Ảnh dạng poster có chứa các dòng chữ như “2025”, “A New Beginning”, “新的开始”, “长安”, “Father’s Day”
- Với poster quảng cáo, mô hình xử lý bố cục gồm lon cà phê, ấm rót hand drip, bảng màu cà phê và tiêu đề như “一杯咖啡，唤醒你的清晨”
- Một ví dụ poster khác đặt sản phẩm chiếu sáng làm yếu tố thị giác trung tâm, dùng nền xanh lam đậm với quầng sáng cam ấm và dòng chữ “Illuminating not just the desk, but an attitude.”
Tạo sinh bao gồm cả nhận thức và định vị
- Ngoài tạo và chỉnh sửa, Qwen VLo còn có thể thêm chú thích lên ảnh có sẵn
- Các tác vụ ví dụ bao gồm:
- Tạo một chiếc bàn đầy trái cây rồi dự đoán edge detection map
- Phân đoạn viền quả chuối trong ảnh bằng mặt nạ màu đỏ
- Đánh dấu điện thoại bằng khung đỏ trong ảnh bàn làm việc bừa bộn
- Xóa chiếc điện thoại đã đánh dấu và thêm cà phê lên bàn
- Chuyển ảnh cuối cùng thành ảnh phát hiện cạnh
- Vì là mô hình hiểu và tạo sinh tích hợp, mô hình cũng có thể phân tích lại chính những ảnh mà nó đã tạo
- Trong ví dụ tạo chó và mèo rồi hỏi giống loài, mô hình xác định chó là Beagle hoặc Beagle mix, còn mèo là Tabby cat
Độ phân giải, tỷ lệ khung hình và đầu vào đa ảnh
- Qwen VLo hỗ trợ tạo sinh độ phân giải động nhờ sử dụng huấn luyện độ phân giải động
- Cả đầu vào lẫn đầu ra đều cho phép ảnh ở độ phân giải và tỷ lệ khung hình tùy ý
- Không bị bó buộc vào định dạng cố định, mô hình có thể tạo ảnh phù hợp với các kịch bản như poster, minh họa, web banner hay ảnh bìa mạng xã hội
- Có thể xử lý cả các định dạng dài như 4:1 hoặc 1:3
- Tuy vậy, tính năng tạo ảnh với tỷ lệ khung hình cực đoan vẫn chưa được phát hành chính thức
- Mô hình cũng bao gồm khả năng hiểu và tạo sinh từ nhiều ảnh đầu vào
- Ví dụ được đưa ra là đặt ảnh đồ dùng vệ sinh cá nhân vào trong ảnh chiếc giỏ màu đỏ
- Tính năng đầu vào đa ảnh vẫn chưa được phát hành chính thức
Giới hạn ở giai đoạn preview và hướng phát triển tiếp theo
- Qwen VLo vẫn đang ở giai đoạn preview, nên còn nhiều giới hạn
- Có thể xuất hiện sai lệch trong quá trình tạo
- Có thể cho ra kết quả không khớp với ảnh gốc
- Có thể không làm theo chỉ dẫn
- Độ ổn định trong việc nhận biết và hiểu ý đồ của ảnh được tạo vẫn có thể còn thiếu
- Trong tương lai, nhóm phát triển dự định tiếp tục cải thiện độ ổn định và độ vững chắc của mô hình
- Mô hình đa phương thức cỡ lớn có thể xử lý đầu vào và đầu ra văn bản lẫn hình ảnh theo hai chiều, đồng thời truyền đạt câu trả lời không chỉ bằng văn bản mà còn bằng hình ảnh
- Các khả năng như tạo sơ đồ, thêm đường phụ trợ và chú thích vùng trọng tâm có thể được dùng như những công cụ giao tiếp đa dạng hơn
- Nhóm cũng dự định tiếp tục khám phá hướng tạo ra các kết quả trung gian như segmentation map hoặc detection map để mô hình tự kiểm tra mức độ hiểu của mình và cải thiện hiệu năng
1 bình luận
Ý kiến trên Hacker News
Thật tiếc vì không có công bố trọng số. Thế mạnh của Qwen từ trước đến nay là chiến lược trọng số mở, và lẽ ra sẽ rất tốt nếu có một mô hình trọng số mở thật sự cạnh tranh với khả năng tạo ảnh tự hồi quy của 4o.
Có rất nhiều hướng nghiên cứu thú vị chỉ có thể thực hiện khi được truy cập vào trọng số. Nếu lo ngại việc thu hồi chi phí phát triển, có thể tham khảo cách BFL phát hành Flux Kontext Dev: cung cấp trọng số miễn phí cho nhà nghiên cứu và cá nhân, còn startup thì trả phí giấy phép thương mại ở mức hợp lý.
Nhìn tông màu cam của ảnh thì có vẻ khá rõ là họ đã huấn luyện trên đầu ra của OAI. Tôi tự hỏi liệu họ có cố gắng tự tạo dữ liệu của riêng mình không.
Rốt cuộc là được huấn luyện bằng OAI, đóng kín không kém OAI, và quan trọng hơn là kém hơn OAI. Chiến lược nhốt thứ này sau API thật kỳ lạ.
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
Vì lý do nào đó, có vẻ kỷ nguyên trọng số mở của Trung Quốc đã kết thúc. Trông như một động thái đột ngột và có phối hợp.
Alibaba đã ngừng mở Qwen, Tencent đã ngừng mở Hunyuan, còn Seedream của Bytedance thì ra mắt dưới dạng đóng. Dù vậy, vẫn có vẻ rõ ràng là họ đang huấn luyện trên đầu ra của các mô hình phương Tây. Về mặt chiến lược, tôi nghĩ đi theo hướng mở 100% rồi bán hạ tầng/dịch vụ mới là hợp lý.
Nếu nói là làm trọng số mở, chẳng phải mọi người nên được tự do sử dụng sao?
Cách được đề xuất giống trọng số dùng thử, trọng số shareware hoặc trọng số dành cho học thuật hơn là “trọng số mở”. Nếu thiếu ý nghĩa rằng có thể dùng cho bất cứ việc gì như phần mềm nguồn mở, thì từ “mở” sẽ tạo ấn tượng sai.
Cá nhân tôi hoài nghi liệu chỉ riêng phí tạo ảnh có thể thu hồi khoản đầu tư hàng chục triệu đô la, thời gian GPU và lương kỹ sư hay không.
Trong mắt tôi, tất cả các ảnh này đều rơi vào thung lũng kỳ quái. Màu sắc và bóng đổ trông đều lệch lạc.
Nhìn ví dụ chỉnh sửa ảnh gấu, có vẻ mô hình thay đổi nhiều phần hơn mức được yêu cầu.
Yêu cầu là đổi nền, nhưng bản thân con gấu cũng bị đổi hoàn toàn; áo thì giống, nhưng lông và mặt thì rõ ràng khác. Khi đổi con gấu thành bóng bay, nó cũng đổi cả nền, xóa đường lát và hạt dưa hấu bên trái cũng biến mất. Tôi tò mò liệu có thể sửa bằng prompt tốt hơn không, hay đây là giới hạn của mô hình/kiến trúc.
Như một bài kiểm tra bắt buộc, tôi đã thử tạo ảnh bồ nông đi xe đạp dưới dạng ảnh chứ không phải SVG, và cũng tạo vài ảnh đàn accordion. Nó hơi gặp khó trong việc khớp chính xác ngón tay và phím đen, nhưng khá nhanh.
https://chat.qwen.ai/s/0f9d558c-2108-4350-98fb-6ee87065d587?...
Thách thức nằm ở việc dùng SVG thay vì định dạng dựa trên pixel. Vì để tạo SVG đúng cách cần một mức độ suy luận nhất định.
Kỳ lạ là các ví dụ thay đổi ảnh, tức những kết quả như chỉnh sửa hoặc chuyển phong cách, có tông vàng nhạt thấy ở GPT Image 1, tức mô hình ảnh mới nhất của ChatGPT 4o. Flux Kontext có vẻ không có cảm giác đó, nên tôi tò mò vì sao.
Tôi không biết làm sao để dừng phần tự động đọc. Chẳng phải website chỉ nên đứng yên và chờ cho đến khi tôi yêu cầu nó làm gì đó sao?
Trên watch, video tự động phát toàn màn hình rồi ngay lập tức bắt đầu đọc. Nói thêm là tôi dùng Firefox trên iOS.
Cái này là trên Firefox Android, nên tôi không biết bản iOS có tính năng tương tự không. Trên desktop cũng có. Ở đó cũng có thể chặn hoàn toàn việc website yêu cầu gửi thông báo.
Với tư cách là một nhà nghiên cứu học máy và người có bằng vật lý, tôi khá thận trọng khi dùng các từ hiểu và “mô tả” cho những mô hình như thế này. Đặc biệt, tôi thấy từ hiểu không giúp ích mấy và thành thật mà nói còn có hại.
Lý do vật lý dùng toán học là vì tính cụ thể, và lý do lập trình khó cũng tương tự. Tôi nghĩ mọi người đang đánh giá thấp mức độ mình hiểu thế giới nhiều đến đâu. Điều quan trọng là các sắc thái tinh vi, nhưng vì quá thường nhật nên ta hay quên mất tầm quan trọng của chúng. Rất đáng đọc “Relativity of Wrong” của Asimov. Để nói rằng một hệ thống như thế này hiểu điều gì đó, nó phải có khả năng suy diễn và suy luận giả thuyết, tinh luyện khái niệm và ý tưởng, cũng như khám phá ra thứ gì đó vượt ngoài sự kết hợp của những gì nó đã nạp vào. Việc huấn luyện trên toàn bộ tri thức nhân loại rồi lặp lại tri thức đó không chứng minh được trí thông minh. Khả năng nén không mất mát tri thức vào kích thước mô hình này là thấp, nhưng nếu không đào sâu vào dữ liệu và tri thức thì rất khó biết nó biết gì và đã học thuộc gì. Tạo ra thứ hữu ích và tạo ra trí thông minh là hai vấn đề khác nhau.
Để thật sự hiểu, nó phải có khả năng đề xuất tư duy phản thực. Mọi mệnh đề vật lý đều là mệnh đề phản thực. Lấy F=ma làm ví dụ: ngay cả khi thay đổi khối lượng hoặc gia tốc, ta vẫn có thể tính lực. Khi thấy một khối lượng cụ thể chuyển động với một gia tốc cụ thể, ta có thể hỏi “nếu nó nặng gấp đôi thì sao?” và trả lời được. Mô hình thế giới của con người cũng làm việc như vậy. Chỉ là chúng ta không giải thích bằng toán học; chúng ta đặt ra các phản thực và xử lý chúng khá tốt, khá thường xuyên. Tôi cho rằng các hệ thống học máy hiện đại khó có thể được xem là đang làm việc này.
Hình ảnh trong bài gốc là một ví dụ hay về việc thiếu hiểu biết. Bên phải không chỉ sai số ngón tay mà các phím bàn phím cũng kỳ lạ. Chỉ cần hiểu một chút cũng biết rằng các phím không được lặp lại. Bố cục cũng lộn xộn như đồ vật trong mơ, số phím rất có thể không khớp với số ký hiệu, và kích thước trông cũng lệch lạc. Càng nhìn lâu càng thấy tệ hơn cũng là điều thường gặp ở những hệ thống kiểu này. Thoạt nhìn thì ổn, nhưng càng xem kỹ càng đi sâu vào thung lũng kỳ dị
https://youtube.com/watch?v=cDA3_5982h8
Code là toán học. Có một đẳng cấu giữa các ngôn ngữ Turing-complete và toán học có thể tính toán được. Muốn xem nghiêm ngặt hơn thì có thể tìm Church và Turing. Dĩ nhiên vật lý học và toán học không giống nhau, nhưng toán học hiệu quả một cách phi lý
https://hermiene.net/essays-trans/relativity_of_wrong.html
https://en.wikipedia.org/wiki/Counterfactual_thinking
Ở vị thế người tạo ra thứ gì đó, tôi mệt mỏi với kiểu ngụy biện người rơm như thế này
Việc diễn đạt đầu vào và đầu ra bằng những từ được hiểu rộng rãi là có ích. Hơn nữa họ còn dùng dấu ngoặc kép để báo hiệu rằng họ không phóng đại và khẳng định cả những hàm ý dài hạn của các từ đó. Người đọc bản phát hành sẽ hiểu rằng trước đây Qwen là một VLM có thể nhìn/nhận thức/hiểu, còn giờ thì đã có thể tạo/mô tả/vẽ hình ảnh. Không cần phải tạo ra khủng hoảng hơn thế
Tôi tò mò liệu có báo cáo kỹ thuật nào về mô hình này hoặc các mô hình tạo ảnh theo kiểu tương tự như 4o hay không. Tôi thực sự muốn hiểu kiến trúc của kiểu tạo ảnh 4o
Tôi cho rằng machine learning đã tiến bộ nhiều hơn rất nhiều ở phía mô tả thế giới hơn là “hiểu” thế giới
Câu “tôi hiểu rồi” thực ra chỉ là một tiêu chuẩn cá nhân tùy ý
Hình ảnh được nén thành 256 token trước khi mô hình ngôn ngữ nhìn thấy. Khi yêu cầu thêm một chiếc mũ, lý do nó vẽ lại toàn bộ khuôn mặt là vì các đối tượng không được lưu riêng biệt
Không có một con gấu nào tồn tại bền vững trong bộ nhớ; mọi thứ nằm trong một nồi súp latent space hợp nhất. Nó được lấy mẫu lại dưới ràng buộc mới, và chỉ cần thay đổi prompt một chút thì toàn bộ cân bằng embedding sẽ được điều chỉnh lại. Vì vậy những chỉnh sửa nhỏ cũng lan ra toàn bộ hình ảnh. Nó trông giống như tổng hợp cảnh single-shot, và hữu ích cho những mục đích khác
Khả năng chỉnh sửa của gpt-image-1 hợp với những thay đổi phong cách toàn diện như “hãy làm theo phong cách Ghibli”, nhưng không hợp lắm với việc thêm kính vào ảnh chân thực trong khi giữ nguyên mọi chi tiết