ONE-PEACE: Mô hình biểu diễn tổng quát cho đa phương thức không giới hạn

• Mô hình biểu diễn tổng quát bao trùm cả các modality thị giác, âm thanh và ngôn ngữ
• Đạt kết quả xuất sắc trên các tác vụ hợp nhất ngay cả khi không có mô hình tiền huấn luyện
• Có khả năng Emergent Zero-shot Retrieval mạnh mẽ, cho phép căn chỉnh các modality không được ghép cặp trong dữ liệu huấn luyện
• Audio-to-Image, Audio+Text-to-Image, Audio+Image-to-Image

[dbs0829]

Có vẻ như nó đã phá kỷ lục SOTA trong rất nhiều tác vụ.