Meta AI công bố CoTracker, mô hình theo dõi mọi điểm (pixel) trong video

• Meta AI đã công bố CoTracker, một mô hình mới để theo dõi các điểm (pixel) trong video
• CoTracker hướng tới việc theo dõi nhiều điểm xuyên suốt toàn bộ video bằng cách xem xét mối tương quan giữa các điểm
• Kiến trúc này dựa trên các ý tưởng từ optical flow và các tài liệu về tracking, sử dụng mạng transformer với các lớp attention chuyên biệt
• Mô hình sử dụng phương pháp sliding window để có thể áp dụng cho video dài, và đã được chứng minh là hiệu quả hơn cũng như có độ chính xác cao hơn so với các phương pháp theo dõi điểm khác
• Mô hình này đặc biệt tạo ra các quỹ đạo theo dõi sạch hơn và tuyến tính hơn, ngay cả trong trường hợp có che khuất
• Về độ chính xác, CoTracker cho thấy hiệu năng vượt trội hơn các nghiên cứu khác như TAPIR và Multi-Flow Tracking
• Đây là một bước tiến quan trọng, mang đến cho các kỹ sư phần mềm một công cụ mới mạnh mẽ để theo dõi điểm trong video, giúp cải thiện hiệu năng và độ chính xác

[kuroneko]

Bản demo trông khá đẹp mắt. Nghĩ đến những gì cần trong VR thì có vẻ cũng có một mức độ phù hợp nhất định về mặt kinh doanh...

[GN⁺]

Ý kiến trên Hacker News

• Góc độ kinh doanh của bộ phận nghiên cứu tại Meta không rõ ràng, và mối liên hệ với hoạt động kinh doanh cốt lõi cũng khó hiểu.
• Có vẻ như kinh nghiệm của Facebook với pixel theo dõi đã góp phần vào thành công của mô hình CoTracker của Meta.
• Mục tiêu của Meta dường như là làm cho VR trở nên khó tin là giả, đồng thời tập trung vào việc tạo ra các hệ thống AI có thể hiểu thế giới theo thời gian thực.
• Có cung cấp liên kết đến bài báo, GitHub và bản demo của CoTracker.
• Google có phiên bản theo dõi điểm riêng tên là Tapir, sử dụng giấy phép Apache-2.0.
• Quy trình nghiên cứu trong một công ty sản phẩm khác với ở một công ty thiên về kỹ thuật.
• Việc so sánh giữa CoTracker và các thuật toán ước lượng chuyển động của codec video làm dấy lên câu hỏi.
• Các mô hình AI mã nguồn mở như CoTracker có thể dẫn startup tới một thị trường cạnh tranh khốc liệt với biên lợi nhuận thấp.
• Những nhân vật có ảnh hưởng như Andrew Zisserman, Hartley và Faugeras đã được nhắc đến.
• CoTracker có thể có các ứng dụng AR trong tương lai.

[xguru]

Góc độ kinh doanh của bộ phận nghiên cứu của Meta không rõ ràng, và cũng khó hiểu mối liên hệ của nó với hoạt động kinh doanh cốt lõi.

Đây đúng là bình luận nêu trúng trọng tâm. Nghiên cứu thì tốt, nhưng cũng có khá nhiều phần khó hiểu về mức độ gắn kết với kinh doanh.
Cũng có cảm giác như đang nhìn vào Google ngày trước vậy..