Tìm kiếm bên trong video YouTube bằng ngôn ngữ tự nhiên

• Tìm kiếm các cảnh cụ thể trong video bằng mạng nơ-ron CLIP của OpenAI

→ Tìm kiếm hình ảnh trong video như "Road Works", "People crossing the street", "Fire truck"

Cách hoạt động

1. Tải video YouTube xuống

2. Trích xuất từng khung hình

3. Mã hóa tất cả khung hình bằng CLIP

4. Mã hóa truy vấn tìm kiếm ngôn ngữ tự nhiên bằng CLIP

5. Tìm cảnh cụ thể bằng truy vấn ngôn ngữ tự nhiên

• Có thể chạy ngay dưới dạng notebook trên Google Colab

→ https://colab.research.google.com/github/haltakov/…

[xguru]

Trong phần bình luận có một thứ khác do chính nhà phát triển đó làm: tìm kiếm ảnh trên Unsplash bằng CLIP; có vẻ cái này cũng sẽ rất hữu ích.

• https://github.com/haltakov/natural-language-image-search

• Google Colab: https://colab.research.google.com/github/haltakov/…

Nó sẽ tìm ra bức ảnh có nội dung bạn muốn trong số 2 triệu ảnh được đăng trên Unsplash.

• "Two dogs playing in the snow", "The word love written on the wall", "The feeling when your program finally works"