Frigate - trình ghi hình video mạng mã nguồn mở tích hợp phát hiện đối tượng AI theo thời gian thực

• NVR (Network Video Recorder) mã nguồn mở thực hiện phát hiện đối tượng AI theo thời gian thực cục bộ bằng OpenCV và Tensorflow
  • Mọi xử lý đều được thực hiện cục bộ trên phần cứng của người dùng, và luồng camera chỉ được xử lý trong môi trường nội bộ của người dùng
  • Không chỉ phát hiện chuyển động đơn thuần mà còn nhận diện các đối tượng như người/xe hơi

Các tính năng của Frigate

• Là một trong những trình ghi hình video mạng được gắn sao nhiều nhất trên GitHub, và đã được tải xuống hơn 2 triệu lần trên Docker Hub.
• Phát hiện đối tượng cục bộ bằng Google Coral TPU giúp giảm cảnh báo sai, đồng thời có thể xử lý 100+ FPS với mức overhead rất nhỏ
• AI của Frigate phân tích luồng video để bạn chỉ cần xem lại những phát hiện quan trọng
• Theo dõi đối tượng theo thời gian thực và có thể tinh chỉnh thông báo chi tiết dựa trên vị trí chính xác.
• Tích hợp với Home Assistant và các nền tảng tự động hóa khác để áp dụng phát hiện đối tượng vào tự động hóa ngôi nhà.
• Cung cấp chế độ xem Birdseye, hiển thị động các camera đang có phát hiện hoạt động để dễ dàng kiểm tra những camera cần quan tâm
• Có thể dễ dàng tích hợp với các hệ thống khác thông qua giao tiếp MQTT

Trải nghiệm người dùng

• Người dùng có thể trải nghiệm một hệ thống camera an ninh mã nguồn mở, điều khiển cục bộ hoàn chỉnh nhờ khả năng tùy biến cao, phát hiện đối tượng nhanh và tích hợp chặt chẽ với Home Assistant của Frigate.
• Frigate giúp người dùng giảm số lượng lớn các phát hiện sai trên ổ cứng và tiết kiệm thời gian xem lại những đoạn video không có sự kiện.
• Khi sử dụng Frigate, người dùng có thể loại bỏ sự phụ thuộc vào đám mây của camera an ninh mà không mất đi tính năng phát hiện đối tượng hay lịch sử ghi hình.
• Thông qua Frigate+, quyền truy cập vào các mô hình tùy chỉnh được thiết kế riêng cho Frigate sẽ sớm được cung cấp.

Ý kiến của GN⁺

• Frigate là một giải pháp mã nguồn mở dùng AI cục bộ để giám sát camera an ninh, vừa tăng cường quyền riêng tư cho người dùng vừa cung cấp khả năng phát hiện đối tượng chính xác và tự động hóa tích hợp.
• Công nghệ này giúp người dùng quản lý hệ thống camera an ninh hiệu quả hơn, đồng thời góp phần tăng cường quyền riêng tư dữ liệu bằng cách giảm sự phụ thuộc vào các dịch vụ đám mây.
• Các tính năng và trải nghiệm người dùng của Frigate có thể mang lại nguồn cảm hứng thú vị cho các kỹ sư phần mềm mới vào nghề quan tâm đến bảo mật và tự động hóa, đồng thời cho thấy cách tiếp cận đổi mới của cộng đồng mã nguồn mở.

[GN⁺]

Ý kiến trên Hacker News

• Trải nghiệm sử dụng Frigate

  • Đã dùng Frigate trong 6 tháng với Raspberry Pi 4 và Google Coral TPU.
  • Kết nối 2 camera mạng 2MP, hoạt động mượt mà và nhận diện đối tượng chính xác.
  • Có thể ghi hình video 24/7 chứ không chỉ sự kiện, và tự động xóa dữ liệu cũ.
  • Tích hợp với Home Assistant để nhận thông báo video trực tiếp, ảnh chụp nhanh và bản ghi trên điện thoại.
  • Trải nghiệm người dùng và các tùy chọn cấu hình tốt hơn sản phẩm thương mại.
  • Rất đáng khuyến nghị vì dễ dùng, thú vị và thậm chí có thể cứu mạng.

• Quan sát khi thử nghiệm Frigate

  • Frigate là một dự án đầy tham vọng và được kỳ vọng sẽ thành công.
  • Giải mã phần cứng hay Coral không bắt buộc, nhưng có ích.
  • Phát hiện chuyển động bằng OpenCV có độ chính xác thấp.
  • Các mô hình nhận diện đối tượng công khai có độ chính xác thấp nên dễ bỏ lỡ sự kiện quan trọng.
  • Hỗ trợ Coral thiếu ổn định, việc bảo trì driver và thư viện cũng chưa tốt.
  • Chạy mô hình trên CPU không quá tốn kém.
  • Đang cân nhắc chuyển sang phần mềm đơn giản hơn.

• Thiếu hụt tính năng của Frigate

  • Frigate là một trong những sản phẩm NVR/VMS hứa hẹn nhất, nhưng vẫn thiếu tính năng để thay thế Blue Iris.
  • Tính năng ghi hình liên tục còn cơ bản, nhưng trong sản phẩm thiên về sự kiện thì mức ưu tiên cũng thấp hơn.

• Khả năng dùng Ring camera với Frigate

  • Có vấn đề khi không thể kết nối camera Ring với Amazon.
  • Đang tìm cách root hoặc sử dụng camera Ring với Frigate.
  • Không thích việc phải trả phí dịch vụ và để Amazon tận dụng video.

• Hỗ trợ xuất sắc của Frigate

  • Hỗ trợ camera rất tốt thông qua go2rtc và ffmpeg.
  • Hỗ trợ codec video tăng tốc qua ffmpeg.
  • Hỗ trợ nhận diện đối tượng bằng trọng số và mô hình Yolo tùy chỉnh.
  • Hỗ trợ OpenVINO để tăng tốc suy luận trên CPU/GPU Intel.
  • Tài liệu được viết rất tốt.

• Kỳ vọng về tính năng nhận diện đối tượng trong camera

  • Mong muốn có tính năng tận dụng khả năng phát hiện sự kiện tích hợp sẵn trên nhiều camera để offload việc nhận diện đối tượng sang camera.

• Vận hành Frigate trong container Docker

  • Chạy Frigate dưới dạng container Docker trên M1 Mac Mini, cung cấp một giải pháp NVR ổn định.
  • Có thể giám sát từ xa bằng HomeKit Secure Video cùng với Scrypted.

• Tích hợp mô hình tùy chỉnh với Frigate

  • Thắc mắc về quá trình tích hợp bộ dữ liệu roboflow vào Frigate.

• Yêu cầu thiết lập cơ bản của Frigate

  • Cần PC nền tảng Intel, USB Coral TPU và camera PoE có dây.
  • Hỏi về cách cấp nguồn cho camera: chọn switch PoE hay nhiều bộ PoE injector.
  • Không khuyến nghị dùng camera Wi-Fi, đây là thời điểm tốt để nâng cấp lên camera độ phân giải cao hơn.

• Khả năng chạy Frigate trên Arm SBCs

  • Tò mò về khả năng chạy Frigate trên các SBC nền tảng Arm.