Giám sát camera an ninh bằng AI cục bộ

• Frigate NVR cung cấp giải pháp phát hiện đối tượng dựa trên trí tuệ nhân tạo cục bộ cho camera an ninh được lắp đặt trong nhà hoặc văn phòng
• Hỗ trợ tích hợp với các nền tảng tự động hóa phổ biến như Home Assistant, OpenHab, NodeRed
• Frigate được tích hợp trực tiếp với Home Assistant Media Browser, cho phép tận dụng ngay luồng camera tức thời và tự động hóa
• Nhờ việc cung cấp dữ liệu cảm biến và công tắc theo thời gian thực, có thể xây dựng nhiều kịch bản cảnh báo và tự động hóa khác nhau
• Dựa trên sự hỗ trợ của MQTT, có khả năng liên kết mở rộng, giúp xây dựng nhà thông minh hiệu quả

---

Các tính năng chính của Frigate NVR

• Frigate NVR chạy AI phát hiện đối tượng tại chỗ, cho phép phân tích video camera an ninh mà không phụ thuộc vào dịch vụ đám mây bên ngoài
• Có thể liên kết với Home Assistant, OpenHab, NodeRed... nên dễ dàng tích hợp với nhiều nền tảng tự động hóa nhà thông minh
• Frigate hiển thị trực tiếp video camera trong Media Browser của Home Assistant và cung cấp thực thể camera độ trễ thấp
• Việc hiển thị kết quả phát hiện đối tượng dưới dạng dữ liệu cảm biến và công tắc thời gian thực mở ra nhiều ứng dụng, từ phát hiện sự kiện dựa trên video, quy tắc tự động hóa đến cài đặt cảnh báo
• Nhờ hỗ trợ giao thức MQTT, có ưu điểm tích hợp được mở rộng với các hệ thống IoT và tự động hóa khác

[GN⁺]

Ý kiến trên Hacker News

• Tôi đã chạy Frigate hơn 2 năm và thấy nó vượt trội hơn nhiều hệ thống nào mình từng dùng về tốc độ phát hiện và độ tin cậy. Trước đây tôi đã thử Ring, Tapo, Eufy Security, nhưng hiện tại chỉ kết nối camera Tapo với Frigate qua RTSP stream. Việc chặn truy cập internet của các camera này giúp bảo vệ quyền riêng tư gần như hoàn toàn. Tôi không tin tưởng Eufy Security vì cứ mỗi lần bấm thông báo phát hiện chuyển động lại hiện quảng cáo sản phẩm mới trước tiên, dường như quảng cáo được ưu tiên hơn an ninh cá nhân. Vấn đề camera cloud không mở được mặc dù đã trả phí, và cả việc lưu trữ thông tin xác thực bảo mật như mật khẩu mà không mã hóa cũng từng xảy ra. Các lý do này là nguyên nhân chính khiến tôi chuyển sang giải pháp tự lưu trữ. Với Frigate chạy trên phần cứng đã qua sử dụng kèm GPU RX 550 để bật tăng tốc phần cứng, độ trễ phát hiện luôn dưới 1 giây. Tôi đã tự viết một app dùng API Frigate để gửi cảnh báo ảnh chụp nhanh qua Telegram và Pushover, và tự duy trì hệ thống trong 2 năm. Trong thời gian đó chỉ cần khởi động lại dịch vụ 2 lần. Tôi vẫn dùng hoàn toàn ổn định cả bên ngoài nhờ tunnel từ VPS về máy chủ local nhà. Thật sự rất biết ơn dự án tuyệt vời này.

  • Tôi tò mò xem liệu có đang dùng song song với Home Assistant không. Lưu ý nhà mạng của tôi chặn truy cập trang hacs nên HACS integration không hoạt động đúng cách. Dù dùng wget để tải từ get.hacs.xyz rồi cài cũng gặp lỗi SSL và bị cúp kết nối.
  • Tôi đã tắt internet cho camera và chỉ giữ chúng trong mạng local; nếu có cách riêng để chặn cả kênh truyền ngược (backchannel) thì chia sẻ giúp mình nhé.
  • Tôi tự hỏi liệu có thể dùng camera Eufy với Frigate không.
  • Tôi muốn biết cách khiến Tapo hoạt động tốt với Frigate trong chế độ RTSP. Với tôi, chỉ cần cắm một camera vào Wi-Fi là mạng đã rất bất ổn. Tôi cũng đã chia riêng băng thông/1 camera trên mỗi AP nhưng vẫn gặp lỗi.
  • Tôi hơi ngạc nhiên vì ban đầu đã giao dữ liệu video rất nhạy cảm cho họ bằng cách nào. Trước kia tôi thấy cộng đồng GNU hơi kỳ lạ, giờ lại chẳng hiểu nổi mấy người bạn không dùng cả trình chặn quảng cáo.

• Một bất tiện thường gặp của tôi: tác giả dùng chữ viết tắt NVR ngay ở câu đầu tiên mà không giải thích. NVR là viết tắt của Networked Video Recorder. Nên tránh việc làm vậy nếu độc giả không ai cũng có kinh nghiệm trong mảng này.

  • Tôi nghĩ hợp lý khi giả định người đọc đều biết NVR là gì; dù sao trong bối cảnh đã đủ hiểu Frigate là gì.
  • Tôi không đồng ý. Tôi không nghĩ rằng hơn 90% người tìm Frigate sẽ không biết NVR là gì. Tất nhiên giải thích mọi thuật ngữ luôn tốt, nhưng NVR là kiến thức cơ bản bắt buộc với ai đó muốn dùng sản phẩm này.
  • Tôi thường thì đồng ý với ý kiến đó, nhưng NVR là từ viết tắt rất phổ biến không chỉ trong dân ngành mà cả người tiêu dùng cũng dùng. Ai nghiên cứu giải pháp CCTV gần như đều bắt gặp NVR. Nếu không hiểu, rất có thể ngay cả cụm Network Video Recorder cũng vô nghĩa với họ. Mục tiêu của Frigate chính là thay thế những hộp NVR đóng kín, thiếu linh hoạt, nên sản phẩm mới có tên như vậy.
  • Hầu hết cửa hàng bán lẻ cũng đặt tên là NVR hoặc NVR Recorder (theo kinh nghiệm của tôi). Chỉ cần tìm kiếm là ra ngay.

• GPU và TPU không phải bắt buộc. Chỉ cần chỉnh số lượng camera và vùng phát hiện phù hợp. Tôi dùng substream MJPEG độ phân giải/thước khung thấp cho phát hiện, còn h264 chỉ dùng cho ghi và xem lại. Với nhận dạng trên CPU, OpenVINO nhanh hơn Tensorflow mặc định rất nhiều; trên VM 6 nhân (Ivy Bridge Xeon), chạy 2 camera CPU chỉ dùng khoảng 20%.

• Việc tăng tốc video (giải mã video, không phải nhận diện đối tượng) hơi thiếu ổn định, nhưng sau đó đó lại là trải nghiệm tốt nhất với giải pháp nhận diện đối tượng thời gian thực. Không còn cảnh thú nhỏ kéo tôi dậy giữa đêm nữa. Ngoài ra, tôi đăng ký hằng năm để hỗ trợ huấn luyện mô hình AI bằng dữ liệu báo sai (false positive) tôi cung cấp; nhờ đó độ chính xác tăng đáng kể.

  • Việc không còn bị đánh thức bởi thú vật ban đêm cũng thật tuyệt, và thú vị là vẫn có thể thu thập nhiều hình ảnh động vật. Cảm giác như khám phá một thế giới đang giấu kín.
  • Lỗi của tôi nằm ở chỗ Coral AI board và phần mềm driver là kiểu "Google Abandonware(tm)": ép dùng Python cũ khiến tương thích với OS/GPU mới kém. Đến năm 2025 mua phần cứng mà vẫn cần phần mềm cấp Windows 7.
  • Trong trường hợp của tôi, tình hình ngày càng tệ. Sau 2-3 năm dùng liên tục, gần đây đồ chơi của trẻ con, xe scooter vườn hay cờ cướp cờ vẫn liên tục làm phát sinh báo giả. Vì lý do riêng về quyền riêng tư, tôi không thể gửi dữ liệu sai, nên sẽ tự huấn luyện mô hình từ dữ liệu lâu dài đã tích lũy của riêng mình.
  • Tôi vẫn sẵn sàng trả tiền cho gói này vì một vài lý do: 1) hỗ trợ nhà phát triển 2) chi phí huấn luyện được phản ánh rõ ràng 3) có thể lưu trữ vĩnh viễn mô hình đã huấn luyện. Đây là nghịch cảnh với AgentDVR. Tôi xử lý truy cập từ xa và push notification thủ công, trong khi AgentDVR chỉ cần yêu cầu truy cập VPN đơn giản cũng đã đòi thu phí thuê bao.

• Việc đóng gói của Frigate thực sự gây ấn tượng. Mặc dù go2rtc hoặc MediaMTX (go2rtc, MediaMTX) đủ tốt cho mặc định, nếu muốn thêm xử lý AI thì lại không có công cụ "theo kiểu Unix" nào thực sự sẵn sàng; phải tự triển khai bằng Python.

  • Tôi đã dùng Motion (Motion) khá lâu. Với cấu hình cơ bản thì rất dễ và rất linh hoạt; cần tùy chỉnh sâu hơn thì cần chỉnh nhẹ một chút.

• Nếu không cần xử lý video đã ghi theo thời gian thực, ví dụ muốn trích xuất một cảnh trong video 5 giờ khi một xe đi qua một vị trí cụ thể hoặc có người lái xe cầm điện thoại, bạn sẽ bắt đầu từ đâu và nên dùng framework nào?

  • Tôi khuyên tham khảo tài liệu và ví dụ của OpenCV. Tôi đã làm face recognition bằng OpenCV (face_recognition example); còn xe hơi thì cần huấn luyện mô hình riêng hoặc áp dụng YOLOv3 (YOLO example).
  • Nếu đặt câu hỏi tương tự cho AI thương mại tốt, nó sẽ xuất ra ngay một script Python để đọc video và chỉ xuất cảnh khi có người lái xe cầm điện thoại trong khoảng thời gian nhất định.
  • Công nghệ You Only Look Once cũng có thể hỗ trợ.

• Đây có phải câu hỏi hài hước kiểu: chỉ cần treo tấm biển lớn ghi "hãy vô hiệu hóa camera của tôi" là hệ thống bị vô hiệu hóa?

  • Xem trên Github thì họ dùng openCV và Tensorflow. Motion detection dựa trên openCV nên cần có chuyển động của người, và nếu người không di chuyển quá chậm thì khó né được. Nhận diện đối tượng bằng Tensorflow không làm OCR nên không thể bị đánh lừa bằng chữ. Tuy nhiên, danh sách đối tượng nhận diện có giới hạn nên nếu mặc bộ trang phục giả kiểu cây cây giả có thể trốn.
  • Chắc chắn có thể mặc đồ kiểu “scramble suit” hoặc in mẫu chống nhận diện lên áo (sản phẩm kiểu scramble suit, adversarial t-shirts).
  • Cũng có cách mặc cả bộ đồ toàn thân kiểu loutre/raccoon.
  • Cấu trúc là hai bước: Bước 1 phát hiện chuyển động bằng OpenCV, bước 2 nhận diện đối tượng quan tâm bằng model khác tùy phần cứng. Coral TPU, Halio Accelerator, phần lớn GPU đều được hỗ trợ (AMD thì ROCm không chạy trên iGPU). Coral dùng edgedet; hỗ trợ cả YOLO-NAS, YOLO, D-Fine, RF-DETR. Có cả mô hình trả phí chuyên cho YOLO-NAS hoặc có thể tự huấn luyện.
  • Đây không phải LLM; đây là "AI thường" (dù LLM cũng có thể tạo mô tả tự động).

• Tôi dùng Frigate với 5 camera IP (3 Hikvision, 2 Amcrest) và 1 camera USB. Với USB Coral TPU, máy i7-6700 cũ chạy mượt với mức chiếm dụng CPU khoảng 30%. Không phải tối ưu nhất nhưng vẫn dùng được. Video Amcrest phát tốt; Hikvision đôi khi cần transcode do vấn đề codec. Frigate không có tính năng gửi video đã ghi ra ngoài, nên dù tôi tự mirror thư mục lưu trữ thì về bản chất vẫn khó tách và sao lưu riêng các sự kiện quan trọng.

  • Tôi cũng muốn biết có thể nhận diện một người cụ thể dựa trên ảnh đã đăng ký trước (identified recognition) hay không, không chỉ nhận diện người.

• Tôi nhấn mạnh rằng chỉ cần điều chỉnh số camera và vùng phát hiện hợp lý là CPU alone đủ, không cần GPU hay TPU. Kinh nghiệm chia sẻ về việc dùng các model khác nhau như Openvino, Tensorflow.

• Một điểm khác một chút là tại sao vẫn cần tự lắp camera giám sát cho chính mình? Có nghiên cứu tâm lý cho rằng chúng còn làm tăng stress, lo lắng. Với việc phòng ngừa tội phạm chúng không có tác dụng lớn, và đối với điều tra cảnh sát hoặc làm bằng chứng bảo hiểm thì dường như cần backup offsite. Dù CCTV có mặt khắp nơi, trường hợp đóng góp đáng kể vào giải quyết tội phạm (ví dụ nhận diện biển số xe) vẫn rất ít.

  • Lợi ích lớn của camera là tạo trật tự công cộng. Sau khi gắn camera trên hiên, nhân viên giao hàng không còn hành vi quá đáng, và không còn phá rào nữa. Nó cũng hữu ích cho theo dõi vị trí mèo, giám sát từ xa khi đi vắng, hay xử lý claim bảo hiểm. Với đa số CCTV rẻ, tôi thấy độ nhạy hồng ngoại ban đêm còn quan trọng hơn độ phân giải. Tôi dùng camera chuyên nghiệp độ phân giải thấp để nhận diện thực sự. Tôi đã dùng kết hợp ZoneMinder với AI local khá lâu.
  • Việc nói "nó làm tăng stress và lo lắng" khiến tôi thấy như thể người ta đang phán xét cảm xúc của mình, nên hơi khó chịu; tôi nghĩ mỗi người có lý do riêng để dùng camera.
  • Mỗi người có môi trường, mức độ rủi ro, mức hỗ trợ của cảnh sát khác nhau, nên tiêu chí và mục đích vận hành camera bảo mật cũng khác. Tôi sống nơi vắng vẻ và hay đi xa trong thời gian dài, nên lúc không có ai ở nhà tôi thấy yên tâm hơn khi có thể giám sát, hơn là không có camera.
  • Chuông cửa nhà tôi có chức năng ghi local; khi ai nhấn chuông, tôi nhận ảnh vài giây trước đó trên desktop/điện thoại để quyết định phản hồi. Việc này thú vị và khi lắp camera quanh nhà thì có thể hỏi LLM như đếm chim hoặc "con chó có ở sân sau không?".
  • Mục đích chính của Frigate là không cần bạn giám sát liên tục; cảnh báo sai của động vật nhỏ hoặc xe quen không cần xử lý, chỉ cần tập trung vào sự kiện thật sự quan trọng.

• Tôi là người dùng cũ của Frigate đã 4 năm. Tôi chỉ dùng riêng Frigate không có Home Assistant, nhưng gần đây lại đưa Home Assistant trở lại và kết nối stream WebRTC của Nest Cam với Frigate. Giờ tôi có thể dùng giống như cũ mà không cần đăng ký Nest Aware, nên khá hài lòng về chi phí.