EdgeFlow - Framework xử lý phân tán video thời gian thực có thể mở rộng theo chiều ngang

Đây là một framework dựa trên k3s được tạo ra để hiện thực hóa xử lý video fps cao trên các thiết bị cấu hình thấp như Raspberry Pi.
Framework hiện thực khả năng mở rộng theo chiều ngang bằng cách phân tán các khung hình video liên tiếp đến nhiều nút xử lý thông qua Redis rồi gom lại.

Trên thực tế, chúng tôi đã xác nhận rằng tốc độ chạy YOLOv5 vốn chỉ đạt 4fps trên một chiếc Raspberry Pi 4B đã tăng tuyến tính lên 16~17fps khi phân tán sang 4 nút.

Hệ thống gồm Producer tạo frame, Consumer đảm nhiệm xử lý, và Gateway tổng hợp rồi hiển thị kết quả.
Gateway có thể thay thế giao diện một cách linh hoạt để mở rộng sang nhiều hệ thống khác nhau, và Redis đóng vai trò broker trung gian cũng được thiết kế để có thể tùy biến sang các giao thức khác.

Tính năng chính

• Lệnh edgeflow: Chỉ với một lệnh, có thể xử lý toàn bộ quá trình build image, push và deploy lên cụm k3s.
• Pipeline trực quan: Có thể cấu hình pipeline một cách trực quan thông qua cú pháp link().to().
• Quản lý linh hoạt: Có thể quản lý dependency độc lập theo từng nút, và nếu không có thay đổi dependency thì có thể phản ánh mã nguồn ngay vào pod đang chạy mà không cần rebuild.
• Đảm bảo thứ tự: Để giải quyết vấn đề thứ tự frame bị xáo trộn khi xử lý phân tán, Gateway được tích hợp Jitter Buffer.
• Kiểm thử cục bộ: Ngay cả khi không có cụm Kubernetes, vẫn có thể tái hiện pipeline trong môi trường local theo kiểu đa tiến trình.

Tình trạng hiện tại

Ở giai đoạn prototype, dự án đã thành công trong việc đưa trực tiếp camera Raspberry Pi vào bên trong pod, và hiện đang tiếp tục triển khai để tái hiện tính năng này một cách ổn định trên framework.

---

Hiện tại tôi đang tiếp tục hoàn thiện dự án để có thể kết nối nhiều hệ thống với nhau. Vẫn còn rất nhiều điểm chưa hoàn thiện, nhưng nếu bạn có bất kỳ góp ý nào về hệ thống phân tán hoặc thiết kế pipeline xử lý video thì đó sẽ là cơ hội học hỏi rất lớn đối với tôi. Cảm ơn bạn đã đọc.

Bạn có thể xem chi tiết hơn hoặc tutorial nhanh tại liên kết bên dưới.
Github: https://github.com/seolgugu/edgeflow