Windrecorder - ứng dụng Windows mã nguồn mở cho phép tua lại và tìm kiếm mọi thứ trên màn hình

• Đôi khi khi cố nhớ lại thứ mình đã từng đọc hoặc nhìn thấy trước đó, bạn có thể lục tung mọi ứng dụng mà vẫn không tìm ra
• Đặc biệt, thông tin rải rác trên nhiều trang web, video, tin nhắn trò chuyện... thường xuất hiện rồi biến mất rất nhanh, nên dù cố lần theo ký ức hay lục lại lịch sử trình duyệt, cảm giác như chúng chưa từng tồn tại
• Tệ hơn nữa là những thông tin đó có thể đã bị xóa, bị ẩn hoặc bị chỉnh sửa

Động lực phát triển ứng dụng lưu trữ ký ức cá nhân

• Là một người không có trí nhớ tốt nhưng lại sợ bỏ lỡ những điều quan trọng (FOMO), tác giả đã phát triển ứng dụng này cho Windows
• Nguồn cảm hứng chính đến từ ý tưởng ban đầu của ứng dụng Mac Rewind và tập Black Mirror S1E3 "The Entire History of You"
  • Mục tiêu là để các nhân vật có thể ghi lại mọi thứ bằng mắt, đồng thời tua lại hoặc tìm kiếm mọi thứ từng xuất hiện trên màn hình máy tính
• Ứng dụng này còn mang lại nhiều lợi ích bổ sung
  • Ký ức cá nhân bất biến được lưu trữ cục bộ
  • Không có rủi ro làm mất các manh mối gợi nhớ
  • Có thể khôi phục công việc khi phần mềm gặp sự cố
  • Có thể lần theo nguồn gốc của dữ liệu đã tải xuống
  • Có thể tìm ra những thông tin từng bị bỏ sót trong quá khứ
  • (Với cá nhân tác giả, nó còn trở thành công cụ để đùa nghịch với bạn bè)

Cách ứng dụng được triển khai

• Sử dụng ffmpeg để ghi màn hình thành các tệp đoạn nhỏ dài 15 phút, sau đó lập chỉ mục bằng Windows local OCR API và image embedding
• Cũng có thể chọn bỏ qua một số chương trình hoặc khu vực màn hình cụ thể
• Tất cả đều có thể được tua lại hoặc tìm kiếm qua giao diện web UI cục bộ (theo tiêu đề cửa sổ, từ khóa văn bản, mô tả hình ảnh...)
• Dựa trên dữ liệu này, còn bổ sung các tính năng tổng quan như thời gian sử dụng màn hình theo ngày và chu kỳ, tóm tắt nhịp ngày đêm, tạo lightbox theo tháng...

Quyền riêng tư và mã nguồn mở

• Vì coi trọng quyền riêng tư, mọi thứ chỉ diễn ra trên máy tính và không có gì được lưu trên đám mây
• Mọi thứ được triển khai minh bạch bằng Python, giúp người dùng dễ tự chỉnh sửa (dù hiệu năng có thể chậm hơn đôi chút)
• Có thể sử dụng miễn phí, không cần trả phí đăng ký, và dữ liệu thuộc sở hữu của người dùng

Trạng thái hiện tại của dự án và kế hoạch sắp tới

• Vì không phải là lập trình viên chuyên nghiệp, tác giả phát triển dự án này dựa trên sở thích cá nhân và nhu cầu tự sử dụng, nên có thể chưa hoàn hảo và còn một số vấn đề
• Tuy nhiên, sau khi dùng một thời gian, tác giả cho rằng nó đã khá hoàn thiện và ổn định
• Nếu bạn quan tâm đến dự án này, tác giả hoan nghênh việc tham gia thảo luận, nêu vấn đề hoặc đóng góp để biến nó thành một ứng dụng tốt hơn
• (Tác giả không chắc trên Windows đã có ứng dụng tương tự hay chưa; chỉ biết trên Linux có những ứng dụng như Memento. Nếu biết, hãy cho tác giả biết)

[GN⁺]

Ý kiến trên Hacker News

Tóm tắt dự án DejaView:

• Là một dự án được phát triển từ 20 năm trước, cung cấp khả năng ghi lại, phát lại, tìm kiếm và tiếp tục phiên sử dụng máy tính để bàn
• Ghi lại đầu ra màn hình và trạng thái của ứng dụng/hệ thống tệp dưới dạng checkpoint, đồng thời thu thập và lập chỉ mục văn bản hiển thị kèm ngữ cảnh
• Người dùng có thể tìm kiếm mọi thông tin trực quan từng hiển thị trên desktop, rồi quay lại đúng trạng thái tại thời điểm đó để tiếp tục tương tác
• Hoạt động minh bạch thông qua ảo hóa mà không cần sửa đổi ứng dụng, hệ thống Windows hay kernel của HĐH
• Kết quả đánh giá trên ứng dụng desktop thực tế cho thấy có thể ghi liên tục với mức overhead thấp đến mức người dùng gần như không nhận ra, đồng thời tìm kiếm và phát lại đủ nhanh cho sử dụng tương tác

Giới thiệu các dự án tương tự:

• Dự án mã nguồn mở rem cho macOS từng được giới thiệu trên HN và tạo ra thảo luận sôi nổi
• Cũng có dự án thương mại TimeSnapper cho Windows

Ý kiến về dự án:

• Đây là một ý tưởng đã ấp ủ từ lâu, nên thật xúc động khi thấy có người hiện thực hóa nó
• Tuy vậy, có vẻ sẽ tồn tại rủi ro rất lớn về bảo mật dữ liệu. Cần suy nghĩ về cách ngăn hành vi độc hại từ chính ứng dụng
• Nếu dùng accessibility API thay cho OCR thì có thể lấy văn bản trực tiếp, hiệu quả hơn rất nhiều. Đây cũng có thể là cách tốt để kết nối LLM với UI và thu thập dữ liệu huấn luyện

Các dự án tương tự trước đây:

• Năm 2014, Savant Recall không được YC chọn và sau đó được công bố dưới dạng mã nguồn mở
• Đồng sáng lập Napster đã mua lại, đổi tên thành Atlas Recall, cải thiện UI và huy động được 20 triệu USD đầu tư, nhưng chỉ sau 1 năm đã bị Xinova thâu tóm và dịch vụ bị đóng đột ngột
• Năm 2019 cũng từng có một dự án tên là Apse

Khác:

• Theo mô tả trên GitHub, dung lượng ghi hình ước tính khoảng 100-200GB mỗi năm nên không đến nỗi tệ
• Chúc mừng vì đã hiện thực hóa tốt một ý tưởng mới. Điều này sẽ truyền cảm hứng cho bất kỳ ai từng nghĩ "sao lại chưa có ứng dụng như thế này?"
• Trông có vẻ giống Apse.io, cũng xây dựng chỉ mục có thể tìm kiếm cho mọi thứ hiển thị trên màn hình bằng OCR. Mình thích khía cạnh mã nguồn mở của Windrecorder
• Có lẽ sẽ dễ dàng bán cho các tập đoàn lớn muốn cài spyware lên máy trạm của nhân viên với giá 5 USD mỗi ghế