Nemo - Nền tảng khám phá dữ liệu của Facebook

(engineering.fb.com)

9 điểm bởi xguru 2020-10-14 | 1 bình luận | Chia sẻ qua WhatsApp

Các tổ chức quy mô lớn thường tự xây dựng riêng công cụ tìm kiếm dữ liệu nội bộ và bộ máy metadata

→ Netflix(Metacat), Lyft(Amundsen), Linkedin(DataHub), Uber(Databook)

→ Nền tảng giúp dễ dàng tái sử dụng dữ liệu bằng cách tìm kiếm metadata như dữ liệu nào đã được ai/khi nào tìm kiếm/tạo ra

Tích hợp Hive, Scuba, Cubrick cùng nhiều dashboard và bộ dữ liệu AI
Sử dụng Unicorn, công cụ được dùng để tìm kiếm social graph
Hỗ trợ truy vấn ngôn ngữ tự nhiên bằng spaCy: "Instagram có bao nhiêu WAU (người dùng hoạt động hằng tuần)?"

1 bình luận

xguru 2020-10-14

Nemo chưa được công bố dưới dạng mã nguồn mở, còn các công cụ của những công ty khác thì đã được phát hành mã nguồn mở.