Datadog mua lại Quickwit
(quickwit.io)- Nhóm Quickwit sẽ gia nhập Datadog và tập trung phát triển sản phẩm mới, đồng thời có kế hoạch phát hành phiên bản Quickwit mới theo Apache License 2.0 để cộng đồng có thể tiếp tục duy trì dự án
- Điểm khởi đầu là giới hạn về khả năng mở rộng và chi phí vận hành cao của Elasticsearch, và Quickwit đặt mục tiêu trở thành công cụ tìm kiếm hiệu quả chi phí hơn 10 lần và có thể mở rộng tới quy mô đa petabyte
- Binance đã xây dựng dịch vụ log 100PB bằng Quickwit và lập chỉ mục 1.6PB mỗi ngày, còn Mezmo cũng đang xử lý log ở quy mô petabyte cho hàng nghìn khách hàng trong môi trường production
- Mối quan tâm từ cộng đồng mã nguồn mở, tăng trưởng doanh thu và việc xem xét Series A vẫn tiếp diễn, nhưng cấu trúc đội ngũ phân tán giữa Tokyo, Paris và New York khiến gánh nặng mở rộng tăng lên, nên công ty đã xem xét cơ hội được mua lại
- Các bản cập nhật lớn cho Quickwit và tantivy đang được lên kế hoạch; phiên bản Quickwit mới sẽ bao gồm distributed ingest, tổng hợp cardinality, cùng các cải tiến về hiệu năng và bộ nhớ
Gia nhập Datadog và tiếp tục mã nguồn mở
- Nhóm Quickwit sẽ gia nhập Datadog và tập trung xây dựng sản phẩm mới cùng Datadog
- Để cộng đồng có thể tiếp tục phát triển Quickwit, nhóm có kế hoạch sớm phát hành phiên bản mới theo Apache License 2.0
- Cả Quickwit và tantivy đều sẽ có các bản cập nhật lớn
- Phiên bản Quickwit mới sẽ bao gồm distributed ingest mà cộng đồng đã yêu cầu từ lâu
- Cũng sẽ có tổng hợp cardinality, cải thiện hiệu năng và bộ nhớ, cùng các tính năng bổ sung khác
Vấn đề mà Quickwit muốn giải quyết
- Quickwit bắt đầu từ ý tưởng hợp tác lâu năm của ba kỹ sư Paul, Adrien và François
- Năm 2020, dự án cá nhân tantivy của Paul đã trở thành chất xúc tác
- tantivy khi đó đã được biết đến như một lựa chọn thay thế phổ biến cho Lucene
- Vấn đề cốt lõi mà nhóm nhắm tới là khả năng mở rộng và chi phí vận hành của Elasticsearch
- Elasticsearch không mở rộng hiệu quả
- Chi phí trở nên quá cao
- Độ phức tạp vận hành tăng mạnh
- Mục tiêu là xây dựng một công cụ tìm kiếm mà người vận hành có thể quản lý một cách yên tâm, có thể mở rộng tới quy mô đa petabyte, và hiệu quả chi phí cao hơn ít nhất 10 lần
Đội ngũ phân tán và phát triển mã nguồn mở ban đầu
- Việc phát triển bắt đầu với một đội ngũ phân tán: Adrien ở San Francisco, Paul ở Tokyo và François ở Paris
- Họ tận dụng các múi giờ khác nhau để tạo ra chu kỳ phát triển follow-the-sun
- Việc chọn Rust có ảnh hưởng lớn đến tốc độ phát triển ban đầu và độ ổn định
- Bản demo đầu tiên sử dụng bộ dữ liệu Common Crawl đã lên trang nhất HN
- Gần như không có lỗi, ngoại lệ duy nhất được nhắc đến là lỗi Python
"'NoneType' object has no attribute"
- Phiên bản đầu tiên được phát hành vào ngày 13 tháng 7 năm 2021
- Mã nguồn mở vừa là lựa chọn chiến lược, vừa là lựa chọn tự nhiên của những người làm kỹ thuật
- Việc xuất hiện trên HN đã dẫn đến các cuộc trò chuyện với những người dùng đầu tiên, nhưng càng trao đổi nhiều thì càng lộ ra các tính năng còn thiếu, kéo theo rất nhiều phần phải triển khai
Các trường hợp sử dụng quy mô lớn và đóng góp cho hệ sinh thái Rust
- Cuộc gặp với các nhóm kỹ thuật của Mezmo và Binance là bước ngoặt giúp Quickwit phát triển thành một sản phẩm thực sự ở quy mô lớn
- Binance đã xây dựng dịch vụ log 100PB bằng Quickwit
- Lập chỉ mục 1.6PB mỗi ngày
- Mezmo đã đưa Quickwit vào production để xử lý log quy mô petabyte cho hàng nghìn khách hàng
- Vẫn cung cấp cùng trải nghiệm người dùng nhưng giảm mạnh chi phí hạ tầng và độ phức tạp
- Những quan hệ hợp tác này đã giúp Quickwit khẳng định vị thế là công cụ tìm kiếm đa petabyte có hiệu quả chi phí cao
- Trong quá trình phát triển Quickwit, nhóm cũng đóng góp cho nhiều thư viện trong hệ sinh thái Rust
- tantivy: thư viện công cụ tìm kiếm full-text làm nền tảng cho Quickwit
- chitchat: giao thức thành viên cụm có phát hiện lỗi, lấy cảm hứng từ Cassandra và DynamoDB
- Bitpacking: thuật toán SIMD để nén số nguyên bằng bitpacking
- Whichlang: thư viện phát hiện ngôn ngữ nhanh và gọn nhẹ cho Rust
- Mrecordlog: write-ahead log hiệu quả được thiết kế cho multi-tenancy
Quá trình chọn Datadog
- Mùa hè năm 2024, Quickwit chứng kiến sự quan tâm ngày càng lớn từ cộng đồng mã nguồn mở, doanh thu tăng mạnh và sự chú ý tích cực từ các VC
- Công ty đánh giá rằng đã đến lúc mở ra chương mới và thúc đẩy vòng gọi vốn Series A
- Tuy nhiên, cấu trúc đội ngũ phân tán giữa Tokyo, Paris và New York vốn đã là gánh nặng, và việc mở rộng có thể làm khó khăn này tăng thêm
- Cuối cùng, Quickwit quyết định tìm một mái nhà mới và xem xét cơ hội được mua lại
- Datadog nổi bật rõ rệt trong số các ứng viên
- Năng lực của Datadog trong việc mang lại trải nghiệm người dùng xuất sắc
- Công cụ tìm kiếm quy mô petabyte của Quickwit
- Cơ hội cùng nhau xây dựng giải pháp mạnh mẽ được triển khai trong môi trường khách hàng
- Sự hoài nghi ban đầu về việc gia nhập một công ty lớn đã biến mất sau các cuộc trò chuyện với đội ngũ Datadog
- Qua các cuộc trao đổi, nhóm xác nhận được năng lực trí tuệ, sự khiêm tốn và văn hóa chân thành của Datadog
Cộng đồng và khách hàng
- Nhóm Quickwit gửi lời cảm ơn tới nhân viên, nhà đầu tư, cộng tác viên, bạn bè và những người ủng hộ
- Các khách hàng được nhắc đến gồm Mezmo, Formal, Radiant Security, MatterLabs, Fly.io
- Cộng đồng cũng được cảm ơn vì đã đồng hành như một phần trong hành trình của Quickwit
1 bình luận
Ý kiến trên Hacker News
Với tư cách là đồng sáng lập Quickwit, thấy việc Datadog mua lại xuất hiện trên trang nhất HN thật sự có cảm giác như đã đi trọn một vòng
Hành trình của Quickwit đã gắn với HN ngay từ đầu, và tiến trình đó được ghi lại nguyên vẹn qua các bài trên trang nhất HN: “Searching the web for under $1000/month” https://news.ycombinator.com/item?id=27074481, “A Rust optimization story” https://news.ycombinator.com/item?id=28955461, “Decentralized cluster membership in Rust” https://news.ycombinator.com/item?id=31190586, “Filtering a vector with SIMD instructions (AVX-2 and AVX-512)” https://news.ycombinator.com/item?id=32674040, “Efficient indexing with Quickwit Rust actor framework” https://news.ycombinator.com/item?id=35785421, “A compressed indexable bitset” https://news.ycombinator.com/item?id=36519467, “Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog” https://news.ycombinator.com/item?id=38902042, “Quickwit 0.8: Indexing and Search at Petabyte Scale” https://news.ycombinator.com/item?id=39756367, “Tantivy – full-text search engine library inspired by Apache Lucene” https://news.ycombinator.com/item?id=40492834, “Binance built a 100PB log service with Quickwit” https://news.ycombinator.com/item?id=40935701, “Datadog acquires Quickwit” https://news.ycombinator.com/item?id=42648043
Mỗi lần lên trang nhất như vậy đều là một cột mốc, và chúng tôi đã đặt nhiều tâm huyết vào các bài viết kỹ thuật vì muốn đóng góp điều gì đó có giá trị cho cộng đồng. Tôi tin chắc HN đã đóng vai trò quan trọng trong thành công của Quickwit, khi mang lại độ hiển thị, phản hồi tích cực, các bình luận phản biện, và cả những lead chủ động liên hệ trực tiếp
Tôi thích pg_search https://www.paradedb.com/blog/introducing_search; nó do một công ty khác tạo ra, nhưng có vẻ được xây dựng trên Tantivy, và đây chính là ưu điểm lớn của mã nguồn mở. Tuy nhiên tôi lo rằng sau thương vụ mua lại này, việc phát triển sẽ dừng lại. Tôi tò mò việc tiếp tục phát triển Tantivy công khai sẽ giúp doanh thu của Datadog như thế nào
Với tư cách một người chưa từng có nhiều thiện cảm với các sản phẩm dựa trên Apache Lucene (Solr, Elastic), tôi thật sự vui khi Tantivy được phát hành dưới dạng mã nguồn mở. Tính điểm BM25, hỗ trợ đúng nghĩa cho các ngôn ngữ châu Á, tốc độ, mức dùng bộ nhớ, v.v. đều rất tuyệt
https://github.com/quickwit-oss/tantivy
Tôi nghĩ Datadog đã có một lựa chọn thông minh. Chỉ cần bản thân Tantivy vĩnh viễn giữ giấy phép Apache 2 và có thể cùng tồn tại với cộng đồng mã nguồn mở theo cách bền vững là đủ. Họ xứng đáng có được thành công thương mại
Có vẻ hồi đầu năm nay Quickwit từng định thêm giấy phép enterprise trong PR #5529, nhưng trong thông báo lần này thì ngược lại, họ nói sẽ tái cấp phép sang Apache License 2.0 để cộng đồng có thể tiếp tục duy trì
Nội dung là: “Chúng tôi sẽ tập trung xây dựng sản phẩm mới cùng Datadog, và để cộng đồng mã nguồn mở có thể tiếp tục, chúng tôi sẽ sớm phát hành các bản cập nhật lớn cho Quickwit và tantivy, đồng thời tái cấp phép theo Apache License 2.0”
Rốt cuộc chúng ta sẽ có một Quickwit với giấy phép tự do hơn, nhưng đọc giữa các dòng thì có vẻ việc phát triển thực tế sẽ giảm đi. Theo trải nghiệm của tôi, nó ổn định nên không có gì đáng phàn nàn lớn, nhưng tôi đã kỳ vọng xem họ sẽ mang đến thêm điều gì trong tương lai
Dù vậy, có vẻ họ muốn công khai sản phẩm hiện tại dưới một giấy phép tương thích OSI để cộng đồng có thể tiếp quản, và như thế là một thỏa hiệp ổn. Mọi chuyện đã có thể tệ hơn nhiều
Datadog cũng không phải là công ty hoàn toàn xa lạ với mã nguồn mở. Vector, công cụ pipeline observability mà họ công khai cho mục đích dùng chung, là một sản phẩm khá vững chắc: https://vector.dev/
Gần đây có khá nhiều cơ sở dữ liệu hiện đại bị mua lại nên hơi tiếc. Chúng từng có tiềm năng mang lại nhiều đổi mới
https://www.warpstream.com/, https://www.orioledb.com/, https://quickwit.io/
Supabase đang cung cấp một kênh phân phối ban đầu để đội ngũ OrioleDB có thể tập trung vào storage engine hơn là hosting, đồng thời nhận được nhiều phản hồi người dùng và báo cáo lỗi. Mục tiêu chung là phát triển OrioleDB thành ứng viên storage engine mặc định cho Postgres, được dùng không chỉ trên Supabase mà ở bất cứ đâu
Tôi đã gặp cả ba nhà sáng lập của ba công ty này, và tin chắc rằng họ đều thật lòng muốn đưa công trình của mình ra thế giới. Nhân tiện, ParadeDB vẫn độc lập và trong tương lai gần cũng không có kế hoạch bán
Đồng hồ đếm ngược đã bắt đầu cho tới khi Datadog tìm ra cách tính phí theo node, CPU, container, RAM(KB), và từng ký tự Unicode đã được lập chỉ mục
Mô hình giá khá phức tạp, nên theo thời gian bạn bắt đầu tự hỏi liệu các tính năng tốt đó có thật sự đáng với mức giá cao như vậy không
Mezmo nói rằng họ đã đưa Quickwit vào production để xử lý log ở quy mô hàng nghìn khách hàng và hàng petabyte, đồng thời giảm mạnh chi phí hạ tầng và độ phức tạp; nên chắc khó mà thấy vui khi ngay sau đó Quickwit lại được bán cho đối thủ cạnh tranh
Điểm tốt cho tất cả những người còn lại là nếu Datadog làm hỏng nó, đây là tín hiệu rằng sẽ có kha khá nhu cầu fork
Bài liên quan: Binance built a 100PB log service with Quickwit(6 tháng trước, 228 điểm, 195 bình luận) https://news.ycombinator.com/item?id=40935701
Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog(1 năm trước, 145 điểm, 51 bình luận) https://news.ycombinator.com/item?id=38902042
Họ nói “từ mùa hè này, bầu không khí đã thay đổi. Lực kéo từ mã nguồn mở mạnh lên, doanh thu tăng vọt, và các VC chủ động tiếp cận nhiều hơn. Đã đến lúc mở một chương mới cho công ty và gọi Series A”, nhưng xét về tu từ thì tại sao lại là lúc đó?
Câu trả lời thực tế nằm ngay ở đó. VC không hài lòng chỉ với một công ty tăng trưởng nhanh có công nghệ tốt. Hoặc đó là một vòng gọi vốn tăng định giá để họ có thể ghi tăng giá trị danh mục, hoặc nếu thị trường không đủ nóng để nhận một Series A giá cao thì họ sẽ thúc đẩy exit
Nếu muốn xây dựng một doanh nghiệp tăng trưởng có lợi nhuận, tiền VC không phải con đường đó
Cách diễn đạt trong câu blog có thể hơi dễ gây hiểu nhầm. VC mà François nói tới có khả năng là các VC khác biết tình hình công ty và liên hệ vì muốn tham gia vào eventual Series A, hơn là các VC đã đầu tư vào Quickwit
Nhìn chung chỉ là chúng tôi cảm thấy mình đang ở một “ngã rẽ”, chứ không có ai bẻ tay ép buộc cả
Tôi thật sự ghét Datadog. Ở công ty chúng tôi, tên Datadog được dùng như một câu chửi để chỉ kiểu bán hàng hay marketing không được phép làm
Khoảng 2015–2018 tôi đã hoàn toàn phát ngán vì cách bán hàng của họ. Điện thoại và email kéo đến không dứt, và giọt nước tràn ly là buổi trình bày về Lambda tại AWS re:Invent khi Lambda vừa được công bố. Cả đội chúng tôi đi nghe để sớm dùng thử Lambda, nhưng hóa ra đó là một bài thuyết trình của nhân viên Datadog, về cơ bản sao chép sơ sài blog “lambda up and running” của Barr rồi đóng gói như stand-up comedy, và diễn giả cứ nhấn mạnh mình là nhân viên Datadog. Kiểu như chuốc rượu, làm mọi người vui vẻ để họ cảm thấy Datadog thật ngầu
Hỏi nghiêm túc: kể từ đó công ty đã thay đổi đủ để đáng nhìn lại chưa?
Như quản lý cũ của tôi từng nói, trong báo cáo lãi lỗ không có dòng nào tên là “người tốt”, và ai đó phải trả chi phí. Vì vậy rất dễ bất an khi nghĩ tới một con đường u ám
Nhưng một trong những kết quả có thể xảy ra là xuất hiện một đối thủ mã nguồn mở hữu hiệu chống lại hệ sinh thái Grafana, và chỉ riêng điều đó cũng có thể giúp bảo vệ phần còn lại của hệ sinh thái khỏi việc đổi giấy phép. Cũng có khả năng đây là một kịch bản đôi bên cùng có lợi, trong đó các nhà sáng lập tìm được con đường bền vững mà không có cuộc chiến tiền bạc và quyền lực. Tôi muốn nhìn nhận tích cực, và chỉ thời gian mới trả lời
Tôi vừa chuyển từ Elastic sang Quickwit xong mà giờ chỉ biết thở dài. Có cơ sở dữ liệu log nào khác, mã nguồn mở và dựa trên object storage, đáng để đề xuất không?
Khoảng 3 năm trước sản phẩm thay đổi khá nhanh và phần lớn tài liệu nằm trên git, nên việc nâng cấp minor version hơi đau đầu, nhưng tôi nghĩ giờ nó đã trưởng thành hơn nhiều rồi
Được xây dựng trên ClickHouse, nhanh và có khả năng mở rộng
https://github.com/SigNoz/signoz
Nói thêm là tôi là maintainer của SigNoz
Đây là một file thực thi đơn nhỏ, chạy được ngay với cấu hình mặc định và lưu toàn bộ dữ liệu trong một thư mục duy nhất. Hỗ trợ object storage sẽ sớm được bổ sung
Tôi tò mò Datadog sẽ xây dựng gì với công nghệ này. Chỉ vài tháng trước, công ty này dường như vẫn giới thiệu mình là đối thủ mã nguồn mở của Datadog
Các ngành chịu quản lý như tài chính, bảo hiểm, y tế phải đáp ứng yêu cầu về nơi lưu trú dữ liệu, quyền riêng tư và quy định, trong khi vẫn duy trì khả năng quan sát toàn hệ thống. Nếu log phải nằm trong môi trường của khách hàng hoặc một khu vực cụ thể, việc có được observability và insight liền mạch sẽ trở nên khó khăn; có vẻ Datadog muốn dùng Quickwit để đáp ứng yêu cầu này mà không cần bổ sung nhiều công cụ log
Vector mã nguồn mở mà họ từng mua lại trước đây giờ ra sao rồi? Những người đó còn được tuyển dụng không?