Vector - mã nguồn mở cho pipeline dữ liệu Observability hiệu năng cao

• Nền tảng pipeline dữ liệu Observability end-to-end hiệu năng cao (agent và aggregator) cho phép người dùng kiểm soát dữ liệu có thể quan sát được
• Có thể thu thập, chuyển đổi và định tuyến log cùng metric để gửi tới bất kỳ vendor nào bạn muốn hiện tại, cũng như các vendor khác mà bạn có thể muốn dùng trong tương lai
• Giúp giảm chi phí, cung cấp khả năng tăng cường dữ liệu (Enrichment) mới và bảo mật dữ liệu, là mã nguồn mở, đồng thời tự hào có tốc độ nhanh hơn tới 10 lần so với các lựa chọn thay thế khác

Nguyên tắc

• Độ tin cậy - Được xây dựng bằng Rust, với độ tin cậy là mục tiêu thiết kế cốt lõi
• End-to-end - Được triển khai dưới dạng Agent hoặc Aggregator. Vector là một nền tảng hoàn chỉnh
• Tính hợp nhất - Log, metric (beta), trace (sắp ra mắt). Một công cụ cho mọi loại dữ liệu

Trường hợp sử dụng

• Giảm tổng chi phí Observability
• Chuyển đổi nhà cung cấp mà không làm gián đoạn workflow
• Nâng cao chất lượng dữ liệu và cải thiện insight
• Hợp nhất agent và loại bỏ sự mệt mỏi vì quá nhiều agent
• Cải thiện hiệu năng và độ tin cậy tổng thể của khả năng quan sát

Cộng đồng

• Các startup và doanh nghiệp lớn như Atlassian, T-Mobile, Comcast, Zendesk, Discord, Fastly, CVS, Trivago, Tuple, Douban, Visa, Mambu, Blockfi, Claranet, Instacart,... đang phụ thuộc vào Vector
• Vector được tải xuống hơn 100.000 lần mỗi ngày
• Người dùng lớn nhất của Vector xử lý hơn 30TB dữ liệu mỗi ngày
• Vector có hơn 100 người đóng góp và vẫn đang tiếp tục phát triển

[softer]

Phường ống log, bảo vệ.

[xguru]

Ý kiến trên Hacker News

• Đánh giá tích cực về phần mềm Vector

  • Vector là phần mềm rất tốt để vận hành pipeline log đa GB/s.
  • Agent Vector hoạt động dưới dạng DaemonSet để thu thập log từ pod và journald, rồi gửi chúng tới bộ tổng hợp Vector trung tâm (Deployment) bằng giao thức protobuf của Vector.
  • Hỗ trợ nhiều kho lưu trữ khác nhau như s3, gcs/bigquery, loki, prom.
  • Tài liệu khá tốt, dù đôi khi khó tìm ví dụ cho các mẫu dùng phổ biến, nhưng điều này đang dần được cải thiện theo thời gian khi số người dùng tăng lên.
  • Một mẹo để có kết quả tốt là tìm trên Google với từ khóa "vector dev".
  • Gần đây còn có thêm đóng góp như một lựa chọn thay thế cho Prometheus pushgateway, xử lý counter tốt hơn.

• Tầm nhìn và kỳ vọng về hệ thống lưu trữ log

  • Hệ thống xử lý và lưu trữ log gần như đã sẵn sàng, và về trung đến dài hạn được kỳ vọng sẽ phát triển thành một hệ thống lưu trữ log có thể truy vấn được.
  • Log được xử lý bằng các công cụ như Vector và được lưu vào object storage theo các định dạng tệp được dùng rộng rãi, dễ hiểu.
  • Các đối tượng log được đăng ký trong kho metadata để có thể tìm kiếm.
  • Những công cụ như Delta Lake hay Iceberg có thể hoạt động tốt ở cả quy mô lớn lẫn nhỏ.
  • Nhiều pipeline xử lý log có thể commit vào cùng một kho lưu trữ.
  • Các công cụ hiệu năng cao như Clickhouse, DuckDB, Spark có thể đọc dữ liệu này.
  • Nhờ dùng định dạng chuẩn, có thể đổi công cụ hoặc dùng đồng thời nhiều công cụ.

• Độ tin cậy và tính hữu dụng của Vector

  • Vector đáng tin cậy hơn nhiều so với beats hay các forwarder phụ thuộc vendor cụ thể như chronicle forwarder, fdr.
  • Vrl hữu ích để "tiền phân tích" các log quy mô lớn như aws cloudtrail và imperva abp.

• Trải nghiệm sử dụng và khuyến nghị về Vector

  • Có trải nghiệm dùng Vector và thấy việc cấu hình đơn giản, ngôn ngữ vrl đủ mạnh.
  • Tính năng "check" của CLI giúp phát hiện các vấn đề trong cấu hình.
  • Không có vấn đề gì về hiệu năng, đồng thời rất tiết kiệm tài nguyên, nên rất đáng khuyến nghị.

• Tính đa năng của Vector

  • Vector không chỉ đơn thuần là "hiệu năng cao" mà giống như một con dao đa năng Thụy Sĩ cho log và metrics.
  • Có thể dùng để chuyển log thành metrics, chuyển metrics sang định dạng khác, đẩy sang kho dữ liệu khác, lọc dữ liệu và làm nhiều việc khác.
  • Đây là lựa chọn hàng đầu để thu thập, tổng hợp, lọc và tiền xử lý dữ liệu observability.

• Sự quan tâm và kỳ vọng với Vector

  • Chỉ biết đến Vector sau khi đã thiết lập một pipeline fluent-bit mới.
  • Vector có rất nhiều tính năng thú vị, và nếu có thời gian thì muốn thử dùng sớm hơn.
  • Có vẻ sẽ rất thú vị để thử trong một dự án mới.

• Phạm vi áp dụng và khả năng của Vector

  • Phần lớn những ví dụ và thảo luận từng thấy về Vector đều nhắm tới cơ sở dữ liệu hoặc các ứng dụng multi-tenant phức tạp.
  • Muốn biết liệu có ai đã dùng Vector trong các hệ thống phân tán như xe tự hành để tổng hợp log vận hành, trạng thái hệ thống, cũng như đầu vào và đầu ra của từng ứng dụng hay chưa.

• Ca sử dụng thực tế và khả năng tận dụng thêm của Vector

  • Đang dùng Vector để chuyển log, thay thế cấu hình logstash vốn không làm được việc cần thiết.
  • Mới chỉ bắt đầu nắm được phần nào tiềm năng của Vector và muốn dùng nó nhiều hơn nữa.
  • Muốn tìm thêm thông tin về các trường hợp sử dụng Vector ngoài việc chuyển log.

• Vấn đề niềm tin với Datadog

  • Không thực sự tin tưởng việc Datadog quản lý Vector, vốn có vẻ như là đối thủ cạnh tranh với OTEL.

• Các tính năng của Vector và kế hoạch tiếp tục theo dõi

  • Vector khá thú vị, nhưng hiện chưa thể dùng vì chưa có tracing.
  • Dự định sẽ tiếp tục theo dõi Vector trong vài tháng tới, và kỳ vọng sẽ có những tính năng hữu ích để có thể sử dụng.