Kiến trúc mới cho hạ tầng dữ liệu hiện đại
(future.a16z.com)-
Thông tin và giải thích thuật ngữ liên quan đến hạ tầng dữ liệu hiện đại, được tổng hợp từ các cuộc phỏng vấn với các chuyên gia dữ liệu
-
Tài liệu PDF 6 trang rất phù hợp để hiểu toàn cảnh lĩnh vực dữ liệu
Sơ đồ khái niệm hạ tầng dữ liệu tích hợp trong 1 trang
- Sources: Tạo ra dữ liệu kinh doanh và dữ liệu vận hành
→ OLTP DB via *CDC
→ Applications/ERP(Oracle,Salesforce,Netsuite): mọi dữ liệu phát sinh trong hoạt động kinh doanh
→ Bộ thu thập Event(Segment,Snowplow): thu thập mọi sự kiện của người dùng dịch vụ
→ Logs: log của web server và nhiều loại server khác
→ API bên thứ ba(Stripe, v.v.): dữ liệu phát sinh từ thanh toán và các API sử dụng khác
→ Tệp và object storage
- Ingestion and Transformation: hiện nay xu hướng là ETL sang ELT, Extract / Load / Transform
Trích xuất dữ liệu từ hệ thống vận hành(E) / chuyển vào kho lưu trữ(L) / biến đổi dữ liệu để phục vụ phân tích(T)
→ Connector(Fivetran, Stitch, Matillion): công cụ chuyển dữ liệu từ nhiều nguồn sang DW
→ Data Modeling(dbt, LookML): mô hình hóa và biến đổi dữ liệu
→ Workflow Manager(Airflow, Dagster, Prefect): bộ điều phối / bộ lập lịch để tự động hóa luồng dữ liệu
→ Spark Platform(Databricks, Amazon EMR): nền tảng clustering hiệu năng cao cho xử lý phân tán
→ Python Libs: thư viện phân tích dữ liệu - Pandas, giao diện AWS - Boto, Dask cho xử lý song song khối lượng lớn, Ray cho xử lý phân tán..
→ Batch Query Engine(Hive): truy vấn dữ liệu lớn
→ Event Streaming(Confluent/Kafka, Pulsar, AWS Kinesis): nền tảng nhắn tin/streaming thời gian thực
→ Stream Processing(Databricks/Spark, Confluent/Kafka, Flink): thu thập/xử lý và phân tích dữ liệu streaming
- Storage: Lưu trữ dữ liệu ở dạng có thể truy vấn và xử lý. Tối ưu cho chi phí thấp, khả năng mở rộng và công việc phân tích.
→ Data Warehouse(Snowflake, BigQuery, Redshift): kho lưu trữ tích hợp dữ liệu tập hợp các thông tin có thể phân tích
→ Data Lake: khác với DW, lưu trữ dữ liệu thô có cấu trúc/phi cấu trúc chưa được tinh chỉnh
Databricks/Delta Lake(data lake cho phép ACID transaction trên Spark và S3/HDFS, v.v.),
Apache Iceberg(định dạng bảng siêu lớn lưu trữ ở quy mô petabyte, do Netflix phát triển),
Apache Hudi(data lake hiệu quả, do Uber phát triển), Hive Acid
→ Apache Parquet - định dạng lưu trữ dạng cột
Apache ORC - Optimized Row Columnar, ghi theo đơn vị cột và đồng thời ghi cả chỉ mục
Apache Avro - ghi theo đơn vị hàng, phù hợp cho ghi dữ liệu, phù hợp cho schema evolution
→ AWS S3(Simple Storage Service), GCS(Google Cloud Storage), ABS(Azure Blob Storage), HDFS(Hadoop Distributed File System)
4&5. Historical & Predictive: cung cấp giao diện(truy vấn) để nhà phân tích và nhà khoa học dữ liệu rút ra insight
Historical: giải thích điều gì đã xảy ra trong quá khứ. Bao gồm cả dữ liệu rất gần hiện tại(gần như thời gian thực)
Predictive: dự đoán tương lai, ứng dụng dựa trên dữ liệu/ML
→ Data Science Platform(Databricks, Domino, Sagemaker, Dataiku, DataRobot, Anaconda, ...)
→ Data Science and ML Libraries((Pandas, Numpy, R, Dask, Ray, Spark, Scikit-learn, Pytorch, TensorFlow, Spark ML, XGBoost, )
→ Ad Hoc Query Engine(Presto, Dremio/Drill, Impala)
→ Real-time Analytics: Imply/Druid - phân tích thời gian thực, Altinity/Clickhouse - OLAP, Rockset - công cụ phân tích thời gian thực thương mại(dựa trên RocksDB, một embedded DB KV hiệu năng cao)
- Output: công cụ hiển thị kết quả phân tích dữ liệu cho nội bộ/bên ngoài. Nhúng các mô hình dữ liệu đã tạo vào hệ thống vận hành và ứng dụng
→ Dashboards: Looker, Apache Superset, Mode, Tableau - công cụ Business Intelligence
→ Embedded Analytics: Sisense, Looker, cube.js - nhúng công cụ BI vào hệ thống nội bộ. Dựa trên API. Có thể tạo ứng dụng phân tích nội bộ
→ Augmented Analytics: Thoughtspot, Outlier, Anodot, Sisu - công cụ tự động phân tích bằng AI
→ App Frameworks: Plotly Dash, Streamlit - framework giúp xây dựng ứng dụng ML
- Ngoài ra
→ Metadata Management(Collibra, Alation, Hive Metastore, DataHub, ...)
→ Quality and Testing(Great Expectations)
→ Entitlements and Security(Privacera, Immuta)
→ Observability(Unravel, Accel Data, Fiddler)
- Blueprint theo ba lĩnh vực chính
→ BI hiện đại
→ Xử lý dữ liệu đa phương thức
→ Lĩnh vực AI và ML
- Change Data Capture: sao chép dữ liệu thay đổi của OLTP theo thời gian thực sang nhiều kho lưu trữ khác(DB, DW)
4 bình luận
Mình đã làm một loạt video YouTube giải thích lần lượt từng dịch vụ và các dự án mã nguồn mở được nhắc đến ở đây.
Mỗi tập được chia thành khoảng hơn 10 phút, nên nếu bạn muốn tìm hiểu kỹ hơn về nội dung ở trên thì hãy tham khảo nhé.
Tìm hiểu hạ tầng dữ liệu hiện đại by GeekNews
Liên kết bản dịch đã bị sai rồi haha; vui lòng tham khảo liên kết bên dưới ^^;
https://drive.google.com/file/d/…
Wow, cảm ơn bạn. Tôi cũng rất thích tài liệu này nên đang thử làm một tài liệu giải thích riêng bằng video cho sơ đồ chính.
https://drive.google.com/file/d/…
Nội dung có vẻ hay nên mình đã thử dịch ngắn gọn bản gốc ^^