Bức tranh toàn cảnh Data & AI năm 2020

Bản đồ và phần giải thích về ngành dữ liệu & trí tuệ nhân tạo năm 2020 do Matt Turck, VC của FirstMark, tóm tắt trong một hình ảnh

• Các xu hướng chính của Data Infra

→ Modern data stack trở thành xu hướng chủ đạo: Snowflake, BigQuery, RedShift, DBT, Fivetran, Stitch, Looker..

→ ETL vs ELT

→ Tự động hóa data engineering

→ Sự trỗi dậy của nhà phân tích dữ liệu

→ Hợp nhất giữa data lake và data warehouse? = Data Lakehouse hoặc Unified Analytics Warehouse

→ Độ phức tạp vẫn còn nguyên:

⇨ Nhu cầu đối với công nghệ streaming thời gian thực ngày càng tăng

⇨ Orchestration engine: bắt đầu từ Airflow và Luigi, đến các engine thế hệ tiếp theo như Prefect, Dagster, Kedro, Metaflow...

⇨ Data Lineage & DataOps: LinkedIn (Datahub), WeWork (Marquez), Lyft (Admunsen), Uber (Databook)

• Các xu hướng chính của Analytics & Enterprise AI

→ Thời kỳ bùng nổ của các nền tảng data science và machine learning (DSML)

→ ML thực sự được triển khai và nhúng vào thực tế

⇨ MLOps

⇨ AI Governance, AI fairness

⇨ Decision Science (optimization, simulation)

→ Năm của NLP: GPT-3, BERT, ELECTRA

• Các khoản đầu tư, exit và IPO chính

→ IPO: Snowflake, Palantir, Datadog, Sumo Logic, Dynatrace, Cloudflare

→ M&A: ARM(NVIDIA), SignalFX(Splunk), Habana Labs(Intel), Fitbit(Google), Moovit(Intel)

→ Những thương vụ mua lại nhỏ nhưng thú vị: MapR(HPE), HortonWorks(Cloudera), Arcadia Data(Cloudera), Redash(Databricks)..