- Khi AI tự động hóa việc viết mã và tạo pipeline, trọng tâm của kỹ thuật dữ liệu chuyển từ việc chỉ di chuyển dữ liệu sang xử lý ý nghĩa (meaning)
- Cấu trúc ETL (Extract, Transform, Load) truyền thống không thể bảo toàn ý nghĩa của dữ liệu, và ECL (Extract, Contextualize, Link) đang nổi lên như một framework mới để thay thế
- ECL sau khi trích xuất dữ liệu sẽ ngữ cảnh hóa (Contextualize) và liên kết (Link) để cấu trúc hóa ý nghĩa, xây dựng pipeline lấy ý nghĩa làm trung tâm kết hợp giữa AI và phán đoán của con người
- Data Contract, pipeline Contextualize và Context Store là các thành phần cốt lõi, giúp duy trì độ tin cậy của dữ liệu và tính nhất quán về ý nghĩa
- Trong tương lai, kỹ sư dữ liệu cần tiến hóa từ người chỉ xây dựng pipeline thành “Context Architect”, tức người thiết kế ý nghĩa của dữ liệu
Giới hạn của thời đại ETL và sự chuyển đổi
- ETL (Extract, Transform, Load) là cấu trúc dùng để di chuyển dữ liệu giữa các hệ thống trong quá khứ, nhằm giải quyết vấn đề lệch định dạng và silo dữ liệu
- Tuy nhiên, giai đoạn Transform khiến các quy tắc nghiệp vụ bị chôn trong mã nguồn, khó quản lý, và khi định nghĩa thay đổi thì phải sửa toàn bộ pipeline
- Khi AI tự động hóa việc sinh mã, các tác vụ chuyển đổi đơn thuần không còn là yếu tố tạo khác biệt
- Bản chất của kỹ thuật dữ liệu được định nghĩa lại thành không phải di chuyển dữ liệu, mà là xử lý ý nghĩa
ECL — Extract, Contextualize, Link
- Extract vẫn cần thiết, và đòi hỏi phán đoán ở cấp độ kiến trúc về độ tin cậy dữ liệu, độ trễ, khối lượng và chế độ lỗi
- Contextualize là quá trình gán ý nghĩa cho dữ liệu, trong đó AI thực hiện định nghĩa trường, phân loại thực thể và suy luận quan hệ, còn con người sẽ xác minh
- Ví dụ: định nghĩa của “revenue” khác nhau giữa các phòng ban, hoặc ý nghĩa của giá trị null khác nhau tùy hệ thống
- Link là quá trình kết nối các thực thể từ những hệ thống khác nhau để khiến ý nghĩa có thể được chuyển dịch
- Kết nối bản ghi khách hàng, dữ liệu người dùng, log sự kiện... để đảm bảo tính nhất quán theo ngữ cảnh
Early Binding — Hợp đồng dữ liệu có thể thực thi
- Early Binding là cách khai báo ý nghĩa tại thời điểm dữ liệu được tạo ra, được triển khai thông qua Data Contract
- Hợp đồng xác định schema, kỳ vọng về chất lượng, quyền sở hữu và ý nghĩa của từng trường
- Đây không chỉ là tài liệu mô tả, mà phải hoạt động như ràng buộc có thể thực thi (Executable Constraint) với thời điểm thất bại được xác định rõ
- Bao gồm kiểm tra tự động như pipeline thất bại khi schema thay đổi, hoặc phát cảnh báo khi vi phạm chất lượng
- Trong môi trường AI, sự mơ hồ của hợp đồng có thể bị khuếch đại thành lỗi quy mô lớn, nên hợp đồng rõ ràng là bắt buộc
Giới hạn của Early Binding
- Trong kiến trúc Medallion (Bronze–Silver–Gold), khi dữ liệu di chuyển thì ý nghĩa dần bị mất đi
- Lớp Gold là kết quả được tối ưu cho một câu hỏi cụ thể, nên ý nghĩa ban đầu có thể bị biến dạng
- Chỉ riêng Early Binding không thể ngăn sự bào mòn ý nghĩa diễn ra dần dần
- Để bù đắp điều này, cần có pipeline Contextualize
Late Binding — Pipeline Contextualize dựa trên agent
- Late Binding trì hoãn việc áp dụng quy tắc nghiệp vụ đến thời điểm truy vấn, nhưng bản thân định nghĩa vẫn phải có sẵn từ trước
- Cách tiếp cận mới là để chính định nghĩa được một pipeline chuyên dụng tạo và kiểm chứng động
- Tự động chạy bằng trigger dựa trên sự kiện khi có dataset mới hoặc schema thay đổi
- AI agent phân tích cấu trúc dữ liệu, mẫu, thống kê và lineage để suy luận ý nghĩa
- LLM-as-Judge tự động phê duyệt các suy luận có độ tin cậy cao, còn những mục không chắc chắn sẽ do chuyên gia miền xem xét
- Kết quả đã được xác minh được lưu vào Context Store, và sau đó được dùng làm điểm tham chiếu dựa trên ý nghĩa cho mọi AI và truy vấn
Tiêu chí lựa chọn Early vs Late Binding
- Dữ liệu có thể kiểm soát trong tổ chức phù hợp với Early Binding
- Có thể đàm phán và cưỡng chế hợp đồng, đồng thời duy trì định nghĩa ý nghĩa một cách tường minh
- Dữ liệu bên ngoài hoặc nguồn không thể kiểm soát cần Late Binding thông qua pipeline Contextualize
- Việc thay đổi schema hoặc suy luận ý nghĩa cần được tự động hóa
- Tiêu chí cốt lõi không phải là vị trí trong tổ chức, mà là sự tồn tại của trách nhiệm giải trình (accountability)
- Có trách nhiệm giải trình thì dùng Early Binding, không có thì dùng Contextualize
- Qua quá trình xác minh lặp lại, ý nghĩa được phát hiện có thể được nâng cấp thành hợp đồng chính thức
Context Propagation — Cấu trúc relay thay vì pipeline
- Ý nghĩa (Context) không di chuyển dọc theo pipeline dữ liệu, mà được truyền song song thông qua metadata và lineage
- Early Binding gắn metadata hợp đồng tại nguồn, còn công cụ lineage sẽ chuyển nó qua các giai đoạn Bronze–Silver–Gold
- Pipeline Contextualize đọc lineage này để suy luận ý nghĩa, rồi lưu kết quả đã xác minh vào Context Store
- Ẩn dụ Git: dữ liệu là file đã commit, lineage là
git log, còn Context Store là lịch sử phiên bản của ý nghĩa
Context Store — Bề mặt kỹ thuật mới
- Context Store là nơi lưu trữ các định nghĩa nghiệp vụ, tồn tại dưới dạng artifact phiên bản đã được xác minh chứ không phải tài liệu wiki
- Giải quyết xung đột định nghĩa “revenue” bằng quy trình dựa trên mức độ tin cậy
- Đây là điểm then chốt của độ tin cậy dữ liệu, nơi có thể phát hiện và sửa dữ liệu có ý nghĩa đã bị biến chất
- Để đảm bảo độ tin cậy của dữ liệu do AI tạo ra và tiêu thụ, việc quản lý Context Store và thiết kế workflow xác minh là rất quan trọng
- Hiện tại, các vấn đề như quyền sở hữu trong tổ chức, điều phối xung đột và quy trình nâng cấp ý nghĩa vẫn đang ở giai đoạn thử nghiệm
Kỹ sư dữ liệu mới — Context Architect
- Kỹ sư dữ liệu trong tương lai sẽ đảm nhiệm vai trò thiết kế kiến trúc của ý nghĩa
- Thiết kế hợp đồng, xây dựng hạ tầng lineage, quản lý pipeline Contextualize và Context Store
- Quyết định khi nào cần khai báo ý nghĩa và khi nào nên khám phá ý nghĩa
- Vượt ra ngoài vai trò kỹ thuật, họ còn đóng vai trò điều phối viên thiết kế cấu trúc chia sẻ ý nghĩa và trách nhiệm giữa các tổ chức
- Vì vậy, so với “kỹ sư dữ liệu”, tên gọi “Context Architect” phù hợp hơn
Biên giới mở
- ECL không phải là một phương pháp luận đã hoàn thiện mà là một hướng đi, và các công cụ cùng mô hình quản trị liên quan vẫn đang tiếp tục phát triển
- Các tổ chức xử lý hợp đồng như hạ tầng có thể thực thi và quản lý lineage cùng Context Store như tài sản kỹ thuật cốt lõi nhiều khả năng sẽ định hình tiêu chuẩn của kỹ thuật dữ liệu trong 10 năm tới
- Ngay cả trong thời đại AI, phần việc con người vẫn phải đảm nhiệm là “kiến trúc và các đánh đổi”, và giờ đây hình thái cụ thể của nó đã hiện ra qua ECL và Context Architect
1 bình luận
Có vẻ như sự chuyển dịch từ vai trò giống như một kỹ thuật viên truyền thống sang một chuyên gia lĩnh vực đang được đẩy nhanh hơn nữa.