Quản lý dữ liệu trong kỷ nguyên AI

• Khi AI tạo sinh không vận hành trên dữ liệu đáng tin cậy, kết quả phân tích cũng trở nên khó tin cậy; vì vậy quản lý dữ liệu đã được nâng từ một công việc hỗ trợ kỹ thuật lên thành chức năng cốt lõi mang tính chiến lược
• Từ giai đoạn ban đầu khi nhà phát triển ứng dụng kiêm luôn cấu trúc dữ liệu, các vai trò đã tách ra thành nhà thiết kế/quản trị cơ sở dữ liệu, CIO, CDO; tính toàn vẹn dữ liệu và cách hiểu nhất quán trên toàn doanh nghiệp trở thành các thách thức chính
• Với dữ liệu có cấu trúc, người ta trực tiếp sửa mô hình dữ liệu và cơ sở dữ liệu; nhưng trong môi trường AI tạo sinh, việc kiểm soát được thực hiện gián tiếp bằng cách tuyển chọn và tinh lọc văn bản đưa vào LLM
• Với văn bản phi cấu trúc, thay vì mô hình dữ liệu truyền thống cần có ontology/taxonomy; chúng phải được kết hợp với ELDM của doanh nghiệp và được cập nhật liên tục
• Khi dữ liệu phân tán trên nhiều hệ thống/PC/internet, tập trung hóa vật lý đã trở nên bất khả thi; tập trung hóa ngữ nghĩa, thống nhất ý nghĩa ở cấp doanh nghiệp bằng ELDM, trở nên quan trọng

---

Quản lý dữ liệu khởi đầu từ công việc phát triển ứng dụng

• Trong các hệ thống máy tính ban đầu, nhà phát triển ứng dụng vừa thu thập yêu cầu, tuân thủ phương pháp luận, lập trình, kiểm thử, vừa định nghĩa dữ liệu mà hệ thống sẽ sử dụng và cấu trúc của dữ liệu đó
• Thiết kế dữ liệu không phải là một chức năng doanh nghiệp độc lập, mà chỉ là một trong nhiều công việc nằm trong quá trình phát triển

Xử lý giao dịch và sự xuất hiện của vai trò chuyên trách cơ sở dữ liệu

• Khi các hệ thống xử lý giao dịch lan rộng, thời gian phản hồi, độ sẵn sàng của hệ thống và tính toàn vẹn khi thực thi giao dịch phải được phản ánh vào thiết kế cơ sở dữ liệu
• Khi nhà thiết kế cơ sở dữ liệu chuyên xử lý các yêu cầu này xuất hiện, quản lý dữ liệu bắt đầu được nhìn nhận như một công việc độc lập
• Khi cơ sở dữ liệu xử lý giao dịch tăng nhanh, cần có quản trị viên cơ sở dữ liệu để kiểm soát và điều phối nhiều cơ sở dữ liệu

Vấn đề toàn vẹn dữ liệu và data warehouse

• Khi cùng một phần tử dữ liệu được lưu lặp lại trong vô số ứng dụng liên kết với nhau, vấn đề phát sinh là mỗi vị trí lại có giá trị khác nhau
• Vấn đề của doanh nghiệp chuyển từ việc sở hữu dữ liệu sang việc xác định dữ liệu nào có thể tin cậy
• Chỉ bổ sung ứng dụng và công nghệ không giải quyết được vấn đề toàn vẹn; trái lại còn mở rộng và đẩy nhanh vấn đề
• Cần một giải pháp kiến trúc tách dữ liệu vận hành khỏi dữ liệu phân tích, chứ không phải một bản sửa kỹ thuật; kết quả là data warehouse ra đời

Mô hình dữ liệu và môi trường dữ liệu có cấu trúc

• Để chuyển đổi dữ liệu vận hành thành dữ liệu phân tích và data warehouse, cần có mô hình dữ liệu trừu tượng hóa các loại dữ liệu đang tồn tại hoặc sẽ cần trong tương lai
• Hệ thống vận hành và data warehouse được cấu thành như môi trường dữ liệu có cấu trúc, nơi mỗi bản ghi có cùng định dạng và chỉ khác nội dung
• Dữ liệu có cấu trúc của ứng dụng, cơ sở dữ liệu và cơ sở dữ liệu xử lý giao dịch được quản lý bằng hệ quản trị cơ sở dữ liệu (DBMS)
• Khi sự cố của hệ thống giao dịch tác động trực tiếp đến hoạt động thực tế và khách hàng, như ATM hay hệ thống đặt vé máy bay, giá trị của hệ thống chính xác, ổn định và quản lý dữ liệu càng tăng lên

Công việc của người quản lý dữ liệu có cấu trúc

• Sau khi xây dựng mô hình dữ liệu, họ liên tục duy trì và sửa đổi theo tình hình kinh tế, cạnh tranh, công nghệ, pháp lý và thay đổi thị trường
• Trong thiết kế cơ sở dữ liệu, họ tuân theo nguyên tắc chuẩn hóa, đồng thời áp dụng mức phi chuẩn hóa cần thiết để bảo đảm hiệu năng xử lý giao dịch
  • Người quản lý dữ liệu điều chỉnh giữa chuẩn hóa và phi chuẩn hóa theo mục tiêu của hệ thống và yêu cầu hiệu năng
• Viết DDL để định nghĩa cơ sở dữ liệu dựa trên mô hình dữ liệu
• Thực hiện hoạch định dung lượng để dự đoán khi nào thiết bị xử lý giao dịch sẽ đạt giới hạn công suất
• Liên tục giám sát hoạt động cơ sở dữ liệu và mức tăng trưởng dữ liệu
• Khi phát hiện vấn đề, họ dùng phương thức kiểm soát trực tiếp bằng cách truy cập và sửa đổi trực tiếp mô hình dữ liệu hoặc cơ sở dữ liệu liên quan

Sự mở rộng của dữ liệu phi cấu trúc/văn bản

• Trong doanh nghiệp không chỉ có dữ liệu có cấu trúc mà còn tồn tại lượng lớn dữ liệu phi cấu trúc/văn bản; cũng có ước tính rằng tới 90% dữ liệu doanh nghiệp là văn bản
• Vì nhiều thông tin doanh nghiệp quan trọng tồn tại dưới dạng văn bản, tổ chức quản lý dữ liệu cũng phải quản lý chúng cùng lúc
• Dữ liệu có cấu trúc và dữ liệu văn bản khác nhau căn bản về cấu trúc và phương pháp quản lý

Ontology và taxonomy trong môi trường văn bản

• Trong môi trường văn bản, khó có thể áp dụng nguyên trạng mô hình dữ liệu có cấu trúc truyền thống
• Vai trò mà mô hình dữ liệu đảm nhiệm trong dữ liệu có cấu trúc được ontology/taxonomy đảm nhiệm trong môi trường văn bản
• Hai mô hình này có vai trò tương ứng, nhưng cấu trúc và kỹ thuật quản lý rất khác nhau
• Việc áp dụng nguyên xi kỹ thuật mô hình hóa và quản lý dữ liệu có cấu trúc cho văn bản là không phù hợp và hầu như không tạo ra kết quả thực chất

Tuyển chọn và tinh lọc văn bản đầu vào cho LLM

• Trong môi trường AI tạo sinh, công việc quản lý dữ liệu quan trọng nhất là rà soát văn bản gốc trước khi đưa vào LLM
• Cần loại bỏ để các văn bản không cần thiết, không liên quan đến nghiệp vụ doanh nghiệp, không chảy vào LLM
• Khi loại bỏ văn bản không cần thiết, lượng dữ liệu phải xử lý mỗi lần chạy truy vấn giảm xuống, nhờ đó tiết kiệm chi phí
• Nếu chỉ giữ lại văn bản liên quan đến nghiệp vụ, phạm vi những gì LLM biểu đạt và xử lý sẽ trở nên rõ ràng

ELDM và kết nối dữ liệu có cấu trúc/phi cấu trúc

• Người quản lý dữ liệu trong môi trường AI tạo sinh phải kết hợp ontology/taxonomy với ELDM (Enterprise Logical Data Model) của toàn doanh nghiệp
• ELDM được dùng để tích hợp mô hình dữ liệu có cấu trúc truyền thống với ontology/taxonomy của môi trường văn bản
• Khi yêu cầu nghiệp vụ của doanh nghiệp thay đổi, ontology/taxonomy cũng phải được cập nhật theo

Thu thập văn bản bên ngoài và bảo trì liên tục

• Trước tiên cần chọn một phạm vi rộng văn bản gốc từ các nguồn như internet
• Sau đó tiếp tục quy trình tuyển chọn hai bước: từ văn bản đã chọn, tiếp tục lọc ra dữ liệu liên quan đến nghiệp vụ doanh nghiệp
• Vì môi trường kinh doanh và tình hình thế giới liên tục thay đổi, cần liên tục giám sát và quản lý ontology/taxonomy
• Cần bảo trì lặp đi lặp lại để các điều kiện đã thay đổi và taxonomy khớp với nhau

Kiểm soát gián tiếp đối với LLM

• Người quản lý dữ liệu có cấu trúc có thể trực tiếp thay đổi mô hình dữ liệu và cơ sở dữ liệu, nhưng trong môi trường AI tạo sinh họ không thể trực tiếp kiểm soát bản thân LLM theo cùng cách
• Phương tiện kiểm soát kết quả của AI tạo sinh là quản lý văn bản nào sẽ được đưa vào LLM
• Vì vậy, quản lý dữ liệu cho AI tạo sinh gần với kiểm soát gián tiếp thông qua việc lựa chọn và tinh lọc dữ liệu đầu vào, hơn là sửa đổi trực tiếp

Sự thay đổi vai trò quản lý dữ liệu trong tổ chức doanh nghiệp

• Ban đầu, quản lý dữ liệu chỉ là một trong nhiều công việc do nhà phát triển hệ thống thực hiện, không có tổ chức hay vị trí công việc riêng trong doanh nghiệp
• Khi xử lý giao dịch trở nên quan trọng, thiết kế cơ sở dữ liệu tách thành một công việc độc lập và vai trò nhà thiết kế cơ sở dữ liệu xuất hiện
• Khi số lượng cơ sở dữ liệu tăng mạnh và phần tử dữ liệu cần quản lý nhiều lên, vai trò quản trị viên cơ sở dữ liệu được mở rộng
• Khi vấn đề dữ liệu không nhất quán giữa nhiều hệ thống trở nên nghiêm trọng, CIO (Chief Information Officer) phụ trách tích hợp thông tin ở cấp doanh nghiệp xuất hiện
• Khi nảy sinh nhu cầu hiểu dữ liệu doanh nghiệp một cách tổng thể bằng cách tích hợp dữ liệu có cấu trúc và dữ liệu văn bản, vai trò này phát triển thành CDO (Chief Data Officer)
• Dữ liệu càng đa dạng về hình thức, độ phức tạp và tầm quan trọng của quản lý, cũng như cơ hội khai thác và thách thức, cùng tăng lên

Từ tập trung hóa vật lý sang tập trung hóa ngữ nghĩa

• Để hiểu dữ liệu và ý nghĩa của chúng một cách nhất quán trên toàn doanh nghiệp, cần một hệ thống hiểu dữ liệu được tập trung hóa
• Trong điện toán thời kỳ đầu, tập trung hóa có nghĩa là tập trung hóa vật lý, gom cơ sở dữ liệu vào các mainframe lớn
• Về sau, khi dữ liệu phân tán ra nhiều vị trí như máy tính cá nhân, internet và hệ thống doanh nghiệp, tập trung hóa vật lý trở nên bất khả thi
• Dữ liệu càng phân tán, nhu cầu điều phối để cùng một đối tượng được hiểu theo cùng một ý nghĩa trên internet và bên trong doanh nghiệp càng lớn
• Đối tượng của tập trung hóa đã chuyển từ nơi dữ liệu được lưu trữ sang ý nghĩa và định nghĩa của dữ liệu
• ELDM được dùng như phương tiện duy trì tập trung ý nghĩa dữ liệu chung ở cấp doanh nghiệp, ngay cả khi dữ liệu tồn tại ở nhiều vị trí vật lý khác nhau