Về chất lượng dữ liệu - Các nguyên lý cơ bản

Dữ liệu không có chất lượng bẩm sinh; có thể đánh giá chất lượng là cao hơn khi giá trị mà dữ liệu tạo ra trong một trường hợp sử dụng cụ thể lớn hơn.

Chất lượng dữ liệu gồm bốn tầng: dữ liệu đơn lẻ / toàn bộ tập ngữ liệu / mức độ phù hợp với mục đích / kết quả kinh doanh; tầng dưới tạo điều kiện cho tầng trên, còn tầng trên cung cấp lý do để đầu tư vào tầng dưới.

Ngay cả dữ liệu doanh thu chính xác cũng có thể phù hợp cho kế toán nhưng không phù hợp cho điều hành theo thời gian thực hay dự báo doanh thu tương lai, nên việc đánh giá chất lượng của cùng một dữ liệu sẽ thay đổi theo người dùng và mục đích.

Nếu chỉ tập trung kiểm tra thuộc tính, bạn có thể tạo ra dữ liệu hoàn hảo mà vẫn không tạo được giá trị kinh doanh; ngược lại, nếu chỉ chạy theo kết quả mà bỏ qua chất lượng nền tảng, bạn có thể tạo ra một hệ thống không bền vững.

Quản lý chất lượng dữ liệu không chỉ dừng ở việc làm sạch dữ liệu, mà còn phải bao gồm cả quá trình đo lường con đường từ sử dụng dữ liệu → thay đổi quyết định → kết quả kinh doanh, rồi điều chỉnh đầu tư theo kết quả đó.

Vì sao định nghĩa tiêu chuẩn là chưa đủ

ISO 8000 định nghĩa dữ liệu chất lượng tốt là dữ liệu đáp ứng các yêu cầu đã nêu, nhưng đây là một định nghĩa vòng lặp: chính xác nhưng không thực sự giúp ích cho việc phán đoán trong thực tế.

ISO 25012 định nghĩa chất lượng dữ liệu bằng 15 thuộc tính, bao gồm độ chính xác / tính đầy đủ / tính nhất quán, v.v.

Cách này hữu ích để kiểm tra trạng thái của dữ liệu đơn lẻ, nhưng không thể hiện được dữ liệu đó có thực sự đóng góp cho mục đích sử dụng và kết quả kinh doanh hay không.

Lý do những người làm thực tế khác nhau có thể đánh giá cùng một dữ liệu theo những cách khác nhau là vì họ đang phán đoán dựa trên các tầng chất lượng khác nhau và các mục đích sử dụng khác nhau.

Chất lượng dữ liệu phát sinh từ giá trị dữ liệu

Dữ liệu không có giá trị nội tại; giá trị được quyết định bởi việc bạn có thể làm gì với dữ liệu đó.

Có thể áp dụng cho chất lượng cùng logic đã dùng trong
phương pháp định giá tài sản dữ liệu.

Chất lượng dữ liệu là đặc tính làm tăng giá trị của dữ liệu.

Vì giá trị dữ liệu là hàm của cách sử dụng, nên chất lượng dữ liệu cũng được quyết định bởi cách sử dụng.

Mục tiêu của việc nâng cao chất lượng là để làm được nhiều việc hơn với dữ liệu, hoặc làm cùng một việc tốt hơn, nhanh hơn, rẻ hơn, hoặc khiến những việc trước đây không thể làm được trở nên khả thi.

1. Tầng 1: chất lượng dữ liệu đơn lẻ

Chất lượng ở mức chi tiết (granular quality) đánh giá từng đơn vị dữ liệu riêng lẻ như bản ghi cơ sở dữ liệu / câu / cặp hỏi-đáp / ví dụ đã gán nhãn.

Các thuộc tính đánh giá chính bao gồm độ chính xác / độ chuẩn xác / tính cập nhật / mức phù hợp về định dạng / tính nhất quán nội bộ / tính hợp lý / nguồn gốc / khả năng diễn giải / độ tin cậy.

Mỗi thuộc tính có thể được đánh giá chỉ từ từng đơn vị riêng lẻ mà không cần xem các bản ghi khác.

Tuy nhiên, mọi đánh giá đều mặc định có bối cảnh sử dụng.

Đâu là tiêu chuẩn để xác định đúng hay sai?

Tính cập nhật được tính theo mốc thời gian nào?

Dữ liệu có thể được sử dụng theo cách nào?

Và nhất quán trong bối cảnh nào?

Chất lượng đơn lẻ của dữ liệu doanh thu

Nếu diễn giải sai điều khoản hợp đồng / gia hạn / giảm giá / doanh thu một lần và doanh thu lặp lại, thì từng mục doanh thu riêng lẻ có thể đã sai ngay từ đầu.

Ngay cả khi được ghi chép chính xác, việc ghi nhận doanh thu marketplace theo gross hay net vẫn phụ thuộc vào cấu trúc kinh doanh.

Doanh nghiệp có trực tiếp cung cấp giá trị, định giá và chịu trách nhiệm dịch vụ hay không?

Hay chỉ gần với vai trò trung gian kết nối người mua và người bán? Tùy vào đó mà cách phán đoán sẽ khác nhau.

Ngay cả kiểm toán viên cũng có thể đi đến các kết luận khác nhau, nên bản thân độ chính xác cũng không thể tách rời khỏi mục đích sử dụng và bối cảnh kế toán.

2. Tầng 2: chất lượng của toàn bộ tập dữ liệu

Ngay cả khi mọi bản ghi riêng lẻ đều chính xác, điều đó cũng không đảm bảo rằng chất lượng của toàn bộ tập ngữ liệu (aggregate quality) là cao.

Ở cấp độ tổng thể, cần đánh giá các thuộc tính sau:

Phạm vi và mức độ thiếu dữ liệu

Loại bỏ trùng lặp

Mức độ chi tiết của dữ liệu

Tính đại diện và sự cân bằng

Tính nhất quán giữa bản ghi và nhãn

Phân phối và thống kê tổng hợp

Lượng dữ liệu và mức độ đầy đủ

Tính liên tục theo thời gian

Khả năng kết hợp với dữ liệu khác

Drift theo thời gian và không gian

Những thuộc tính này không thể nhìn thấy ở từng dữ liệu riêng lẻ mà chỉ xuất hiện trong quan hệ và phân phối của toàn bộ dữ liệu.

Cần kiểm tra xem dữ liệu có tồn tại đầy đủ hay không / đã được làm sạch đủ hay chưa / có phản ánh thực tế hay không / có ổn định theo thời gian và không gian hay không.

Chất lượng tổng thể của dữ liệu doanh thu

Ngay cả khi từng sự kiện doanh thu được ghi lại chính xác, các vấn đề sau vẫn có thể còn tồn tại:

Định nghĩa doanh thu đã thay đổi ở giữa dữ liệu lịch sử

Một phần doanh thu bị thiếu

Cùng một doanh thu bị tính trùng

Các kết quả tổng hợp khác nhau không khớp nhau

Dữ liệu phản ánh hoàn hảo khách hàng hiện tại có thể là dữ liệu chất lượng cao cho kế toán và báo cáo, nhưng nếu khác với cơ cấu khách hàng trong tương lai thì có thể là dữ liệu chất lượng thấp cho việc dự báo doanh thu mở rộng.

Tính đại diện của tập dữ liệu phải được đánh giá không dựa trên bản thân dữ liệu, mà dựa trên đối tượng mà dữ liệu sẽ được áp dụng vào.

3. Tầng 3: mức độ phù hợp với mục đích

Fitness for purpose đánh giá sự tương tác giữa dữ liệu và ứng dụng thực tế, thay vì chỉ nhìn vào các thuộc tính của dữ liệu.

Báo cáo tài chính không phù hợp cho chiến dịch quảng cáo, hồ sơ khách hàng không phù hợp cho phân tích cổ phiếu, nhưng nếu đổi mục đích sử dụng thì mỗi loại lại có thể trở thành dữ liệu thiết yếu.

Mức độ phù hợp về thông tin

Đánh giá xem dữ liệu có thể trả lời câu hỏi mà người ta muốn giải quyết hay không.

Bao gồm tính liên quan / tính thích hợp / mức độ đầy đủ / tính cần thiết.

Việc dữ liệu chính xác và việc dữ liệu cung cấp đúng thông tin cần thiết là hai vấn đề khác nhau.

Mức độ phù hợp về vận hành

Đánh giá xem dữ liệu có thể được sử dụng hiệu quả trong môi trường thực tế hay không.

Bao gồm tính sẵn có / tuân thủ giấy phép và quy định / khả năng tương tác / lợi ích so với rủi ro.

Ngay cả khi thông tin là đủ, nếu không thể truy cập vào thời điểm cần thiết hoặc không thể sử dụng hợp pháp, thì dữ liệu đó cũng không phù hợp với mục đích.

Sự khác biệt theo mục đích của dữ liệu doanh thu

Để chốt chính xác doanh thu cuối tháng một cách hoàn hảo, ngay cả đội ngũ tài chính giỏi cũng cần vài ngày; nhưng CEO có thể phải quyết định đầu tư / cắt giảm chi phí / tuyển dụng / sa thải ngay trong tháng mà doanh thu lệch khỏi kỳ vọng.

Doanh thu đã chốt có chất lượng cao với kiểm toán viên có thể lại là dữ liệu đến quá muộn cho vận hành thời gian thực.

Ngay cả dữ liệu tài chính chi tiết cũng có thể không phù hợp với nhu cầu của từng người dùng.

Hội đồng quản trị muốn bản tóm tắt cốt lõi.

CMO muốn biết đóng góp của marketing.

Đội ngũ bán hàng muốn biết quy mô thưởng hiệu suất.

Những chi tiết / sắc thái / lưu ý / nhiều trục phân tích giúp tăng chất lượng cho đội tài chính lại có thể làm giảm khả năng sử dụng đối với những người dùng khác.

4. Tầng 4: chất lượng theo kết quả kinh doanh

Ngay cả khi chất lượng đơn lẻ / chất lượng tổng thể / mức độ phù hợp với mục đích đều xuất sắc, điều đó cũng không đảm bảo dữ liệu sẽ tạo ra giá trị kinh doanh thực tế.

Chất lượng theo kết quả kinh doanh (business-outcome quality) đánh giá dữ liệu đã cải thiện kết quả của doanh nghiệp đến mức nào.

Cải thiện điểm đánh giá

Tăng tỷ lệ giữ chân doanh thu doanh nghiệp

Cải thiện lợi nhuận điều chỉnh theo rủi ro

Tăng tỷ lệ chuyển đổi khách hàng, v.v., đều có thể là đối tượng đánh giá.

Có thể chia thành ba câu hỏi sau:

Dữ liệu có thực sự được sử dụng hay không?

Sau khi sử dụng thì điều gì đã thay đổi?

Những thay đổi đó có đáng để đầu tư hay không?

Đo lường việc sử dụng và kết quả

Việc dữ liệu có được sử dụng hay không được đo bằng tỷ lệ áp dụng / mức ảnh hưởng đến quyết định / lượng thay đổi trong hành động.

Sự thay đổi của kết quả được đánh giá thông qua chênh lệch trước và sau / mức đóng góp chính xác / tầm quan trọng của thay đổi.

Giá trị của thay đổi còn phải tính đến ROI / thời điểm kết quả xuất hiện / tính bền vững / và rủi ro.

Khi dữ liệu doanh thu chất lượng cao vẫn thất bại

Ngay cả khi thay đổi hệ thống thưởng hiệu suất bán hàng dựa trên dữ liệu doanh thu chính xác, không thiên lệch và phù hợp với nhu cầu người dùng, kết quả kinh doanh kỳ vọng vẫn có thể không xuất hiện.

Khi đội ngũ bán hàng tối ưu theo công thức mới, các hành vi sau có thể xảy ra:

Kéo doanh thu tương lai về sớm để nhận thưởng gia tốc

Đưa ra các khoản giảm giá làm tổn hại biên lợi nhuận

Theo đuổi các hợp đồng chất lượng thấp nhưng dễ chốt hơn thay vì các hợp đồng khó hơn nhưng có giá trị dài hạn cao

Bản thân dữ liệu có thể có chất lượng cao ở mọi tầng thấp hơn, nhưng thể chế sử dụng dữ liệu và những thay đổi hành vi phát sinh từ đó vẫn có thể phá hủy giá trị kinh doanh.

Ở tầng cao nhất, thay vì tiếp tục tinh lọc bản thân dữ liệu, cần có các bước sau:

Định nghĩa giá trị mà dữ liệu sẽ tạo ra bằng giả thuyết tốt hơn

Đo đạc con đường từ sử dụng dữ liệu đến hành vi và kết quả

Thu hẹp hoặc mở rộng đầu tư dựa trên kết quả thực tế

Thang chất lượng

Bốn tầng này không phải là các checklist tách biệt, mà là một chiếc thang có thứ tự và có tính phụ thuộc.

Để đạt đến mức độ phù hợp với mục đích và kết quả kinh doanh, trước hết phải có chất lượng của dữ liệu đơn lẻ và dữ liệu tổng thể.

Ngược lại, chất lượng ở tầng thấp tự nó không tạo ra giá trị; chỉ khi có kết quả ở tầng cao hơn thì mới có lý do để đầu tư.

Ở tầng thấp, cần kiểm tra xem ta có đang mải mê kiểm tra thuộc tính mà quên mất trường hợp sử dụng kinh doanh hay không.

Ở tầng cao, cần kiểm tra xem ta có đang mải chạy theo kết quả mà bỏ qua vệ sinh dữ liệu cơ bản hay không.

Cách các tiêu chuẩn hiện có thất bại

Cách tiếp cận kiểu ISO 25012 có thể rơi vào cái bẫy checklist: đo rất nhiều thuộc tính chất lượng nhưng kinh doanh vẫn không cải thiện.

Cách tiếp cận kiểu ISO 8000 lại chỉ dừng ở định nghĩa rằng dữ liệu tạo ra kết quả tốt là dữ liệu tốt, nên không cho biết cụ thể phải cải thiện điều gì.

Thang chất lượng kết nối những kiểm tra có thể hành động được ở tầng thấp với phán đoán giá trị ở tầng cao thành một cấu trúc thống nhất.

Xung đột phát sinh ở các tầng khác nhau

Tranh luận về chất lượng dữ liệu thường xảy ra khi mọi người đang nói từ các tầng khác nhau của chiếc thang.

Kỹ sư vận hành dữ liệu ưu tiên nhãn chính xác và trạng thái bản ghi, nhưng dữ liệu đó có thể không được sử dụng trong kinh doanh.

CEO coi trọng mô hình vận hành lý tưởng và kết quả kinh doanh, nhưng mô hình đó có thể được xây trên dữ liệu đầu vào khó đáng tin cậy.

Khi gặp vấn đề, một bên tìm cách sửa dữ liệu chi tiết, bên kia tìm chiến lược mới, nhưng không bên nào có thể tự mình giải quyết mọi vấn đề.

Ba cách bỏ qua các tầng
Thất bại khi ra mắt

Đây là trường hợp tập trung quá mức vào tầng thấp, làm cho chất lượng đơn lẻ / chất lượng tổng thể / mức độ phù hợp với mục đích trở nên hoàn hảo nhưng vẫn không tạo ra chút giá trị kinh doanh nào.

Các tầng thấp cụ thể, dễ đo lường và dễ cải thiện trực tiếp, nên tổ chức thường dễ tập trung nhất vào đó.

Vì có nhiều hạng mục đo được, việc dọn dẹp dữ liệu có thể trở thành mục tiêu thay cho kết quả thực tế.

Thất bại nền tảng

Đây là trường hợp bỏ qua các tầng thấp và tối ưu trực tiếp cho giá trị kinh doanh.

Nếu mục tiêu rõ ràng và chu kỳ phản hồi đủ nhanh thì cách này có thể tạm thời hiệu quả.

Nhưng cách tiếp cận cho rằng chỉ cần kết quả tốt thì không cần quan tâm đến vấn đề về độ chính xác / nguồn gốc / tính cập nhật nhìn chung không bền vững; cuối cùng các vấn đề của dữ liệu nền tảng sẽ lộ ra.

Dùng nguồn gốc làm bằng chứng chất lượng

Có thể giảm đầu tư vào xác minh nội bộ bằng cách để nguồn bên ngoài đáng tin cậy đứng ra bảo chứng thay cho chất lượng dữ liệu đơn lẻ và chất lượng tổng thể.

Nếu chọn nhà cung cấp chuyên biệt cho một ngành cụ thể, gánh nặng kiểm chứng mức độ phù hợp với mục đích cũng có thể giảm bớt.

Tuy nhiên, giá trị kinh doanh vẫn phải do chính tổ chức mua dữ liệu trực tiếp tạo ra.

Niềm tin vào nguồn dữ liệu không tự động xuất hiện.

Nó được hình thành qua thời gian / nguồn lực / và các kết quả lặp lại.

Nó được duy trì chừng nào dữ liệu còn tiếp tục hoạt động hiệu quả.

Và sẽ nhanh chóng suy yếu nếu không tạo ra kết quả như kỳ vọng.

Bước tiếp theo

Chất lượng dữ liệu không phải là một thuộc tính tuyệt đối tồn tại bên trong bản thân dữ liệu, mà xuất hiện trong mục đích sử dụng và quá trình tạo ra giá trị.

Quản lý chất lượng hiệu quả đòi hỏi phải kiểm tra cả bốn tầng, đồng thời không dừng lại ở bất kỳ một tầng nào.

Trong phần tiếp theo, tác giả sẽ bàn về cách AI đang thay đổi trực giác hiện có của chúng ta về chất lượng dữ liệu.