Ngừng sử dụng biểu đồ hộp (2021)
(nightingaledvs.com)- Biểu đồ hộp là một dạng biểu đồ cổ điển nhằm tóm tắt phân phối, nhưng phải mất vài phút để giải thích cách đọc, nên hiệu quả so với chi phí học thấp
- Trong số hàng nghìn người tham gia workshop, tỷ lệ người đã biết đọc biểu đồ hộp thường dưới 20%, và gánh nặng hiểu nó còn lớn hơn cả biểu đồ phân tán hay histogram
- Thiết kế truyền thống với hộp và râu, đường trung vị, độ dài các khoảng dễ lệch với ý nghĩa dữ liệu thực tế và tạo ra hiểu nhầm thị giác
- Dù đòi hỏi các khái niệm trừu tượng như tứ phân vị, nó lại che giấu khoảng trống, phân phối đa đỉnh, số lượng giá trị theo nhóm, và có thể khiến nhiều phân phối trông như hình chuông
- Strip plot, jitter strip plot và heatmap phân phối được hiểu nhanh hơn, thể hiện trực tiếp hình dạng phân phối và có thể thực dụng hơn cho việc ra quyết định hằng ngày
Vì sao tôi hầu như không còn dùng biểu đồ hộp
- Có thể mất hơn 4 phút để giải thích cách đọc biểu đồ hộp; để biện minh cho chi phí học đó, nó cần mang lại những insight lớn mà biểu đồ đơn giản không truyền tải được
- Trên thực tế, phần lớn insight muốn truyền tải bằng biểu đồ hộp cũng có thể được truyền tải bằng các biểu đồ quen thuộc và đơn giản hơn
- Trái với mục đích thể hiện phân phối, khán giả phải đi qua nhiều lớp quy tắc diễn giải trước khi nhìn được vào dữ liệu
Rào cản hiểu biết lộ rõ trong các workshop
- Hàng nghìn người tham gia workshop nhìn chung có mức graphicacy cao hơn trung bình, nhưng tỷ lệ người đã biết đọc biểu đồ hộp thường dưới 20%
- Biểu đồ hộp khó hiểu hơn các loại biểu đồ cơ bản khác, và còn tạo gánh nặng lớn hơn cả những biểu đồ phức tạp như biểu đồ phân tán hay histogram
- Ngay cả khi khán giả quen với biểu đồ hộp, họ vẫn cần nhiều nỗ lực nhận thức hơn để diễn giải so với strip plot hoặc heatmap phân phối, và khả năng hiểu nhầm cũng cao hơn
Những điểm thiết kế truyền thống đi ngược trực giác
- Biểu đồ hộp truyền thống là hình thức được Mary Spear đề xuất lần đầu năm 1952 và John Tukey tinh chỉnh năm 1969
- Có ba vấn đề chính trong thiết kế thị giác
- Phần hộp dày trông như biểu thị nhiều giá trị hơn hoặc quan trọng hơn so với các râu mảnh, nhưng cả bốn khoảng đều chứa số lượng giá trị như nhau
- Hộp ở giữa trông như một khối được chia bởi đường trung vị, khiến tổng thể có vẻ gồm ba phần, nhưng thực tế là bốn khoảng tứ phân vị
- Con người thường cảm nhận hình dạng dài hơn là số lượng lớn hơn, nhưng trong biểu đồ hộp, khoảng dài hơn không có nghĩa là nhiều giá trị hơn
- Khoảng ngắn thực ra biểu thị mật độ giá trị cao hơn, nhưng mắt lại thấy như lượng ít hơn, khiến hình thức thị giác xung đột với ý nghĩa dữ liệu
- Các phương án thiết kế thay thế có thể làm rõ hơn rằng khoảng ngắn nghĩa là mức tập trung giá trị cao, không nhấn mạnh không cần thiết vào hai khoảng giữa, và khiến biểu đồ trông như gồm bốn hình dạng
- Tuy nhiên, ngay cả các phương án này cũng khó được khuyến nghị trong hầu hết tình huống; biểu đồ phân phối đơn giản hơn có thể là lựa chọn tốt hơn
Chi phí học do tứ phân vị tạo ra
- Để hiểu biểu đồ hộp, cần biết khái niệm phân vị, đặc biệt là tứ phân vị, tức chia một tập giá trị đã sắp xếp thành các khoảng sao cho mỗi khoảng chứa cùng số lượng giá trị
- Nhiều khán giả không quen với khái niệm này, và để hiểu đúng thường cần vài phút giải thích kèm hình ảnh và ví dụ
- Muốn diễn giải biểu đồ chính xác, trước hết phải hiểu đủ các khái niệm trừu tượng này, tạo thêm gánh nặng
- Nhiều insight hữu ích về phân phối có thể được truyền tải bằng biểu đồ khác mà không cần phân vị hay tứ phân vị
Sự quen thuộc không bảo đảm thiết kế tốt
- Những người đã xem biểu đồ hộp lâu năm có thể đã học cách diễn giải bằng cách vòng qua các khiếm khuyết thiết kế
- Người lần đầu tiếp xúc dễ bị rối vì chính những khiếm khuyết đó
- Trong tổ chức, ngay cả khi nhà phân tích cố truyền tải insight quan trọng bằng biểu đồ hộp, họ có thể không thuyết phục được nếu người ra quyết định không muốn học cách đọc
- Sau đó, nếu nhà phân tích kết luận rằng khán giả không hiểu mọi biểu đồ phân phối, họ có thể hiểu nhầm vấn đề là trực quan hóa phân phối nói chung, chứ không phải bản thân biểu đồ hộp
- Dùng các biểu đồ phân phối trực quan hơn có thể giúp truyền tải tốt hơn những insight quý giá của trực quan hóa phân phối
Cách biểu đồ hộp làm méo mó phân phối
- Khi so sánh cùng dữ liệu bằng biểu đồ hộp và jitter strip plot, biểu đồ hộp có thể khiến phân phối của các nhóm khác nhau trông gần như tương tự nhau
- Nó có xu hướng làm dữ liệu trông như phân phối hình chuông, với các giá trị tập trung quanh trung vị rồi giảm dần sang hai bên
- Ngay cả khi tập giá trị thực tế không có hình chuông, nó vẫn có thể trông như vậy trên biểu đồ hộp
- Chỉ nhìn biểu đồ hộp, người đọc khó biết liệu tất cả phân phối có thực sự hình chuông hay không; cùng lắm họ chỉ có thể phỏng đoán
- Nó cũng có thể che giấu các khoảng trống trong phân phối và số lượng giá trị của từng nhóm
- Có những biến thể biểu đồ hộp hoặc biểu đồ tinh vi hơn thể hiện phân phối chính xác hơn, nhưng chúng không giải quyết vấn đề cốt lõi của biểu đồ hộp là khó học, và thậm chí có thể còn khó hơn
Các biểu đồ thay thế trực quan hơn
- Phương án thay thế tôi dùng thường xuyên nhất là strip plot
- Có thể giải thích bằng một câu như “mỗi điểm là tuổi của một người tham gia nghiên cứu”
- Phần lớn khán giả có thể hiểu trong vài giây
- Có thể cho thấy phân phối cao hơn hay thấp hơn, tập trung hay phân tán, đều hay lệch, có ngoại lệ hay không
- Cũng làm lộ ra các khoảng trống trong phân phối, phân phối đa đỉnh và số lượng giá trị xấp xỉ trong mỗi tập mà biểu đồ hộp không thể hiện
- Khi có hơn vài chục giá trị, các điểm có thể chồng lên nhau khiến strip plot trông như một đường; khi đó jitter strip plot có thể chứa được nhiều giá trị hơn
- Nếu có hàng trăm hoặc hàng triệu giá trị, jitter strip plot cũng có thể trở thành một khối điểm chồng lấp; khi đó heatmap phân phối có thể xử lý bất kỳ số lượng giá trị nào
- Heatmap phân phối đưa vào khái niệm bin hoặc khoảng nên độ phức tạp tăng lên, nhưng bin dễ hiểu hơn tứ phân vị rất nhiều
- Heatmap phân phối mất khả năng xem số lượng giá trị theo nhóm và có một số hạn chế, nhưng biểu đồ hộp cũng có các hạn chế tương tự và thêm những hạn chế khác
- frequency polygons, violin plots, cumulative distribution plots, bee swarm plots cũng có thể hữu ích trong một số tình huống cụ thể
- Histogram thường hữu ích để trực quan hóa một tập giá trị đơn lẻ, còn biểu đồ hộp và các lựa chọn thay thế của nó gần với mục đích so sánh nhiều tập giá trị hơn
Ưu điểm và phạm vi sử dụng hạn chế của biểu đồ hộp
- Điều có thể xem là ưu điểm duy nhất của biểu đồ hộp là nó thể hiện khoảng tứ phân vị
- Nhưng không có nhiều trường hợp nội dung muốn nói bằng dữ liệu nhất thiết phải thể hiện khoảng tứ phân vị
- Trong hầu hết trường hợp, điều cần là mức cao thấp giữa các phân phối, mức tập trung và phân tán, có ngoại lệ hay không; các insight này có thể được truyền tải bằng biểu đồ đơn giản hơn mà không cần khoảng tứ phân vị
- Ngay cả khi cần trung vị, cũng có thể dễ dàng thêm trung vị vào biểu đồ đơn giản hơn
- Khó nghĩ ra tình huống mà biểu đồ hộp thật sự là lựa chọn tốt nhất, ngoài trường hợp khán giả yêu cầu biểu đồ hộp vì họ đã quen với nó
Vì sao nên rời bỏ biểu đồ hộp
- Biểu đồ hộp được đánh giá không phải là một biểu đồ từng tốt trong quá khứ nhưng đã lỗi thời do tiến bộ công nghệ, mà ngay từ đầu đã không phải là biểu đồ được thiết kế tốt
- Các khiếm khuyết thiết kế đã buộc sinh viên, lãnh đạo và những người đọc biểu đồ khác phải trải qua quá trình hiểu rườm rà không cần thiết
- Ngày nay, có thể dễ dàng tạo các biểu đồ tốt hơn, nên việc rời bỏ biểu đồ hộp có thể giúp độc giả tương lai bớt vất vả về nhận thức không cần thiết
- Ngay cả với khán giả quen thuộc với thống kê, trong hầu hết mọi tình huống, biểu đồ khác có thể là lựa chọn tốt hơn
- Người làm thực tế nên đặc biệt cân nhắc các lựa chọn thay thế khi khán giả không quen với biểu đồ hộp, và ngay cả với khán giả đã quen, cũng có thể xem xét các biểu đồ trực quan hơn
1 bình luận
Ý kiến trên Hacker News
Có vẻ ở đây tác giả và những người khác đã nhầm lẫn. Biểu đồ hộp không biến phân phối thành dạng hình chuông, cũng không thay đổi phân phối, nhưng nó giả định rằng dữ liệu tuân theo phân phối hình chuông/Gauss
Điều này đúng khi có thể áp dụng định lý giới hạn trung tâm, nhưng nếu không thì giả định đó sai và các giá trị mà biểu đồ hộp thể hiện cũng chẳng hữu ích mấy. Biểu đồ hộp có công dụng thực tế, nhưng muốn dùng thì phải hiểu các kiến thức thống kê cơ bản
Vì vậy vẫn có thể phê phán việc dùng biểu đồ hộp. Các phương án thay thế vừa thể hiện tốt phân phối hình chuông, vừa có thể làm lộ ra khi phân phối không phải hình chuông
Tôi hoàn toàn đồng ý rằng biểu đồ hộp chỉ nên dùng cho phân phối đơn đỉnh đủ giống phân phối hình chuông/Gauss. Nếu phân phối không có dạng hình chuông, chẳng hạn phân phối hai đỉnh, thì không nên dùng vì dễ gây hiểu nhầm; còn nếu có dạng hình chuông thì có vẻ không vấn đề gì lớn
Khi muốn xem phân phối của mẫu như đại diện cho tổng thể, hình dạng của phân phối trung bình mẫu không thú vị đến vậy. Ước lượng trung bình mẫu cũng không phải chỉ số hữu ích duy nhất, và trong tự nhiên hầu như chẳng có gì tuân theo phân phối chuẩn. Phân phối chuẩn hữu ích chủ yếu vì ta biết rõ dạng giải tích của hàm Gauss và cách xử lý nó, chứ bản thân ước lượng đó không hữu ích như vẻ ngoài. Chẳng hạn phân phối Poisson phổ biến hơn nhiều
Ví dụ là phân phối hai đỉnh với hai đỉnh, nhưng lại chọn biểu đồ hộp, một loại biểu đồ cho dạng có một đỉnh. Thành thật mà nói hơi khó hiểu
Ưu điểm duy nhất của biểu đồ hộp từng là có thể vẽ bằng tay. Giờ máy tính ở khắp nơi, giá trị đó đã biến mất
Biểu đồ violin và biểu đồ swarm tốt hơn, và strip plot có jitter cũng ổn nếu cẩn thận với vùng bão hòa. Ở những chỗ đã bão hòa, thêm điểm nữa cũng không làm tối hơn nên có thể trông như biến mất
Nếu muốn, cũng có thể chồng các điểm có jitter lên trên đó
Angela Collier có một video rant khá hay về lý do vì sao không phải vậy: https://youtu.be/_0QMKFzW9fw?si=86mRAZRnFCBfSzw0
Biểu đồ hộp khá hữu ích vì dễ đọc, nhưng chỉ khi có thể tin rằng người tạo biểu đồ đã thực sự kiểm tra histogram; mà thường thì không có niềm tin đó
Mọi người có các mục tiêu mâu thuẫn với nhau. Một mặt họ muốn nén nhiều con số thành một hoặc vài thống kê tóm tắt, nhưng hễ bản tóm tắt đó gây hiểu nhầm dù chỉ một chút là lập tức hối tiếc việc nén dữ liệu
Điều này xuất phát từ mong muốn có sự đơn giản, đặc biệt là những kết luận chắc chắn, vốn có thể không thực sự tồn tại; gần như là một căn bệnh phổ biến của thân phận con người
Bản thân phân phối mà biểu đồ hộp biểu diễn cũng thường chỉ là phân phối của “một mẫu”. Nhìn như vậy thì phân phối có độ bất định nội tại, và ví dụ biểu đồ violin không thể hiện độ bất định đó. Như mọi cuộc tranh luận “công cụ phù hợp cho từng việc”, đánh giá của mỗi người sẽ khác nhau tùy theo kinh nghiệm với công cụ và cách họ đơn giản hóa để giải thích cho người khác
https://github.com/c-blake/bu/blob/main/doc/edplot.md
Ở đây có nhiều người bênh vực biểu đồ hộp hơn tôi dự đoán rất nhiều
Nhưng tôi không thấy mấy lời giải thích kiểu “biểu đồ hộp hữu ích vì nó là biểu đồ tốt nhất cho một mục đích cụ thể”. Tôi không nghĩ ra ngay tình huống nào mà mình muốn xem biểu đồ hộp hơn strip plot hay biểu đồ violin. Khi nào và vì sao ta lại muốn tóm tắt dữ liệu thô đến vậy và trực quan hóa theo cách không trực quan như thế?
Họ muốn xem trung vị, các phân vị thấp/cao, giá trị lớn nhất/nhỏ nhất hoặc ngoại lệ, nhưng không muốn thấy mọi điểm dữ liệu rải rác ở giữa. Đó sẽ là lượng thông tin nhiễu áp đảo. Trên thực tế họ thích bảng có ghi các con số đó, nhưng lại muốn so sánh 10 chuỗi thời gian giá lịch sử của các thị trường khác nhau trên một slide PowerPoint. Biểu đồ hộp giúp so sánh nhanh bằng mắt trung vị và các phân vị quan trọng. Nếu dùng giá trị không chuẩn thì chỉ cần gắn nhãn phân vị. Dùng jitter hay biểu đồ violin thì mọi người sẽ bị hút vào những hình dạng ngẫu nhiên kỳ lạ và cuộc họp sẽ đi chệch hướng
Tiền đề quan trọng là quá trình tạo ra các giá trị này đều giống nhau theo nghĩa vật lý nên có thể so sánh được. Phân phối cũng đại khái là phân phối đơn đỉnh gần giống log-normal. Khi đó mục đích của trực quan hóa không phải là hiểu bản chất của chính phân phối, mà là thể hiện các phân vị quan trọng có ý nghĩa kinh doanh
Nếu phân phối phức tạp hơn và cần chi tiết thì dùng histogram hoặc ridge plot sẽ tốt hơn. Biểu đồ violin chỉ trông đẹp hơn một chút vì có đường cong, chứ không phải lựa chọn tốt nhất để truyền tải thông tin
Khi đó không chỉ nhìn trung vị của từng tổng thể mà còn so sánh cả vùng được tô bóng
Nếu đang so sánh nhiều nhóm và chỉ quan tâm đến những khác biệt lớn, nó là một công cụ tuyệt vời. Nó cũng tốt khi bạn tin dữ liệu là phân phối chuẩn và nghĩ histogram có thể gây hiểu nhầm; và ngay cả khi không phải phân phối chuẩn, nó vẫn tốt nếu bạn quan tâm đến các tứ phân vị
Nếu một bảng năm con số gồm giá trị nhỏ nhất, lớn nhất, trung vị, phân vị 25/75 là đủ cho tình huống đó, thì biểu đồ hộp là công cụ tốt để so sánh bằng đồ họa
Trong nhiều thập kỷ, ở trường phổ thông, đại học và nơi làm việc, tôi đã dùng box plot nên chưa hoàn toàn bị bài viết thuyết phục
Nhưng sau khi đọc các bình luận này, luận điểm cốt lõi của tác giả rằng ngay cả khi lấp đầy một căn phòng bằng những người thông minh và hiểu vấn đề, mọi người vẫn có thể chia rẽ về cách hiểu và diễn giải box plot đã thực sự thấm mạnh
Hơi đáng ngạc nhiên, nhưng chỉ với bằng chứng trong thread này thì với tôi gần như đã có kết luận
Không cần ngừng dùng box plot. Nên dùng trong trường hợp phù hợp, tức là khi cần thể hiện vị trí và độ phân tán. Nó không dùng để thể hiện hình dạng của phân phối
Ngoài các tứ phân vị và giới hạn, nó không hề có thông tin về tính đa mode hay phân phối. Nó chủ yếu hữu ích khi so sánh nhiều nhóm hơn là phân tích từng nhóm riêng lẻ
Tác giả đang nói như thể biết một thứ mà bản thân không hiểu rõ. Nếu đã đọc tài liệu của Tukey thì hẳn đã biết; chỉ lấy tên gắn vào là chưa đủ
Nhưng tác giả xem đây là vấn đề con người. Plot không dành cho máy mà để con người đọc, và tác giả muốn càng nhiều người càng dễ đọc và diễn giải càng tốt. Dù giáo dục toán học còn đáng tiếc, ta vẫn phải bắt đầu từ thực tế, và tôi thấy đó là mục tiêu hợp lý. Tôi đồng ý rằng để xem phân phối trải rộng đến đâu thì không nên bắt buộc phải biết tứ phân vị là gì
Có vẻ một số người đã bỏ qua phần hầu hết tình huống. Ý là vì nó không hiệu quả với đối tượng độc giả của ông ấy nên ông ấy đã ngừng dùng box plot, vì bất kỳ lý do nào. Đúng như tiêu đề, chúng ta cũng nên nhìn lại việc dùng box plot và xem có lựa chọn thay thế tốt hơn không
Ngoài ra cần nhớ đối tượng độc giả mà ông ấy nói đến. Không phải những người hiểu box plot, mà là những người không biết hoặc không hiểu box plot. Theo lời ông ấy, đó là nhóm mà ông ấy đã phải giải thích cho hàng nghìn người
Box plot là kỹ thuật nén dữ liệu dành cho thao tác thủ công. Giờ đã có các kỹ thuật tự động bảo toàn chất lượng dữ liệu và chất lượng trực quan tốt hơn
Tác giả thừa nhận sự khái quát hóa và “trường hợp cụ thể” đối với một số loại plot, nhưng lại xem các trường hợp cụ thể của loại plot khác là không có giá trị
Kết luận tôi rút ra cùng lắm chỉ là: nếu phân phối không đơn mode và dễ bị hiểu lầm thì đừng dùng box plot. Một YouTuber chuyên rant về vật lý mà tôi thích cũng có video phê bình violin plot, nên có lẽ cũng không nên dùng loại đó
https://youtu.be/_0QMKFzW9fw?si=4VM4DT9Q1zEnV93A
Box plot là di vật từ thời chưa thể in các biểu đồ đẹp
Có thể hiển thị phân phối trong một dòng như oscilloscope cuộn hoặc bản đồ địa hình, hoặc vẽ density plot theo thời gian rồi phủ bóng lên các giai đoạn quan trọng. Hãy xem phía Gaussian process
Box plot đơn giản hóa phân phối quá mức để dễ suy luận. Tương tự, trung bình cũng có thể rất gây hiểu lầm, nhưng chắc ta sẽ không cấm dùng trung bình
Kết luận tốt có thể luôn là hãy dùng plot thể hiện công bằng phân phối nền
Cứ làm theo cách mà các tạp chí thuộc hệ Nature hiện yêu cầu. Đó là chồng các điểm dữ liệu thô lên trên box plot, và ta có thể có được ưu điểm của cả hai bên