Phép t-test ra đời từ nhà máy bia Guinness
(scientificamerican.com)- Phép t-test, được dùng rộng rãi để đánh giá ý nghĩa thống kê trong khoa học, bắt nguồn từ một vấn đề kiểm soát chất lượng trong sản xuất bia
- Đầu thế kỷ 20, Guinness, khi đó là nhà máy bia lớn nhất thế giới, muốn chuyển việc kiểm soát chất lượng vốn dựa vào ước lượng bằng mắt và mùi sang hướng lấy tính nhất quán và độ nghiêm ngặt công nghiệp làm trọng tâm
- William Sealy Gosset đã nghĩ ra một phương pháp để phân biệt khác biệt thực sự với biến động ngẫu nhiên trong những tình huống chỉ đo được mẫu nhỏ, chẳng hạn hàm lượng nhựa trong hoa bia
- Phép t-test dùng tỷ lệ tín hiệu trên nhiễu, xét đồng thời chênh lệch giữa các trung bình mẫu và độ phân tán của dữ liệu; với mẫu nhỏ, cần phân phối t có đuôi dày hơn phân phối chuẩn
- Vì Guinness không muốn tiết lộ nội dung nghiên cứu cho đối thủ, Gosset công bố dưới bút danh “Student”, và phương pháp này đến nay vẫn là một công cụ thống kê cốt lõi của khoa học
Kỹ thuật thống kê xuất phát từ kiểm soát chất lượng của Guinness
- Nhà máy bia Guinness đã nổi tiếng với các phương pháp đổi mới kể từ khi nhà sáng lập Arthur Guinness ký hợp đồng thuê 9.000 năm tại Dublin với giá 45 bảng mỗi năm
- Trong các đổi mới liên quan đến bia có một kỹ thuật hóa học do nhà nấu bia xuất thân là nhà toán học Michael Edward Ash tạo ra sau 4 năm thử nghiệm
- Kỹ thuật này được dùng để tạo lớp bọt mịn của Guinness stout
- Nó bao gồm cách đưa khí nitơ vào keg và vào một quả cầu nhỏ trong lon
- Về sau, kỹ thuật này dẫn tới phong cách “nitro brew” trong bia và cà phê
- Đổi mới có ảnh hưởng nhất xuất phát từ nhà máy bia không phải là bản thân bia, mà là t-test
Vấn đề mẫu nhỏ của nhà máy bia lớn nhất thế giới
- Đầu thế kỷ 20, Guinness là nhà máy bia lớn nhất thế giới, đã vận hành gần 150 năm
- Khi đó, kiểm soát chất lượng sản phẩm phần lớn dựa vào ước lượng bằng mắt và kiểm tra bằng mùi
- Khi nhu cầu mở rộng toàn cầu tăng lên, ban lãnh đạo muốn chuyển sang kiểm soát chất lượng nhất quán hơn và có độ nghiêm ngặt công nghiệp hơn
- Công ty tuyển một nhóm nghiên cứu và trao cho họ quyền tự do tìm hiểu các câu hỏi nhằm tạo ra loại bia hoàn hảo
- Giống lúa mạch tốt nhất mọc ở đâu
- Độ đường lý tưởng của chiết xuất mạch nha
- Chiến dịch quảng cáo mới nhất đã làm doanh số tăng bao nhiêu
- Bài toán khó mà nhóm nghiên cứu liên tục gặp phải là diễn giải dữ liệu từ cỡ mẫu nhỏ
Ý nghĩa thống kê qua ví dụ về hoa bia
- Hoa bia là nguyên liệu quan trọng tạo vị đắng và đóng vai trò chất bảo quản tự nhiên cho Guinness; các nhà nấu bia đo hàm lượng soft resin để đánh giá chất lượng hoa bia
- Trong ví dụ, giả sử giá trị điển hình tốt là 8%, và khi đo 9 mẫu, các giá trị nằm trong khoảng 4–10% với trung bình là 6%
- Việc kiểm tra toàn bộ hoa là không khả thi về mặt kinh tế, nên phải kiểm tra mẫu ngẫu nhiên
- Khi trung bình mẫu là 6%, có hai cách diễn giải
- Hàm lượng soft resin của toàn bộ vụ thu hoạch thực sự thấp bất thường
- Toàn bộ vụ thu hoạch vẫn bình thường, nhưng tình cờ chỉ chọn phải các mẫu thấp
- Điểm mấu chốt của phán đoán là phân biệt liệu hàm lượng nhựa thấp trong mẫu có khác biệt có ý nghĩa so với 8% hay chỉ là biến động tự nhiên
Phán đoán lặp lại trong toàn bộ khoa học
- Vấn đề này không chỉ giới hạn trong ngành nấu bia mà xuất hiện trong khắp nghiên cứu khoa học
- Trong thử nghiệm y học, nếu cả nhóm điều trị và nhóm giả dược đều cải thiện nhưng nhóm điều trị tốt hơn một chút, cần đánh giá liệu có đủ cơ sở để khuyến nghị thuốc đó hay không
- Nếu hai nhóm nhận hai loại giả dược khác nhau và một bên có kết quả tốt hơn, cần phân biệt liệu giả dược đó có tác dụng dược lý hay chỉ là sự cải thiện tự nhiên
- Những phán đoán như vậy cuối cùng đều dẫn tới vấn đề ý nghĩa thống kê
Điểm mà t-test của Gosset đã giải quyết
- Lý thuyết xử lý các vấn đề như vậy với cỡ mẫu nhỏ chưa được phát triển cho đến khi William Sealy Gosset của Guinness tạo ra t-test
- Bản thân khái niệm ý nghĩa thống kê đã tồn tại trước Gosset, nhưng các nhà thống kê trước đó chủ yếu xử lý mẫu lớn
- Câu hỏi trong ví dụ hoa bia là: trong một thế giới nơi trung bình của toàn bộ vụ thu hoạch là 8%, xác suất quan sát được một giá trị cực đoan như trung bình 6% là bao nhiêu
- Xác suất này được gọi là giá trị P, và theo truyền thống, nếu nhỏ hơn 5% hoặc 0,05 thì thường được xem là có ý nghĩa thống kê
- Tuy nhiên, ngưỡng này có thể thay đổi tùy lĩnh vực áp dụng
Tín hiệu, nhiễu và phân phối t
- Giá trị P thường chịu ảnh hưởng của hai yếu tố
- Mẫu lệch khỏi giá trị kỳ vọng của tổng thể bao xa
- Những độ lệch lớn thường gặp đến mức nào
- Chênh lệch giữa trung bình mẫu 6% và giá trị kỳ vọng 8% tương ứng với tín hiệu
- Chênh lệch càng lớn, khả năng hàm lượng soft resin của vụ thu hoạch thực sự thấp càng cao
- Độ lệch chuẩn giữa các bông hoa tương ứng với nhiễu
- Nếu độ lệch chuẩn lớn, trung bình 6% có thể không phải là điều quá đáng lo
- Nếu độ lệch chuẩn nhỏ, 6% có thể là tín hiệu thực sự lệch khỏi giá trị kỳ vọng 8%
- Trong trường hợp lý tưởng, ta tính tỷ lệ tín hiệu trên nhiễu và đánh giá liệu tỷ lệ đó có đủ lớn để đạt ngưỡng 5% hay không
- Các nhà thống kê thời Gosset biết rằng nếu lặp lại thí nghiệm nhiều lần và vẽ tỷ lệ tín hiệu trên nhiễu, nó sẽ gần giống phân phối chuẩn chuẩn hóa, tức đường cong hình chuông
- Gosset nhận ra cách tiếp cận này chỉ hoạt động tốt với mẫu lớn, và với mẫu hoa bia nhỏ thì không bảo đảm tuân theo phân phối chuẩn
- Ông cẩn thận lập bảng cho một phân phối mới phù hợp với cỡ mẫu nhỏ, ngày nay được gọi là phân phối t
- Phân phối t cũng có dạng hình chuông như phân phối chuẩn, nhưng phần đuôi giảm chậm hơn
- Vì vậy, với mẫu nhỏ, cần tỷ lệ tín hiệu trên nhiễu lớn hơn để đánh giá là có ý nghĩa
Vì sao lại xuất phát từ nhà máy bia
- John D. Cook viết trong một bài blog năm 2008 rằng việc t-test xuất phát từ nhà máy bia chứ không phải nhà làm rượu vang có thể không quá bất ngờ
- Nhà nấu bia đòi hỏi tính nhất quán của sản phẩm, trong khi nhà sản xuất rượu vang lại tận hưởng sự đa dạng
- Rượu vang có “niên vụ ngon” và mỗi chai có câu chuyện riêng, còn Guinness phải luôn tạo ra cùng một hương vị đặc trưng
- Chính yêu cầu về tính đồng nhất như vậy đã dẫn tới đổi mới thống kê
Tên gọi “Student’s t-test”
- Gosset đã dùng kỹ thuật mới để giải quyết nhiều vấn đề của nhà máy bia
- Là một nhà thống kê tự học, ông công bố t-test dưới bút danh “Student” vì Guinness không muốn tiết lộ nội dung nghiên cứu cho đối thủ
- Gosset đã tiên phong trong kiểm soát chất lượng công nghiệp và đóng góp nhiều ý tưởng cho nghiên cứu định lượng, nhưng nhiều giáo trình vẫn gọi thành tựu tiêu biểu của ông là Student’s t-test
- Tên tuổi ông ít nổi bật hơn trong lịch sử, nhưng t-test đến nay vẫn là một trong những công cụ thống kê được dùng rộng rãi nhất trong khoa học
1 bình luận
Ý kiến trên Hacker News
Trong lịch sử hóa sinh cũng có một đoạn thú vị: Chaim Weizmann là một nhà hóa sinh và là người theo chủ nghĩa Zion mạnh mẽ; trong Thế chiến thứ nhất, ông đã nuôi cấy Clostridium acetobutylicum, loài có thể tạo ra acetone cần thiết để sản xuất cordite, chất đẩy dùng cho pháo hải quân, và nhờ đó thu hút sự chú ý của Winston Churchill
Khi George Lloyd hỏi Anh có thể làm gì để đáp lại đóng góp cho chiến tranh, Weizmann trả lời: “Không phải cho tôi, mà cho dân tộc tôi”, và điều này dẫn tới Tuyên bố Balfour, hứa hẹn cung cấp một quê hương cho dân tộc Do Thái
https://en.wikipedia.org/wiki/Chaim_Weizmann
https://en.wikipedia.org/wiki/Balfour_Declaration
Tuyên bố Balfour cũng có điều khoản rằng người Palestine không được bị trục xuất, nhưng điều này gần như đã bị lãng quên; ngoài ra, từ sau khi Weizmann đến Anh cho đến khi gặp George Lloyd, cũng có khá nhiều hoạt động vận động chính trị, chẳng hạn như chuyến đi vòng quanh thế giới để quảng bá Albert Einstein
Cuốn A Peace to End All Peace của David Fromkin mà tôi đọc gần đây đi sâu vào vai trò của Weizmann và bối cảnh hình thành Tuyên bố Balfour; trong các kết luận của sách, đoạn nói rằng sau khi trật tự đế quốc từ thời La Mã sụp đổ, châu Âu đã mất gần 1.500 năm để sắp xếp lại các quốc gia dân tộc và bản sắc chính trị khiến tôi nhớ mãi
Cuộc khủng hoảng hiện nay ở Trung Đông có thể khác về độ sâu và thời gian, nhưng cách diễn giải rằng nó đang xử lý cùng một vấn đề—sau sự tan rã của một trật tự đế quốc lâu đời, các dân tộc khác nhau sẽ được tái tổ chức theo bản sắc chính trị mới nào—là rất ấn tượng
Phe Đồng minh cũng không lập kế hoạch tái định cư người tị nạn Do Thái sau chiến tranh; ngược lại, khi đó người Do Thái thậm chí còn bị cấm vào Lãnh thổ Ủy trị Palestine của Anh
Người Israel đã tự tuyên bố lập quốc, trái với ý muốn của Anh, giống như Mỹ tuyên bố độc lập khỏi Anh
Ngoài ra, không có “kế hoạch” nào cho khu vực đó dự kiến một cuộc nội chiến, nhưng nội chiến đã thực sự xảy ra; việc sau này gán ghép sự kiện cho khớp với nhiều kế hoạch không được thực hiện là một cách diễn giải gần với chủ nghĩa xét lại
Khó có thể nói rằng cách người Ả Rập ở Bờ Tây sông Jordan bị người Israel đối xử tệ hơn những gì họ định làm với người Israel; chỉ là phía Ả Rập, sau khi thua trong xung đột quân sự, cũng đã trục xuất các cộng đồng Do Thái lâu đời của chính họ
Khi đến Ba Lan mùa hè năm ngoái, tôi biết rằng trong giai đoạn giữa hai cuộc thế chiến, nhiều lãnh đạo Do Thái ở Ba Lan ủng hộ một quốc gia dân tộc Do Thái, nhưng không thuyết phục được chính phủ tuyên bố công khai điều đó
Điều này càng đáng ngạc nhiên hơn nếu xét rằng khi đó người Do Thái chiếm tới 25% dân số Ba Lan
Trong động cơ thúc đẩy ông thông qua tuyên bố này, ít nhất một phần có ý nghĩ rằng nếu Anh trao cho người Do Thái một quốc gia riêng, Anh sẽ có được một đồng minh hùng mạnh trong âm mưu Do Thái toàn cầu, đồng thời khiến người Do Thái rời khỏi Anh và không còn thao túng chính trị, văn hóa, kinh tế nữa
Trong một bài viết năm 1919 của Balfour được Wikipedia trích dẫn, ông cũng viết rằng chủ nghĩa Zion sẽ làm dịu nỗi đau lâu dài phát sinh từ việc văn minh phương Tây xem “tập thể người Do Thái trong lòng mình” là ngoại lai và thù địch, nhưng lại không thể trục xuất hay hấp thụ họ
Ông là ví dụ điển hình nhất cho thấy ủng hộ chủ nghĩa Zion và bài Do Thái không mâu thuẫn với nhau, và trên thực tế có thể song hành
Ngay cả sau khi Hitler lên nắm quyền, dưới sự hỗ trợ của chính phủ Đức, vẫn có một dự án Zionist giúp người Do Thái Đức di cư sang Palestine; tất nhiên, giống như mọi hoạt động di cư, nó kết thúc khi Thế chiến thứ hai bắt đầu
Điều đó không có nghĩa Nazis thích dự án ấy, nhưng họ cũng không tích cực phản đối; thay vào đó, họ buộc người Do Thái di cư thanh lý tài sản và hạn chế mạnh tài sản được chuyển ra nước ngoài, rồi về sau trong Holocaust đã tịch thu các chủ doanh nghiệp Do Thái và tư nhân hóa lại chúng
Một bài rất thú vị. Tôi nghĩ trong các lớp thống kê mình chưa từng được nghe những chuyện như thế này
Gosset đã dùng kỹ thuật mới để giải quyết nhiều vấn đề của nhà máy bia, và vì Guinness không muốn đối thủ biết nội dung nghiên cứu, ông đã công bố phép kiểm định t dưới bút danh Student
Gosset là người tiên phong trong quản lý chất lượng công nghiệp và cũng có nhiều đóng góp cho nghiên cứu định lượng, nhưng đa số giáo trình đến nay vẫn gọi thành tựu của ông là “phép kiểm định t của Student”
Gosset thiếu nền tảng toán học để suy ra phân phối đúng về mặt lý thuyết, nên ông đã mô phỏng việc lấy mẫu theo từng cỡ mẫu hàng nghìn lần rồi khớp đường cong để tìm ra phân phối
Thời đó, mô phỏng nghĩa là viết số lên hàng nghìn tấm thẻ, xáo trộn rồi rút mẫu, tính trung bình và độ lệch chuẩn, và lặp lại việc đó hàng nghìn lần
Ông công bố kết quả với thái độ như thể thấy có lỗi vì chưa chứng minh được một cách đầy đủ
Giáo trình thống kê quá khô khan nên hiếm khi có chỗ cho những câu chuyện như thế này
Tôi tự hỏi đã có bao nhiêu phát hiện hữu ích trong môi trường công nghiệp bị ban lãnh đạo chôn vùi vì lo rò rỉ thông tin cạnh tranh
Nếu tin rằng dù không phải một người cụ thể thì cuối cùng cũng sẽ có ai đó phát hiện ra, thì có thể xem những phát hiện như vậy cuối cùng cũng đã, hoặc sẽ, được tái phát hiện một cách độc lập
Liên quan đến chuyện đó, tôi cũng tò mò có bao nhiêu nghiên cứu giá trị đã biến mất khi công ty phá sản hoặc bị mua lại
Chẳng hạn khi đọc các bài báo thập niên 1990 về “agent” và “multi-agent systems” liên quan đến MCC, thường thấy các tài liệu tham khảo như “MCC Technical Report TR86-32791”, nhưng dù một số có thể tìm được trực tuyến, khá nhiều báo cáo có vẻ rất khó hoặc không thể tìm thấy
https://en.wikipedia.org/wiki/Microelectronics_and_Computer_...
Khi trên HN từng truy tìm nguồn gốc thuật ngữ “sharding” cũng tương tự. Nhiều bằng chứng chỉ đến các bài báo nội bộ của CCA, và CCA đã được Xerox mua lại, nhưng bài báo gốc giờ về cơ bản không thể kiếm được
Có thể nó vẫn nằm đâu đó trong Xerox, nhưng để có được trong tay chắc sẽ rất khó
https://news.ycombinator.com/item?id=36848605
Tấm biển kỷ niệm ở đó gợi nhớ đến Gosset và những đóng góp của ông cho thống kê học
Sau khi biết chút bối cảnh nhỏ này, cá nhân tôi thấy khá nhẹ nhõm
Năm đầu tiên tôi vào AWS, nơi tôi làm việc là site DUB1, một phần của không gian công nghệ và ươm tạo Digital Hub
Thật tình cờ, văn phòng nhỏ của Amazon nằm trong phòng thí nghiệm cũ của William Sealy Gosset, ngay cạnh St. Patrick's Tower, nơi từng có xưởng kiểm soát của Guinness
Là một cựu giảng viên thống kê, tôi hào hứng kể với đồng nghiệp rằng chúng tôi may mắn thế nào khi được làm việc ở một nơi như vậy, nhưng hầu như chẳng ai phản ứng gì
Từ lâu tôi từng đề xuất đưa William Sealy Gosset lên tem kỷ niệm của Ireland nhưng chẳng có gì xảy ra, và tôi hy vọng một ngày nào đó ông sẽ được công nhận nhiều hơn
Guinness đi trước thời đại rất xa và về nhiều mặt giống như Google của thời đó. Họ có nhà ở, lương cao và phúc lợi tuyệt vời
Ông tôi làm việc ở đó nên tất cả anh chị em của cha tôi đều học bơi ở bể bơi của Guinness
Một sự thật thú vị khác là widget dùng để tạo bọt đẹp trong lon từng được chọn là phát minh của năm, mà năm đó lại là năm Internet được phát minh
Muốn đọc thêm nhiều câu chuyện thú vị về Guinness thì bài này rất hay: https://www.thefitzwilliam.com/p/no-great-stagnation-in-guin...
Ngày nay chúng ta giải quyết tranh luận ở quán rượu bằng Google; khi đó cuốn sách được xuất bản chính để phục vụ mục đích ấy
Tôi từng học ở ngôi trường cạnh nhà máy bia Guinness, và chắc cả đời sẽ không quên được mùi hoa bia được đun sôi
Nhưng về nhiều mặt trường rất nghèo, và ngay cả trong thời kỳ thất nghiệp hàng loạt và di cư quy mô lớn ở Ireland những năm 1980, Guinness cũng không tài trợ trang thiết bị cho đội bóng đá của trường
Trớ trêu là một cựu học sinh đã tặng vài máy Apple Mac và khoảng chục máy Apple IIe, nên trường có một phòng máy tính đi trước thời đại
Ở đó có lẽ tôi đã tự học lập trình BASIC và bắt đầu rèn được kỹ năng đầu tiên
Trở lại chủ đề chính, Guinness luôn khôn ngoan và đi trước thời đại, và kiếm được việc ở đó chẳng khác nào trúng số, gần như được bảo đảm cả đời
Tôi thích những câu chuyện kiểu này
Tôi may mắn biết được chuyện này trong giáo trình thống kê bậc đại học, và sau này khi đi tham quan nhà máy bia Guinness ở Dublin cũng có một khu trưng bày nhỏ về Gosset. Tuy vậy, thực ra Gosset làm việc ở nhà máy bia phía Anh
Một sự thật thú vị khác tôi biết từ hóa hữu cơ là nhà soạn nhạc Nga Alexander Borodin, người viết “In the Steppes of Central Asia” và “Prince Igor”, coi sáng tác chỉ là hoạt động lúc rảnh; nghề chính của ông là nhà hóa hữu cơ, đồng phát hiện phản ứng aldol
https://en.wikipedia.org/wiki/Alexander_Borodin
Khi trình bày vào năm 2019, tôi đã nhắc đến giai thoại này
Nếu muốn làm cho đúng thì lẽ ra phải mang Guinness lên sân khấu và tự khui ngay tại đó
Đây là video EuRuKo quay tại một nơi biến một tàu viễn dương chở khách đã nghỉ hưu thành khách sạn kiêm không gian hội nghị: https://youtu.be/Aczy01drwkg?si=lsVWAFv9f3eLc2fZ&t=1095
Không có gì đáng ngạc nhiên. Hầu như mọi ngành sản xuất đều có vẻ là môi trường hoàn hảo để thử nghiệm các phương pháp thống kê
Quy mô đủ lớn để chỉ những khác biệt tinh vi cũng có thể tiết kiệm rất nhiều tiền, nên lợi ích xuất hiện khá nhanh
t-test tuy đơn giản so với các kỹ thuật cao cấp hơn, nhưng đủ thông minh nên lúc nào cũng gây ấn tượng
Vào đầu những năm 1900, trồng trọt và nông nghiệp đã hưởng lợi rất nhiều từ thiết kế thí nghiệm như phân tích phương sai, yếu tố chặn, yếu tố gây nhiễu, yếu tố·mức·phạm vi, và thiết kế nhân tố đầy đủ
Ngày nay, những thứ như thống kê F và giá trị F tới hạn được xem là hiển nhiên
Đáng tiếc là bài gốc có cảm giác phần lớn đã bỏ lỡ công trình của Gosset và cốt lõi của t-test
Đây là cách thường thấy ở những người được dạy về kiểm định ý nghĩa giả thuyết không theo kiểu hiện đại pha trộn Gosset/Fisher/Pearson/Neyman
Điều quan trọng không phải là có thể tính p-value, mà là một khung ra quyết định để đánh đổi tỷ lệ dương tính giả và âm tính giả nhằm đưa ra quyết định hợp lý về mặt kinh tế: https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1...
Trong trường hợp này, hồ sơ của nhà máy bia đã ghi chép khá đầy đủ tỷ lệ mẻ lỗi thông qua thử nghiệm và nếm thử, nên họ có thể quyết định sẽ chấp nhận bao nhiêu mẻ “xấu” để đổi lấy việc tiết kiệm chi phí cho một số lượng mẫu thử nhất định
Ví dụ, nếu quyết định chấp nhận 1 trong 100 mẻ xấu do âm tính giả và loại bỏ 1 trong 20 mẻ tốt, thì sẽ suy ra cỡ mẫu n cần thiết
Giảm phương sai của giá trị đo sẽ làm giảm số mẫu cần để đạt cùng mức đánh đổi, và điều đó lập tức chuyển thành tiền nhờ giảm vật liệu bị bỏ đi hoặc chi phí thử nghiệm
Vì cỡ mẫu càng nhỏ càng tốt, Student không thể dùng phương pháp tiệm cận hay xấp xỉ, và xấp xỉ có thể sai lệch vài bậc độ lớn. Ông thậm chí đã thử cả kiểm định với n = 2
Hoặc có thể họ đã cố tối ưu rất sát sao để nồng độ cồn không vượt ngưỡng tính thuế, nhưng cũng không thấp đến mức làm khách hàng thất vọng
Gosset tính rằng “để đạt độ chính xác cần thiết, tức odds 10 ăn 1 ở độ chính xác 0,5, phải dùng trung bình của ít nhất bốn lần đo”, và hội đồng quản trị Guinness đã hoan nghênh điều này
Nếu điều này nghe giống lý thuyết ra quyết định Bayes chủ quan thì đúng là vậy, nhưng Student, như phần lớn các nhà thống kê, hẳn sẽ bác bỏ điều đó và nhấn mạnh rằng vì đang xử lý một tổng thể có tỷ lệ nền đã biết nên không cần Bayes, chỉ là lý thuyết ra quyết định theo trường phái tần suất mà thôi
Đôi khi tôi tự hỏi t-test thực sự hữu ích đến mức nào so với hai box plot có các điểm được jitter để hiển thị, hoặc một cách biểu diễn khác về số lượng dữ liệu
Nếu điều đó không hiện rõ trên box plot, thì với giả định có đủ điểm dữ liệu, liệu chỉ riêng t-test có thật sự đưa ra được một lập luận thuyết phục không
t-test có thể được tính toán và kiểm chứng độc lập