Trong nghiên cứu khoa học và truyền thông dữ liệu, chỉ số p < 0,05 thường được xem là thước đo vàng để khẳng định một giả thuyết có ý nghĩa thống kê. Dù vậy, một kết quả vượt qua ngưỡng này không đồng nghĩa phát hiện đó chắc chắn phản ánh đúng thực tế khách quan.
Hiện tượng can thiệp, lựa chọn biến số hoặc thử nghiệm lặp đi lặp lại nhiều mô hình thống kê cho đến khi đạt được con số mong muốn được gọi là p-hacking. Đây là một trong những nguyên nhân kỹ thuật hàng đầu dẫn đến cuộc khủng hoảng tái lập kết quả trong nghiên cứu thực nghiệm hiện đại.
P-hacking là gì?
P-hacking (còn gọi là thao túng trị số p hoặc câu cá dữ liệu) mô tả hành vi thu thập dữ liệu, thử nghiệm nhiều phương pháp phân tích hoặc lựa chọn biến số khác nhau cho đến khi một kết quả vốn không có ý nghĩa thống kê chuyển thành có ý nghĩa (thường quy ước là p < 0,05).
Khi các nhà nghiên cứu phân tích dữ liệu trên một mẫu khảo sát, xác suất xảy ra sai số ngẫu nhiên luôn tồn tại. Nếu tiến hành đồng thời 20 phép thử độc lập trên cùng một tập dữ liệu ngẫu nhiên, xác suất xuất hiện ít nhất một kết quả có p < 0,05 thuần túy do ngẫu nhiên là rất cao. Việc chỉ báo cáo duy nhất phép thử đạt ngưỡng và giấu đi 19 phép thử thất bại chính là bản chất của p-hacking.
Các hình thức p-hacking phổ biến trong phân tích
Trong thực hành nghiên cứu, p-hacking không nhất thiết xuất phát từ ý đồ gian lận có chủ đích mà thường nảy sinh từ sự thiên lệch vô thức hoặc áp lực phải có kết quả công bố:
- Thu thập thêm mẫu có chọn lọc: Nhà nghiên cứu kiểm tra kết quả khi đang thu thập dữ liệu; nếu thấy p xấp xỉ 0,06 thì tiếp tục gom thêm một số lượng nhỏ quan sát cho đến khi p giảm xuống dưới 0,05 rồi mới dừng lại.
- Thử nghiệm nhiều biến phụ thuộc: Đo lường nhiều chỉ số khác nhau cho cùng một hiện tượng nhưng chỉ báo cáo chỉ số duy nhất có tương quan đạt mức ý nghĩa thống kê.
- Kiểm soát biến số linh hoạt: Thêm hoặc bớt các biến kiểm soát trong mô hình hồi quy để tìm ra phương trình cho p-value nhỏ nhất.
- Loại bỏ giá trị ngoại lệ tùy tiện: Loại bỏ những điểm dữ liệu không thuận lợi với lý do làm nhiễu mô hình mà không có tiêu chuẩn định trước.
Góc nhìn từ Hiệp hội Thống kê Hoa Kỳ về p-value
Trước tình trạng lạm dụng chỉ số thống kê, Hiệp hội Thống kê Hoa Kỳ (ASA) đã đưa ra tuyên bố chính thức nhằm làm rõ bản chất và giới hạn của giá trị p:
- Trị số p không đo lường xác suất đúng của giả thuyết nghiên cứu, cũng không đo lường xác suất dữ liệu được tạo ra hoàn toàn do ngẫu nhiên.
- Kết luận khoa học và các quyết định chính sách kinh tế – xã hội không nên chỉ dựa trên việc trị số p có vượt qua một ngưỡng cố định hay không.
- Phân tích thống kê suy luận phù hợp đòi hỏi sự minh bạch toàn diện về mọi phép thử đã tiến hành, không chỉ công bố những kết quả đạt ngưỡng quy ước.
- Ý nghĩa thống kê không phản ánh độ lớn của hiệu ứng hay tầm quan trọng thực tế của phát hiện.
Hệ quả đối với truyền thông khoa học
Đối với người làm truyền thông, các phát hiện bị p-hacking thường tạo ra những câu chuyện giật gân nhưng thiếu cơ sở thực tế. Những tiêu đề như một loại thực phẩm cụ thể giúp ngăn ngừa bệnh tật hay một thói quen nhỏ thay đổi hoàn toàn năng suất thường bắt nguồn từ các phép thử tương quan ngẫu nhiên bị thổi phồng.
Khi những nghiên cứu độc lập quy mô lớn cố gắng lặp lại thí nghiệm ban đầu và không tìm thấy hiệu ứng tương tự, niềm tin của công chúng vào giới nghiên cứu và các thông điệp sức khỏe cộng đồng sẽ bị bào mòn nghiêm trọng.
Hướng tới thực hành nghiên cứu minh bạch
Để kiểm soát p-hacking, cộng đồng khoa học quốc tế đang chuyển dịch mạnh mẽ sang các tiêu chuẩn nghiên cứu mở:
- Đăng ký trước đề cương nghiên cứu (Preregistration): Nhà nghiên cứu nộp kế hoạch thu thập dữ liệu, cỡ mẫu và phương pháp phân tích cụ thể lên các nền tảng mở trước khi bắt tay thực hiện.
- Công bố toàn bộ dữ liệu và mã nguồn phân tích: Cho phép các chuyên gia độc lập chạy lại toàn bộ quy trình tính toán để đối chiếu.
- Chú trọng kích thước hiệu ứng (effect size) và khoảng tin cậy: Đánh giá tác động thực tế thay vì chỉ nhìn vào một con số ranh giới.
Đôi lời giới thiệu
Bài viết này được tổng hợp bởi Nguyễn Hoàng Anh Khoa (Dy Khoa), giảng viên Khoa Quan hệ công chúng và Truyền thông, Trường Đại học Văn Lang, và là người tốt nghiệp Thạc sĩ Truyền thông Khoa học và Thu hút Công chúng (Science Communication and Public Engagement) tại Universiti Malaya (UM), Malaysia. Đây là lĩnh vực chuyên môn cốt lõi mà anh được đào tạo bài bản và tiếp tục theo đuổi trong nghiên cứu, giảng dạy và thực hành nghề nghiệp.
Nếu bạn thấy bài viết có sai sót hoặc muốn góp ý, vui lòng gửi email về [email protected].
Tài liệu tham khảo
- Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The Extent and Consequences of P-Hacking in Science. PLOS Biology, 13(3), e1002106. https://doi.org/10.1371/journal.pbio.1002106
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129-133. https://doi.org/10.1080/00031305.2016.1154108
