P-hacking là gì?

Trị số p nhỏ hơn 0,05 thường được xem là tấm vé để kết quả được gọi là “có ý nghĩa thống kê”. P-hacking xảy ra khi nhà nghiên cứu thu thập hoặc chọn dữ liệu, cách phân tích cho tới khi kết quả không có ý nghĩa trở thành có ý nghĩa (Head và cs., 2015).

P-hacking thường diễn ra như thế nào?

Head và cs. (2015) nêu các cách điển hình:

• Xem kết quả giữa chừng: phân tích dữ liệu khi thí nghiệm đang chạy để quyết định có thu thập thêm hay không.
• Đo nhiều, báo cáo ít: ghi nhận nhiều biến kết cục rồi chọn biến để báo cáo sau khi đã phân tích.
• Tùy ý loại ngoại lai: quyết định giữ hay bỏ giá trị bất thường sau khi đã thấy kết quả.
• Dừng khi “đẹp”: ngừng khám phá dữ liệu ngay khi có một trị số p có ý nghĩa.

Vì sao p-hacking tạo ra kết quả sai mà vẫn trông thuyết phục?

Simmons và cs. (2011) minh họa bằng một thí nghiệm cố tình phi lý: sau khi nghe bài “When I’m Sixty-Four” của The Beatles, người tham gia được ghi nhận trẻ hơn gần một tuổi rưỡi so với nhóm nghe bài đối chứng (tuổi trung bình hiệu chỉnh 20,1 so với 21,5; p = 0,040). Kết quả này đạt được chỉ nhờ linh hoạt trong phân tích. Mô phỏng của nhóm cho thấy khi kết hợp bốn kiểu linh hoạt như vậy, tỷ lệ dương tính giả lên tới 60,7% thay vì mức danh nghĩa 5%.

Phân tích khai thác văn bản của Head và cs. (2015) cho thấy p-hacking phổ biến trong khoa học, nhưng nhiều khả năng không làm thay đổi mạnh các kết luận đồng thuận rút ra từ phân tích gộp. Xem thêm bài p-hacking là gì, vì sao nghiên cứu thống kê vẫn có thể sai.

Câu hỏi thường gặp

P-hacking có phải là gian lận không?

Không phải lúc nào cũng cố ý. Simmons và cs. (2011) cho rằng hành vi này thường không xuất phát từ ý định xấu mà từ việc thử nhiều cách phân tích vốn là thói quen phổ biến.

Làm sao hạn chế p-hacking?

Trong số các yêu cầu Simmons và cs. (2011) đề xuất: tác giả phải quyết định quy tắc dừng thu thập dữ liệu từ trước, liệt kê mọi biến đã đo, báo cáo mọi điều kiện thí nghiệm và trình bày kết quả cả khi giữ lẫn khi loại các quan sát. Sự minh bạch này giúp người đọc hiểu vì sao hai nghiên cứu có thể cho kết quả trái ngược.