P-hacking là gì: Vì sao một nghiên cứu đạt ý nghĩa thống kê vẫn có thể sai?

Trong nghiên cứu khoa học và truyền thông dữ liệu, chỉ số p < 0,05 thường được xem là thước đo vàng để khẳng định một giả thuyết có ý nghĩa thống kê. Dù vậy, một kết quả vượt qua ngưỡng này không đồng nghĩa phát hiện đó chắc chắn phản ánh đúng thực tế khách quan.

Hiện tượng can thiệp, lựa chọn biến số hoặc thử nghiệm lặp đi lặp lại nhiều mô hình thống kê cho đến khi đạt được con số mong muốn được gọi là p-hackingP-hacking (P-hacking)P-hacking là việc thử nghiệm nhiều phép phân tích hoặc chọn lọc dữ liệu theo ý muốn cho đến khi trị số p giảm xuống dưới ngưỡng có ý nghĩa thống kê (thường là p < 0,05).Xem giải thích đầy đủ →. Đây là một trong những nguyên nhân kỹ thuật hàng đầu dẫn đến cuộc khủng hoảng tái lậpKhủng hoảng tái lập (Replication crisis)Khủng hoảng tái lập là tình trạng phương pháp luận khi nhiều thí nghiệm và nghiên cứu khoa học đã công bố không thể lặp lại để ra cùng một kết quả khi được tiến hành độc lập.Xem giải thích đầy đủ → kết quả trong nghiên cứu thực nghiệm hiện đại.

P-hacking là gì?

P-hacking (còn gọi là thao túng trị số pTrị số p (P-value)Trị số p là xác suất thu được một kết quả bằng hoặc cực đoan hơn kết quả quan sát được trong thử nghiệm, giả sử rằng giả thuyết không (H0) là hoàn toàn đúng.Xem giải thích đầy đủ → hoặc câu cá dữ liệu) mô tả hành vi thu thập dữ liệu, thử nghiệm nhiều phương pháp phân tích hoặc lựa chọn biến số khác nhau cho đến khi một kết quả vốn không có ý nghĩa thống kê chuyển thành có ý nghĩa (thường quy ước là p < 0,05).

Khi các nhà nghiên cứu phân tích dữ liệu trên một mẫu khảo sát, xác suất xảy ra sai số ngẫu nhiên luôn tồn tại. Nếu tiến hành đồng thời 20 phép thử độc lập trên cùng một tập dữ liệu ngẫu nhiên, xác suất xuất hiện ít nhất một kết quả có p < 0,05 thuần túy do ngẫu nhiên là rất cao. Việc chỉ báo cáo duy nhất phép thử đạt ngưỡng và giấu đi 19 phép thử thất bại chính là bản chất của p-hacking.

Các hình thức p-hacking phổ biến trong phân tích

Trong thực hành nghiên cứu, p-hacking không nhất thiết xuất phát từ ý đồ gian lận có chủ đích mà thường nảy sinh từ sự thiên lệch vô thức hoặc áp lực phải có kết quả công bố:

• Thu thập thêm mẫu có chọn lọc: Nhà nghiên cứu kiểm tra kết quả khi đang thu thập dữ liệu; nếu thấy p xấp xỉ 0,06 thì tiếp tục gom thêm một số lượng nhỏ quan sát cho đến khi p giảm xuống dưới 0,05 rồi mới dừng lại.
• Thử nghiệm nhiều biến phụ thuộc: Đo lường nhiều chỉ số khác nhau cho cùng một hiện tượng nhưng chỉ báo cáo chỉ số duy nhất có tương quan đạt mức ý nghĩa thống kê.
• Kiểm soát biến số linh hoạt: Thêm hoặc bớt các biến kiểm soát trong mô hình hồi quy để tìm ra phương trình cho p-value nhỏ nhất.
• Loại bỏ giá trị ngoại lệ tùy tiện: Loại bỏ những điểm dữ liệu không thuận lợi với lý do làm nhiễu mô hình mà không có tiêu chuẩn định trước.

Góc nhìn từ Hiệp hội Thống kê Hoa Kỳ về p-value

Trước tình trạng lạm dụng chỉ số thống kê, Hiệp hội Thống kê Hoa Kỳ (ASA) đã đưa ra tuyên bố chính thức nhằm làm rõ bản chất và giới hạn của giá trị p:

• Trị số p không đo lường xác suất đúng của giả thuyết nghiên cứu, cũng không đo lường xác suất dữ liệu được tạo ra hoàn toàn do ngẫu nhiên.
• Kết luận khoa học và các quyết định chính sách kinh tế – xã hội không nên chỉ dựa trên việc trị số p có vượt qua một ngưỡng cố định hay không.
• Phân tích thống kê suy luận phù hợp đòi hỏi sự minh bạch toàn diện về mọi phép thử đã tiến hành, không chỉ công bố những kết quả đạt ngưỡng quy ước.
• Ý nghĩa thống kê không phản ánh độ lớn của hiệu ứng hay tầm quan trọng thực tế của phát hiện.

Hệ quả đối với truyền thông khoa học

Đối với người làm truyền thông, các phát hiện bị p-hacking thường tạo ra những câu chuyện giật gân nhưng thiếu cơ sở thực tế. Những tiêu đề như một loại thực phẩm cụ thể giúp ngăn ngừa bệnh tật hay một thói quen nhỏ thay đổi hoàn toàn năng suất thường bắt nguồn từ các phép thử tương quan ngẫu nhiên bị thổi phồng.

Khi những nghiên cứu độc lập quy mô lớn cố gắng lặp lại thí nghiệm ban đầu và không tìm thấy hiệu ứng tương tự, niềm tin của công chúng vào giới nghiên cứu và các thông điệp sức khỏe cộng đồng sẽ bị bào mòn nghiêm trọng.

Hướng tới thực hành nghiên cứu minh bạch

Để kiểm soát p-hacking, cộng đồng khoa học quốc tế đang chuyển dịch mạnh mẽ sang các tiêu chuẩn nghiên cứu mở:

• Đăng ký trước đề cương nghiên cứuĐăng ký trước đề cương nghiên cứu (Preregistration)Đăng ký trước đề cương là thực hành khoa học mở ghi lại công khai giả thuyết, phương pháp và kế hoạch phân tích số liệu trên cơ sở dữ liệu độc lập trước khi thu thập dữ liệu.Xem giải thích đầy đủ → (Preregistration): Nhà nghiên cứu nộp kế hoạch thu thập dữ liệu, cỡ mẫu và phương pháp phân tích cụ thể lên các nền tảng mở trước khi bắt tay thực hiện.
• Công bố toàn bộ dữ liệu và mã nguồn phân tích: Cho phép các chuyên gia độc lập chạy lại toàn bộ quy trình tính toán để đối chiếu.
• Chú trọng kích thước hiệu ứngKích thước hiệu ứng (Effect size)Kích thước hiệu ứng là thước đo chuẩn hóa định lượng độ lớn của một hiện tượng hoặc sự khác biệt giữa các nhóm, phản ánh ý nghĩa thực tế độc lập với cỡ mẫu.Xem giải thích đầy đủ → (effect size) và khoảng tin cậy: Đánh giá tác động thực tế thay vì chỉ nhìn vào một con số ranh giới.

Đôi lời giới thiệu

Bài viết này được tổng hợp bởi Nguyễn Hoàng Anh Khoa (Dy Khoa), giảng viên Khoa Quan hệ công chúng và Truyền thông, Trường Đại học Văn Lang, và là người tốt nghiệp Thạc sĩ Truyền thông Khoa họcTruyền thông khoa học (Science communication)Truyền thông khoa học là hoạt động trao đổi thông tin khoa học giữa các nhà khoa học, nhà truyền thông và công chúng, nhằm tạo ra nhận thức, sự quan tâm, ý kiến và hiểu biết về khoa học.Xem giải thích đầy đủ → và Thu hút Công chúngThu hút công chúng (Public engagement)Thu hút công chúng là quá trình tương tác và đối thoại hai chiều giữa các nhà nghiên cứu và công chúng, tạo ra lợi ích song phương và nâng cao chất lượng khoa học.Xem giải thích đầy đủ → (Science Communication and Public Engagement) tại Universiti Malaya (UM), Malaysia. Đây là lĩnh vực chuyên môn cốt lõi mà anh được đào tạo bài bản và tiếp tục theo đuổi trong nghiên cứu, giảng dạy và thực hành nghề nghiệp.

Nếu bạn thấy bài viết có sai sót hoặc muốn góp ý, vui lòng gửi email về [email protected].