Bir araştırmada yirmi testten biri anlamlı çıktıysa güvenilir mi?
Olabilir, ama önce neden yirmi test yapıldığını öğrenmek gerekir. Birçok karşılaştırma yapıldığında tesadüfen düşük p değerleri yakalama olasılığı…
Bir araştırmada yirmi testten biri anlamlı çıktıysa güvenilir mi?
Olabilir, ama önce neden yirmi test yapıldığını öğrenmek gerekir. Birçok karşılaştırma yapıldığında tesadüfen düşük p değerleri yakalama olasılığı artar. Araştırmacılar birincil sonucu önceden belirlemiş mi, tüm sonuçları raporlamış mı ve uygun çoklu test yaklaşımı kullanmış mı? Bu sorular önemlidir. Yalnız tek bir dikkat çekici bulguya bakıp güçlü bir psikolojik sonuç çıkarmak doğru olmaz. Etki büyüklüğü, güven aralığı ve bağımsız çalışmalarda benzer sonucun elde edilip edilmediği de değerlendirilmelidir. Düzeltme uygulanması da zayıf tasarımı otomatik olarak iyileştirmez. Bu ayrımı görmeden tek bir küçük p değerini manşete taşımak bilimsel bir hata olabilir.
Uzman kontrolü: Henüz tamamlanmadı. Kaynaklar ve yöntemler ayrıca incelenmelidir.
Kaynakça
Benjamini Y., Hochberg Y. (1995). Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing Orijinal kaynak
Wasserstein R. L., Lazar N. A. (2016). The ASA's Statement on p-Values: Context, Process, and Purpose Orijinal kaynak
Sık sorulan sorular
Bir araştırmada yirmi testten biri anlamlı çıktıysa güvenilir mi?
Olabilir, ama önce neden yirmi test yapıldığını öğrenmek gerekir. Birçok karşılaştırma yapıldığında tesadüfen düşük p değerleri yakalama olasılığı artar. Araştırmacılar birincil sonucu önceden belirlemiş mi, tüm sonuçları raporlamış mı ve uygun çoklu test yaklaşımı kullanmış mı? Bu sorular önemlidir. Yalnız tek bir dikkat çekici bulguya bakıp güçlü bir psikolojik sonuç çıkarmak doğru olmaz. Etki büyüklüğü, güven aralığı ve bağımsız çalışmalarda benzer sonucun elde edilip edilmediği de değerlendirilmelidir. Düzeltme uygulanması da zayıf tasarımı otomatik olarak iyileştirmez. Bu ayrımı görmeden tek bir küçük p değerini manşete taşımak bilimsel bir hata olabilir.