Başlık neden yeterli değildir?
“Bilim insanları kanıtladı” diye başlayan haber, araştırmanın kendisinden daha kesin konuşuyor olabilir. Psikolojide bir çalışma, belirli kişilerden, belirli koşullarda elde edilen verilerle bir soruya yanıt arar. Bu yanıtın ne kadar uzağa taşınabileceği kullanılan yönteme bağlıdır. İyi bir okur önce makalenin sonuç cümlesine değil, hangi soruyu nasıl araştırdığına bakar. Aşağıdaki yedi soruluk kontrol, bir araştırma yazısının yerine geçmez; bulgulara daha dikkatli yaklaşmak için pratik bir okuma çerçevesidir.
1. Araştırmacılar tam olarak neyi sordular?
“Stres başarıyı etkiler mi?” çok geniştir. “Belirli bir üniversitedeki öğrencilerin bildirdiği stres düzeyi, sınav dönemi notlarıyla ilişkili mi?” daha sınırları belli bir sorudur. Makalede amaç, hipotez ve ölçülen değişkenlerin tanımı aranmalıdır. Araştırmanın başlığı popüler bir sözcük kullansa bile çalışmada bu sözcük farklı biçimde ölçülmüş olabilir. Örneğin “sosyal medya kullanımı”, toplam süreyle de kontrol etme sıklığıyla da sorunlu kullanımla da ölçülebilir; bunlar aynı değişken değildir.
2. Kimler araştırmaya katıldı?
Örneklem (sample; Almanca: Stichprobe) bize sonucun hangi gruba dayandığını gösterir. Tek bir üniversitenin öğrencileri üzerinde yapılan çalışma, tüm Türkiye'deki ergenler için doğrudan konuşamaz. Yaş, kültürel bağlam, katılımcı seçimi ve örneklemin büyüklüğü genellenebilirliği etkiler. Çok sayıda katılımcı olması da tek başına örneklemin temsil gücünü garanti etmez. Araştırmacıların kimlerin dahil edildiğini, kimlerin dışarıda bırakıldığını ve verilerin ne zaman toplandığını açıklaması önemlidir.
3. Çalışmanın tasarımı neydi?
Kesitsel (cross-sectional; Almanca: Querschnittstudie) araştırma bir zaman kesitine bakar. Boylamsal (longitudinal; Almanca: Längsschnittstudie) tasarım aynı bireyleri veya grupları zaman içinde izleyebilir. Rastgele atamalı deneyler ise uygun koşullarda neden-sonuç sorularına daha güçlü yanıt sağlayabilir. Bunlar bir üstünlük sıralamasını ezberlemek için değil, hangi sonucun hangi tasarımla desteklenebileceğini anlamak için önemli ayrımlardır. Başlangıçta yalnızca anketle ölçülmüş iki değişken arasındaki ilişki, tek başına nedensellik kanıtı değildir.
4. Ölçüm ne kadar güvenilir?
“Kaygı” veya “öz saygı” doğrudan cetvelle ölçülmez. Araştırmacılar anket, görüşme, davranış görevi veya başka göstergeler kullanır. Ölçümün geçerliği, yanıtların nasıl toplandığı, dil uyarlaması ve katılımcıların koşulları sonucun yorumunu değiştirir. Ayrıca iki araştırma aynı kavramı farklı araçlarla ölçüyorsa sonuçları bir araya getirirken dikkat gerekir. Ölçümün tanımını görmeden “kaygı yüzde şu kadar arttı” ifadesini yorumlamak zordur.
5. Farkın büyüklüğü neydi?
İstatistiksel anlamlılık (statistical significance; Almanca: statistische Signifikanz), bir sonucun gündelik yaşam açısından mutlaka büyük veya önemli olduğunu söylemez. Etki büyüklüğü (effect size; Almanca: Effektstärke), gözlenen ilişkinin veya farkın büyüklüğüne ilişkin ek bilgi sağlar. Güven aralığı, tahminin belirsizliğini anlamaya yardım eder. Büyük örneklemlerde küçük ilişkiler de istatistiksel olarak anlamlı çıkabilir. Bu yüzden yalnız p-değerini okumak yerine etki büyüklüğü, belirsizlik ve araştırmanın bağlamı beraber değerlendirilmelidir.
6. Başka açıklamalar mümkün mü?
Bir araştırmada gece ekran kullanımı ile uyku sorunları birlikte görülebilir. Ancak daha stresli kişilerin telefona yönelmesi, vardiya saatleri veya başka yaşam koşulları ilişkiyi etkileyebilir. Karıştırıcı değişken (confounder; Almanca: Störvariable), gözlenen ilişkinin yorumunu değiştirebilecek başka bir etkendir. Araştırmacıların hangi etkenleri kontrol ettiği, hangilerinin ölçülmediği önemlidir. Dikkatli bir sonuç cümlesi “ilişkilidir” derken haberde “neden olur” yazılması, kanıt sınırının aşılmasıdır.
7. Sonuç tekrarlanabilir ve raporlama açık mı?
Bir çalışmanın bulgusu başka örneklemlerde ve uygun yöntemlerle yeniden incelendiğinde ne olacağı önemlidir. Open Science Collaboration'ın 2015 projesi, psikoloji araştırmalarında yeniden üretilebilirliği tartışmanın merkezine taşıdı. Bu, her araştırmanın yanlış olduğu anlamına gelmez; tek çalışmanın sonuçlarını kesin yasa gibi sunmamak gerektiğini gösterir. Sistematik derlemelerde PRISMA 2020 raporlama ilkeleri, araştırma seçimi ve yöntemlerin açıkça aktarılmasına yardımcı olur. Ancak PRISMA'ya uygun raporlanmış bir derleme bile içerdiği çalışmaların otomatik olarak güçlü olduğu anlamına gelmez.
Bir haber için küçük kontrol örneği
Varsayalım haberde “Sosyal medya gençlerin ruh sağlığını bozuyor” yazıyor. Önce çalışmanın sorunlu kullanım mı yoksa yalnız süre mi ölçtüğünü sorun. Sonra örneklemin yaşına, zamanına ve araştırma tasarımına bakın. İlişkinin büyüklüğünü ve alternatif açıklamaları kontrol edin. Son olarak çalışmanın sınırlılık kısmını okuyun. Bu soruların birine bile yanıt yoksa haberin kesin anlatımını temkinli yorumlamak yerindedir.
Ön baskı, hakemli yayın ve medya haberi
Çevrimiçi gördüğünüz bir araştırma, hakem değerlendirmesinden geçmiş dergi makalesi olabileceği gibi henüz değerlendirme sürecini tamamlamamış ön baskı da olabilir. Ön baskı bilimsel tartışma için yararlı olabilir; ancak nihai yayındaki yöntem veya sonuçlar değişebilir. Bir haber yazısında araştırmanın yayın türü, tarihi ve bağlantısı açıkça verilmelidir. Bilimsel bir dergide yayımlanmış olmak da çalışmanın her iddiasını doğrulamaz. Araştırmayı okurken önce asıl kaynağa ulaşmak, sonra neyin gözlendiğiyle haberin ne iddia ettiğini karşılaştırmak gerekir.
Yedi soruyu tek sayfada uygulamak
Çalışmanın sorusunu bir cümleyle yazın; katılımcıları ve veri toplama yöntemini yanına not edin. Sonra bağımlı ve bağımsız değişkenleri, araştırmanın tasarımını ve kullanılan ölçekleri belirleyin. Sonuçtan bir sayı seçip bunun etki büyüklüğü mü yoksa yalnız istatistiksel anlamlılık mı gösterdiğini sorun. Alternatif açıklamaları ve sınırlılıkları bir paragrafta özetleyin. Son olarak aynı soruya yanıt veren başka çalışmalar olup olmadığını araştırın. Bu kısa değerlendirme, tek bir çalışmayı kusursuzca denetlemek yerine kanıtın gücünü daha makul biçimde tartmayı sağlar.
Bilinmeyeni de yazmak iyi bir sonuçtur
Araştırmanın sorusu önemli olsa da mevcut veriler kesin bir yanıt sağlamayabilir. “Bu çalışma şu kişilerde ilişki buldu, neden-sonuç çıkarılamaz” cümlesi zayıflık değil doğruluktur. Bilimsel haberlerde bilinmeyeni açıkça belirtmek, okuyucunun tek bir çalışma üzerine kişisel veya sağlıkla ilgili büyük kararlar vermesini önleyebilir.
İlgili okumalar
- Kesitsel araştırma
- Boylamsal araştırma
- Etki büyüklüğü nedir?
- Psikolojik ölçek sonucu teşhis sayılır mı?