Нехай дані говорять? Ні, не завжди
Френк Л. Шмідт, поважний професор і дослідник з Університету Айови, в суботу виступив з доповіддю на 20-й конвенції Асоціації психологічних наук про те, як можуть лежати наукові дані. Так, це правильно, емпіричні дані - навіть ті, що публікуються у поважних, рецензованих журналах - регулярно не говорять правди.
Виступ Шмідта був присутнім в одному з найбільших бальних залів готелю «Шератон» та Тауерс у Чикаго, де проводиться конгрес. Незважаючи на нерівномірність викладу, основні моменти Шмідта натрапили.
Одне з них полягає в тому, що наївна інтерпретація декількох наборів даних часто є, найімовірніше, найбільш правильною - бритва Оккама ("найпростіше рішення - це, як правило, найкраща відповідь"). Шмідт стверджує, що в результаті хороших досліджень проста структура лежить в основі складних даних.
Він підсумував, що є дві основні причини, чому дані можуть "лежати" у дослідженнях - помилки вибірки та помилки вимірювання.
Найбільша критика Шмідта була спрямована на фетиш психологічної науки за допомогою перевірки значущості - наприклад, статистичної значущості. Він бажає, щоб психологія відійшла далеко від своєї залежності та захоплення статистичною значимістю, оскільки це слабка, упереджена міра, яка в основному мало говорить про основні дані або гіпотезу.
Шмідт описав шість міфів тестування значущості навколишнього середовища. Одним із міфів було те, що хороше значення р є показником значущості, коли насправді це лише показник рівня потужності дослідження. Іншим було те, що якщо не було знайдено жодної значимості, це означає, що між змінними не було виявлено зв'язку (насправді, це може просто означати, що дослідженню бракувало достатньої сили).
Рішення Шмідта прості - натомість повідомляйте про розміри ефектів (точкові оцінки) та довірчі інтервали та взагалі деакцентуйте увагу на тестуванні значущості.
Він закінчив висловлювати новий знайдений акцент на мета-аналізі в психологічних дослідженнях, зокрема назвавши журнал Психологічний вісник. У ще не опублікованому дослідженні він та інші дослідники вивчили всі метааналізи, опубліковані в Психологічний вісник з 1978-2006 рр. - усього 199 досліджень.
Дослідники виявили, що 65% цих досліджень використовували модель "фіксованих ефектів" для свого мета-аналізу. Шмідт стверджував, що в моделях із фіксованими ефектами відносини даних занижуються (на цілих 50%) і що дослідники переоцінюють, наскільки вони точні (наскільки мало помилок у цій оцінці). Натомість Шмідт віддає перевагу моделям "випадкових ефектів", які краще враховують ці варіації.
Він також зазначив, що у 90% досліджених досліджень не було зроблено жодних поправок на похибку вимірювання - одну з основних причин, яку він посилається на те, що дані можуть "лежати" у психологічних дослідженнях.
Враховуючи цей аналіз, Шмідт припускає, що велика кількість метааналізів, опублікованих у рецензованих журналах, дійшли до неправильних або хибних висновків.
На жаль, такий стан справ навряд чи найближчим часом зміниться. Хоча багато психологічних журналів прийняли більш жорсткі стандарти для публікації досліджень, які краще дотримуються пропозицій Шмідта, багато хто все ще не мають і, схоже, не мають наміру змінюватися.
Що це означає для пересічної людини, це те, що ви не можете довіряти кожному опублікованому дослідженню лише тому, що воно з’являється в рецензованому журналі, який потім публікується у ЗМІ як „факт” у прес-релізі. Такі факти податливі, мінливі та помилкові. Тільки завдяки ретельному читанню та аналізу таких досліджень ми можемо зрозуміти цінність даних, які вони представляють.
