Що означає відсутність відтворюваності в психологічних дослідженнях?

Минулого тижня були представлені результати найбільших у світі спроб відтворити результати, виявлені в рамках психологічних досліджень. Проект відтворюваності Брайана Носека оглянув результати 100 психологічних експериментів, опубліковані в 2008 році лише з трьох найбільших журналів з психології. Він намагався відтворити дослідження, щоб побачити, які результати вони отримають.

В ідеальному світі можна подумати, що щось із порядку 75 або навіть 80 відсотків досліджень мало б відтворити подібні результати, так? Оскільки нові дослідження просто повторно проводились на різній популяції дослідниками, які ретельно дотримувались оригінальних методів дослідників. У більшості випадків дослідники також мали безпосередній контакт та співпрацю з початковими дослідниками.

Але у цій знахідці з’явилося десяток різних способів, опублікованих минулого тижня Наука журналу, Проект не досяг майже 75 відсотків. Лише 36 відсотків реплікацій дали значні результати - порівняно з 97 відсотками з первинних 100 досліджень.

Що це означає для психології?

Незважаючи на те, що деякі намагаються обернути цю знахідку не такою несподіваною або "не такою поганою, як це могло б бути", це не віщує нічого хорошого для психологічної науки. Щомісяця публікуються сотні нових досліджень з психології. Коротко кажучи, ця знахідка означає, що більшості висновків цих досліджень не можна довіряти. Вони, по суті, хибні.

Від Атлантики охоплення:

"Рівень успіху нижчий, ніж я міг би подумати", - говорить Джон Іоаннідіс із Стенфордського університету, класична теоретична робота якого Чому більшість опублікованих результатів досліджень є хибними був громовідводом для руху відтворюваності.

«Мені погано бачити, що деякі мої прогнози підтверджені. Я хотів би, щоб вони довели, що вони помиляються ".

Ще одним поганим висновком нового дослідження є те, що виміряні розміри ефекту, як правило, були на 50 відсотків меншими, ніж те, що виявили початкові дослідники. Це означає, що навіть коли результати були відтворені новими дослідниками, вплив досліджуваних змінних був не настільки важливим, як спочатку думали.

Причини поганої відтворюваності в психологічних дослідженнях

Існує десяток різних причин цього поганого показника психологічних досліджень. Але перед тим, як ми розглянемо деякі з них, це холодний сплеск реальності, коли ми беремо результати одного дослідження та узагальнюємо їх. Або ще гірше - вірити у щось істинне, коли це ще не доведено істинним за допомогою одного дослідження.

Якщо дослідження не є подвійним сліпим - як більшості з них це не було - власні упередження дослідників можуть незначно вплинути на те, як дані збираються або аналізуються. Якщо дослідник щойно витратив 8 чи 18 місяців на збір даних лише для того, щоб знайти значущих результатів, він може відправитися в експедицію даних, щоб знайти деякі інші дані, які вони можуть опублікувати.1 Дослідники потім змінюють свої початкові гіпотези відповідно до фактичних даних знайдено (оскільки більшість дослідників досі не реєструють свої дослідження в службі відстеження - хоча це повільно змінюється).

Інші припускають, що, можливо, “несподіванка” - це ще одне пояснення - що сьогодні журнали зосереджуються на публікації дивовижних знахідок, оскільки вони є більш популярними та цікавими для читачів. Коли ви додаєте до можливості регресії до середнього значення - що змінні можуть бути найбільш екстремальними при першому вимірі, але менш екстремальними, коли вимірюються вдруге чи втретє - припущення полягає в тому, що ці два фактори поєднують для заохочення публікації досліджень, які є суттєво важкими відтворювати.

Що це означає для психологічної науки?

Людська природа нескінченно складна. Психологічна наука намагається деконструювати людську поведінку та емоції на дрібні шматочки, щоб краще зрозуміти ціле. Однак, якщо дослідження не можуть відтворити науку, яка лежить в основі досліджень, це свідчить про те, що більшій частині того, що галузь публікує щороку, також не можна довіряти2.

Однак ми також не знаємо статистики відтворюваності більшості наук, оскільки нічого подібного до Проекту відтворюваності ще ніколи не робилося в інших сферах. Можливо, ця вада зазнала більшість наук, а може бути вадою, яка впливає на соціальні науки більше, ніж інші науки.

Але в короткостроковій перспективі це підкреслює те, про що я завжди говорив, - висновок психологічної науки - це не те, на чому можна повісити капелюх, доки його не відтворить інший дослідник. Висновки, які можна відтворити, називаються "надійними", і тому їм довіряють.

Шукайте такого роду інформацію, коли оцінюєте або читаєте новинні статті на основі нового дослідження. Хоча вони не такі сексуальні, як нові, «дивовижні» висновки, дослідження, що перевіряє або ставить під сумнів те, що, як ми вже вважаємо, знаємо, є настільки ж важливим.

Для подальшої інформації…

Атлантика: Наскільки надійними є дослідження психології?

The Guardian: Дослідження дає безрадісний вердикт щодо обґрунтованості результатів психологічного експерименту

Mindhacks: не називайте це поверненням

Довідково

Відкрита наукова співпраця. (2015). Оцінка відтворюваності психологічної науки. Наука, 28.

Проект відтворюваності: Психологія - вихідні дані

Виноски:

1. В іншому випадку весь цей час, гроші та зусилля були витрачені даремно, оскільки мало хто з дослідників може або хоче опублікувати нульові результати. [↩]
2. І це справді ставить під сумнів широкі узагальнення авторів щодо застосовності їхніх висновків, знайдені майже у кожному розділі дискусій останніх досліджень психології. [↩]