Наука мертва? Словом: Ні
Але те, що Лерер не зазначив, - це те, що більшість дослідників вже знають про недоліки, які він описує, і старанно працюють над мінімізацією впливу цих питань.
Науковий метод не порушений. Те, що описує Лерер, - це просто наука, яка працює - і працює.
Найкращий відгук на цей нарис дав письменник ScienceBlogs П.З. Майерс, Наука не померла. У цьому спростуванні Майерс вказує на основні проблеми науки, коли вона не може повторити попередні висновки:
- Регресія до середнього: По мірі збільшення кількості точок даних ми очікуємо, що середні значення будуть регресувати до справжнього середнього ... і оскільки часто початкова робота виконується на основі перспективних ранніх результатів, ми очікуємо, що більше даних буде випадково вирівнюватися значний ранній результат.
- Ефект ящика для файлів: результати, які не є значущими, важко опублікувати, і в підсумку сховані в кабінеті. Однак, як результат стає встановленим, протилежні результати стають більш цікавими та публікуваними.
- Упередженість слідчого: Важко зберегти наукову безпристрасність. Ми всі хотіли б, щоб наші гіпотези були підтверджені, тому ми схильні свідомо чи несвідомо вибирати результати, які сприяють нашим поглядам.
- Комерційне упередження: фармацевтичні компанії хочуть заробляти гроші. Вони можуть заробляти гроші на плацебо, якщо для цього є певна статистична підтримка; безумовно, існує упередження щодо використання статистичних викидів для отримання прибутку.
- Дисперсія населення: Успіх у чітко визначеній сукупності населення може призвести до трохи повзучості: якщо препарат допомагає цій групі з чітко визначеними симптомами, можливо, нам слід спробувати його на іншій групі з маргінальними симптомами. І це не так ... але ці цифри все одно будуть використовуватися для оцінки загальної ефективності.
- Простий шанс: я виявив, що це важко донести до людей. Але якщо щось значне на рівні р = 0,05, це все одно означає, що 1 з 20 експериментів із абсолютно марним препаратом все одно матиме значний ефект.
- Статистичний промисел: я ненавиджу цей, і я постійно його бачу. Запланований експеримент не показав суттєвих результатів, тому дані порівнюються, і будь-яка суттєва кореляція береться та публікується так, ніби це було задумано. Див. Попереднє пояснення. Якщо набір даних є досить складним, ви завжди знайдете десь співвідношення, абсолютно випадково.
Номер 1 пояснює багато проблем, які ми сьогодні знаходимо в науці, особливо в психологічній науці. Ви знаєте більшість експериментів, про які ви читали Психологічна наука, флагманське видання Асоціації психологічних наук? Вони лайно. Вони являють собою N = 20 експериментів, проведених на невеликих однорідних зразках переважно студентів кавказьких коледжів середніх західних університетів. Більшість із них ніколи не відтворюються, і все менше їх відтворюється на обсягах вибірки, які, ймовірно, демонструють, що вихідні результати були не що інше, як статистичний випад.
Дослідники це вже знають, але живуть за зовсім іншими правилами, ніж ви чи я. Їх засоби до існування залежать від того, як вони продовжуватимуть робити хороші дослідження, які можна опублікувати. Якщо вони припиняють проводити це дослідження (або не можуть опублікувати його в рецензованому журналі), вони ризикують втратити роботу. Це відомо в наукових колах як "опублікувати або загинути", і це цілком реальна мотивація для публікації будь-якого дослідження, навіть якщо ви знаєте, що результати, швидше за все, не будуть повторені. Див. Номер 3 вище.
Нарешті, я бачу стільки числа 7 у дослідженні, яке я переглядаю, це майже незручно. Науковий метод працює добре та надійно лише тоді, коли ви заздалегідь формулюєте гіпотези, запускаєте випробовуваних для збору ваших даних, а потім аналізуєте ці дані відповідно до гіпотез, з яких ви починали. Якщо ви вирішите почати змінювати гіпотезу відповідно до даних або провести статистичні тести, на які ви не розраховували, ви заплямовуєте свої висновки. Ви починаєте рибальську експедицію, яку робив кожен дослідник. Але те, що всі зробили це, означає, що це хороша чи етична поведінка.
Проблема в тому, що дослідження займає багато часу і часто дорого. Якщо ви щойно пройшли 100 досліджень під час випробування і не виявили нічого важливого (згідно з вашими гіпотезами), ви не тільки навряд чи опублікуєте це дослідження, але й просто витратили місяці (або навіть роки) свого професійного життя і ваш завжди обмежений бюджет на дослідження.
Якщо ви не можете зрозуміти, як це може призвести до публікації результатів досліджень, що не є оптимальними, то ви можете бути трохи сліпими до основної людської психології та мотивації. Оскільки дослідники не є надлюдами - вони мають такі самі вади, упередження та мотивацію, як і будь-хто інший. Науковий метод - якщо він дотримується ретельно - повинен передбачати це. Проблема полягає в тому, що ніхто насправді не стежить за дослідниками, щоб переконатися, що вони наслідують його, і для цього немає жодного стимулу.
Я закінчу цим спостереженням, знову ж таки від PZ Myers,
Ось і все, що ця суєта насправді говорить [- s], що гіпотези іноді виявляються помилковими, і іноді, якщо підтримка гіпотези побудована на слабких доказах або високо похідній інтерпретації складного набору даних, це може зайняти багато часу з'явиться правильна відповідь. Так? Це не провал науки, якщо ви якимось чином не очікуєте миттєвого задоволення усім або підтвердження кожної заповітної ідеї.
Амінь.
Інші думки щодо есе Лерера
Наука не вмерла - П. З. Майерс
На похвалу науковій помилці - Джордж Мюссер
Чи проблема людини в науковому методі? - Чарлі Петі
Правда, в якій ми будемо сумніватися: чи означає "ефект зниження", що вся наука "неправдива"? - Джон Хорган
Таємничий ефект занепаду - Йона Лерер
