Яким дослідженням можна повірити?
Той, хто читає Світ психології регулярно вже знає про проблеми у багатьох галузевих дослідженнях. Але ця стаття наводить на думку, що проблеми рецензованих досліджень заглиблюються набагато глибше, ніж прості упередження щодо отримання прибутку. Вчені упереджені у багатьох-багатьох відношеннях (не лише заради отримання грошової вигоди). І це упередження неминуче проявляється в роботі, яку вони виконують - наукових дослідженнях.
Для мене це не новий барабан - я говорив про упередженість дослідників у 2007 році та про те, як дослідники розробляють дослідження, щоб знайти конкретні результати (у цьому прикладі брали участь дослідники, які знаходили веб-сайти із методами самогубства під час пошуку - “дочекайтеся цього -“ методи самогубства ”У Google). Ми зазначали, як практично кожне дослідження в таких журналах, як Психологічна наука покладаються майже виключно на студентів коледжів, зібраних з одного університетського містечка, як предметів - значне обмеження, яке рідко згадується в самих дослідженнях.
Однак ось справжній тривожний аспект - подібні упереджені дослідження з’являються у всіляких журналах. JAMA, NEJM та BMJ не застраховані від публікації безглуздих, недосконалих досліджень у галузі медицини та психології. Ми думаємо про “респектабельність” журналу як про якийсь ознаку ролі воротаря - те, що дослідження, що з’являються в найпрестижніших журналах, повинні бути принципово обґрунтованими.
Але це просто неправда. Імператор не лише оголений - його піддані заховали його одяг для подальшої власної кар’єри.
Випуск опублікованих упереджених досліджень вперше потрапив у центр уваги ще в 2004 році, коли на GlaxoSmithKline подали позов до генеральних прокурорів за приховування даних досліджень щодо Paxil. З цього часу з’явилися десятки досліджень, з тих пір були опубліковані інші дослідження, які показують, як фармацевтичні компанії, схоже, регулярно приховують відповідні дані досліджень. Ці дані зазвичай показують, що досліджуваний препарат не був ефективним у порівнянні з цукровою таблеткою для лікування будь-якого розладу, для якого він призначений. (У таких блогах, як Клінічна психологія та психіатрія: уважніший погляд та Блог про психіатрію Карлата, є детальніша інформація про ці дослідження.)
Але як щодо інших видів упереджень? Ми зацікавлені лише у дослідженнях, де упередженість настільки відверта, чи не повинні нас турбувати будь-які упередження, які можуть вплинути на надійність результатів?
Відповідь: звичайно, нас повинні цікавити всі форми упередженості. Все, що може вплинути на кінцеві результати дослідження, означає, що висновки дослідження можуть бути під питанням.
Джон Іоаннідіс, професор Янінського університету, зацікавився цим питанням у медичних дослідженнях. Тож він зібрав групу експертів дослідників та статистиків, щоб глибше глибше побачити, наскільки поганою була проблема. Те, що він виявив, не здивувало дослідників, але стане несподіванкою для більшості мирян -
Збентежений, він почав шукати конкретні шляхи, в яких дослідження йшли не так. І незабаром він виявив, що кількість помилок, що допускаються, вражає: від того, які питання ставили дослідники, до того, як вони налаштовували дослідження, до яких пацієнтів вони набирали для дослідження, до яких вимірювань вони проводили, до того, як вони аналізували дані про те, як вони представляли свої результати, про те, як конкретні дослідження публікувались у медичних журналах. […]
"Дослідження були необ'єктивними", - говорить він. “Іноді вони були відверто упередженими. Іноді було важко побачити упередженість, але вона була там ». Дослідники взяли участь у своїх дослідженнях, бажаючи певних результатів - і, ось, вони їх отримували. Ми розглядаємо науковий процес як об’єктивний, суворий і навіть безжалісний у виділенні того, що є істинним, від того, що ми просто хочемо бути істинним, але насправді ним легко маніпулювати результатами, навіть ненавмисно чи несвідомо.
"На кожному кроці процесу є місце для спотворення результатів, способу висунення більш суворої претензії або вибору того, що буде зроблено", - говорить Іоаннідіс. "Існує інтелектуальний конфлікт інтересів, який змушує дослідників знайти все, що найімовірніше призведе до їх фінансування".
Йоаннадіс склав складну математичну модель, яка передбачала б, наскільки дослідними можуть бути недоліки, на основі всіх цих змінних. Його модель передбачала, що «80 відсотків нерандомізованих досліджень (на сьогоднішній день найпоширеніший тип [- особливо в психологічних дослідженнях]) [виявляться] виявляться помилковими, як і 25 відсотків нібито стандартних рандомізованих досліджень за золотом, і як близько 10 відсотків платинових стандартних великих рандомізованих досліджень ".
Потім він випробував цю модель на 49 дослідженнях, які проводили найбільш високо оцінені результати досліджень у медичних дослідженнях за останні 13 років. Вони були в найбільш цитованих медичних журналах і самі були найбільш цитованими статтями.
З 49 статей 45 стверджували, що вони розкрили ефективні втручання. Тридцять чотири з цих тверджень були перевірені, а 14 із них, або 41 відсоток, були переконливо продемонстровані як помилкові або суттєво перебільшені. Якщо між третиною і половиною найвідоміших досліджень у медицині виявлялися неблагонадійними, масштаб і вплив проблеми були незаперечними. […]
З тих 45 суперцитованих досліджень, на яких зосередився Іоаннід, 11 ніколи не проходили повторне тестування. Можливо, ще гірше, Іоаннідіс виявив, що навіть коли помилка дослідження видаляється, вона, як правило, зберігається роками чи навіть десятиліттями. Він ознайомився з трьома видатними дослідженнями здоров'я 1980-х і 1990-х років, які згодом були спростовано спростовані, і виявив, що дослідники продовжували цитувати оригінальні результати як правильні частіше, ніж як дефектні - в одному випадку протягом принаймні 12 років після дискредитації результатів .
Стільки про те, що вчені повторно перевіряють опубліковані результати інших - єдиний остаточний спосіб боротьби з упередженнями. Як майже 25 відсотків найбільш цитованих медичних досліджень за останні 13 років не могли бути повторно перевірені? Вражаюче.
Результатом для більшості з нас є те, що практично неможливо сказати, чи дане дослідження справді демонструє позитивні, нові та надійні результати. Не вдаючись до детального аналізу дослідження - і всіх його попередників - введення нових досліджень у контекст є тривалим і складним завданням. Крім того, модель Іоаннідіса припускає, що переважна більшість психологічних досліджень - можливо, цілих 80 відсотків - є, ймовірно, неправильними. Тут справді немає срібної підкладки.
За винятком того, можливо, що дослідницькі групи, такі як Іоаннідіс, працюють, працюючи, щоб показати, як упередженість може проникнути навіть у дослідження "золотого стандарту".
Зміни тут значною мірою залежать від того, як окремі дослідники дізнаються про ці упередження і набагато більше працюють, щоб їхні дослідження були позбавлені. Але оскільки насправді жоден воротар не перевіряє дизайн дослідження чи статистичні методи, стимулів до змін мало. Фінансові та кар’єрні стимули для дослідників продовжувати публікувати, як це традиційно є для того, щоб зберегти свою академічну та професійну репутацію, залишається незмінно сильним.
Повна стаття варта вашого часу: брехня, проклята брехня та медична наука
Хоча це не ідеально, ось наш буквар декількох років тому про те, як визначити сумнівні дослідження - чи є дослідження хорошим?
