Чи є корисними дослідження?

Хочете бути кращим споживачем соціальних досліджень? Ось коротка шпаргалка для визначення загальної законності та узагальненості практично будь-якого соціального дослідження. Майте на увазі, що ця шпаргалка не буде на 100% точною або відповідною для кожного дослідження, про яке ви, можливо, читаєте. Але це хороший короткий довідник, який допоможе вам розпочати.

Що це було за дослідження?

У найнадійніших, найкращих дослідженнях використовуються експериментальна та контрольна групи. Дослідження, які не містять контрольної групи, як правило, менш корисні, ніж ті, що роблять. Опитування є найменш потужним видом досліджень, яке можна провести, оскільки воно не має експериментальної чи контрольної групи, але може бути корисним для виявлення тенденцій або нульового рівня концепцій або гіпотез, які можна вивчити більш поглиблено.

Наскільки великим було дослідження?

Дослідження, в якому брали участь майже 50 людей, практично в будь-якому експериментальному проекті, матиме дуже, дуже обмежену узагальненість (оскільки вони майже завжди не мають достатньої статистичної потужності). Це означає, що, хоча результати можуть бути потенційно цікавими, поки вони не будуть відтворені в іншій групі (і бажано, більшій групі), ви повинні приймати їх із зерном солі. (Деякі дослідження, як окремі експериментальні конструкції, також можуть надати окремі цікаві дані або майбутні дослідження, але загалом можуть мало що сказати нам про більш широкі тенденції чи методи лікування).

Хто брав участь у дослідженні?

Хороші дослідження спрямовані на використання учасників, які є репрезентативними для населення в цілому. Чим репрезентативніша вибірка, тим більше можна легко узагальнити за результатами. Отже, дослідження 200 учасників, збалансоване за статтю, расою, соціально-економічним статусом та історією, набагато краще, ніж дослідження 200 студентів коледжів у Гарварді чи ОСУ.

Скільки часу вивчали людей?

Дослідження, яке проводить огляд учасників менш ніж за 12 тижнів для будь-якого виду лікування, практично марне. Жоден лікар, який я знаю, ніколи не мав жодного типового, загальноприйнятого типу лікування, яке працювало б менше ніж за 12 тижнів. Опитування, яке проводить опитування групи людей в один момент часу, означає, що знайдені результати підходять для того конкретного моменту часу.

З цього правила є добрі та розумні винятки для лікування тривоги (ліки часто приймають за необхідністю, а не щодня), а також для таких речей, як гострий психоз або манія. Дослідження, що вивчають ці специфічні проблеми, можуть бути коротшими, але все одно дають цінну інформацію.

Дійсно, будь-яке коротше дослідження (наприклад, 4-тижневе або 8-тижневе дослідження) забезпечує нас дещо інформація. Просто ця інформація є знімком типового лікувального режиму і не дає нам такої повної картини, як триваліше лікування. Тривалість дослідження менше турбує будь-яке дослідження, яке спеціально не вивчає лікування психічного розладу.

Хто фінансував дослідження?

Як правило, більшість досліджень, що фінансуються державою, виявлятимуть менше упередженості, ніж ті, що фінансуються компанією (наприклад, фармацевтичною компанією), яка безпосередньо зацікавлена ​​у досягненні конкретного результату. Практично всі дослідження проводяться в університетах чи лікарнях, однак, тому інформація про фінансування може бути недоступною (представники дослідників зазвичай надають мало інформації про те, як фінансувалось дослідження). Державне фінансування не означає, що дослідження не може бути погано розроблено або проведено, це просто означає, що вам не доведеться турбуватися про те, що "упередженість фінансування" впливає на результати.

Як автори говорять про свої результати?

Автори повинні бути скромними та обережними щодо своїх результатів і не робити надто широких узагальнень чи коротких висновків (особливо щодо причинно-наслідкових зв'язків, якщо причинно-наслідкові зв'язки не були передбачені в дослідженні, як це зазвичай не відбувається). Автори також повинні чітко описати обмеження поточного дослідження в будь-якій статті журналу; статті, які не містять такої інформації, слід розглядати скептично, оскільки кожне дослідження має обмеження.

Автори також повинні чітко відзначити різницю між клінічною та статистичною значимістю в дослідженнях лікування. Зміна на 2 або 3 бали шкали, що вимірює депресію, може бути статистично значущою (що призводить до «позитивного» результату), але мати мало клінічного значення для більшості учасників. (Див. Цю статтю або цю статтю для прикладів цього.) Хоча інформативно знати, що експериментальна група статистично відрізняється (наприклад, краще, ніж випадковість), ніж контрольна група, ця різниця може не мати реального значення для більшості з нас .

Остерігайтеся також досліджень, які повністю покладаються на оцінки або шкали, визначені клініцистами, без будь-яких шкал, оцінених пацієнтом. Хто краще скаже вам, що лікування ефективно, ніж сам пацієнт?

* * *

Дякуємо CL Psych за перегляд попереднього проекту цієї статті.