Проблеми точної звітності у дослідженнях відеоігор
Ці зусилля викликають занепокоєння тим, як професійні адвокаційні групи, такі як APA, повідомляють широкому загалу про дослідження у цій галузі.
Коротше кажучи, попередні політичні заяви перебільшували силу та послідовність медіа-ефектів, передбачали науковий консенсус там, де його не було, і, можливо, завдавали великої шкоди довірі до нашої галузі в процесі.
Коріння наших проблем у сфері насильства у ЗМІ, мабуть, багато. Існують очевидні морально-хрестоносні та політиканські елементи, які відсунули поле від об’єктивності та перетворилися на жорстку ідеологію. Деякі вчені, що займаються боротьбою зі ЗМІ, розпочали розмахування колег, які не погоджуються з ними як з "апологетиками галузі". Прикро бачити, що стало з культурою нашої дослідницької галузі. Звичайно, розумно для вчених дійти різних висновків щодо того, чи сприяють ЗМІ агресії, але я думаю, що це примітніше, наскільки агресивними є деякі дослідники агресії. Можливо, проведення досліджень щодо насильства у ЗМІ робить людей більш агресивними, ніж спостереження за самим насильством у ЗМІ.
Одне занепокоєння, яке мене викликало у цій галузі, полягає в тому, як часто дані подаються громадськості в оману. В нещодавній статті, опублікованій в American Psychologist, я обговорюю, як такі групи, як APA та Американська академія педіатрії, оприлюднювали коментарі, які були трохи кращими за наукові міські легенди. Сюди входять поняття або наукового консенсусу, або послідовних наслідків, а також довго дискредитовані порівняння з такими медичними дослідженнями, як куріння та рак легенів, або твердження, що інтерактивний характер відеоігор відрізнявся від інших засобів масової інформації.
Деякі проблеми з мета-аналізом
У мене також є занепокоєння щодо того, як мета-аналіз був неналежним чином використаний у цій галузі. Звичайно, мета-аналіз, ймовірно, використовується неправильно досить часто, особливо в підході "середній ефект перемагає" під час використання мета-аналізу для вирішення академічних дискусій. Використання метааналізу таким чином є явно упередженим на користь тих, хто вірить в ефект, і не важко показати, чому.
Уявімо, у нас є гіпотеза, що спаржа викликає депресію. Дослідники провели десять різних досліджень цієї гіпотези, всі однакові за обсягом вибірки, методологією тощо.П'ять із них знаходять кореляції в діапазоні r = .3 (невелика, але практично суттєва кореляція). Решта нічого не знаходять.
З’єднайте їх у базовий мета-аналіз, і середній розмір ефекту буде r = .15. Всюди ненависники спаржі (в тому числі і я) оголошують про перемогу. Але, з наукової точки зору, це нонсенс. Мета-аналіз використовується, щоб змити 50-відсоткову невідповідність швидкості, що, насправді, є досить сумним для даної гіпотези.
Як зазначив Джон Грохол у своєму недавньому дописі в блозі, одним із прикладів зловживання метааналізом став метааналіз насильства у відеоіграх Андерсона та його колег у 2010 році. Доктор Грохол зазначає ряд проблем з цим мета-аналізом, таких як упередженість вибору у включених дослідженнях. Автори мета-аналізу Anderson et al., Як правило, є прихильниками ідеї про необхідність проведення всебічного пошуку неопублікованих досліджень. В недавньому обміні, який буде опублікований у майбутньому виданні Європейський психолог, один із авторів (д-р Бред Бушман) визнав, що вони не проводили такого всебічного пошуку неопублікованих досліджень (про що ті з нас у цій галузі знають вже деякий час).
Звітування ЗМІ про мета-аналізи
Однак у мене є більше занепокоєння щодо того, як часто передається цей мета-аналіз, що передбачає узгодженість у цій галузі досліджень, де такої немає.
Наприклад, у нещодавній редакції CNN доктор Бушман так описав їх мета-аналіз:
Ми з колегами провели всебічний огляд 136 статей, що повідомляють про 381 ефект із залученням понад 130 000 учасників по всьому світу. Ці дослідження показують, що жорстокі відеоігри посилюють агресивні думки, гнівні почуття, фізіологічне збудження (наприклад, частоту серцевих скорочень, кров'яний тиск) та агресивну поведінку. Насильницькі ігри також зменшують поведінку, яка допомагає, і почуття співчуття до інших. Наслідки мали місце для чоловіків та жінок різного віку, незалежно від того, в якій країні вони жили.
З цього широкого узагальнення читачам може бути вибачено думку, що 136 статей прийшли до одного висновку або що 130 000 учасників відповідали на жорстокі відеоігри однаково. Це було далеко не так. Натомість мета-аналіз був використаний, щоб відмітити невдалі реплікації та намалювати картину послідовності. Це те, що «середній розмір ефекту» виграє зловживання метааналізом. Якщо ви запускаєте мета-аналіз і отримуєте щось, що відрізняється від нуля, чому б не продовжити і не натякати на те, що все поле узгоджене?
Доктор Бушман також не зазначив, що це були переважно двовимірні відносини, про які він повідомляв, і що у багатьох випадках контроль за чимось таким простим, як стать та (у лонгітюдних дослідженнях) агресія часу 1 значно зменшила оцінку розміру ефекту, часто до тривіальних значення. Іноді я бачив презентації, засновані на даних метааналізу 2010 року, який мав на увазі, що насильство у відеоіграх поступається лише насильству з боку банди як причині молодіжного насильства (незважаючи на те, що більшість досліджень у відеоіграх стосуються агресії, а не насильства), і значно випереджає такі речі, як жорстоке виховання. Це, очевидно, нісенітниця, навіть якщо ви турбуєтесь про жорстокі відеоігри.
Мета-аналіз, який знімає невідповідності в тій чи іншій галузі і використовується для великих проголошень про насуваючусь загибель, є поганою наукою. Але це робить чудові заголовки. До чого, на мою думку, наша галузь, на жаль, зводилася: проведення досліджень не для того, щоб проводити об’єктивну науку, а за заголовками, які настільки лякають батьків, політиків та інших науковців, що відповідає певному моральному хрестовому походу.
Саме цей культурний занепад у нашій галузі зумовив таку велику групу науковців висловити свою стурбованість АПА. Будемо сподіватися, що APA слухає.
