Емоційна зараза у Facebook? Більше як погані методи дослідження

Нещодавно було опубліковано дослідження (Kramer et al., 2014), яке щось показало дивовижний - люди змінювали свої емоції та настрої на основі наявності або відсутності позитивних (і негативних) настроїв інших людей, як це висловлювалось в оновленнях статусу Facebook. Дослідники назвали цей ефект "емоційною заразою", оскільки вони мали на меті показати, що слова наших друзів у нашій стрічці новин у Facebook безпосередньо впливають на наш власний настрій.

Не зважайте на те, що дослідники ніколи насправді не вимірювали настрій когось.

І не слід пам’ятати, що дослідження має фатальний недолік. Той, який інші дослідження також пропустили, - зробивши всі результати цих дослідників дещо підозрілими.

Покидаючи осторонь смішну мову, що використовується в таких видах досліджень (насправді, емоції поширюються як «зараза»?), Ці види досліджень часто приходять до своїх висновків, проводячи мовний аналіз на крихітних шматочках тексту. У Twitter вони справді крихітні - менше 140 символів. Оновлення статусу Facebook рідко буває більше кількох речень. Дослідники насправді не вимірюють нічий настрій.

То як ви проводите такий мовний аналіз, особливо щодо 689 003 оновлення статусу? Багато дослідників звертаються до автоматизованого інструменту для цього, що називається додатком "Лінгвістичне дослідження" та "Підрахунок слів" (LIWC 2007). Ця програма описується авторами як:

Перша програма LIWC була розроблена в рамках дослідницького дослідження мови та розкриття інформації (Francis, 1993; Pennebaker, 1993). Як описано нижче, друга версія, LIWC2007, є оновленою версією оригінальної програми.

Зверніть увагу на ці дати. Задовго до заснування соціальних мереж LIWC був створений для аналізу великих текстів - таких як книга, стаття, науковий документ, есе, написане в експериментальному стані, записи в блозі чи стенограма терапевтичного сеансу. Зверніть увагу на одне спільне - усі вони мають загальну довжину, принаймні 400 слів.

Чому дослідники використовують інструмент, не призначений для коротких фрагментів тексту, щоб ... ну, аналізувати короткі фрагменти тексту? На жаль, це тому, що це один з небагатьох доступних інструментів, який може досить швидко обробити великі обсяги тексту.

Кому цікаво, скільки часу слід вимірювати текст?

Можливо, ви сидите там, чухаючи голову, дивуючись, чому важливо, як довго текст ви намагаєтеся проаналізувати за допомогою цього інструменту. Одне речення, 140 символів, 140 сторінок ... Чому довжина має значення?

Довжина має значення, оскільки інструмент насправді не дуже добре аналізує текст таким чином, як його доручили дослідники Twitter та Facebook. Коли ви просите його проаналізувати позитивні чи негативні настрої тексту, він просто враховує негативні та позитивні слова в досліджуваному тексті. Для статті, есе чи статті в блозі це чудово - це дасть вам досить точний загальний підсумковий аналіз статті, оскільки більшість статей мають довжину понад 400 або 500 слів.

Однак для твіту чи оновлення статусу це жахливий інструмент аналізу. Це тому, що він не був розроблений для диференціації - і насправді, не може диференціювати - заперечне слово в реченні.1

Давайте розглянемо два гіпотетичні приклади того, чому це важливо. Ось два зразки твітів (або оновлення стану), які не рідкість:

"Я не щасливий."

"У мене не великий день".

Незалежний оцінювач або суддя оцінить ці два твіти як негативні - вони однозначно виражають негативні емоції. Це буде +2 за негативною шкалою і 0 за позитивною шкалою.

Але інструмент LIWC 2007 не сприймає це так. Натомість він оцінив би ці два твіти як оцінку +2 за позитивну (через слова "чудовий" та "щасливий") та +2 за негативну (через слово "не" в обох текстах).

Це величезна різниця, якщо вас цікавить неупереджений та точний збір та аналіз даних.

І оскільки більша частина людського спілкування включає в себе такі тонкощі - навіть не заглиблюючись у сарказм, короткі скорочення, що виступають як заперечні слова, фрази, що заперечують попереднє речення, смайли тощо - ви навіть не можете сказати, наскільки точними чи неточними результатом аналізу цих дослідників є. Оскільки LIWC 2007 ігнорує ці тонкі реалії неформального спілкування людей, так і дослідники.2

Можливо, це пов’язано з тим, що дослідники навіть не уявляють, наскільки поганою є проблема насправді. Тому що вони просто надсилають усі ці «великі дані» в механізм мовного аналізу, фактично не розуміючи, як механізм аналізу має недоліки. Чи 10 відсотків усіх твітів містять заперечне слово? Або 50 відсотків? Дослідники не можуть вам сказати

Навіть якщо це правда, дослідження показує крихітні ефекти реального світу

Ось чому я повинен сказати, що навіть якщо ви вважаєте це дослідження справжнім, незважаючи на цю величезну методологічну проблему, ви все одно залишаєтеся з дослідженнями, що показують смішно малі кореляції, які для звичайних користувачів майже не мають сенсу.

Наприклад, Kramer et al. (2014) виявив 0,07% - це не 7 відсотків, це 1/15 відсотка !! - зменшення негативних слів в оновленнях статусу людей, коли кількість негативних дописів на їхній стрічці новин у Facebook зменшилася. Чи знаєте ви, скільки слів вам довелось би прочитати чи написати, перш ніж написати одне менше негативне слово через цей ефект? Можливо, тисячі.

Це не "ефект" настільки, як статистичний зворот, який не має реального значення. Самі дослідники це визнають, зазначаючи, що їх розмір ефекту був "малим (настільки малим, як d = 0,001). " Вони продовжують припускати, що це все ще має значення, оскільки "малі наслідки можуть мати великі сукупні наслідки", посилаючись на дослідження Facebook про мотивацію політичного голосування одним із тих самих дослідників та аргумент 22-річної давності з психологічного журналу4.

Але вони суперечать собі у попередньому реченні, припускаючи, що на емоції "важко впливати, враховуючи діапазон щоденних переживань, які впливають на настрій". Що це? Чи оновлення статусу Facebook суттєво впливає на емоції людини, чи на емоції не так легко впливати, просто читаючи оновлення статусу інших людей ??

Незважаючи на всі ці проблеми та обмеження, жодне з них зрештою не зупиняє дослідників проголошувати: «Ці результати вказують на те, що емоції, висловлені іншими у Facebook, впливають на наші власні емоції, що є експериментальним доказом масового зараження через соціальні мережі» 5. Знову ж таки, незважаючи на те, що вони насправді не вимірювали емоції чи стан настрою однієї людини, а натомість покладалися на хибну оцінку.

На мою думку, дослідники Facebook чітко демонструють, що вони надто вірять в інструменти, якими вони користуються, не розуміючи - і обговорюючи - суттєві обмеження цих інструментів.6

Довідково

Крамер, ADI, Гіллорі, JE, Хенкок, JT. (2014). Експериментальні докази масового емоційного зараження через соціальні мережі. PNAS. www.pnas.org/cgi/doi/10.1073/pnas.1320040111

Виноски:

1. Це згідно з запитом до розробників LIWC, який відповів: “На даний момент LIWC не розглядає, чи є в його оцінці термін заперечення поблизу позитивного чи негативного емоційного слова, і важко буде придумати ефективний алгоритм для це все одно ". [↩]
2. Я не міг знайти жодної згадки про обмеження використання LIWC як інструменту мовного аналізу для цілей, для яких він ніколи не був розроблений чи призначений у цьому дослідженні чи інших дослідженнях, які я розглядав. [↩]
3. Ну, вони могли б сказати вам, чи витратили вони час на підтвердження свого методу за допомогою пілотного дослідження для порівняння з вимірюванням фактичного настрою людей. Але цим дослідникам не вдалося цього зробити. [↩]
4. Є деякі серйозні проблеми з дослідженням голосування у Facebook, найменша з яких пов’язує зміни у поведінці голосування з однією кореляційною змінною, з довгим переліком припущень, зроблених дослідниками (і з якими вам доведеться погодитися). [↩]
5. Запит на роз’яснення та коментарі авторів не повернуто. [↩]
6. Це не розкопки на LIWC 2007, які можуть бути чудовим інструментом дослідження - коли вони використовуються для правильних цілей і в потрібних руках. [↩]