Попереду науки: TweetPsych
Новий сервіс, запущений цього тижня веб-розробником на ім'я Ден Зарелла під назвою TweetPsych. Заррелла також є менеджером з маркетингу компанії HubSpot, що займається інтернет-маркетингом. Заррелла називає себе "вченим", тому що, здається, це звучить сексуальніше, ніж "веб-розробник" або "менеджер з маркетингу", але він не вказує жодних академічних даних. (Я б не згадував про вченого або про повноваження, за винятком того, що Заррелла висуває конкретні наукові твердження щодо своєї нової служби.)
Цікава нова послуга продається як пропонування "психологічного профілювання" на основі того, що ви розміщуєте в Twitter. Але насправді це просто служба аналізу вмісту, що використовує два психологічні словники та ваші попередні 1000 твітів. Заррелла стверджує, що цей аналіз "будує психологічний профіль людини". Справжнє психологічне профілювання - це ціла наука, і зазвичай це робиться набагато більше, ніж просто одна частина життя людини (наприклад, те, що вони пишуть у службі мікро-блогів). Потім TweetPsych висловлює суперечливі твердження, що це "лише для розважальних цілей". Що це?
Є проблеми з одним зі словників, які Заррелла також використовує в аналізі. Один словник - LIWC - є дійсною базою даних психологічної лінгвістики. Але інший, англійський словник регресивних зображень (RID), набагато менший. RID складається з приблизно 3200 слів і коренів, віднесених до 43 категорій думки та настрою. Основною проблемою з RID є те, що вона, в основному, не має підтримки досліджень (незважаючи на цитування Заррелою веб-сайту, що здається, ніби це так). Його розробив один професіонал, який потім написав купу книг про це та інші психоаналітичні процеси. Книга - це не те саме, що рецензована стаття наукового журналу (як відомо дослідникам), і в RID повністю відсутня будь-яка емпірична підтримка. Це говорить про те, що половина аналізу є недійсною ще до того, як ми почнемо.
Другий словник, «Лінгвістичне дослідження та підрахунок слів» (LIWC), базується переважно на письмовому слові - написанні людей - або вимовленому слові - як сеанс терапії або розмова двох людей. Він не був розроблений для аналізу штучно коротких записів із 140 символів, таких як ті, що є в Twitter. Люди скорочують слова під час твіту, через обмеження кількості символів, і незрозуміло, що простий стемінг точно аналізує всі слова, написані на льоту, нестандартними скороченнями. А як щодо повторних твітів? Людина, яка щось ретвітує, не обов'язково "говорить", а натомість виступає рупором для чужих слів. Чи відрізняється послуга? Не знаючи масштабу проблеми, ви не мали б уявлення про те, чи є ваш аналіз якось штучно упередженим (якщо тільки ви не вивчили спочатку подібні проблеми). Ці проблеми можна вирішити, але в цій службі вони не розглядались.
Здатність Заррелли швидко проаналізувати 1000 твітів та порівняти весь текст, що міститься в цих словарях, за кілька секунд є чудовим подвигом лінгвістичного програмування. Тоді виклик: "Як представити результати аналізу вдумливо, інтуїтивно зрозуміло та ефективно?" Це частина, коли TweetPsych просто не вдається доставити.
Оскільки Заррелла, мабуть, має невеликий рівень психології, результати психології досить незадовільні. Ви отримуєте список "особливостей" (вашої особистості? Вашого твітування?), Які включають такі речі, як "Заняття та робота". Поруч з ним є корисний опис: «Ви багато говорите про роботу та свою роботу» та оцінка.
Гей, дякую за велике розуміння.
Ви не уявляєте, що означає оцінка, тому що для цього немає контексту. Чи хороший чи поганий 47,87 для роботи? Яке середнє значення? Інші функції включають "Справжній час", "Рух вгору", "Позитивні емоції", "Негативні емоції" та три десятки інших категорій.
Ця частина аналізу, заснована на LIWC, також настільки ж хороша, як базовий словник LIWC. Незважаючи на те, що такі категорії, як робота, досягнення та дозвілля - це «поточні проблеми», які LIWC може визначити, у них немає категорії для чогось типу «проблеми стосунків». Але ви б цього не знали, якби не знали LIWC. Це може бути щось, про що ви б згадали людям, які беруть аналіз. Інший популярний тематичний контент, про який регулярно пишуть твіти, - наприклад, політика, технології та знаменитості - також не є частиною LIWC. Тож знову ж таки, вони ніколи не з’являться в аналізі, навіть якщо це все, про що ви говорите. Тож інформація, яку може надати LIWC - і, розширюючись, TweetPsych - обмежена. (Використання спеціального словника вирішує деякі з цих проблем, але це не словник, який пропонує TweetPsych.)
“Первинний, концептуальний та емоційний зміст” від RID не містить абсолютно жодних описів, і знову ж таки, нічого, що може поставити ваші оцінки у будь-який тип контексту чи розуміння. Але оскільки це не науковий словник для початку, ви в будь-якому випадку можете майже ігнорувати оцінки. Вони могли бути розроблені випадковим чином і надати стільки ж корисної інформації.
Останньою частиною поточного аналізу є "Інші, як ти", загальний компонент будь-якої служби соціальних мереж. Цікаво, що цей компонент відсутній у першій версії цього інструменту. Виходячи виключно з того, що ви пишете в Twitter, він стверджує: "Деякі люди думають, як ви", а потім надає вам список інших людей, які перейшли на TweetPsych та ввели своє ім'я користувача для аналізу.
Звичайно ні люди, які думають як ти - це люди, які твітують, як ти. Це важлива відмінність. Послуга, яка аналізує крихітну частину того, що ви пишете щодня, і базується на аналізі, який може бути недоліком широкого використання скорочень своїх користувачів, безумовно, не може претендувати на аналіз того, що ви подумайте.
Наскільки надійний TweetPsych? Ну, сьогодні, коли я писав цю статтю, я помітив, що всі оцінки самого Ден Зарелли змінилися через один твіт (сьогодні він лише один раз написав твіт). Його показник "заняття та робота" впав на 20%, а "теперішній час" - на 16%. Його оцінка абстрактних думок знизилася на 16%. Як все це могло статися з одного твіту? Один твіт - порівняно з його 999 твітами - не повинен мати такого сильного впливу на оцінку. Якщо щось інше не відбувається.(Порівняйте знімок екрана, зроблений о 14:55 за європейським часом, з тим, що зроблений вище, зроблений сьогодні о 9:00 за східним часом
Мої власні результати аналізу минулих 1000 твітів Zarrella у програмі LIWC2007 показують щось зовсім інше. Я не знаю методології Заррелли (оскільки він не ділився нею), але я взяв текст його минулих 1000 твітів і обробив їх у двох формах через LIWC - сформовані та "як є". Жоден з них не дав жодного результату, близького до того, що з’являється на TweetPsych. Це може бути пов’язано з використанням ним старішої версії словника або якоюсь змінною перетворення, яку він додає до TweetPsych, яку він не розголошував. Ви можете переглянути результати цього аналізу LIWC2007 тут. (Я виділив жовтим, що виділив TweetPsych, а зеленим - інші ділянки, які більше не виділяє TweetPsych; зверніть увагу на суттєву різницю в оцінці.) Тим не менш, ви здивуєтесь, що саме відбувається із сервісом. Якщо його психометрична надійність та обґрунтованість сумнівні, наскільки це корисно?
TweetPsych отримує велику кількість позитивної преси, у неї влито лише трохи скептицизму. Джош Лоуенсон із CNet написав про послугу і лише побіжно зазначив: “Це робить менше про психологію, а більше про ваш особистий лексикон, але результати все ще досить весело ". Так, весело! Бен Паттерсон у Yahoo! Технолог сказав: "На жаль, психологічні профілі, які розподіляє TweetPsych, не є цілісним, розповідним розмаїттям, яке ви могли б почути від психіатра-резидента на тему" Закон і порядок: злочинні наміри ". І все ж, чи не є послідовний розповідь набагато кориснішим ніж деякі невиразні категорії? Жоден з репортерів, а також оригінальна стаття про Mashable (де, сюрприз! Заррелла є автором) не відзначають відсутність психологічного досвіду, який Заррелла викладає на стіл. Жоден не зв’язав крапки щодо того, чому результати настільки незадовільні в своїх інтерпретаціях. Очевидно, що технічні журналісти чудово перерозподіляють власні позитивні прес-релізи, але не настільки справжні журналісти, які копаються у заявленій науці про таку послугу.
Звичайно, сам Заррелла зізнається, що не надто роздумував над службою, як він сказав Пошта Нью-Йорка, "" Люди просто люблять порівнювати себе з іншими людьми і намагатися "проникнути всередину" чужих голов ", - говорить Заррелла. "Це все одно, що бути мухою на стіні під час сеансу терапії". "Сеанс терапії? Невже так проникливо виявити, що хтось говорить про «рух вгору?» Поспішаючи розмістити послугу в Інтернеті, Заррелла, мабуть, ніколи не задавав питання: "Чи справді корисна будь-яка з цих відомостей?" Послуга, яка існує сьогодні, - це недобудована думка, яку мало хто перегляне.
TweetPsych, незважаючи на свої обмеження, відкрив двері для майбутніх служб, які насправді надають корисну, корисну та дієву інформацію, яка, ймовірно, матиме більшу вагомість. Уявіть собі, що ви берете не лише твіти людини, але інформацію, що міститься в її профілі Facebook, щоденнику тощо, і покладете все це в один величезний аналітичний механізм ... Такий механізм тоді міг би мати можливість дати справжнє психологічне розуміння особистості на те, що вони говорять в Інтернеті.
До цього часу ми маємо зусилля першокурсників, такі як TweetPsych, які справді повинні називатися "TweetFun!" Тому що, хоча з нею дійсно весело грати, вона дає мало психологічного розуміння - крім найдрібнішого виду - нікому.
(Ви можете прочитати додаткові зауваження щодо TweetPsych від Тайлера Хейса тут.)
