Механічний тюрк на порятунок досліджень психології?
Що є справжньою проблемою, тому що, як я зазначав ще в серпні 2010 року, існує буквально тисячі досліджень психології, заснованих не лише на групі студентів коледжу з одного містечка в університеті в США, хоча молоді люди, які відвідують коледж, можуть справді допоможіть нам зрозуміти деякі аспекти людської поведінки, ви не можете просто припустити, що поведінка, яку ви спостерігали в цих дослідженнях, стосується і 60-річних жінок і чоловіків.
На допомогу завітайте до служби механічного турецького Amazon.com. Чи можуть технології допомогти вирішити проблему пошуку достатньої кількості людей, які є більш репрезентативними для населення, і роблять це економічно ефективно?
Для початку це може допомогти зрозуміти, що таке Механічний турок. Це інтернет-ринок, який дозволяє продавцям купувати людську працю за дуже недорогі витрати для певного завдання в Інтернеті. "Сайт може похвалитися великою різноманітною робочою силою, що складається з понад 100 000 користувачів із понад 100 країн, які щодня виконують десятки тисяч завдань", - зазначають дослідники. Цим працівникам платять поштучно за кожне завдання, іноді до 1 цента. Завдання різні, і вони можуть робити що завгодно: від перегляду веб-сайту, який шукає помилки, до заповнення опитувань.
Так, заповнення опитувань. Багато психологічних досліджень засновані на тому, щоб люди заповнювали опитування. Чи не було б приємно, якби ми могли змусити людей - людей, які не були студентами коледжів - робити це за дещо менше 10 доларів за опитування ... Скажімо, 10 центів?
Бурместер та ін. (2011) має на меті з’ясувати, чи будуть такі механічні турки заповнювати опитування таким чином, щоб це відповідало людям, яких ви можете попросити зробити щось подібне віч-на-віч.
Спочатку дослідники обстежили демографічні показники 3006 учасників Mechanical Turk і порівняли їх з великою вибіркою в Інтернеті, не отриманою від Mechanical Turk. Вони виявили, що учасники Mechanical Turk (MTurk) були більш різноманітними, ніж вибірка Інтернету та стандартна вибірка студентів коледжів.
Потім вони перевірили різні цінові пункти (2, 10 і 50 центів) для заповнення набору опитувань, які зайняли різну кількість часу (5, 10 і 30 хвилин). Те, що вони виявили, не повинно дивувати тих, хто використовував MTurk:
Ці аналізи свідчать про те, що учасників можна набирати швидко та недорого. Рівень участі чутливий до суми компенсації та часових зобов’язань, але наші результати демонструють, що можна зібрати зразки пристойного розміру через MTurk лише за долари. Навіть пропонуючи лише 2 центи за 30-хвилинне завдання, ми накопичили 25 учасників (приблизно за 5 годин часу розміщення). Більше того, лише трохи збільшивши компенсацію (наприклад, до 50 центів), ми змогли отримати однакову кількість учасників менш ніж за 2 години часу розміщення.
Однак яка користь від дешевої робочої сили, якщо вона недоброякісна і не відповідає психометричним стандартам, які потрібні дослідникам психології?
Дослідники виявили, що навіть при найнижчому рівні компенсації в 2 центи рівні платежів, здається, не впливають на якість даних. Дослідники можуть платити копійки за заповнення опитувань та надійно повертати якісні дані.
Дослідники розрахували середні показники альфа-надійності на всіх рівнях компенсації для шести анкет особистості, які вони проводили в Інтернеті. Вони виявили, що альфа-бали MTurk знаходились у межах двох сотих пункту від традиційних зразків альф. Вони також протестували показники надійності тестування та повторного тестування і виявили середнє значення r = 0,88 із 60-відсотковим коефіцієнтом завершення повторного тестування. Це все дуже добрі цифри і вигідно порівнюють із традиційними методами.
Результати цього дослідження показують, що Mechanical Turk є надійною альтернативою використанню коледжів для отримання даних опитування - і навіть може бути кращою альтернативою, ніж традиційні опитування в Інтернеті. Усього за копійки люди заповнюють навіть довгі анкети, намагаючись допомогти іншим своїми проектами та дослідженнями. Хоча для підтвердження цих висновків потрібно провести більше досліджень, MTurk, схоже, є ринком, на який слід звернути увагу дослідникам психології, готуючи наступне дослідження.
Довідково
Бурместер, М., Кванг, Т., і Гослінг, С.Д. (2011). Механічний турок Amazon: нове джерело недорогих, але якісних даних? Перспективи психологічної науки, 6 (1), 3-5.
У цій статті містяться афілійовані посилання на Amazon.com, де за придбання книги Psych Central виплачується невелика комісія. Дякуємо за підтримку Psych Central!
