Погані дослідження: Порівняння швидкостей читання iPad, Kindle та книг

Ми любимо дослідження юзабіліті так само, як наступна людина. Але ми любимо добре розроблені, елегантні дослідження, які справедливо вказують на власні обмеження та надруковані в рецензованих журналах найбільше. У нас менше любові до досліджень, які виконують роль пропаганди, або дослідників, які роблять висновки, не підтверджені власними даними.

Погані дослідження можна знайти де завгодно - навіть у консультантів, які заробляють на життя, проводячи дослідження щодо зручності використання. Доброзичливі люди, як-от Якоб Нільсен. Нещодавно він опублікував на своєму веб-сайті дослідження про зручність використання Kindle, iPad, ПК та книги для читання твору короткої художньої літератури.

Зазначивши, що статистичної різниці між читанням на Kindle чи iPad не було, а потім зазначивши, що дані не досягли статистичної значущості для iPad порівняно з книгою, автори цього звіту все ще заявляють, що „Книги швидше, ніж планшети”.

Ну, так, це правда на перший погляд. Але сенс досліджень та статистичного аналізу насамперед полягає в тому, щоб вийти за рамки чого здається щоб бути правдою і подивитися, чи є різниця значущою чи ні.Зрештою, дані можуть виглядати так, ніби вони щось означають, але якщо статистичні дані їх не підтримують, то поява значення - це лише ілюзія. Такий, який не слід підкреслювати в підзаголовках, оскільки він вводить в оману.

Фактично, дані цього конкретного дослідження показали, що лише читання на Kindle статистично відрізнялося від читання книги. Але це набагато менш сексуальний висновок, ніж ширше: "Книги швидше, ніж планшети".

Альтернативні пояснення результатів у цьому дослідженні не пропонувались, що є очевидним упущенням. Найбільш очевидним альтернативним поясненням знайдених результатів є просто те, що люди чудово знайомі та мають досвід читання друкованого слова в книзі - часто в десятки років! З іншого боку, час та досвід, витрачені на читання з нових пристроїв - будь то Kindle, iPad чи навіть ПК - були надзвичайно обмежені. У будь-якому випадку, люди не витрачали десятиліть, читаючи книги з одного з цих пристроїв. Тож це може бути просто питанням знайомства - книги - це прості, звичні способи проковтування матеріалу для читання. Kindle та iPad ще (поки) не є.

Це альтернативне пояснення також пояснює різницю між результатами даних Kindle та iPad (Kindle був статистично значно повільнішим за книгу, тоді як iPad - ні). IPad використовує екран, з яким більшість людей вже знайомі, і досвід компанії Apple щодо зручності користування такими портативними пристроями є загальновизнаним. Натомість Kindle використовує екранну технологію, з якою мало хто колись стикався. І хоча набагато корисніший у повсякденних ситуаціях (наприклад, читання на свіжому повітрі чи не турбуючись про необхідність щодня його заряджати), Kindle - це просто більш незнайомий пристрій із використанням незнайомих технологій.

Обмеження дослідження включають його дизайн та предметний пул. Хоча 24 суб’єкти можуть дати нам достатньо сил для статистичного аналізу, стилі читання людей досить різні, щоб більший експеримент міг дати нам більш надійні та остаточні результати. Попросити людину прочитати одну і ту ж 17-хвилинну історію чотири рази поспіль також здається менш ідеальним. Хоча порядок пристроїв, у яких вони читають, був рандомізований, я не можу не подумати, яким нудним і одноманітним було б читати одну і ту ж історію знову і знову, 4 рази поспіль.

Пропонування різних типів матеріалів для читання - як художньої, так і нехудожньої літератури - також виключає можливі наслідки того, що тип вмісту, що використовується як міра, ненавмисно не впливає також на швидкість читання. Хемінгуей - автор, який використовується в поточному дослідженні, - чудовий автор, але навряд чи я б сказав, що він до вподоби чи смаку кожному. Читання матеріалів, які вас мало цікавлять, також може вплинути на час читання.

Це дослідження продемонструвало, що різні настільні обчислювальні пристрої для читання твору короткої художньої літератури суттєво не впливають на час читання для тих, хто не знайомий з пристроями (за винятком Kindle, де час читання був значно повільнішим). Не дивно, що iPad, Kindle та book мали однакові показники задоволеності користувачів, демонструючи, що пристрої не мають значних проблем з юзабіліті, що зменшує задоволення кінцевого користувача від їх використання.