Рейтинг партійних шкіл - упереджене, самореалізоване пророцтво?

Принстонський огляд публікує щорічні списки коледжів «Найкраще з ...» на основі онлайн-опитування студентів кожного коледжу. Вони описують процес опитування як:

Опитування Princeton Review ставить студентам 80 запитань про науковців / адміністрацію їхньої школи, життя в університеті, студентів та їх самих. Виступи для рейтингу цього видання базуються на опитуваннях 120 000 учнів (близько 325 на студентське містечко) у 366 школах, що входять до книги (не в усіх школах країни) протягом 2006-07 та / або попередніх двох навчальних років.

Що все звучить добре і добре, поки ви не прочитаєте дрібний шрифт:

Наше опитування є якісним та анекдотичним, а не кількісним. Для того, щоб захиститись від написання записів, які не відповідають кожному конкретному коледжу, ми надсилаємо адміністративним контактам у кожну школу копію профілю, який ми маємо намір опублікувати, з широкою можливістю відповісти з виправленнями, коментарями та / або прямо заперечення. У кожному випадку, коли ми отримуємо запити на внесення змін, ми вживаємо ретельних заходів, щоб переглянути пропозиції школи щодо зібраних нами даних опитування учнів та внести відповідні зміни, коли це виправдано.

Найбільш переконливим для нас у тому, наскільки репрезентативними є результати нашого опитування, є таке: ми просимо учнів, які беруть участь в опитуванні - після того, як вони його завершили - переглянути інформацію, яку ми опублікували про їхню школу в попередньому році, і оцінити нас за її точність та дійсності. Рік за роком ми отримували високі оцінки: цього року 81 відсоток студентів сказали, що ми мали рацію.

Отже, в основному вони визнають, що дані опитувань мають на меті подати суб’єктивну, розповідну картину коледжів - а не те, з чого можна зробити широкі узагальнення. І все-таки, саме це Принстонський огляд продовжує робити з їхніми даними - черпайте широкі узагальнення зі своїх опитувань та кількісно оцінюйте коледжі. Самі коледжі можуть чинити якийсь невідомий додатковий вплив на те, чи фігурує їхня школа у будь-якому даному списку.Якщо процес ранжирування здається менш прозорим і маскується таємницею, це спеціально.

Як дослідники можуть перетворити анекдотичні дані на кількісні? Ну, науково, ви не можете (наприклад, для цього не існує жодної процедури, заснованої на дослідженнях, оскільки це буквально порівняння яблук або апельсинів). Коли така організація робить щось подібне, ви можете аргументувати, що будь-який такий рейтинг - це лише думки людей, які складають список, на основі думок інших людей про тих, хто насправді відвідував школу.

Все це було б добре, за винятком того, що Огляд поміщає всі ці речі до списків, що свідчить про те, що вони мають узагальнююче значення, коли вони цього не роблять. Список "20 найкращих шкільних шкіл" - це не що інше, як думки деяких людей, засновані на "поєднанні опитувальних питань щодо вживання алкоголю та наркотиків, годин навчання щодня та популярності грецької системи". Вони могли настільки ж легко вибрати інший набір відповідей, на який можна було б по-іншому перекосити рейтинг шкіл.

Більші школи з більшим студентським складом навряд чи суттєво відрізнятимуться з точки зору розміру їх грецької системи (великої), а також широкого розмаїття соціальних та інших неакадемічних можливостей, які вони пропонують своїм учням (що призводить до зменшення кількості годин на навчання щодня) . Чи робить це таку школу з більшою ймовірністю “партійною школою” у поєднанні з переглядом того, що учні говорять, скільки вони п’ють? Звичайно, ні. Це може просто означати, що школа є чудовим місцем як для навчання, так і для спілкування.

Плакат, представлений на минулих вихідних на APS, під назвою "Самореалізоване пророцтво та огляд Принстона: описи чи рецепти для пиття в коледжі?" вклав мені в голову пропозицію щодо таких заходів, як Принстонський огляд мають деяку сумнівну обґрунтованість. Дослідники розглянули фактичні дані про вживання алкоголю за десять років для одного середнього університету, розташованого в західній частині Нью-Йорка, і порівняли його з різними відповідними рейтингами в Принстонський огляд. Вони знайшли рейтинг у Принстонський огляд не має систематичної кореляції з будь-якими даними про вживання алкоголю, які вони досліджували. Вони виявили, що дані про вживання алкоголю корелювали з опублікованими рейтингами після їх публікації, - це наводить на думку про самореалізоване пророцтво.

Дослідники зазначили, що, оскільки їхнє дослідження проводилось лише в одному університеті, дослідження доведеться повторити в інших коледжах та університетах, перш ніж можна було б узагальнити результати. Але висновки цікаві тим не менше.

Довідково:

Кларк, К. та ін. ін. (2008). Самореалізоване пророцтво та огляд Принстону: описи чи рецепти пиття в коледжі? Плакат, представлений на 20-му щорічному з'їзді Асоціації психологічних наук, Чикаго, Іллінія, 24 травня.