Зв’язок між легалізацією марихуани та автомобільними аваріями? Нісенітниця

У жовтні Інститут даних про втрати на шосе та Інститут страхування безпеки на автошляхах опублікували власний опублікований звіт, в якому висловлюється припущення, що існує сильний кореляційний зв’язок між рівнем автомобільних аварій та легалізацією марихуани в штатах. Це було б страшною новиною, якби висновок базувався на вагомих наукових доказах.

На жаль для цих інститутів, однак, дані досліджень в кращому випадку є неясними. І оскільки ці організації самостійно опублікували звіт, а не проходили процес наукової рецензування, важко сприймати їхні висновки серйозно.

Перш ніж ми почнемо розглядати дані, читачі повинні зрозуміти, що хоча Інститут даних про втрати на шосе (HLDI) та Інститут страхування безпеки на дорогах (IIHS) є двома різними юридичний організацій, вони мають однакове вище керівництво, однакову фізичну адресу та, можливо, набагато більше. Здається, це дві незалежні, не пов’язані між собою організації, які знайшли подібні результати, об’єднавши свої колективні думки, але це не так.

Я також маю розпочати цю статтю із звичайного наукового нагадування - співвідношення не є рівним причинно-наслідковому зв’язку. Якщо я буду проводити дослідження впливу людей на розкриття своїх парасольок у центрі міста, я виявлю дуже сильну позитивну кореляцію між цією дією та присутністю дощу. Але ми знаємо, що відкриття парасольки не призводить до дощу. Проте наука з готовністю покаже сильний взаємозв'язок між ними - наводячи деяких сумних і несвідомих дослідників на думку, що безумовно існує причинно-наслідковий зв'язок.

Давайте виберемо наші контрольні держави

У новому дослідженні дослідник розглянув дані про аварії на шосе для трьох цільових штатів, де марихуана стала легалізованою поза лікарським використанням (Monfort, 2018). Потім він порівняв рівень аварійності цих штатів із п’ятьма державами контролю (штати, які, як правило, межують із штатами легалізованої марихуани). Наприклад, Колорадо поєднували з трьома штатами: Небраска, Юта та Вайомінг.

Ви вже бачите проблему, так? Колорадо межує з шістьма штатами, а не лише з трьома: Арізоною, Нью-Мексико та Канзасом. Ми бачимо подібну проблему і з іншими обраними станами контролю. Контролем штату Орегон були Айдахо (належний штат порівняння) та Монтана - штат, що не має виходу до моря, з яким він має мало спільного та не має кордону.

Дослідник обґрунтував цей вибір, оскільки сестринська організація IIHS опублікувала попередній звіт про вибір цих станів. Ці неназвані дослідники обрали штати на основі співвідношення - часом не дуже сильного - схожості між їхніми показниками даних про аварії. Не демографічні показники, географія (звивисті гірські дороги проти рівнинних полів) чи якісь інші причини.1 Можна сперечатися, чи “сезонні моделі катастроф до 2014 року” є законною науковою змінною порівняння для вибору станів контролю, коли інші змінні здаються набагато доцільнішими.

У подальшому електронному листі з представником IIHS він зазначив, що дослідник хотів "використовувати два різні набори даних і перевірити, чи будуть результати подібними. Використання різних станів управління не мало б сенсу ".

Як відомо давнім читачам, дослідники можуть в значній мірі маніпулювати своїми даними, аналізом або гіпотезою, щоб продемонструвати результати, які вони хочуть знайти. Це одна з причин, чому багато людей, як правило, скептично ставляться до досліджень. Існує настільки багато способів, як дослідник може маніпулювати даними - часто з цілком законних, поважних причин - що виявити упередженість може бути складно.

Однак цього не було у цьому дослідженні. Я думаю, що упередження, на мій погляд, досить чітко викладені.

11 аналізів, але лише 3 значущих

Другий ознака цього звіту про дослідження є цілковитою нісенітницею - це те, що навіть коли колода карт була складена так, як обрав сам дослідник, він все ще не міг знайти великого значення в даних для більшості статистичних аналізів, які він проводив. Переконайтесь самі:

Бачите ці три зірочки? Це єдині три аналізи, які були статистично значущими. Зверніть увагу, як лише одна із цих зірочок відображається у фактичному порівнянні штатів до штату - між Колорадо та Ютою. Усі інші аналізи штату до держави не показали суттєвої різниці між контрольною державою та правовою державою, що стосується марихуани.

У семи аналізах лише від держави до держави лише один виявився таким значущим. Це досить вагомий висновок, який було висвітлено у звіті (і взагалі не згадується IIHS). У моїх дослідницьких колах ми б назвали це "слабким".

Давайте об’єднаємо дані!

Лише коли дослідник об’єднав цілу купу контрольних станів, він виявив ще дві значущі кореляції.

Як правило, я розумію, що дослідники утримуються від об’єднання даних із різнорідних джерел, якщо вони не можуть обґрунтувати рішення зробити це, а також запевнити, що основні змінні однорідні (або подібні).

Ви не тільки повинні забезпечити це для групи держав, як це зроблено в поточному дослідженні. Але дослідник також об'єднував дані протягом декількох років.

Неясно, яким обґрунтуванням дослідник обрав роки, які провів (2012-2016), окрім того, що сказав, що саме в ті роки були доступні такі дані у всіх цих штатах. Однак під час побіжного пошуку кожного з урядових веб-сайтів цих штатів я, як правило, знайшов надійні дані про падіння, починаючи з 2005 року.

Ми знаємо, що щорічні дані про аварії не є однорідними - вони можуть значно змінюватися з року в рік. Наприклад, у всіх штатах відсоток аварій зростав у 2014, 2015 та 2016 роках - незалежно від штату. Тож те, що дослідник намагається виміряти, чи відрізняється зростання штату Айдахо на 7,84 відсотка у 2015 році, ніж приріст штату Орегон на 7,09 відсотків, прихильний до Марджуани. Або те, що коефіцієнт збільшення кількості катастроф у Колорадо у 2015 році, що відповідає марихуані, на 4,37 відсотка збільшився у порівнянні з 2014 роком, суттєво відрізняється від зростання в штаті Юта на 9,96 відсотка або в Нью-Мексико на 10,19 відсотка.

Крім того, різні штати отримали різний розмір басейнів за досліджувані місяці, залежно від того, коли набули чинності роздрібні продажі марихуани. Це означало для Орегону, дослідник об’єднав 2012, 2013, 2014 і більшу частину 2015 року разом як один набір даних, а 2016 + 2 місяці в 2015 році як другий набір даних (46 місяців проти 14 місяців). Але Колорадо легалізував марихуану в січні 2014 року, тож у неї було лише два роки даних перед легалізацією та три роки після легалізації.

У чесному та точному науковому порівнянні всі набори даних повинні мати однаковий розмір з точки зору періоду, що досліджується до та після змінної, яку ви намагаєтесь виміряти під час аналізу. Особливо коли ці дані, як ми знаємо, не є однорідними.

Отже, що показують дані?

Дослідник не надав звичних деталей, які потрібні були б для тиражування його роботи. Тож ми повинні вивчити необроблені дані та просто розглянути більш очевидні проблеми.

Подивившись на Колорадо, ми можемо порівняти рівень аварійності з часом до двох інших штатів. До 2013 року в Колорадо спостерігався річний спад загального рівня аварій (всі дані з веб-сайту кожного відповідного штату). Потім у 2013 році в штаті спостерігався стрибок на 6,29 відсотка, який тривав у 2014 (6,79 відсотка) та 2015 (4,37 відсотка). У 2016 році держава зафіксувала зростання лише на 0,35 відсотка.

Порівняйте ці цифри з одним із контрольних штатів, штат Юта, який включив дослідник. У штаті Юта також спостерігалося зростання кількості аварій у 2013 році (9,05 відсотка), яка зменшилася в 2014 році (-2,96 відсотка). Рівень аварій цього штату знову зріс у 2015 та 2016 роках (9,96 відсотка та 3,94 відсотка відповідно).

Тепер порівняємо ці цифри з одним із контрольних станів, не вибраним дослідником, Нью-Мексико. У 2013 році спостерігалося зниження рівня аварій (-4,78 відсотка), але потім два роки зростання у 2014 та 2015 роках (3,64 відсотка та 10,19 відсотка відповідно). У 2016 році в Нью-Мексико відбулося зниження на -0,53 відсотка.

Я вважаю, що причиною того, що Юта була обрана замість Нью-Мексико, була проста. Рівень катастроф у 2014-2016 роках (вони є ключовими для порівняння марихуани в Колорадо) сукупно збільшив рівень аварії лише на 10,94 відсотка. Якби замість цього інститути використовували Нью-Мексико, рівень його аварій за той самий період часу становив 13,3 відсотка. Порівняно із сукупними 11,51 відсотками штату Колорадо, ви можете помітити, що штат Юта нижчий - але штат Нью-Мексико (також сусідній штат Колорадо) майже на 2 процентні пункти вище.

Покиньте все це в аналізі, який враховує “державні характеристики” (що включає лише рівень безробіття та погоду), і вуаля! Дані, які, мабуть, показують, що продажі марихуани впливають на рівень аварії.

Що це означає для марихуани?

Дані, навіть з поточних досліджень, в основному не показують статистичного значення між роздрібними продажами марихуани та кількістю автокатастроф у штаті. Якщо взагалі існує кореляція, вона є дуже слабкою і виявляється лише тоді, коли дослідник використовував, на мій погляд, сумнівний аналіз у дослідженні. Деякі сусідні штати Колорадо - наприклад, Нью-Мексико - не були включені в аналіз і продемонстрували більший приріст зростання рівня аварій за той самий період часу, ніж Колорадо.

Я вважаю, що такий звіт погано відображається як на IIHS, так і на HLDI. На мою думку, ці організації, що фінансуються переважно страховими компаніями, публікують страшні результати для досягнення політичних та ділових цілей. Вони називають ці висновки "дослідженням", незважаючи на те, що вони іноді публікуються лише на власному веб-сайті організації і, мабуть, не рецензуються, як це робиться у традиційних наукових дослідженнях. («Наше останнє дослідження щодо легалізації рекреаційної марихуани та повідомлених поліцією аварій було подано для публікації до журналу Аналіз та запобігання нещасним випадкам", - зазначає представник IIHS.)

Що ми маємо тут, це те, що я б назвав "фальшивими дослідженнями" - дослідженнями, що розтягуються, щоб показати значні взаємозв'язки, де явно існує лише великий знак питання. І навіть якщо існувало кореляційне значення, це дослідження не має нульової підтримки причинно-наслідкових зв'язків. Ми звернулися до організацій за коментарями, і вони в основному просто повернули нас до дослідження для отримання відповідей. Наприклад, прес-секретар IIHS заявив: "Дані про аварії в штатах марихуани в дослідженні IIHS не об'єднуються, але окремі результати кожного штату були об'єднані в мета-аналіз, що є прийнятим методом дослідження. Окремі результати для Колорадо та Вашингтона в аналізі HLDI статистично значущі ".

Коли я зазначив, що поточне дослідження показало значення лише для одного штату - Колорадо (і то лише порівняно з одним іншим штатом, штат Юта) - речник вказав мені на попереднє дослідження. Мабуть, не знаючи, що якщо новіші дослідження суперечить попереднім дослідженням, ви не можете просто вказувати на те, що попередні дослідження все ще є дійсними. Нове дослідження, проведене IIHS, свідчить про те, що між марихуаною та катастрофами у Вашингтоні вже немає суттєвої кореляції - прямо протилежне тому, що стверджує речник.

IIHS - це організація, яка намагається навчати та інформувати політиків, коли мова йде про безпеку автомобілістів. На жаль, більшість політиків та громадян не розуміють і не усвідомлюють, що їх підвели, і натомість вважають, що таке дослідження насправді є науковим.

Коротше кажучи, немає надійних даних, які б пов'язували роздрібні продажі марихуани зі збільшенням кількості автомобільних аварій. Дані, які ми маємо, показують лише дуже обмежену, слабку кореляцію - не причинно-наслідкову зв'язок - за допомогою статистичних хитрощів.

Відтепер я буду набагато більш скептично ставитись до будь-чого, що рекламують IIHS або HLDI.

Виноски:

1. Зокрема, «Контрольні стани були обрані на основі близькості до стану дослідження, а також подібності сезонних моделей аварій до 2014 року. Ця подібність базувалася на кореляції між місячними частотами в досліджуваному стані та кожним потенційним контрольним станом протягом 24 місяці 2012–13. Коефіцієнт кореляції Пірсона для Колорадо та Небраски становив 0,85; для Вайомінгу, 0,79; а для Юти - 0,60. Для Вашингтона в якості контролю були обрані штати Монтана (0,67) та Айдахо (0,63). Для Орегону використовувались штати Айдахо (0,67) та Монтана (0,83) ». [↩]