Квазі-експеримент

Квазі-експеримент — це емпіричне інтервенційне дослідження, що використовується для оцінки причинового впливу втручання на цільову популяцію без випадкового призначення[en]. Квазіекспериментальне дослідження поділяє схожість із традиційним плануванням експерименту або рандомізованим контрольованим дослідженням, але в ньому зокрема відсутній елемент випадкового призначення до лікувальної групи або до контрольної групи. Натомість квазі-експериментальні плани експерименту, як правило, дозволяють досліднику керувати віднесенням до лікувальної групи по якомусь критерію, відмінному від випадкового призначення (по критерію прийнятності).[1] У деяких випадках дослідник може контролювати призначення лікування. Квазі-експерименти викликають занепокоєння щодо внутрішньої валідності, оскільки лікувальні та контрольні групи можуть бути не порівнянними на вихідному рівні. При випадковому розподілі учасники дослідження мають однакові шанси потрапити до групи втручання або групи порівняння. Як результат, відмінності між групами як за спостережуваними, так і за неспостережуваними характеристиками будуть пояснюватися випадковістю, а не систематичним фактором, пов'язаним з лікуванням (наприклад, тяжкістю захворювання). Сама рандомізація не гарантує, що групи будуть рівнозначними на початковому рівні. Будь-яка зміна характеристик після втручання, ймовірно, може бути пов'язана з втручанням. За допомогою квазі-експериментальних досліджень може бути неможливо переконливо продемонструвати причиново-наслідковий зв'язок між станом лікування та спостережуваними результатами. Це особливо вірно, якщо є змішувальні змінні, які неможливо контролювати або враховувати.[2]

Планування

Перша частина створення плану квазі-експериментального дослідження полягає у виявленні змінних. Квазінезалежна змінна буде x-змінною, змінною, якою маніпулюють, щоб вплинути на залежну змінну. «X», як правило, групова змінна з різними рівнями. Групування означає дві або більше груп, наприклад, дві групи, які отримують альтернативні методи лікування, або групу лікування та групу, яка не отримує лікування (яким може бути надано плацебо — плацебо частіше використовують у медичних або фізіологічних експериментах). Прогнозованим результатом є залежна змінна, яка є змінною y. При аналізі часових рядів спостерігаються будь-якихі міни залежної змінної у часі, які можуть відбутися. Після того, як змінні були ідентифіковані та визначені, слід застосувати процедуру та вивчити групові відмінності.[3]

У експерименті з випадковим призначенням досліджувані одиниці мають однакові шанси бути призначеними на певне лікування. Таким чином, випадковий розподіл гарантує, що експериментальна та контрольна групи є рівнозначними. У квазі-експериментальному плануванні призначення певного лікування базується на чомусь іншому, ніж на випадковому призначенні. Залежно від типу квазі-експериментальної конструкції, дослідник може контролювати віднесення до лікування, але використовувати деякі критерії, крім випадкового присвоєння (наприклад, граничний бал), щоб визначити, які учасники отримують лікування, або дослідник може не мати контроль за призначенням лікування та критерії, що використовуються для призначення, можуть бути невідомими. Такі фактори, як вартість, доцільність, політичні проблеми чи зручність, можуть впливати на те, як або якщо учасники призначаються до тих чи інших умов лікування, і такі, квазі-експерименти піддаються сумніву щодо внутрішньої валідності (тобто, чи можуть результати експерименту бути використовується для причиново-наслідкового висновку?).

Квазіексперименти ефективні також тим, що використовують «тестування до та після». Це означає, що перед тим, як збирати будь-які дані, проводяться тести, щоб перевірити, чи є хтось, хто викликає занепокоєння, чи хтось із учасників має певні тенденції. Потім проводиться власне експеримент із записом результатів тестів після. Порівняння цих даних може бути виконане як частина дослідження, або дані перед тестом можна включити в пояснення фактичних експериментальних даних. Квазі-експерименти мають незалежні змінні, які вже існують, такі як вік, стать, колір очей. Ці змінні можуть бути безперервними (вік) або категоріальними (стать). Коротше кажучи, природні змінні вимірюються в рамках квазі-експериментів.[4]

Існує кілька типів квазі-експериментальних планів досліджень, кожен з яких має різні сильні, слабкі сторони та області застосування. Ці плани включають (але не обмежуються):[5]

З усіх цих планів досліджень планування з переривчастою регресією є найбільш наближеним до планування експерименту, оскільки експериментатор підтримує контроль за призначенням лікування, і, як відомо, він дає «неупереджену оцінку ефектів лікування».[5] Однак це вимагає великої кількості учасників дослідження та точного моделювання форми функції між призначенням та змінною результату, щоб отримати таку ж потужність, як традиційне планування експерименту.

Хоча квазі-експериментів іноді уникають ті, хто вважає себе експериментальними пуристами (змусивши Дональда Т. Кемпбелла ввести для них термін «неприємні експерименти»),[6] вони надзвичайно корисні в областях, де неможливо або бажано проводити експеримент або рандомізоване контрольне дослідження. Такі випадки включають оцінку впливу змін державної політики, освітніх втручань чи широкомасштабних заходів охорони здоров'я. Основним недоліком квазі-експериментальних конструкцій є те, що вони не можуть усунути можливість упередженості, що викликає занепокоєння, що може перешкодити спроможності робити причиново-наслідкові висновки. Цей недолік часто використовується для зниження цінності квазі-експериментальних результатів. Однак таке упередження можна контролювати за допомогою різних статистичних методів, таких як множинна регресія, якщо можна ідентифікувати та виміряти змішувальні змінні. Такі методи можна використовувати для моделювання та часткового згладжування ефектів методів змішування змінних, тим самим покращуючи точність результатів, отриманих в результаті квазі-експериментів. Більше того, розвивається використання відповідності оцінки схильності до збігу учасників за змінними, важливими для процесу вибору лікування, може також підвищити точність квазі-експериментальних результатів. Насправді було показано, що дані, отримані в результаті квазі-експериментального аналізу, тісно відповідають експериментальним даним у певних випадках, навіть коли використовувались різні критерії.[7]

У підсумку, квазі-експерименти є цінним інструментом, особливо для прикладного дослідника. Самі по собі квазі-експериментальні плани досліджень не дозволяють робити остаточні причиново-наслідкові висновки; однак вони надають необхідну та цінну інформацію, яку неможливо отримати лише експериментальними методами. Дослідникам, особливо тим, хто зацікавлений у дослідженні прикладних дослідницьких питань, слід вийти за рамки традиційного планування експерименту та скористатися можливостями, властивими квазі-експериментальним планам.[5]

Етика

Наприклад, справжній експеримент може випадковим чином призначити дітей на стипендію, щоб контролювати всі інші змінні. Квазіексперименти зазвичай використовуються в соціальних науках, громадському здоров'ї, освіті та аналізі політики, особливо коли недоцільно або непрактично розподіляти учасників дослідження за умовами лікування (впливу).

Як приклад, припустимо, ми поділяємо домогосподарства на дві категорії: домогосподарства, в яких батьки б'ють своїх дітей, і домогосподарства, в яких батьки не б'ють своїх дітей. Ми можемо провести лінійну регресію, щоб визначити, чи існує позитивна кореляція між побоями батьків та агресивною поведінкою їхніх дітей. Однак просто рандомізувати батьків на те, щоб вони били або не шльопали своїх дітей, може бути непрактично чи неетично, оскільки деякі батьки можуть вважати, що морально неправильно шльопати своїх дітей і відмовляться від участі.

Деякі автори розрізняють природний експеримент та «квазі-експеримент».[1][5]Відмінність полягає в тому, що в квазі-експерименті критерій призначення призначається дослідником, тоді як у природному експерименті призначення відбувається «природним шляхом», без участі дослідника.

Квазіексперименти містять показники результатів, методи лікування та експериментальні одиниці, але не використовують випадкове призначення. Квазіексперименти часто є тим планом, який більшість людей обирають перед справжніми експериментами. Основна причина полягає в тому, що їх зазвичай можна проводити, тоді як справжні експерименти не завжди можуть бути проведені. Квазіексперименти цікаві тим, що вони включають особливості як експериментальних, так і не експериментальних планів досліджень. Вимірювані змінні можуть бути додані, а також підконтрольні, змінювані змінні. Зазвичай квазі-експерименти вибирають експериментатори, оскільки вони максимізують внутрішню та зовнішню обґрунтованість.[8]

Переваги

Оскільки квазі-експериментальні плани використовуються, коли рандомізація є непрактичною та / або неетичною, їх, як правило, простіше поставити, ніж справжні експериментальні плани, які вимагають випадкового призначення суб'єктів.[9] Крім того, використання квазі-експериментальних конструкцій мінімізує загрози для екологічної валідності, оскільки природне середовище не страждає від таких самих проблем штучності, як у добре контрольованих лабораторних умовах.[10] Оскільки квазі-експерименти є природними експериментами, висновки в одному можуть застосовуватися до інших предметів та обставин, дозволяючи зробити деякі узагальнення щодо популяції. Крім того, цей метод експериментування ефективний при лонгітюдному дослідженні, яке включає більш тривалі періоди часу, за якими можна спостерігати в різних середовищах.

Інші переваги квазі-експериментів включають ідею проведення будь-яких маніпуляцій, які обрав експериментатор. Під час природних експериментів дослідникам доводиться дозволяти змінам відбуватися самостійно і не мати над ними контролю. Крім того, використання самостійно вибраних груп у квазі-експериментах також призводить до виникнення етичних, умовних тощо проблем під час проведення дослідження.[8]

Недоліки

Квазіекспериментальні оцінки впливу піддаються забрудненню непевними змінними.[1] У наведеному вище прикладі на зміну реакції дітей на побої правдоподібно впливають фактори, які неможливо легко виміряти та контролювати, наприклад, власна дикість дитини або дратівливість батьків. Відсутність випадкового призначення в методі квазі-експериментального планування може дозволити дослідженню бути більш здійсненними, але це також створює багато проблем для дослідника з точки зору внутрішньої валідності. Цей недолік рандомізації ускладнює виключення непевних змінних та вносить нові загрози для внутрішньої валідності.[11] Оскільки рандомізація відсутня, деякі знання про дані можна наблизити, але висновки про причиново-наслідкові зв'язки важко визначити через безліч сторонніх та змішувальних змінних, які існують у соціальному середовищі. Більше того, навіть якщо ці загрози внутрішній валідності оцінені, причиново-наслідковий зв'язок все ще не може бути повністю встановлений, оскільки експериментатор не має повного контролю над сторонніми змінними.[12]

До недоліків також належать досліджувані групи, які можуть надати слабкі докази через відсутність випадковості. Випадковість приносить багато корисної інформації для дослідження, оскільки вона розширює результати і, отже, забезпечує кращу представленість популяції в цілому. Використання нерівних груп також може загрожувати внутрішній валідності. Якщо групи не рівні, що іноді буває у квазі-експериментах, тоді експериментатор може не бути впевненим, що причини результатів.[4]

Внутрішня валідність

Внутрішня валідність — це приблизна істина про висновки щодо причиново-наслідкових зв'язків. Ось чому обґрунтованість є важливою для квазі-експериментів, оскільки всі вони стосуються причиново-наслідкових зв'язків. Це відбувається, коли експериментатор намагається контролювати всі змінні, які можуть вплинути на результати експерименту. Статистична регресія, історія та учасники — усі можливі загрози внутрішній валідності. Питання, яке ви хотіли б задати, намагаючись зберегти високу внутрішню валідність, — «Чи є інші можливі причини результату, крім причини, яку я хочу?» Якщо так, то внутрішня валідність може бути не такою вже сильною.[8]

Зовнішня валідність

Зовнішня валідність — це ступінь, в якому результати, отримані на основі вибірки дослідження, можуть бути узагальнені «до» певної конкретно визначеної сукупності, що представляє інтерес, та «поміж» субпопуляціями людей, часу, контексту та методів дослідження.[13] Джон Г. Лінч-молодший стверджував, що узагальнення популяції майже ніколи неможливе, оскільки популяції, на які ми хотіли б проектувати висновки, є мірами майбутньої поведінки, вибірки яких за визначенням неможливо взяти.[14] Отже, більш актуальним є питання, чи узагальнюють ефекти лікування «поперек» субпопуляцій, які різняться залежно від фонових факторів, які можуть не бути помітними для дослідника. Зовнішня валідність залежить від того, чи мають дослідження лікування однорідні ефекти для різних підмножин людей, часу, контекстів та методів дослідження, чи змінюються ознака та величина будь-яких ефектів лікування між підмножинами способами, які не можуть бути визнані або зрозумілі дослідниками.[15] Сьюзен Атей та Імбенс, Аті та Вейджер запровадили методи машинного навчання для індуктивного розуміння різнорідних ефектів лікування.[16][17]

Типи планування

Проекти «лікування на особу» (індивідуальне лікування) — це найпоширеніший тип планування квазі-експериментів. У цій конструкції експериментатор вимірює принаймні одну незалежну змінну. Поряд із вимірюванням однієї змінної, експериментатор також буде маніпулювати іншою незалежною змінною. Оскільки відбувається маніпулювання та вимірювання різних незалежних змінних, дослідження в основному проводяться в лабораторіях. Важливим фактором у роботі із схемами індивідуального лікування є те, що потрібно буде використовувати випадкове призначення, щоб переконатися, що експериментатор має повний контроль над маніпуляціями, які проводяться під час дослідження.[18]

Приклад такого типу планування був виконаний в Університеті Нотр-Дам. Дослідження проводилось для того, щоб з'ясувати, чи не призводило наставництво до підвищеного задоволення від роботи. Результати показали, що багато людей, які мали наставника, демонстрували дуже високе задоволення роботою. Однак дослідження також показало, що ті, хто не отримав наставника, також мали велику кількість задоволених працівників. Зайберт дійшов висновку, що, хоча працівники, які мали наставників, були щасливі, він не міг припустити, що причиною цього були самі наставники через велику кількусть людей без наставників, які сказали, що вони задоволені. Ось чому попередній скринінг дуже важливий, щоб можна було звести до мінімуму будь-які недоліки в дослідженні, перш ніж їх побачити.[19]

«Природні експерименти» — це інший тип планування квазі-експериментів, який використовується дослідниками. Він відрізняється від індивідуального лікування тим, що не існує змінної, якою маніпулює експериментатор. Замість того, щоб контролювати принаймні одну змінну, наприклад, схему індивідуального лікування, експериментатори не використовують випадкове призначення і залишають керування експериментом на волю випадку. Звідси походить назва «природний» експеримент. Маніпуляції відбуваються природним шляхом, і хоча це може здатися неточним методом, насправді це виявилося корисним у багатьох випадках. Це дослідження, проведені на людях, з якими раптом щось трапилось. Це може означати добре чи погано, травматично чи ейфорично. Прикладом цього можуть бути дослідження, проведені на тих, хто потрапив у дорожньо-транспортну пригоду, і на тих, хто ні. Автомобільні аварії трапляються природним шляхом, тому не було б етично проводити експерименти з метою травматизації досліджуваних. Ці природні події виявились корисними для вивчення випадків посттравматичного стресового розладу.[18]

Примітки

  1. ↑ а б в Dinardo, J. (2008). natural experiments and quasi-natural experiments. The New Palgrave Dictionary of Economics. с. 856—859. doi:10.1057/9780230226203.1162. ISBN 978-0-333-78676-5.
  2. ↑ Rossi, Peter Henry; Mark W. Lipsey; Howard E. Freeman (2004). Evaluation: A Systematic Approach (вид. 7th). SAGE. с. 237. ISBN 978-0-7619-0894-4.
  3. ↑ Gribbons, Barry; Herman, Joan (1997). True and quasi-experimental designs. Practical Assessment, Research & Evaluation. 5 (14). Архів оригіналу за 2 травня 2013.
  4. ↑ а б Morgan, G. A. (2000). Quasi-Experimental Designs. Journal of the American Academy of Child & Adolescent Psychiatry. 39 (6): 794—796. doi:10.1097/00004583-200006000-00020. PMID 10846316.
  5. ↑ а б в г Shadish; Cook; Cambell (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Boston: Houghton Mifflin. ISBN 0-395-61556-9.
  6. ↑ Campbell, D. T. (1988). Methodology and epistemology for social science: selected papers. University of Chicago Press. ISBN 0-226-09248-8.
  7. ↑ Armstrong, J. Scott; Patnaik, Sandeep (1 червня 2009). Using Quasi-Experimental Data To Develop Empirical Generalizations For Persuasive Advertising (PDF). Journal of Advertising Research (англ.). 49 (2): 170—175. doi:10.2501/s0021849909090230. ISSN 0021-8499. S2CID 14166537. Архів (PDF) оригіналу за 17 серпня 2017.
  8. ↑ а б в DeRue, Scott (September 2012). A Quasi Experimental Study of After-Event Reviews. Journal of Applied Psychology. 97 (5): 997—1015. doi:10.1037/a0028244. PMID 22506721. Архів оригіналу за 2 Січня 2020. Процитовано 17 Грудня 2020.
  9. ↑ CHARM-Controlled Experiments [Архівовано 2012-07-22 у Wayback Machine.]
  10. ↑ http://www.osulb.edu/~msaintg/ppa696/696quasi.htm[недоступне посилання з 01.07.2016]
  11. ↑ Lynda S. Robson, Harry S. Shannon, Linda M. Goldenhar, Andrew R. Hale (2001)Quasi-experimental and experimental designs: more powerful evaluation designs [Архівовано 16 вересня 2012 у Wayback Machine.], Chapter 4 of Guide to Evaluating the Effectiveness of Strategies for Preventing Work Injuries: How to show whether a safety intervention really works [Архівовано 28 березня 2012 у Wayback Machine.], Institute for Work & Health, Canada
  12. ↑ Research Methods: Planning: Quasi-Exper. Designs [Архівовано 2013-03-18 у Wayback Machine.]
  13. ↑ Cook, Thomas D. and Donald T. Campbell (1979), Quasi-experimentation: Design & Analysis Issues for Field Settings. Boston: Houghton-Mifflin
  14. ↑ Lynch, John G., Jr. (1982), "On the External Validity of Experiments in Consumer Research, " Journal of Consumer Research, 9 (December), 225—239.
  15. ↑ Cronbach, Lee J. (1975), «Beyond the two disciplines of scientific psychology» American Psychologist 30 (2), 116.
  16. ↑ Athey, Susan, and Guido Imbens (2016), «Recursive partitioning for heterogeneous causal effects.» Proceedings of the National Academy of Sciences 113, (27), 7353–7360.
  17. ↑ Wager, Stefan, and Susan Athey (2018), «Estimation and inference of heterogeneous treatment effects using random forests.» Journal of the American Statistical Association 113 (523), 1228—1242.
  18. ↑ а б Meyer, Bruce (April 1995). Quasi & Natural Experiments in Economics (PDF). Journal of Business and Economic Statistics. 13 (2): 151—161. doi:10.1080/07350015.1995.10524589. S2CID 56341672. Архів оригіналу (PDF) за 2 Червня 2018. Процитовано 18 Грудня 2020.
  19. ↑ Seibert, Scott (1999). The Effectiveness of Facilitated Mentoring A Longitudinal Quasi Experiment. Journal of Vocational Behavior. 54 (3): 483—502. doi:10.1006/jvbe.1998.1676.

Джерела