Размер эффекта: как понять, насколько сильно подействовало вмешательство
Что скрывается за словами «малый, средний, большой эффект» и почему одного числа недостаточно.
О чём вопрос
В статьях о психотерапии часто пишут, что эффект «средний» или «большой». За этим стоит числовая мера размера эффекта, например d Коэна, показывающая, насколько различаются средние значения двух групп относительно разброса внутри групп. Само по себе слово «значимый» говорит лишь о том, что различие вряд ли случайно, но не о том, велико ли оно.
Поэтому размер эффекта важнее, чем фраза «результат статистически значим».
Что показывают исследования в общих чертах
Условные границы (около 0,2 — малый, 0,5 — средний, 0,8 — большой) предложены как ориентиры и часто цитируются. В психотерапии типичны эффекты от малых до больших в зависимости от состояния, способов измерения и сравнения. Эффект относительно списка ожидания, как правило, больше, чем эффект относительно другой активной терапии.
Ограничения
Условные границы не универсальны: «малое» различие может быть важным для большого числа людей, а «большое» в узком показателе может ничего не менять в жизни. Число зависит от выбора шкал и состава групп. Кроме того, средний эффект не говорит о том, как изменился конкретный человек.
Что известно и что предполагается
Известно, как считать и интерпретировать размер эффекта, и это считается стандартом в научных публикациях. Менее ясно, какой размер эффекта достаточен для практической пользы: это вопрос ценностей и контекста, а не только математики.
Что из этого следует на практике
Читая новости о «значительном эффекте», стоит искать число, сравнение, с чем сравнивали, и размер группы. Если этого нет, утверждение остаётся впечатлением, а не результатом.
Пример
Представим сообщение: «Курс снизил тревожность на 3 балла по шкале из 30». Это звучит скромно. Но если у большинства участников балл снизился на 3, а разброс невелик, эффект может быть заметным. И наоборот, «снижение на 10 баллов» у нескольких человек из сотни ничего не говорит о типичном участнике. Один и тот же результат можно показать по-разному, поэтому нужно смотреть на все числа вместе.
Вопросы, которые стоит задать
Что измеряли и какой был разброс? С чем сравнивали? Сколько людей участвовало? Что означает полученное число для повседневной жизни? Если автор не отвечает на эти вопросы, стоит относиться к выводам осторожно.