Что значит «статистически значимый результат» и почему он не равен «эффективно»
Простое объяснение значимости, размера эффекта и доверительных интервалов для читателей исследований по психотерапии.
Типичная путаница
Читая новости об исследованиях, мы часто видим фразу «результат статистически значим». Многие понимают её как «доказано, что метод работает» или «эффект большой». На самом деле это не так. Значимость отвечает на узкий вопрос: насколько вероятно получить такую разницу между группами случайно, если на самом деле эффекта нет.
Поэтому важно различать несколько понятий.
Значимость и размер эффекта
Значимость зависит не только от величины эффекта, но и от размера выборки. В больших исследованиях даже небольшая разница может оказаться значимой. В маленьких даже заметный эффект может не достичь порога. Поэтому наряду со значимостью рассматривают размер эффекта: насколько велико различие в практическом смысле. Для этого используют показатели, например d Коэна, но интерпретировать их нужно с осторожностью и с учётом контекста.
Доверительный интервал
Он показывает диапазон значений, в котором с определённой вероятностью лежит истинный эффект. Широкий интервал говорит о неопределённости, узкий о большей точности. Если интервал включает ноль, результат может не отличаться от отсутствия эффекта.
Другие вопросы, которые стоит задать
Кто участвовал в исследовании, похожи ли они на вас? С чем сравнивали метод: с отсутствием лечения, с другим методом, с «листом ожидания»? Как измеряли результат: опросники, наблюдения, клиническая оценка? Сколько человек покинуло исследование? Были ли проверены результаты спустя время? Кто финансировал работу и есть ли конфликт интересов?
Полезно также помнить, что одно исследование редко решает вопрос. Более надёжны систематические обзоры и метаанализы, хотя и они зависят от качества включённых работ.
Выводы для читателя
Не принимайте решения о терапии на основе одного заголовка. Если важна доказательность, смотрите обзоры и клинические рекомендации профессиональных организаций, а затем обсуждайте результаты с врачом или специалистом. Статья даёт общее введение и не заменяет курсов статистики.
Если коротко
Значимость говорит о том, насколько результат отличается от случайного, но не о том, насколько он важен для вас. Смотрите на размер эффекта, выборку, сравнение и независимые повторения. Это помогает спокойнее относиться и к громким заголовкам, и к скептическим комментариям.