Эффект приверженности: когда симпатии исследователя влияют на результат
Почему в сравнениях методов важно, кто проводит исследование.
О чём вопрос
Исследователи, предпочитающие определённый подход, склонны получать в его пользу более благоприятные результаты. Это называют эффектом приверженности. Он не означает обман: влияние может быть тонким, например в выборе сравнения, в качестве обучения терапевтов, в выборе шкал.
В спорах о том, какой метод лучше, этот эффект учитывают.
Что показывают исследования в общих чертах
В обзорах сравнительных исследований отмечали, что результаты в значительной степени коррелируют с предпочтениями авторов. Когда сравнивают подходы, к которым авторы относятся одинаково, различия между ними уменьшаются.
Ограничения
Сложно полностью устранить влияние убеждений: терапевты тоже имеют предпочтения. Для борьбы с этим используют независимых оценщиков, разные исследовательские группы, предварительную регистрацию.
Что известно и что предполагается
Известно, что приверженность связана с результатами исследований, но точный механизм обсуждается. Предполагается, что хорошо организованное слепое оценивание уменьшает влияние.
Что из этого следует на практике
Оценивая сообщения о преимуществах метода, спрашивайте, кто проводил исследование и есть ли независимое подтверждение. Для вас это способ оценить достоверность без специальной подготовки.
Пример
Допустим, команда, обучающая своему методу, сравнивает его с «обычной помощью», и метод выигрывает. Неизвестно, получал ли контроль адекватное лечение и кто оценивал результаты. Если те же результаты получены независимой группой, доверие растёт. Это не обвинение авторов, а способ защитить выводы от ненамеренных искажений.
Вопросы, которые стоит задать
Кто проводил исследование и кто оценивал результат? Есть ли независимые повторения? Не заинтересованы ли авторы финансово? Эти вопросы стоит задавать любому исследованию, особенно если оно рекламирует методику.
Итог
Приверженность есть у всех: терапевтов, исследователей, читателей. Честно признать её значит уже уменьшить её влияние. Хорошие авторы прямо пишут, к какому подходу принадлежат, и это помогает читателю делать поправку.