Предвзятость публикаций: почему мы чаще видим «успешные» исследования
Как журналы и авторы влияют на то, какие результаты становятся известны.
О чём вопрос
Исследования с положительными, яркими результатами публикуют охотнее, чем те, где эффекта не нашли. Поэтому читатель видит неполную картину. Явление называют предвзятостью публикаций, или проблемой «ящика стола»: неопубликованные результаты остаются у авторов.
В результате средние эффекты в литературе могут выглядеть завышенными.
Что показывают исследования в общих чертах
Анализ литературы по психологии и медицине выявлял признаки такого перекоса: малые исследования с яркими результатами встречаются чаще, чем можно ожидать случайно. Для борьбы с этим появились реестры, где исследования регистрируют заранее, а журналы начали принимать работы с отрицательными результатами.
Ограничения
Оценить размер искажения непросто, поскольку мы не видим неопубликованное. Статистические методы коррекции приближённы. Регистрация исследований распространена не везде, и в старых работах её нет.
Что известно и что предполагается
Известно, что предвзятость публикаций существует и влияет на выводы метаанализов. Насколько именно она завышает эффекты психотерапии в разных областях, оценивается по-разному.
Что из этого следует на практике
Полезно относиться к единичным сенсационным результатам осторожно, искать повторения и обзоры. Хороший признак — исследование, заранее зарегистрированное и прозрачно описанное.
Пример
Допустим, десять групп учёных проверяют одну идею. У двух получился яркий результат, у восьми нет. Опубликуют, скорее всего, двух. Читатель решит, что идея подтвердилась, хотя полная картина говорит об обратном. Поэтому для оценки нужно знать, были ли другие исследования и сколько.
Вопросы, которые стоит задать
Есть ли независимые повторения? Зарегистрировано ли исследование заранее? Не упоминают ли обзоры отрицательные результаты? Ищите ответы в обзорах, а не в единичных новостях.
Итог
Для читателя это означает умеренный скептицизм без цинизма. Исследования остаются лучшим источником знаний, просто их нужно читать с учётом того, чего мы можем не видеть. Один яркий результат — повод проверить, а не поверить.