Кризис воспроизводимости: что случилось с психологическими исследованиями
Почему часть результатов не удалось повторить и как это повлияло на науку.
О чём вопрос
В 2015 году проект Open Science Collaboration опубликовал попытку повторить сотню психологических исследований, и значительная доля результатов не воспроизвелась в том виде, как они были описаны. Это вызвало обсуждение, которое называют кризисом воспроизводимости. Оно коснулось не только психологии, но и других наук.
Вывод не в том, что вся психология ошибочна, а в том, что методы нужно улучшать.
Что показывают исследования в общих чертах
Последовавшие работы выявили причины: малые выборки, гибкость анализа, избирательная публикация, слабая проверка. Сообщество начало менять практику: открытые данные, регистрация планов, повторные исследования, более крупные выборки.
Ограничения
Воспроизводимость зависит от области: одни эффекты повторяются устойчиво, другие нет. Неудачное повторение не всегда доказывает, что исходный результат неверен: могли различаться условия. Для психотерапии, где живое взаимодействие трудно стандартизировать, проблема особенно сложна.
Что известно и что предполагается
Известно, что часть классических результатов подтвердить не удалось и что стандарты стали строже. Остаётся неясным, насколько проблема затрагивает исследования конкретных терапевтических методов.
Что из этого следует на практике
Если вы встречаете яркое утверждение «учёные доказали», полезно проверить, повторялся ли результат и нет ли независимых подтверждений.
Пример
Представим, что лабораторное исследование показало необычный эффект на ста студентах, а повторение на тысяче участников его не обнаружило. Для науки это нормальный процесс самопроверки: теория уточняется. Для читателя новостей вывод в том, что единичное исследование — повод для интереса, но не для уверенности.
Вопросы, которые стоит задать
Повторялся ли результат? Какова была выборка? Опубликованы ли данные? Какие альтернативные объяснения возможны? Привычка задавать эти вопросы защищает от поспешных выводов.
Итог
Полезный итог кризиса — рост прозрачности. Всё чаще авторы заранее публикуют планы и открывают данные, а журналы принимают повторения. Это делает психологию менее эффектной, но более надёжной, и выигрывают от этого в итоге и клиенты.