Несколько лет назад нейробиолог Скотт Марек был приглашен опубликовать свои новейшие исследования в известном всем специалистам журнале, посвященном  детской психологии. Предыдущие работы указывали на связь между различиями в функционировании мозга у детей и результатами тестов на интеллект. Марек решил углубить это исследование, охватив 2000 детей. Он предполагал, что увеличение объема данных лишь повысит достоверность полученных результатов. Вместе с коллегами Марек разделил данные на две части и провел идентичный анализ для каждой из них. Ожидалось совпадение итоговых результатов, однако было выявлено обратное. Авторы работы недавно опубликовали свои выводы, которые показывают, что даже масштабное исследование результатов сканирования мозга недостаточно для точного определения связи между функциями мозга и поведением человека.

Статья авторов, вероятно, говорит о том, что выводы аналогичных исследований с десятками и сотнями испытуемых могут быть неверными. Такие работы связывают различия в структуре и активности мозга с разницей в когнитивных способностях, психическом здоровье и поведении. Например, многочисленные исследования выявили определённые анатомические особенности или паттерны активности мозга, которые (как утверждается в работах) могут отличать людей, у которых была диагностирована депрессия, от людей без депрессии. Эти исследования также часто были направлены на поиск биомаркеров поведенческих черт.

Как утверждает один из рецензентов статьи, когнитивный нейробиолог из Стэнфордского университета в Калифорнии Рассел Полдрак, есть множество исследователей, посвятивших свою карьеру науке. По его словам, фактически в этой статье говорится, что результаты их работы — в основном мусор.

Стоит уточнить, что критика авторов применима только к той части исследований, которая направлена на объяснение различий в поведении людей с помощью визуализации мозга. Тем не менее, некоторые учёные считают, что критика затрагивает эту область слишком широко. По их словам, более мелкие и детальные исследования связей между мозгом и поведением могут привести к достоверным выводам.

Слабые корреляции

Марек вместе с Нико Досенбахом (нейробиолог из WashU) и другими коллегами решили разобраться в причинах неудачного анализа данных. Они проанализировали МРТ-снимки и поведенческие данные 50 тысяч участников нескольких крупных исследований по визуализации мозга, таких как UK Biobank. Некоторые из этих работ измеряли конкретные характеристики структуры мозга, например, размер определённой области. Другие использовали ФМРТ — измерение мозговой активности в покое или при выполнении различных задач, таких как запоминание. Это необходимо, чтобы выявить, как между собой взаимодействуют различные области мозга.

Далее исследователи использовали взятые из больших наборов данных подмножества для моделирования миллиардов небольших исследований. В ходе этих анализов были выявлены связи между МРТ-сканированием и различными когнитивными, поведенческими и демографическими характеристиками в выборках от 25 человек до более чем 32 тысяч человек.

В имитированных исследованиях с участием тысяч людей авторы выявили надёжные корреляции между структурой мозга и активностью в определённых участках с различными поведенческими чертами. Но эти связи, как правило, были намного слабее, чем те, о которых обычно сообщается в большинстве других реальных исследованиях.

Исследователи измерили силу корреляции, используя метрику под названием r, для которой значение 1 означает идеальную корреляцию, а 0 — её отсутствие. Самые сильные надежные корреляции имели r = 0,16, средние показатели колебались в пределах 0,01. В опубликованных реальных исследованиях значения r выше 0,2 не являются редкостью.

После авторы смоделировали более мелкие исследования и выявили гораздо более сильные ассоциации с высокими значениями r, а также то, что эти результаты не повторялись в других выборках вне зависимости от их размера. Даже ассоциации, выявленные в ходе исследования с участием 2 тысяч участников, имели только 25% шанс на повторение. Исследования с участием 500 или менее участников давали надёжные ассоциации всего в 5% случаев.

Ещё более масштабные исследования

Авторы работы не пытались повторить другие опубликованные исследования ассоциаций в масштабах всего мозга. Но уже полученные данные говорят о том, что распространённые в работах высокие значения r в большинстве случаев не что иное, как случайность, и их вряд ли возможно воспроизвести повторно.

По словам Досенбаха, факторы, препятствующие воспроизводимости в других областях (тенденция публиковать только статистически значимые результаты с высокими показателями), означают, что эти ложные ассоциации между мозгом и поведением наводнили научные публикации. Авторы публикуют только то, что имеет достаточно сильный эффект. Их легко можно найти, но, как утверждает Досенбах, они ошибочны.

Для повышения надёжности данных исследования визуализации мозга должны стать намного масштабнее. Генетические исследования страдали от ложноположительных результатов до тех пор, пока учёные и их спонсоры не начали искать ассоциации на очень широких выборках. В крупнейших общегеномных ассоциативных исследованиях в настоящее время участвуют миллионы участников. Марек не знает, сколько необходимо людей для получения надёжных результатов, но количество испытуемых совершенно точно должно измеряться в тысячах.

Как говорит Катерина Граттон (когнитивный нейробиолог из Северо-Западного университета в Эванстоне), статья Марека предполагает, что в большинстве случаев, если у вас нет действительно больших выборок, вы, скорее всего, ошибаетесь в полученных результатах, или вам повезло найти хорошую корреляцию между мозгом и поведением. По её словам, это очень важная работа в данной области.

Но некоторые учёные утверждают, что небольшие исследования всё ещё имеют ценность. Нейробиолог из Национального института психического здоровья в Бетесде Питер Бандеттини говорит, что исследования, подобные тем, что смоделировала команда Марека, искали корреляции между грубыми измерениями поведения или психического здоровья и сканированием мозга. Условия могут варьироваться от участника к участнику, размывая достоверность полученных ассоциаций.

Стивен Смит, английский нейробиолог из Оксфордского университета, утверждает, что тщательно отбирая участников и анализируя данные с использованием сложных подходов, вероятно, получится найти более сильные ассоциации между сканированием мозга и поведением, чем те, что были выявлены в исследовании. Он беспокоится, что представленная статья, возможно, переоценивает ненадёжность полученных результатов.

Статья: doi.org/10.1038/d41586-022-00767-3

Автор: Анкотир @Ancotir_science
Источник: https://habr.com/