Наука не сломана: просто она гораздо сложнее, чем нам кажется
Если вы следите за новостями, то в последнее время ваша уверенность в науке могла заметно пострадать. Рецензирование? Скорее саморецензирование. Проведенное в ноябре 2015 года расследование раскрыло аферу, в результате которой исследователи печатали свои собственные работы в обход официального механизма рецензирования в пяти известных научных издательствах. Научные журналы? Тот еще знак качества: например, недавно International Journal of Advanced Computer Technology одобрил публикацию статьи под заголовком «Уберите меня нахрен из вашего листа рассылки», текст которой состоит только из этих семи слов, повторяющихся снова и снова на протяжении 10 страниц. Еще два журнала опубликовали статью «Нечеткие гомогенные конфигурации» за авторством Мэгги Симпсон и Эдны Крабаппл. Революционные открытия? Возможно, сфабрикованы. В мае 2015 года два магистранта из Калифорнийского университета в Беркли обнаружили ошибки во влиятельной статье Майкла Лакура, говорящей о том, что личный разговор с геем может изменить отношение человека к однополым бракам. Вскоре после этого журнал Science отозвал упомянутую статью, потому что соавтор Лакура не смог найти исходные данные.
Вместе взятые, подобные заголовки наводят на мысль, что наука – это сомнительное предприятие, которое только и делает, что выплевывает заумную чепуху. Но я провел месяцы, изучая проблемы, терзающие науку, и пришел к выводу, что громким случаям нарушений и обмана уделяется несоразмерно много внимания. С наукой всё в порядке, но ее мучает всеобъемлющая проблема: Наука трудна, просто чертовски трудна!
Если мы собираемся полагаться на науку как на средство получения истины – а это все еще лучший инструмент, который у нас есть – важно понимать, насколько трудно получить достоверный результат. Я мог бы долго разглагольствовать обо всех причинах, по которым наука – тяжкое занятие, но вместо этого просто дам вам почувствовать одну из таких трудностей на своей шкуре. Итак, добро пожаловать в дикий мир подгонки показателя p!
Заходите поиграть с данными на сайт: http://skepticsociety.ru/science_isnt_broken/
Если вы подгоняли данные до тех пор, пока не доказали, что демократы хорошо влияют на экономку, поздравляю! Идите голосовать за Хиллари Клинтон с чувством выполненного долга. Но не вздумайте хвастаться этим перед своими друзьями: то же самое можно было доказать и для республиканцев.
В нашем интерактивном примере данные можно сужать и расширять, подгоняя p, чтобы представить какую-нибудь гипотезу «верной». Сделать это несложно, потому что ответ даже на простой научный вопрос – какая партия коррелирует с экономическим успехом – требует принятия множества решений, каждое из которых может повлиять на результат. Это не означает, что наука недостоверна. Это означает, что наука – бо́льшее испытание, чем кажется на первый взгляд.
Вопрос о том, какая политическая партия лучше влияет на экономику, выглядит очень простым. Но, как видите, получить желаемый результат гораздо проще, чем достоверный. Переменные, которые вы используете для проверки гипотезы, образуют 1800 возможных комбинаций. И 1078 из них дают пригодное для публикации результатов значение p*, но это не означает, что они показывают, какая партия сильно влияет на экономику. Большинство из них говорят не об этом.
Значение p практически ничего не позволяет узнать о надежности доказательств, и, тем не менее, p = 0,05 стало пропуском во многие журналы. «Доминирующим методом оценки доказательств служит значение p», – говорит Майкл Эванс, статистик из Университета Торонто, «однако хорошо известно, что p работает не очень хорошо».
Чрезмерное увлечение научных работников показателем p привело к тому, что один журнал решил, что с него хватит. В феврале «Basic and Applied Social Psychology» заявил, что больше не будет публиковать значения p. «Мы полагаем, что преодолеть планку p < 0,05 слишком просто, и это иногда служит оправданием для низкокачественного исследования», – написали редакторы в своем сообщении. Вместо значений p журнал будет требовать «сильную описательную статистику, включая величину эффекта».
В конце концов, на самом деле ученые хотят знать, верна ли их гипотеза и насколько надежны выводы. «Значение p совершенно не подходит для ответа на эти вопросы», – говорит Регина Нуззо, статистик и журналист из Вашингтона, написавшая в прошлом году о проблеме p в Nature. Значение p лучше считать показателем неожиданности. Насколько неожиданны были бы эти результаты при допущении, что гипотеза неверна?
Когда вы манипулировали переменными в упражнении с подгонкой p и получали нужный результат, вы злоупотребляли тем, что психологи Ури Симонсон, Джозеф Симмонс и Лиф Нельсон называют «степенями свободы исследователя». Речь идет о решениях, которые ученые принимают в ходе проведения исследования. Например, они выбирают, какие наблюдения регистрировать, какие сравнивать, какие факторы нужно контролировать или, в вашем случае, что использовать для оценки состояния экономики – уровень занятости или инфляцию (или и то, и другое). Ученые нередко принимают подобные решения уже в процессе исследования; и при этом не существует очевидно правильного пути, которому нужно следовать, поэтому возникает искушение пробовать разные варианты до тех пор, пока не получится желаемый результат.
Исследователи, занимающиеся подобным – а делают это практически все, как сказал мне Симонсон – обычно не мошенничают, и даже не собираются. Они становятся жертвами природной склонности человека к предвзятости, которая побуждает их проводить исследование так, чтобы получить ложноположительный результат.
Так как публикация новых результатов сулит весьма ощутимые бонусы: постоянный контракт преподавателя или участие в интересных проектах, – есть сильный стимул подгонять p. И действительно, когда Симонсон проанализировал распределение значений p в опубликованных статьях по психологии, он выяснил, что эти значения подозрительно концентрируются вокруг 0,05. «Каждый подгонял значение p, хотя бы чуть-чуть», – сообщил мне Симонсон.
Но из этого вовсе не следует, что ученые представляют собой кучку жуликов вроде Лакура. Все они просто люди: подгонка p и аналогичные манипуляции часто совершаются из-за естественной человеческой предвзятости. «Вы можете делать это неосознанно – я делал это неосознанно», – утверждает Симонсон. «Вы на самом деле верите в свою гипотезу, получаете данные, и в том, как их анализировать, существует неопределенность». Если первый метод анализа не приносит желаемого результата, вы продолжаете перебирать методы до тех пор, пока не найдете такой, который это сделает (А если и это не сработает, то всегда можно вернуться к выдвижению гипотез и подогнать их под уже известный результат).
Подобные незаметные манипуляции (да и более заметные тоже) были обнаружены в стольких работах, что Джон Иоаннидис, профессор медицины и статистики Стэнфордского университета, в своей знаменитой статье 2005 г. заключил, что большинство результатов опубликованных исследований ложны. «Провести хорошее исследование по-настоящему трудно» – рассказал он мне, признавшись, что тоже публиковал некорректные данные. «Есть очень много потенциальных систематических ошибок, заблуждений и проблем, которые могут помешать получению надежного, заслуживающего доверия результата». Даже несмотря на это заключение, Иоаннидис не отрёкся от науки. Вместо этого он поклялся защищать ее.
Читать далее: http://skepticsociety.ru/science_isnt_broken/
И все ссылки тоже там!
#переводОС #наука #статистика
Автор Christie Aschwanden
Перевод Сергей Мирошниченко
Редактирование Катя Зверева и Игорь Борисевич
