Питер Уоттс - Это злая разумная опухоль стр 8.

Может быть, моя подготовка полевого биолога заставляет меня быть более снисходительным к таким вещам, но я не считаю корректировку методов особенно возмутительной, когда это делается, чтобы адаптироваться под новые данные. Например, Бем обнаружил, что мужчины слабее, чем женщины, реагируют на уровень эротики в его изначальной подборке порно (чему, будучи мужчиной, я охотно верю: обложки любовных романов из серии Harlequin меня вообще не возбуждают). Поэтому для участников-мужчин он поднял рейтинг изображений с R до XXX. Полагаю, он мог бы и дальше использовать нестимулирующие изображения, даже осознав, что они не работают, точно так же, как ихтиолог мог бы продолжать использовать ту же самую сеть, даже обнаружив, что ячейки в ней слишком крупные для поимки того вида, который он изучает. В обоих случаях методология была бы «последовательной». А еще это была бы пустая трата времени.

Также Бема критиковали за использование тестов на статистическую значимость (т. е. он задавал вопрос «какова вероятность, что эти результаты всего лишь случайность?»), а не байесовских методов (т. е. «если наша гипотеза верна, каковы шансы получить эти конкретные результаты?»). (Кэри приводит хорошую сравнительную графику для этих двух подходов в New York Times)[26]. Подозреваю, что этот упрек может быть справедлив. Мои претензии к байесовским методам в том, что они берут за отправную точку твое собственное предвзятое мнение: ты с самого начала можешь выбрать вероятность того, что телепатия существует, и вероятность того, что это не так. Если данные будут противоречить выбранной вероятности, теорема чуть подправит ее, чтобы при следующем повторении эксперимента она больше соответствовала полученным данным; но очевидно, что если, по вашему изначальному предположению, есть 99,9999999999 % вероятности, что предвидение это чушь собачья, то потребуется гораздо больше данных, чтобы изменить это число, чем если вы начинаете с чушевероятности всего в 80 %. Вагенмакерс и др. привязывают это к знаменитому высказыванию Лапласа: «Экстраординарные утверждения требуют экстраординарных доказательств» (к которому мы вернемся под конец поста), однако это можно сформулировать и иначе чем сильнее предрассудок, тем сложнее от него избавиться. А Байес по определению использует предрассудок в качестве стартовой площадки.

Вагенмакерс и др. прогнали цифры Бема через байесовские техники, начиная со стандартных «базовых» значений изначальных вероятностей (какие именно это были значения, они не сказали, хотя и сослались на источник). Они нашли «значимые» подтверждения предвидения (Гипотезы

1

Позвольте мне решительно заявить, что неискренность этого «возможно» граничит с откровенной ложью. Нижняя правая панель вне всяких сомнений подтверждает Гипотезу

1

В какой-то степени именно решение Бема сделать свою работу легко повторяемой повесило ему на грудь эту конкретную мишень. Он избрал методы, широко известные и утвердившиеся в исследовательском сообществе; он категорически отверг мудреную статистику, предпочтя ей простую, с которой было бы удобно иметь дело другим социологам. («С байесианской точки зрения было бы логичнее поверить в то, что в дебрях сложной экспериментальной процедуры или незнакомого статистического анализа кроется некая неизвестная ошибка или артефакт, чем в то, что была продемонстрирована подлинная экстрасенсорика,  пишет он.  Ввиду этого необходимыми орудиями убеждения стали простота и известность».) Предвидя, что у некоторых могут вызвать вопросы предположения о характере распределения, лежащие в основе t-тестов, он логарифмически преобразовал свои результаты, чтобы нормализовать их перед анализом; это и вдохновило Вагенмакерса и др. на мрачные размышления о том, «какими были непреобразованные показатели времени реакции показатели, о которых не сообщалось». Бем также прогнал данные через непараметрические тесты, при которых не делается никаких предположений о характере распределения; из-за этого Олкок жалуется на необъясненные избыточные тесты, ничего не добавляющие к анализу (несмотря на то, что Бем открытым текстом изложил свою мотивацию), и на использование множества тестов без поправки на увеличенные шансы ошибочных результатов.

Последнее замечание верно в принципе, но не в данном случае. Каждый аспирант знает то отчаянное замирание в груди, которое возникает, если в результатах не прослеживается никаких закономерностей; искушение проводить бесконечные тесты и пересчеты в надежде, что господи, пожалуйста появится хоть что-то. Но у Бема уже были значимые результаты; он использовал альтернативные методы анализа на случай, если эти результаты были в чем-то артефактными, и продолжал получать значимые результаты вне зависимости от того, с какой стороны подходил к проблеме. Там, откуда я родом, обычно считается хорошим знаком, если разные подходы дают один и тот же результат.

Бем также учел вероятность того, что в алгоритмах, которые использовал компьютер, чтобы рандомизировать выбор картинок, может присутствовать какая-то тенденциозность; поэтому он повторял свои эксперименты с использованием разных генераторов случайных чисел. Он предъявил все свои записи, все неряшливые куски, которые обычно не демонстрируют, когда хотят показать результат своей работы в рецензируемом журнале. Он не просто выдержал стандарты строгости, принятые в его сфере: он их превзошел, и четыре рецензента (хоть и необязательно поверивших его результатам) не смогли отыскать методологических или аналитических изъянов, достаточных, чтобы не допустить работу к публикации.

Даже оппоненты Бема это признают. Вагенмакерс и др. открытым текстом говорят:

Они не могут логически атаковать работу Бема, не атакуя психологию в целом. Так они и поступают:

И знаете, может, они и правы. Мы, биологи, всегда посматривали на этих недалеких эзотериков из корпуса гуманитарных наук почти с таким же презрением, с каким физики и химики смотрели на нас в те времена, когда у нас еще не было этой штуки, называемой генной инженерией. Я с радостью соглашусь, что психология ущербна. Но если эта дисциплина действительно в таком плачевном состоянии, почему тревожным сигналом не послужила ни одна из менее обоснованных работ? Почему вы проспали столько десятилетий бездарной аналитики, только чтобы наброситься на статью, которая, по вашему же признанию, написана лучше других?

Как думаете, стал бы кто-нибудь с таким энтузиазмом потрошить методологию Бема, если бы тот заключил, что доказательств предвидения не существует? Вот вам подсказка: критика Олкока тщательно разбирает все эксперименты Бема, кроме  7. Возможно, в этом седьмом эксперименте все пошло как надо, думаете вы. Возможно, Олкок сделал ему поблажку, потому что методология Бема хоть раз оказалась безукоризненной? Дадим же слово самому Олкоку: