Это подчеркивает еще одну распространенную особенность ОМП: это оружие имеет свойство наказывать бедных. Отчасти это происходит из-за того, что ОМП разработано для того, чтобы оценивать большие массы людей. Оно специализируется на больших числах, и оно дешево. Это часть его привлекательности. К богатым же людям, с другой стороны, зачастую используется индивидуальный подход. В привилегированной юридической фирме или в частном детском саду личные рекомендации и личные встречи будут значить больше и случаться гораздо чаще, чем в сети ресторанов быстрого питания или в испытывающем финансовые трудности городском школьном округе. Мы постоянно видим, что привилегированные слои обслуживаются и анализируются людьми, а массы – машинами.
Неспособность Высоцки найти хоть кого-то, кто мог бы объяснить, почему она получила столь ужасный результат, тоже говорит о многом. Вердикты от ОМП подобны велениям неких алгоритмических богов. Сама модель представляет собой черный ящик, а его содержимое – яростно оберегаемая корпоративная тайна. Это позволяет таким консультантам, как MPR, брать больше денег за свою работу, но также служит и другой цели: считается, что, если людям, которых оценивают, ничего не объяснять, они с меньшей вероятностью будут пытаться обыграть систему. Вместо этого они просто будут усердно работать, следовать правилам и молиться, чтобы модель признала и оценила их усилия. А если детали скрыты, то становится сложнее поставить под сомнение результат или опротестовать его.
Не один год учителя Вашингтона жаловались на произвольные результаты и требовали разглашения принципов подсчета. Им отвечали, что это очень сложный алгоритм, – и такой ответ сам по себе уже отпугивал многих от дальнейших попыток разобраться. К сожалению, математика пугает многих. Но учитель математики Сара Бакс продолжила добиваться правды от администратора округа Джейсона Камраса. После переписки, длившейся несколько месяцев, Камрас предложил Бакс подождать технического доклада, который должен был вот-вот поступить. Бакс ответила: «Как вы можете оценивать людей с помощью процедуры, которую вы сами не в состоянии объяснить?» Но именно такова природа ОМП. Анализ перенаправлен программистам и специалистам по статистике. А они, как правило, предоставляют слово машинам.
При всем при этом Сара Высоцки была хорошо осведомлена о том, что в формуле имели большое значение результаты стандартизированного теста ее учеников. Именно здесь она подозревала наличие ошибки. Прежде чем начать свой последний учебный год в средней школе Макфарланда, она с радостью обнаружила, что ее будущие пятиклассники на удивление хорошо справились с итоговыми тестами четвертого класса. В начальной школе Барнарда, откуда пришли многие ученики Сары, уровень чтения 29 % учащихся был определен как «продвинутый», что в пять раз превышало средний показатель по городскому школьному округу.
Однако, когда начались занятия, выяснилось, что многие из ее учеников с трудом способны прочесть простое предложение. Много позднее журналистские расследования, проведенные газетами The Washington Post и USA Today, выявили высокий уровень исправлений в ответах стандартизированных тестов в 41 школе округа, включая школу Барнарда. Высокий уровень исправленных ответов указывает на большую вероятность подделки результатов. В некоторых школах под подозрение попало до 70 % классов.
Какое отношение это имеет к ОМП? Тут важны два фактора. Во-первых, алгоритмы оценки учителя – мощный инструмент для корректировки поведения. Это, собственно, и есть цель этих алгоритмов, и в школах Вашингтона они олицетворяли собой как кнут, так и пряник. Учителя знали, что, если их ученики плохо напишут тесты, их собственные рабочие места окажутся под угрозой. Это давало учителям сильную мотивацию добиться того, чтобы их ученики нормально справились с тестами, – особенно после того, как на рынок труда обрушилась Великая рецессия. В то же время, если их студенты превзошли бы сверстников, учителя и администрация могли получить бонусы суммой до восьми тысяч долларов. Добавьте эти мощные мотивационные элементы к уликам в деле – большому количеству исправлений и аномально высоким результатам, – и вы получите основания подозревать, что учителя четвероклассников либо из страха, либо из жадности подделали результаты экзаменов своих учеников.
Таким образом, вполне вероятно, что ученики Сары Высоцки начали учебный год с искусственно завышенными результатами. В таком случае результаты их тестов в конце года вполне могли показать, что у них существенно снизился уровень результатов – то есть что учителя пятого класса недостаточно хорошо их обучали. Высоцки убеждена, что именно это с ней и случилось. Это объяснение хорошо укладывалось в наблюдения родителей, коллег и директора, которые в один голос утверждали, что она очень хорошая учительница. Если бы учительницу уволили люди, это можно было бы оспорить. У Сары Высоцки были очень веские основания для апелляции.
Но апеллировать к оружию математического поражения невозможно. Это – часть его пугающей силы. Оно ни к кому не прислушивается и ни перед кем не отступает. Оно глухо не только к лести, угрозам и уговорам, но и к логике, даже когда есть хорошие основания усомниться в информации, которая послужила основной их выводов. Да, если становится очевидно, что автоматическая система выдает настолько неверные результаты, что это бросается в глаза, программисты все-таки доработают алгоритмы. Но по большей части программы изрекают вердикты, не подлежащие обжалованию, а обслуживающие их люди могут только пожимать плечами, словно хотят сказать: «Ну что же тут поделаешь?»
Именно этот ответ Сара Высоцки и получила от школьного округа. Джейсон Камрас позже сообщил Washington Post, что исправления были «подозрительными» и что цифры у ее пятого класса могли быть неверными. Но эти свидетельства не были достаточно убедительными. По его мнению, с Сарой поступили справедливо.
Видите парадокс? Алгоритм обрабатывает массу статистических данных и выдает вероятность того, что определенный человек может быть ненадежным арендатором, сомнительным заемщиком, террористом или плохим учителем. Эта вероятность выражается в результате, который может разрушить чью-то жизнь. Однако когда человек высказывает претензии к этому результату, то «подозрительные» свидетельства, могущие его оспорить, просто не принимаются во внимание. Дело должно быть железобетонным. Люди – жертвы ОМП, как мы увидим снова и снова, должны предоставить гораздо более четкие свидетельства, чем сами алгоритмы.
Пережив шок от увольнения, Сара Высоцки оставалась без работы всего несколько дней. Ее окружала масса людей, включая ее бывшего директора, которые готовы были поручиться за нее как за отличного учителя, и в результате она быстро нашла работу в школе соседнего округа, в Северной Вирджинии. Благодаря спорной модели бедная школа потеряла хорошего учителя, а богатая школа, которая не увольняет людей на основании результатов ученических тестов, этого хорошего учителя приобрела.
После ипотечного кризиса я остро осознала, насколько повсеместно распространено ОМП в банковском деле, и ту опасность, которую оно предоставляет для нашей экономики. В начале 2011 года я ушла из хедж-фонда. Позже, переименовав себя в специалиста по анализу данных, я присоединилась к стартапу в области онлайн-торговли. С этой выигрышной позиции мне было прекрасно видно, как легионы других видов ОМП ввинчиваются во все области промышленности и многие из них при этом усиливают неравенство и наказывают бедных. Оружие математического поражения находилось в самом сердце бурно развивающейся экономики данных.