Пример Абрахама Вальда показывает, как нестандартное мышление и математическая строгость могут помочь преодолеть когнитивные искажения и принимать более обоснованные решения. Понимание и учет систематической ошибки выжившего важный навык для любого, кто работает с данными и стремится к объективному анализу действительности.
История и современность: Путешествие сквозь систематическую ошибку выжившего
Концепция систематической ошибки выжившего, хотя и уходит корнями в древнюю философию, получила научное развитие относительно недавно. Одним из первых, кто обратил внимание на эффекты искажения данных, был выдающийся статистик Фрэнсис Гальтон. В своем знаменитом исследовании наследования роста Гальтон (Galton, 1886; Stigler, 2010) обнаружил феномен «регрессии к среднему» тенденцию выдающихся характеристик родителей проявляться у их детей в меньшей степени. Этот результат лег в основу более глубокого понимания статистических искажений, возникающих при анализе неполных или смещенных выборок. Хотя работа Гальтона не была напрямую связана с систематической ошибкой выжившего, она заложила основы для понимания статистических искажений в целом. Концепция систематической ошибки выжившего как отдельного феномена была развита позже, в том числе благодаря работам в области военной статистики и экономики в середине 20 века.
Фрэнсис Гальтон, британский ученый, статистик и пионер в области евгеники, ввел понятие «регрессии к среднему» (regression to the mean) в конце XIX века. Этот феномен описывает тенденцию, согласно которой у родителей с выдающимися характеристиками (например, рост, интеллект или физические способности) дети, как правило, ближе к средним значениям этих характеристик в популяции.Пример из работы Гальтона. Исследуя наследуемость роста, Гальтон заметил, что высокие родители, как правило, имеют детей ниже своего роста, но выше среднего по популяции. Аналогично, низкие родители имеют детей выше их роста, но ниже среднего. Этот эффект не указывает на «обратное движение», а скорее на статистическую закономерность: экстремальные значения по одной выборке (родители) имеют тенденцию быть менее экстремальными в следующей выборке (дети).
Математическое объяснение. Регрессия к среднему объясняется тем, что экстремальные значения часто возникают из-за комбинации факторов: наследуемых (генетических) и случайных (ошибок измерения, уникальных событий). Когда случайные факторы «сглаживаются», последующее поколение приближается к среднему значению.
прорывом в изучении систематической ошибки выжившего стала работа математика Абрахама Вальда, проведенная в разгар Второй мировой войны. Анализируя данные о повреждениях военных самолетов, Вальд сумел разглядеть скрытую часть картины машины, не вернувшиеся из боевых вылетов. Его подход не только спас жизни многих пилотов, но и заложил методологический фундамент для выявления и коррекции систематических ошибок в самых разных областях науки (Wald, 1943). Мангель и Саманьего (Mangel Samaniego, 1984) удтверждают, что работа Вальда оказала глубочайшее влияние на все дальнейшее развитие статистической науки.
Когнитивные психологи изучают механизмы человеческого мышления, ответственные за систематические ошибки восприятия и суждения. Канеман и Тверски (Tversky Kahneman, 1973) показали, что люди склонны переоценивать значимость ярких и легкодоступных примеров успеха, игнорируя гораздо более многочисленные, но менее заметные случаи неудач. Их концепция эвристики доступности (Availability Heuristic) объяснила, почему истории триумфа застилают наше внимание, мешая составить реалистичную картину шансов на успех в той или иной области.
В своем труде «The Improbability Principle» Хэнд (Hand, 2014) обобщил и систематизировал множество статистических феноменов, показав, как развитие статистической науки помогает глубже понимать и точнее учитывать различные формы систематических искажений в анализе данных. Систематическая ошибка выжившего рассматривается Хэндом в контексте Закона отбора. Этот закон касается того, как выборочный отбор данных может искажать наше восприятие вероятности событий.
Дэвид Хэнд разработал комплексную теорию, объясняющую природу редких и кажущихся невероятными событий. Его принцип невероятности состоит из пяти взаимосвязанных законов, которые помогают понять, почему маловероятные события происходят чаще, чем можно было бы ожидать.Закон неизбежности объясняет, почему даже самые маловероятные события в конце концов происходят. Представьте, что вы подбрасываете монету. Вероятность выпадения десяти орлов подряд очень мала, но, если вы будете подбрасывать монету достаточно долго, такая серия обязательно появится. Этот закон напоминает нам, что «невозможное» часто является просто «маловероятным», требующим достаточного количества попыток.
Закон по-настоящему больших чисел становится особенно актуальным в современном мире с его огромным населением и бесчисленными взаимодействиями. Когда мы слышим о том, что два человека обнаружили удивительные совпадения в своих жизнях, важно помнить: при миллиардах людей на планете такие совпадения становятся статистически неизбежными. Это как бросать тысячи кубиков одновременно вероятность того, что какие-то из них выпадут одинаково, становится очень высокой.
Закон отбора связан с тем, как наш мозг фильтрует информацию. Мы замечаем и запоминаем необычные события, создавая иллюзию их высокой частоты. Это похоже на то, как мы помним все красные машины на дороге, если ждем именно красную машину друга, игнорируя все остальные цвета. В результате может показаться, что красных машин неестественно много.
Закон вероятностного рычага показывает, как определенные условия могут значительно повысить шансы редкого события. Подумайте о том, как вероятность встретить знакомого возрастает не просто в определенном районе города, а именно в местах, которые связаны с общими интересами или профессией. Это похоже на то, как рыба собирается в определенных местах водоема вероятность поймать ее там намного выше.
Закон близости объясняет, почему одни и те же события воспринимаются по-разному в зависимости от их расположения в пространстве или времени. Небольшое землетрясение в вашем городе произведет на вас гораздо большее впечатление, чем новость о сильном землетрясении на другом континенте. Это связано с тем, что наш мозг придает больший вес событиям, которые происходят «здесь и сейчас».
Понимание этих законов помогает нам более рационально оценивать происходящие события. Когда мы сталкиваемся с чем-то кажущимся невероятным, полезно вспомнить, что многие «невероятные» события являются естественным следствием статистических законов и особенностей человеческого восприятия. Это знание помогает принимать более взвешенные решения и избегать когнитивных искажений в оценке вероятностей.