Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

том, какая из двух опасностей встречается чаще.1 Испытуемые полагали, что несчастные случаи уносят примерно столько же жизней, сколько и болезни, а убийства происходят чаще, чем самоубийства. На самом же деле болезни вызывают примерно в шестнадцать раз больше смертей, чем несчастные случаи, а самоубийства происходят вдвое чаще, чем убийства.

Очевидная гипотеза, объясняющая эти искаженные убеждения, заключается в том, что об убийствах говорят гораздо чаще, чем о самоубийствах — следовательно, человеку легче вспомнить, что он слышал об убийстве, чем о самоубийстве. Несчастные случаи более драматичны, чем болезни — возможно, поэтому люди лучше их запоминают или легче вызывают в памяти. В 1979 году последующее исследование Комбс и Словика показало, что искаженные оценки вероятности сильно коррелируют (0,85 и 0,89) с искаженной частотой публикаций в двух газетах.2 Это не дает ответа на вопрос, легче ли убийства всплывают в памяти из-за того, что о них больше пишут в прессе, или же газеты пишут о них больше потому, что убийства более наглядны (и, следовательно, лучше запоминаются). Но в любом случае налицо искажение доступности. Избирательное освещение в прессе — один из основных источников искажения доступности. В среде обитания наших предков большую часть того, о чем вы знали, вы испытывали на собственном опыте или слышали непосредственно от соплеменника, который видел это своими глазами. Между вами и самим событием обычно существовал максимум один уровень избирательной передачи информации. В сегодняшнем же интернете вы можете видеть сообщения, прошедшие по пути к вам через руки шести блогеров — шести последовательных фильтров. По сравнению с нашими предками мы живем в гораздо более обширном мире, где происходит намного больше событий, но до нас доходит куда меньшая их часть — это гораздо более сильный эффект отбора, который может порождать значительно более масштабные искажения доступности.

В реальной жизни вы вряд ли когда-нибудь встретите Билла Гейтса. Но благодаря избирательному освещению в СМИ у вас может возникнуть искушение сравнить свой жизненный успех с его — и расплачиваться за это снижением удовлетворенности жизнью. Объективная доля Билла Гейтса в населении планеты составляет 0,00000000015, однако слышите вы о нем гораздо чаще. И наоборот, 19% населения планеты живет менее чем на один доллар в день, но я сомневаюсь, что пятая часть прочитанных вами постов в блогах написана ими.

Опора на доступность, по-видимому, порождает искажение абсурдности: события, которые никогда не происходили, не всплывают в памяти и потому их вероятность оценивается как нулевая. Если в последнее время наводнений не случалось (хотя их вероятность все еще вполне поддается расчету), люди отказываются покупать страховку от наводнений, даже если она щедро субсидируется и стоит намного дешевле актуарно справедливой стоимости. Кунройтер и его коллеги предполагают, что слабая реакция на угрозы наводнений может быть вызвана «неспособностью людей концептуализировать наводнения, которых никогда не происходило… Жители пойменных земель кажутся пленниками своего опыта… Наводнения, пережитые в последнее время, по-видимому, устанавливают верхнюю границу размера ущерба, который, по мнению управленцев, должен вызывать у них беспокойство».3

Бертон и его соавторы отмечают, что строительство плотин и дамб снижает частоту наводнений и тем самым, по всей видимости, создает ложное чувство безопасности, приводящее к снижению мер предосторожности.4 Хотя строительство плотин снижает частоту наводнений, ущерб от одного наводнения впоследствии оказывается настолько больше, что среднегодовой ущерб растет. Разумный человек экстраполировал бы память о мелких опасностях на возможность крупных угроз. Вместо этого прошлый опыт мелких опасностей, по-видимому, устанавливает воспринимаемую верхнюю границу риска. Общество, хорошо защищенное от незначительных опасностей, не предпринимает никаких действий против крупных рисков, застраивая поймы рек, как только регулярные мелкие наводнения устранены. Общество, подверженное регулярным мелким опасностям, относится к ним как к верхней границе масштаба рисков, защищаясь от регулярных мелких наводнений, но не от редких крупных.

Память — далеко не всегда надежный ориентир для оценки вероятностей в прошлом, не говоря уже о будущем.

*

1. Sarah Lichtenstein et al., «Judged Frequency of Lethal Events», Journal of Experimental Psychology: Human Learning and Memory 4, no. 6 (1978): 551–578, doi:10.1037/0278-7393.4.6.551.

2. Barbara Combs and Paul Slovic, «Newspaper Coverage of Causes of Death», Journalism & Mass Communication Quarterly 56, no. 4 (1979): 837–849, doi:10.1177/107769907905600420.

3. Howard Kunreuther, Robin Hogarth, and Jacqueline Meszaros, «Insurer Ambiguity and Market Failure», Journal of Risk and Uncertainty 7 (1 1993): 71–87, doi:10.1007/BF01065315.

4. Ian Burton, Robert W. Kates, and Gilbert F. White, The Environment as Hazard, 1st ed. (New York: Oxford University Press, 1978).

6. Бремя деталей.

Всего лишь подтверждающие подробности, призванные придать художественное правдоподобие в остальном голому и неубедительному повествованию...

— Пу-Ба, из «Микадо» Гилберта и Салливана1

Ошибка конъюнкции — это когда люди оценивают вероятность P(A, B) выше, чем вероятность P(B), хотя теорема гласит, что P(A, B) ≤ P(B). Например, в одном эксперименте 1981 года 68% испытуемых сочли более вероятным, что «Рейган предоставит федеральную поддержку матерям-одиночкам и сократит федеральную поддержку местным органам власти», нежели что «Рейган предоставит федеральную поддержку матерям-одиночкам».

Длинная серия хитроумно поставленных экспериментов, в ходе которых были отсеяны альтернативные гипотезы и закреплена стандартная интерпретация, подтвердила, что ошибка конъюнкции возникает из-за того, что мы «заменяем суждение о вероятности суждением о репрезентативности». Добавляя лишние детали, можно сделать так, чтобы исход казался более характерным для породившего его процесса. Можно заставить утверждение о том, что Рейган поддержит матерей-одиночек, звучать правдоподобнее, добавив заявление, что Рейган также сократит поддержку местных властей. Неправдоподобность одного утверждения компенсируется правдоподобностью другого; они «усредняются».

Иными словами: добавление деталей может заставить сценарий ЗВУЧАТЬ БОЛЕЕ ПРАВДОПОДОБНО, хотя само событие неизбежно СТАНОВИТСЯ МЕНЕЕ ВЕРОЯТНЫМ.

Если так, то, гипотетически выражаясь, мы можем обнаружить футуристов, плетущих до неприличия правдоподобные и детализированные истории будущего, или людей, которые легко проглатывают целые пакеты ничем не подкрепленных заявлений, идущих в связке с несколькими весомо звучащими утверждениями в центре. Если вам предъявят ошибку конъюнкции в виде голого, прямого сравнения, вы, возможно, справитесь с этой конкретной задачей, сознательно скорректировав себя. Но это лишь наклеивание пластыря на проблему, а не ее решение в целом.

В эксперименте 1982 года, где профессиональные прогнозисты систематически присваивали более высокую вероятность сценарию «Россия вторгается в Польшу, после чего следует приостановка дипломатических отношений между США и СССР», чем сценарию «Приостановка дипломатических отношений между США и СССР», каждой экспериментальной группе предлагалось только одно суждение.2 Какую стратегию