Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски
Устранение одного частного подвоха не решает общую проблему. Подвох — это симптом, а не сама болезнь.
Что могли сделать прогнозисты, чтобы избежать ошибки конъюнкции, не видя прямого сравнения и даже не зная, что кто-то собирается проверять их на эту ошибку? Мне кажется, им нужно было обратить внимание на слово «и». Им следовало отнестись к нему настороженно — и не просто настороженно, а буквально отпрянуть от него. Даже не подозревая, что исследователи впоследствии собираются тестировать их именно на ошибку конъюнкции. Им нужно было заметить объединение целых двух деталей и быть шокированными дерзостью того, кто просит их подтвердить столь безумно сложное предсказание. И им следовало существенно снизить вероятность — как минимум в четыре раза, судя по деталям эксперимента.
Прогнозистам также могло бы помочь размышление о возможных причинах приостановки дипломатических отношений между США и Советским Союзом. Сценарий звучит не как «США и Советский Союз внезапно прекращают дипломатические отношения без всякой причины», а как «США и Советский Союз прекращают дипломатические отношения по любой причине».
А испытуемые, которые оценивали утверждение «Рейган предоставит федеральную поддержку матерям-одиночкам и сократит федеральную поддержку местным органам власти»? Опять же, их должно было шокировать слово «и». Более того, им следовало бы складывать абсурдности (где абсурдность — это логарифм вероятности, так что его можно складывать), а не усреднять их. Им следовало бы подумать: «Рейган может сократить поддержку местным органам власти, а может и нет (1 бит), но кажется крайне маловероятным, что он поддержит матерей-одиночек (4 бита). Итоговая абсурдность: 5 бит». Или, возможно: «Рейган не поддержит матерей-одиночек. Один промах — и ты выбыл. Второе утверждение только всё усугубляет».
Аналогично, рассмотрим шестигранный кубик с четырьмя зелеными гранями и двумя красными. Испытуемые должны были поставить на появление последовательности (1) КЗККК, (2) ЗКЗККК или (3) ЗККККК в любом месте при двадцати бросках кубика.3 Шестьдесят пять процентов испытуемых выбрали вариант ЗКЗККК, который строго доминируется вариантом КЗККК, поскольку любая последовательность, содержащая ЗКЗККК, также приносит выигрыш и для КЗККК. Как испытуемые могли бы справиться лучше? Заметить вхождение одной последовательности в другую? Возможно; но это лишь полумера, пластырь, который не решает фундаментальную проблему. Путем явного вычисления вероятностей? Это, безусловно, решило бы фундаментальную проблему, но вы не всегда можете рассчитать точную вероятность.
Испытуемые проиграли на уровне эвристик, подумав: «Ага! В последовательности 2 самое высокое соотношение зеленого к красному! Мне стоит поставить на последовательность 2!» Чтобы выиграть на уровне эвристик, испытуемым нужно было подумать: «Ага! Последовательность 1 — короткая! Мне стоит выбрать последовательность 1!»
Им нужно было прочувствовать более сильный эмоциональное воздействие Бритвы Оккама — ощущать каждую добавленную деталь как бремя, даже один лишний бросок кубика.
Как-то раз я разговаривал с человеком, который был заворожен неосторожным футуристом (из тех, кто добавляет кучу деталей, звучащих здорово). Я пытался объяснить, почему меня не завораживают подобные поразительные, невероятные теории. И я рассказал ему об ошибке конъюнкции, в частности об эксперименте с «приостановкой отношений ± вторжением в Польшу». Он ответил: «Ладно, но какое это имеет отношение к...» И я сказал: «Более вероятно, что вселенные размножаются по какой угодно причине, чем то, что они размножаются через черные дыры, потому что развитые цивилизации создают черные дыры, потому что вселенные эволюционируют так, чтобы заставлять их делать это». И он сказал: «О».
До тех пор он не ощущал эти лишние детали как лишнее бремя. Напротив, они служили подтверждающими подробностями, придающими повествованию правдоподобие. Кто-то преподносит вам целый пакет странных идей, одна из которых заключается в том, что вселенные размножаются. Затем вам приводят доказательства в пользу утверждения о том, что вселенные размножаются. Но это не служит подтверждением для всего пакета, хотя всё это и преподносится как единая история.
Вам нужно распутывать детали. Нужно рассматривать каждую из них в отдельности и спрашивать: «Откуда мы знаем эту деталь?» Кто-то описывает картину того, как человечество скатывается к войне с применением нанотехнологий, где Китай отказывается соблюдать международное соглашение по контролю, за чем следует гонка вооружений… Погодите-ка — откуда вы знаете, что это будет именно Китай? Это у вас в кармане хрустальный шар или вы просто рады быть футуристом? Откуда берутся все эти детали? Откуда взялась именно эта деталь?
Ибо написано:
Если ты можешь облегчить свою ношу, ты обязан это сделать.
Нет такой соломинки, которая не могла бы переломить тебе хребет.
*
1. Уильям С. Гилберт и Артур Салливан, Микадо, опера, 1885.
2. Тверски и Канеман, «Экстенсиональное против интуитивного рассуждения».
3. Амос Тверски и Даниэль Канеман, «Суждения о репрезентативности и на её основе» в Принятие решений в неопределенности: Правила и предубеждения, под ред. Даниэля Канемана, Пола Словика и Амоса Тверски (New York: Cambridge University Press, 1982), 84–98.
7. Ошибка планирования.
Международный аэропорт Денвера открылся на 16 месяцев позже срока, а перерасход бюджета составил 2 миллиарда долларов. (Я также встречал утверждения, что 3,1 миллиарда.) «Еврофайтер Тайфун», совместный оборонный проект нескольких европейских стран, был сдан с опозданием на 54 месяца и обошелся в 19 миллиардов долларов вместо планировавшихся 7 миллиардов. Сиднейский оперный театр, возможно, представляет собой самый легендарный случай превышения сметы и сроков строительства в истории: изначально планировалось завершить его в 1963 году за 7 миллионов долларов, а в итоге закончили лишь в 1973 году, потратив 102 миллиона.1
Являются ли эти единичные катастрофы лишь результатом избирательной доступности? Служат ли они симптомами бюрократии или неэффективности государственных стимулов? Да, весьма вероятно. Но существует и соответствующее когнитивное искажение, воспроизведенное в экспериментах по индивидуальному планированию.
Бюлер и соавторы попросили своих студентов оценить, когда те (сами студенты), по их собственному мнению, завершат свои учебные проекты.2 В частности, исследователи попросили назвать сроки, к которым, по мнению студентов, их проекты будут готовы с вероятностью 50%, 75% и 99%. Хотите угадать, сколько студентов закончили работу не позже названных ими сроков для 50%, 75% и 99%-ной вероятности?
13% испытуемых закончили проект к сроку, которому они присвоили 50%-ную вероятность;
19% закончили к сроку, которому была присвоена 75%-ная вероятность;
и лишь 45% (меньше половины!) уложились в срок, для
