Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски
Как я уже отмечал, люди часто считают рациональность и эмоции противниками. Поскольку любопытство — это эмоция, я подозреваю, что некоторые будут возражать против того, чтобы считать его частью рациональности. Со своей стороны, я называю эмоцию «нерациональной», если она основывается на ошибочных убеждениях или, скорее, на приводящем к ошибкам эпистемическом поведении: «Если утюг приближается к твоему лицу, и ты веришь, что он горячий, а он холодный, Путь противится твоему страху. Если утюг приближается к твоему лицу, и ты веришь, что он холодный, а он горячий, Путь противится твоему спокойствию». И наоборот: эмоция, вызванная верными убеждениями или эпистемически рациональным мышлением, является «рациональной эмоцией». Преимущество такого подхода в том, что он позволяет нам рассматривать спокойствие как эмоциональное состояние, а не как привилегированное положение по умолчанию.
Когда люди противопоставляют «эмоции» и «рациональность», я подозреваю, что на самом деле они имеют в виду Систему 1 и Систему 2 — быстрые интуитивные суждения против медленных рассудочных. Рассудочные суждения не всегда истинны, а интуитивные не всегда ложны, поэтому очень важно не путать эту дихотомию с «рациональностью». Обе системы могут как служить достижению истины, так и препятствовать ему, в зависимости от того, как они используются.
Какие еще существуют мотивы стремиться к истине, кроме чистого эмоционального любопытства? Что ж, возможно, вы хотите достичь какой-то конкретной практической цели — например, построить самолет, и поэтому вам нужно знать определенные факты об аэродинамике. Или, говоря более приземленно, вы хотите шоколадного молока и потому хотите знать, есть ли оно в ближайшем магазине, чтобы решить, идти туда или куда-то еще. Если вы стремитесь к истине по этой причине, то приоритет, который вы отдаете своим вопросам, будет отражать ожидаемую полезность содержащейся в них информации — насколько возможные ответы влияют на ваш выбор, насколько этот выбор важен и какова вероятность найти ответ, который изменит ваш выбор, сделанный по умолчанию.
Поиск истины исключительно ради ее инструментальной ценности может показаться «нечистым» — разве мы не должны желать истины ради нее самой? — но подобные исследования чрезвычайно важны, поскольку они создают внешний критерий проверки: если ваш самолет падает с неба или если вы приходите в магазин и не находите там шоколадного молока, это намек на то, что вы где-то ошиблись. Вы получаете обратную связь о том, какие способы мышления работают, а какие нет. Чистое любопытство — прекрасная вещь, но оно вряд ли станет долго задерживаться на проверке своих ответов, когда привлекательная тайна исчезнет. Любопытство как человеческая эмоция существовало задолго до древних греков. Но на путь Науки человечество твердо встало лишь тогда, когда заметило, что определенные способы мышления приводят к убеждениям, позволяющим нам воздействовать на мир. Что касается чистого любопытства, то сказки у костра о богах и героях удовлетворяли это желание ничуть не хуже, и никто не понимал, что с этим подходом что-то не так.
Существуют ли иные мотивы искать истину, помимо любопытства и прагматизма? Третья причина, которая приходит мне на ум, — это мораль: вы верите, что стремиться к истине благородно, важно и ценно. Хотя подобный идеал также наделяет истину внутренней ценностью, это совершенно иное состояние ума, нежели любопытство. Любопытство к тому, что скрывается за занавесом, ощущается совсем не так, как вера в то, что заглянуть туда — ваш моральный долг. В последнем случае вы с гораздо большей вероятностью решите, что кто-то другой тоже обязан заглянуть за занавес, и станете осуждать его, если он намеренно закрывает глаза. По этой причине я бы также отнес к категории «морали» убеждение в том, что поиск истины прагматически важен для общества и потому является долгом каждого. Ваши приоритеты при такой мотивации будут определяться вашими идеалами касательно того, какие истины наиболее важны (а не наиболее полезны или интригующи), или того, когда и при каких обстоятельствах долг стремиться к истине ощущается сильнее всего.
Я склонен с подозрением относиться к морали как к мотивации для рациональности не потому, что отвергаю этот моральный идеал, а потому, что он влечет за собой определенные проблемы. Слишком легко усвоить в качестве морального долга такие способы мышления, которые окажутся ужасными ошибками в танце. Вспомните мистера Спока из «Звездного пути» — наивный архетип рациональности. Эмоциональное состояние Спока всегда настроено на «спокойствие», даже когда это совершенно неуместно. Он часто выдает слишком много значащих цифр для вероятностей, которые совершенно не откалиброваны. (Например: «Капитан, если вы направите „Энтерпрайз“ прямо в эту черную дыру, вероятность нашего выживания составит всего 2,234%». При этом в девяти случаях из десяти «Энтерпрайз» не погибает. Что за трагический дурак указывает четыре значащие цифры для оценки, которая расходится с реальностью на два порядка?) Однако именно через этот популярный образ многие представляют себе долг быть «рациональными» — неудивительно, что они не принимают его всем сердцем. Превратить рациональность в моральный долг — значит наделить ее всеми теми ужасными степенями свободы, какими обладает произвольный племенной обычай. Люди приходят к неверному ответу, а затем возмущенно протестуют, заявляя, что действовали по всем правилам, вместо того чтобы извлечь урок из своей ошибки.
И все же, если мы собираемся совершенствовать наши навыки рациональности, выходя за рамки стандартов эффективности, заданных охотниками-собирателями, нам понадобятся осознанные убеждения о том, как мыслить должным образом. Когда мы пишем для себя новые ментальные программы, они начинают свой путь в Системе 2, осознанной системе, и лишь постепенно — если вообще когда-либо — встраиваются в нейронные связи, лежащие в основе Системы 1. Поэтому, если мы обнаруживаем определенные типы мышления, которых хотим избегать — скажем, когнитивных искажений, — в Системе 2 это в итоге выразится в виде предписания не мыслить подобным образом, став декларируемым долгом избегания.
Если мы стремимся к истине, эффективнее всего мы сможем обрести ее, если будем мыслить определенными способами, а не другими; это и есть техники рациональности. И некоторые из техник рациональности включают в себя преодоление определенного класса препятствий — когнитивных искажений...
*
4. . . . Что такое когнитивное искажение, напомните?
Когнитивное искажение — это определенный вид препятствия на пути к нашей цели: достижению истины. (Его статус «препятствия» обусловлен именно этой целью — достижением истины.) Однако существует множество препятствий, которые «искажениями» не являются.
Если мы сразу же спросим:
