Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски
Мы не начинаем с морального долга «бороться с искажениями», потому что искажения — это плохо, зло и «так делать нельзя». К такому мышлению можно прийти, если впитать деонтологический долг «рациональности» путем социального осмоса. В результате люди пытаются применять техники, не понимая их смысла. (А это плохо, зло и «так делать нельзя», согласно книге «Вы, конечно, шутите, мистер Фейнман!», которую я прочитал в детстве.)
Напротив, мы хотим добраться до истины — по какой бы то ни было причине — и обнаруживаем различные препятствия на пути к нашей цели. Эти препятствия не то чтобы совсем не похожи друг на друга. К примеру, есть препятствия, связанные с нехваткой вычислительной мощности или дороговизной информации. Так уж вышло, что у большой группы препятствий есть общая черта — они группируются в определенной области пространства «преград на пути к истине», и этот кластер назвали «когнитивными искажениями».
Что такое когнитивное искажение? Можем ли мы взглянуть на этот эмпирический кластер и найти простой критерий принадлежности к нему? Возможно, окажется, что мы не способны дать лучшего объяснения, чем просто указать на несколько экстенсиональных примеров в надежде, что слушатель поймет. Если вы ученый, который только начинает исследовать огонь, гораздо разумнее указать на костер и сказать: «Огонь — это вон та оранжевая, яркая и горячая штука», нежели заявить: «Я определяю огонь как алхимическую трансмутацию веществ с выделением флогистона». Не стоит игнорировать явление только потому, что вы не можете дать ему определение. Я не помню наизусть уравнения общей теории относительности, но если я шагну с обрыва, то все равно упаду. И то же самое можно сказать об искажениях: они не станут бить слабее, если выяснится, что мы не можем дать краткое определение тому, что такое «искажение». Поэтому мы можем указать на ошибку конъюнкции, излишнюю уверенность, эвристики доступности и репрезентативности, игнорирование априорной вероятности и сказать: «В общем, всякое такое».
С учетом всего сказанного, мы, похоже, называем «искажениями» те препятствия на пути к истине, которые порождаются не стоимостью информации и не ограниченностью вычислительных мощностей, а самой структурой наших когнитивных механизмов. Возможно, эти механизмы эволюционно оптимизированы для целей, прямо противоречащих эпистемической точности — например, для победы в спорах в эволюционно значимых политических контекстах. Или же давление отбора было направлено в сторону от эпистемической точности — например, верить в то же, во что верят другие, чтобы уживаться в обществе. Или же, как в классическом подходе «эвристик и искажений», эти механизмы работают по конкретному алгоритму, выполняющему полезную работу, но при этом порождает систематические ошибки: эвристика доступности сама по себе не является искажением, но она порождает конкретные, лаконично описываемые искажения. Наш мозг делает что-то не так, и после множества экспериментов и/или глубоких размышлений кто-то описывает проблему в терминах, понятных Системе 2; тогда мы называем это «искажением». Даже если знание об этом не помогает нам исправить ситуацию, это все равно сбой, который вполне конкретным образом возникает из-за определенного типа когнитивных механизмов — не из-за их нехватки, а из-за их устройства.
«Искажения» отличаются от погрешностей, возникающих из-за когнитивного наполнения, такого как принятые убеждения или усвоенные моральные обязательства. Их мы называем скорее «ошибками», а не «искажениями», и их гораздо проще исправить, стоит нам только самим их заметить. (Хотя первопричиной ошибки или первопричиной её первопричины в конечном итоге может оказаться какое-то искажение.)
«Искажения» также отличаются от погрешностей, вызванных повреждением мозга конкретного человека или усвоенными культурными нормами; искажения проистекают из механизмов, универсальных для всего человечества.
Платон не был «предвзят» из-за того, что не знал об общей теории относительности — у него просто не было возможности собрать эту информацию, его незнание не было следствием устройства его когнитивных механизмов. Но если Платон считал, что из философов получаются лучшие правители, потому что сам был философом — и это убеждение, в свою очередь, возникло из-за универсального адаптивного политического инстинкта самопродвижения, а не потому, что папа Платона внушил ему, будто у каждого есть моральный долг продвигать представителей своей профессии во власть, и не потому, что Платон в детстве нанюхался клея, — тогда это было искажением, независимо от того, предупреждал ли кто-то об этом Платона или нет.
Исправление искажений может обходиться недешево. Возможно, они и вовсе не поддаются исправлению. Но когда мы всматриваемся в собственные когнитивные механизмы и видим причинно-следственное объяснение конкретного класса погрешностей; и когда кажется, что проблема проистекает из эволюционно обусловленной структуры этих механизмов, а не из их нехватки или неверного конкретного наполнения — вот тогда мы называем это искажением.
Лично я вижу наш путь в обретении личных навыков рациональности, в совершенствовании техники поиска истины. Задача состоит в том, чтобы достичь позитивной цели — истины, а не в том, чтобы избежать негативной цели — неудачи. Пространство неудач обширно: бесконечное множество ошибок во всем их бесконечном разнообразии. Описать столь огромное пространство непросто: «То, что верно для одного яблока, может быть неверно для другого; следовательно, об одном-единственном яблоке можно сказать больше, чем обо всех яблоках мира». Пространство успеха значительно у́же, и потому о нем можно сказать больше.
Хотя я и не прочь (как вы можете видеть) пообсуждать определения, нам следует помнить, что это не главная наша цель. Мы здесь для того, чтобы продолжить великий человеческий поиск истины: ведь мы отчаянно нуждаемся в знаниях, да и, кроме того, нам просто любопытно. И ради этого давайте стремиться преодолеть любые препятствия на нашем пути, назовем мы их «искажениями» или нет.
*
5. Доступность.
Эвристика доступности — это оценка частоты или вероятности события по тому, насколько легко примеры этого события приходят на ум.
В известном исследовании 1978 года, проведенном Лихтенштейн, Словиком, Фишхоффом, Лейманом и Комбс, «Субъективная частота смертельных исходов» (Judged Frequency of Lethal Events), изучались ошибки в количественной оценке серьезности рисков или в суждениях о
