Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски
Они с одинаковой вероятностью предсказывали, что она уловит сарказм, как в случае, когда он пытался скрыть свой негативный опыт, так и тогда, когда его опыт был положительным, а сам он — искренним. Таким образом, участники посчитали коммуникативное намерение Марка прозрачным. Они словно исходили из того, что Джун уловит любое намерение, которое Марк хотел до неё донести.4
«The goose hangs high» («гусь высоко висит») — устаревшая английская идиома, вышедшая из употребления в современном языке. Кисар и Блай сообщили одной группе испытуемых, что эта идиома означает «будущее выглядит радужным», а другая группа узнала, что она означает «будущее выглядит мрачным».5 Затем испытуемых спросили, какое из этих двух значений неосведомленный слушатель с большей вероятностью припишет этой идиоме. Каждая группа сочла, что слушатели воспримут именно то значение, которое им преподнесли как «стандартное».
(Среди других протестированных идиом были «come the uncle over someone» [поучать, читать нотации], «to go by the board» [идти прахом] и «to lay out in lavender» [разделать под орех]. Ах, английский, какой чудесный язык!)
Кисар и Хенли проверили калибровку говорящих: склонны ли говорящие недооценивать, переоценивать или же верно оценивать то, насколько часто слушатели их понимают?6 Говорящим давали неоднозначные предложения («Мужчина преследует женщину на велосипеде») и устраняющие двусмысленность картинки (мужчина бежит за женщиной, едущей на велосипеде), затем просили произнести эти фразы перед адресатами, а после — оценить, сколько адресатов поняли вложенный смысл. Говорящие полагали, что их поняли в 72% случаев, тогда как на самом деле их понимали в 61% случаев. Когда адресаты их не понимали, говорящие в 46% случаев думали, что те их поняли; когда же адресаты понимали их, говорящие лишь в 12% случаев думали, что те их не поняли.
Дополнительные испытуемые, которые слышали со стороны объяснение, не продемонстрировали подобной предвзятости, ожидая, что слушатели поймут фразу лишь в 56% случаев.
Как отмечают Кисар и Барр, за два дня до нападения Германии на Польшу Чемберлен направил письмо, призванное ясно дать понять, что Великобритания вступит в войну в случае любого вторжения.7 Письмо, составленное на вежливом дипломатическом языке, Гитлер воспринял как примирительное — и танки двинулись вперед.
Не спешите винить тех, кто не понимает ваши совершенно ясные фразы — устные или письменные. Весьма вероятно, что ваши слова гораздо более двусмысленны, чем вы думаете.
*
1. Боаз Кисар, “The Illusory Transparency of Intention: Linguistic Perspective Taking in Text,” Cognitive Psychology 26 (2 1994): 165–208, doi:10.1006/cogp.1994.1006.
2. Keysar and Barr, “Self-Anchoring in Conversation.”
3. Боаз Кисар, “Language Users as Problem Solvers: Just What Ambiguity Problem Do They Solve?,” в Social and Cognitive Approaches to Interpersonal Communication, под ред. Susan R. Fussell и Roger J. Kreuz (Mahwah, NJ: Lawrence Erlbaum Associates, 1998), 175–200.
4. Keysar and Barr, “Self-Anchoring in Conversation.”
5. Боаз Кисар и Бриджет Блай, “Intuitions of the Transparency of Idioms: Can One Keep a Secret by Spilling the Beans?,” Journal of Memory and Language 34 (1 1995): 89–109, doi:10.1006/jmla.1995.1005.
6. Боаз Кисар и Энн С. Хенли, “Speakers’ Overestimation of Their Effectiveness,” Psychological Science 13 (3 2002): 207–212, doi:10.1111/1467-9280.00439.
7. Keysar and Barr, “Self-Anchoring in Conversation.”
9. Ожидание коротких инференциальных дистанций.
Среда эволюционной адаптированности Homo sapiens (также известная как СЭА, или «среда предков») состояла из общин охотников-собирателей численностью максимум 200 человек, не знавших письменности. Все унаследованные знания передавались устно и по памяти.
В таком мире любые фоновые знания универсальны. Вся информация, не являющаяся строго личной, публична, и точка.
В среде предков вы вряд ли могли оказаться дальше чем в одном инференциальном шаге от кого-либо ещё. Когда вы находите новый оазис, вам не нужно объяснять соплеменникам, что такое оазис, почему пить воду — хорошая идея или как ходить. Только вы знаете, где находится оазис; это личное знание. Но у каждого есть достаточная база, чтобы понять ваше описание оазиса, и понятия, необходимые, чтобы думать о воде; это универсальное знание. Когда вы объясняете что-то в среде предков, вам почти никогда не приходится объяснять свои понятия. Максимум, вам придётся объяснить одно новое понятие, а не два или более одновременно.
В среде предков не существовало абстрактных дисциплин с огромными массивами тщательно собранных доказательств, обобщённых в элегантные теории и изложенных в книгах, чьи выводы отстоят на сотню инференциальных шагов от всеобщих фоновых предпосылок.
В среде предков любой, кто говорит что-то без очевидных оснований, — либо лжец, либо идиот. Вы вряд ли подумаете: «Хм, может, у этого человека есть хорошо обоснованные фоновые знания, о которых никто в моей общине даже не слышал?» — ведь надёжным инвариантом среды предков было то, что такого просто не бывало.
И наоборот: если вы говорите что-то совершенно очевидное, а другой человек этого не видит, значит, он идиот или намеренно упрямится, чтобы вас позлить.
И в довершение всего, если кто-то говорит что-то без очевидных оснований и ждёт, что вы поверите, — да ещё и возмущается, когда вы этого не делаете, — то он точно сумасшедший.
В сочетании с иллюзией прозрачности и эгоцентрической привязкой, это, по-моему, многое объясняет в легендарных трудностях, которые большинство учёных испытывают при общении с непрофессиональной аудиторией — или даже с учёными из других областей. Когда я наблюдаю неудачные попытки что-то объяснить, я обычно вижу, как объясняющий делает всего один шаг назад, когда ему нужно сделать два или более шагов. Или же слушатели исходят из того, что всё должно быть понятно за один шаг, тогда как для объяснения требуется два или более. Обе стороны ведут себя так, будто ожидают очень коротких инференциальных дистанций от общеизвестных знаний до любых новых знаний.
Биолог в разговоре с физиком может обосновать эволюцию, назвав её простейшим объяснением. Но далеко не каждому жителю Земли привили знание той легендарной истории науки от Ньютона до Эйнштейна, которая наделяет фразу «простейшее объяснение» её величественным смыслом — Словом Силы, произносимым при рождении теорий и высекаемым на их надгробиях. Для кого-то другого фраза «Но ведь это простейшее объяснение!» может прозвучать как интересный, но едва ли неопровержимый довод; она не кажется таким уж мощным инструментом для понимания офисных интриг или ремонта сломанного автомобиля. Очевидно, биолог влюблён в собственные идеи и слишком
