Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски
А с точки зрения биолога, он вполне понимает, что эволюция поначалу может казаться немного странной, — но когда кто-то отвергает её даже после того, как он объяснил, что это простейшее объяснение, что ж, тогда ясно, что не-учёные просто идиоты и разговаривать с ними нет смысла.
Понятный аргумент должен выстраивать цепочку рассуждений, начиная с того, что аудитория уже знает или принимает. Если вы не спуститесь на достаточную глубину рекурсии, вы будете разговаривать сами с собой.
Если в какой-то момент вы сделаете утверждение без очевидного обоснования в виде ранее подкреплённых вами доводов, аудитория просто решит, что вы сошли с ума.
Это происходит и тогда, когда вы позволяете себе явно придавать доводу больший вес, чем это кажется оправданным аудитории в данный момент. Например, рассуждать так, будто «более простое объяснение» — это неопровержимый аргумент в пользу эволюции (чем он и является), а не просто занятная мысль (какой она кажется человеку, которого не учили благоговеть перед бритвой Оккама).
Ах да, и лучше не давайте понять, будто вы считаете, что ваши рассуждения отстоят на дюжину шагов умозаключений от того, что известно аудитории, или будто вы полагаете, что обладаете некими особыми фоновыми знаниями, которые ей недоступны. Аудитория ничего не знает об эволюционно-психологических доводах в пользу когнитивного искажения, заставляющего нас недооценивать инференциальную дистанцию, что приводит к заторам в общении. Люди просто подумают, что вы относитесь к ним свысока.
И если вы думаете, что сможете объяснить концепцию «систематически недооцениваемой инференциальной дистанции» в двух словах, у меня для вас плохие новости...
*
10. Линза, которая видит свои изъяны.
Свет покидает Солнце, падает на ваши шнурки и отражается; часть фотонов попадает в зрачки ваших глаз и падает на сетчатку; энергия фотонов запускает нервные импульсы; нервные импульсы передаются в зрительные зоны мозга; и там оптическая информация обрабатывается и реконструируется в трехмерную модель, которая распознается как развязавшийся шнурок; и вот вы верите, что ваши шнурки развязаны.
В этом и кроется секрет осознанной рациональности — весь этот процесс не является магией, и вы можете его понять. Вы можете понять, как именно видите свои шнурки. Вы можете поразмышлять о том, какие процессы мышления создают убеждения, отражающие реальность, а какие — нет.
Мыши видят, но не могут понять сам процесс зрения. Вы же можете понять, как устроено зрение, и благодаря этому способны делать то, на что мыши не способны. Задержитесь на мгновение, чтобы восхититься этим, ведь это действительно удивительно.
Мыши видят, но они не знают, что у них есть зрительная кора, и потому не могут делать поправку на оптические иллюзии. Мышь живет в мысленном мире, где есть кошки, норки, сыр и мышеловки, но нет мышиного мозга. Их камера не снимает собственный объектив. Но мы, люди, можем посмотреть на странную на первый взгляд картинку и осознать, что часть того, что мы видим, — это сама линза. Вам не обязательно всегда верить собственным глазам, но вы должны понимать, что глаза у вас есть — у вас должны быть разные мысленные категории для карты и территории, для органов чувств и реальности. И если вам кажется, что эта способность тривиальна, вспомните, насколько она редка в животном мире.
Сама идея Науки — это, попросту говоря, рефлексивное рассуждение о более надежном методе, позволяющем содержанию вашего разума отражать содержание внешнего мира. До такого мыши никогда бы не додумались. Размышляя над концепцией «проведения воспроизводимых экспериментов для фальсификации теорий», мы можем понять, почему это работает. Наука — это не какая-то отдельная сфера, далекая от реальной жизни и понимания простых смертных. Наука — это не то, что применимо лишь в стенах лабораторий. Наука сама по себе — понятный процесс в физическом мире, соотносящий работу мозга с реальностью.
В Науке есть смысл, если над этим задуматься. Но мыши не умеют думать о мышлении, и именно поэтому у них нет Науки. Не стоит упускать из виду чудо этого явления — или потенциальное могущество, которое оно дает нам как отдельным личностям, а не только научным сообществам.
Надо признать, понять устройство двигателя мышления может быть немного сложнее, чем понять устройство парового двигателя, — но это не принципиально иная задача.
Как-то раз я зашел в чат #philosophy сети EFNet, чтобы спросить: «Верите ли вы, что в ближайшие 20 лет случится ядерная война? Если нет, то почему?» Один из ответивших сказал, что не ожидает ядерной войны в ближайшие 100 лет, потому что «ни один из игроков, принимающих решения относительно ядерной войны, сейчас в ней не заинтересован». «Но почему вы распространяете это аж на 100 лет вперед?» — спросил я. «Чистая надежда», — ответил он.
Размышляя над этим мыслительным процессом, мы понимаем, почему мысль о ядерной войне расстраивает этого человека, и видим, как его мозг из-за этого отвергает подобное убеждение. Но если вообразить миллиард миров — эвереттовских ветвей или двойников Тегмарка1 — такой ход мысли не будет систематически переносить оптимистов именно в те ветви, где ядерной войны не происходит. (Какой-нибудь умник наверняка скажет: «Ага, но раз у меня есть надежда, я буду работать немного усерднее, подстегну мировую экономику и тем самым помогу уберечь страны от скатывания в то озлобленное и безнадежное состояние, в котором возможна ядерная война. Так что эти два события все-таки связаны». На этом этапе нам придется привлечь теорему Байеса и измерить эту связь количественно. Ваш оптимистичный настрой не может оказывать настолько сильного влияния на мир; сам по себе он не способен снизить вероятность ядерной войны на 20% или на сколько там ваш оптимизм сдвинул ваши убеждения. Значительное изменение своих убеждений из-за события, которое лишь незначительно повышает ваши шансы оказаться правым, все равно исказит вашу карту реальности.)
Спрашивать, какие убеждения делают вас счастливыми, — значит обращаться внутрь себя, а не вовне; это говорит кое-что о вас самих, но не является свидетельством, связанным с внешним миром. Я ничего не имею против счастья, но оно должно проистекать из вашей картины мира, а не вмешиваться в работу ментальных кистей.
Если вы способны это увидеть — если вы понимаете, что надежда слишком сильно смещает ваши мысли первого порядка, если вы
