Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски
Прежде всего, не спрашивайте, во что верить, — спрашивайте, чего ожидать. Любой вопрос об убеждении должен вытекать из вопроса об ожидании, и именно этот вопрос об ожидании должен стоять в центре исследования. Каждая догадка об убеждении должна начинаться с перетекания в конкретную догадку об ожидании и должна продолжать платить за аренду будущими ожиданиями. Если убеждение оказывается злостным неплательщиком, выселяйте его.
*
12. Притча о науке и политике.
Во времена Римской империи общественная жизнь была разделена между фракциями Синих и Зеленых. Синие и Зеленые убивали друг друга в поединках, в засадах, в групповых сражениях, в бунтах. Прокопий писал о враждующих фракциях: «Так зарождается у них к своим ближним ни на чем не основанная вражда, которая никогда не прекращается и не исчезает, ибо не уступает она ни узам брака, ни родства, ни дружбы, и то же самое происходит, даже если расходящиеся во мнениях об этих цветах — родные братья или другие близкие»1. Эдуард Гиббон писал: «Поддержка фракции стала необходима для каждого соискателя гражданских или духовных почестей»2.
Кем же были Синие и Зеленые? Они были спортивными болельщиками — сторонниками синей и зеленой команд по гонкам на колесницах.
Представьте себе общество будущего, которое укрывается в огромной подземной сети пещер и запечатывает входы. Мы не будем уточнять, бегут ли они от болезней, войны или радиации; предположим, что первым подземным жителям удается выращивать пищу, находить воду, регенерировать воздух, производить свет и выживать, а их потомки процветают и со временем основывают города. О мире наверху сохранились лишь легенды, записанные на клочках бумаги; и один из этих обрывков описывает небо — бескрайнее открытое воздушное пространство над великим безграничным полом. Небо — лазурного цвета и содержит странные плавающие объекты, похожие на огромные клочья белой ваты. Но значение слова «лазурный» вызывает споры: одни говорят, что оно относится к цвету, известному как «синий», а другие — что к цвету, известному как «зеленый».
В первые дни существования подземного общества Синие и Зеленые соперничали, прибегая к открытому насилию; но сегодня царит перемирие — мир, рожденный из растущего ощущения бессмысленности происходящего. Культурные нравы изменились; появился многочисленный и процветающий средний класс, который вырос в условиях эффективного поддержания правопорядка и отвык от насилия. Школы дают некоторое представление об исторической перспективе: как долго продолжалось противостояние между Синими и Зелеными, сколько людей погибло и как мало изменилось в результате. Умы открылись странной новой философии: люди остаются людьми, будь они Синими или Зелеными.
Конфликт не исчез полностью. Общество все еще разделено по синей и зеленой линиям, и практически по каждому современному вопросу политического или культурного значения существует «синяя» и «зеленая» позиции. Синие выступают за подоходный налог, Зеленые — за налог с продаж; Синие ратуют за более строгие законы о браке, в то время как Зеленые хотят облегчить разводы; Синие находят поддержку в самом центре городов, в то время как живущие в отдалении фермеры и продавцы воды, как правило, поддерживают Зеленых; Синие верят, что Земля — это огромный сферический камень в центре Вселенной, Зеленые — что это огромный плоский камень, вращающийся вокруг другого объекта под названием Солнце. Не каждый Синий или Зеленый гражданин занимает «синюю» или «зеленую» позицию по любому вопросу, но вряд ли вам встретится городской торговец, который верил бы, что небо синее, и при этом ратовал за подоходный налог и более свободные законы о браке.
Подземелье все еще поляризовано; это хрупкий мир. Кое-кто искренне считает, что Синим и Зеленым следует дружить, и теперь стало обычным делом для Зеленого покупать товары в лавке Синего или для Синего заглядывать в таверну Зеленого. И все же из перемирия, изначально порожденного истощением сил, тихо прорастает дух терпимости и даже дружбы.
Однажды Подземелье сотрясает небольшое землетрясение. Экскурсионная группа из шести человек оказывается застигнута толчком во время осмотра руин древних жилищ в верхних пещерах. Они чувствуют мимолетное движение камня под ногами, одна из туристок спотыкается и царапает колено. Группа решает повернуть назад, опасаясь повторных толчков. На обратном пути один человек улавливает в воздухе странный запах, доносящийся из давно заброшенного прохода. Игнорируя дружеские предостережения попутчиков, этот человек одалживает электрический фонарь и сворачивает в проход. Каменный коридор вьется вверх... и вверх... и наконец заканчивается проемом, вырезанным в мире — местом, где кончается всякий камень. Пространство, бескрайнее пространство уходит в вечность — простор, способный вместить тысячу городов. Невообразимо высоко, слишком яркая, чтобы смотреть на нее прямо, жгучая искра озаряет все видимое пространство — оголенная нить накала какой-то гигантской лампочки. В воздухе, без всякой опоры, висят огромные, непостижимые клочья белой ваты. И огромный светящийся потолок вверху... его цвет... это...
Теперь история разветвляется в зависимости от того, кто именно из экскурсантов решил пойти по коридору к поверхности.
Адитья-Синяя стояла под бескрайней синевой и медленно улыбалась. Это не была приятная улыбка. В ней сквозили ненависть и уязвленное самолюбие; она воскрешала в памяти каждый спор, который у нее когда-либо был с Зелеными, каждое соперничество, каждое оспоренное повышение по службе. «Ты была права с самого начала», — шептало ей небо сверху, — «и теперь ты можешь это доказать». На мгновение Адитья застыла, впитывая эти слова, упиваясь ими, а затем повернула обратно к каменному коридору, чтобы рассказать обо всем миру. Шагая обратно, Адитья сжала руку в кулак. — Перемирие, — произнесла она, — окончено.
Бэррон-Зеленый долгие секунды непонимающе всматривался в хаос цветов. Понимание, когда оно наконец пришло, нанесло ему сокрушительный удар под дых. Из глаз брызнули слезы. Бэррон подумал о Резне в Катае, где армия Синих вырезала до единого жителей Зеленого города, включая детей; он подумал о древнем Синем генерале Аннасе Релле, объявившем Зеленых «рассадником болезни, чумой, подлежащей искоренению»; он вспомнил искры ненависти, которые видел в глазах Синих, — и внутри у него что-то надломилось. «Как ты можешь быть на их стороне?» — закричал Бэррон небу, а затем разрыдался, ибо теперь, стоя под враждебным синим сиянием, он понял: вселенная всегда была обителью зла.
Чарльз-Синий в замешательстве созерцал синий потолок. Будучи профессором в смешанном колледже, Чарльз всегда
