Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

где их наградят за отвагу, поэтому они будут бросаться в бой без колебаний и сожалений. Благодаря аффективным спиралям смерти вокруг своего Дела и Великого Вождя Боба их воины будут беспрекословно выполнять приказы, а гражданские в тылу — с энтузиазмом и на полную мощность работать на нужды войны; любого, кого поймают на утаивании или уклонении, сожгут на костре в соответствии с варварскими традициями. Они будут верить в добродетель друг друга и ненавидеть врага сильнее, чем любой здравомыслящий человек, сплачиваясь в единое целое. Между тем, рационалисты поймут, что от гибели в бою нельзя получить никакой мыслимой выгоды; они будут желать, чтобы сражался кто-то другой, но сами воевать не захотят. Даже если они смогут набрать солдат, их гражданские не будут столь сговорчивы: пока отсутствие какой-то одной сосиски почти наверняка не приводит к краху всей военной кампании, они предпочтут оставить эту сосиску себе, а значит, не внесут в общее дело столько, сколько могли бы. Независимо от того, насколько утончённой, элегантной, цивилизованной, продуктивной и ненасильственной была их культура изначально, они не смогут противостоять варварскому нашествию; здравое обсуждение — не соперник безумцу с пеной у рта и с оружием в руках. В конце концов, варвары победят, потому что они хотят сражаться, они хотят причинить боль рационалистам, они хотят завоеваний, и всё их общество сплочено вокруг идеи завоевания; их это заботит сильнее, чем любого здравомыслящего человека».

Война — это не весело. Как обнаружили очень, очень многие люди с самого начала письменной истории, как обнаружили очень, очень многие люди ещё до начала письменной истории, как прямо сейчас обнаруживает какая-то община в какой-нибудь печальной маленькой стране, чьи внутренние терзания больше даже не попадают на первые полосы газет.

Война — это не весело. Проиграть войну — ещё менее весело. И как говорили ещё в древности: «Хочешь мира — готовься к войне». Твоим противникам не обязательно верить, что ты победишь или завоюешь их; но они должны верить, что ты окажешь достаточное сопротивление, чтобы для них игра не стоила свеч.

Отсюда вы понимаете, что если бы уделом «рационалистов» действительно было всегда проигрывать в войнах, я не мог бы с чистой совестью призывать к широкому общественному признанию «рациональности».

Пожалуй, это самая грязная тема, которую я когда-либо обсуждал или планирую обсуждать здесь. Война не бывает чистой. Современные высокотехнологичные вооружённые силы — под этим я имею в виду армию США — уникальны тем, какую колоссально превосходящую силу они могут обрушить на противников, что позволяет им проявлять исторически беспрецедентную заботу о минимизации потерь среди противника и мирного населения.

Победа в войне не всегда означала отбрасывание всякой морали. Войны выигрывались и без пыток. Из того, что война — это не весело, вовсе не следует, скажем, что ставить под сомнение действия президента непатриотично. Мы привыкли к тому, что понятие «война» используют как оправдание для дурных поступков, потому что в недавней истории США оно, по сути, именно для этого и использовалось…

Но глупость наоборот — это ещё не ум. И злодейство наоборот — тоже не ум. По-прежнему верно то, что настоящие войны нельзя выиграть утончённой вежливостью. Если «рационалисты» не могут подготовить себя к этому ментальному потрясению, варвары действительно победят; а «рационалисты»… я не хочу говорить «заслуживают поражения», но они провалят это испытание, от которого зависит само существование их общества.

Для начала позвольте мне развеять мысль о том, что в принципе идеальные рациональные агенты не способны вести войну из-за того, что каждый из них предпочитает быть гражданским, а не солдатом.

Как уже довольно подробно обсуждалось, в задаче Ньюкома я выбираю одну коробку.

Будучи последовательным, я не считаю, что если исход выборов определяется соотношением 100 000 голосов против 99 998, то все избиратели поступили иррационально, потратив силы на поход к избирательному участку, поскольку «то, что я остался дома, ни на что бы не повлияло». (Я также не считаю, что если бы выборы завершились со счётом 100 000 против 99 999, то то эти 100 000 человек были бы каждый по отдельности единолично ответственны за этот результат).

Будучи последовательным, я также утверждаю, что два рациональных ИИ (использующих мою версию теории принятия решений), даже если бы они имели совершенно разные функции полезности и были созданы разными авторами, будут сотрудничать в истинной Дилемме заключённого, если обладают общим знанием об исходном коде друг друга. (Или даже просто общим знанием о рациональности друг друга в соответствующем смысле).

Будучи последовательным, я полагаю, что рациональные агенты способны координироваться в групповых проектах всякий раз, когда (ожидаемый вероятностный) исход лучше, чем он был бы без такой координации. Общество агентов, использующих мой тип теории принятия решений и обладающих общим знанием об этом факте, в итоге придёт к оптимуму Парето, а не к равновесию Нэша. Если все рациональные агенты согласны с тем, что им лучше сражаться, чем сдаться, они будут воевать с варварами, а не сдадутся им.

Представьте себе сообщество самомодифицирующихся ИИ, которые коллективно предпочитают сражаться, а не сдаваться, но индивидуально предпочитают быть гражданскими, а не воевать. Одно из решений — провести лотерею, непредсказуемую ни для одного из агентов, чтобы выбрать воинов. До проведения лотереи все ИИ заранее меняют свой код так, чтобы в случае выбора они сражались как воины наиболее эффективным для сообщества образом — даже если это означает спокойно идти навстречу собственной смерти.

(Рефлексивно согласованная теория решений работает так же, только без самомодификации).

Вы возражаете: «Но в реальном человеческом мире агенты не являются идеально рациональными, и у них нет общего знания об исходном коде друг друга. Сотрудничество в Дилемме заключённого требует определённых условий согласно вашей теории решений (для описания которых эти поля слишком малы), и эти условия не выполняются в реальной жизни».

Я отвечаю: чистая, истинная Дилемма заключённого невероятно редка в реальной жизни. В реальной жизни у вас обычно есть сопутствующие последствия — ваши действия влияют на вашу репутацию. В реальной жизни большинство людей в какой-то мере заботит то, что происходит с другими. И в реальной жизни у вас есть возможность создавать механизмы стимулирования.

И в реальной жизни я действительно считаю, что сообщество человеческих рационалистов могло бы выставить солдат, готовых умереть, защищая своё сообщество. До тех пор, пока детям в школе не говорят, что идеальные рационалисты должны предавать друг друга в Дилемме заключённого. Пусть станет общепринятым убеждением — а я действительно в это верю по той же самой причине,