Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски
Если такова культура и таковы нравы рационального общества, то, думаю, обычные люди в таком обществе будут добровольно идти в солдаты. В конце концов, это тоже заложено в человеческую природу. Нужно лишь позаботиться о том, чтобы культурные установки этому не мешали.
А если я ошибаюсь и это не даст достаточного числа добровольцев?
Тогда, пока люди в целом всё ещё предпочитают сражаться, а не сдаваться, у них есть возможность создать механизмы стимулирования и предотвратить истинную Дилемму заключённого.
Можно проводить лотереи для выбора воинов. Что-то вроде приведённого выше примера с ИИ, меняющими собственный код. Вот только если принцип «будь рефлексивно последовательным; делай то, что ты бы обязался сделать заранее» не является достаточной мотивацией для людей, чтобы подчиниться результатам лотереи, тогда...
...ну что ж, до фактического проведения лотереи мы все, пожалуй, согласимся, что дать избранникам препараты, придающие дополнительную храбрость, и расстреливать их в случае бегства — хорошая идея. Даже с учётом того, что жребий может пасть на нас самих. Поскольку до проведения лотереи именно эта общая политика даёт нам наибольшее математическое ожидание выживания.
...как я уже говорил: реальные войны — это не весело, а проигрывать войны — ещё менее весело.
К слову, давайте проясним: я не одобряю призыв в армию в том виде, в каком он практикуется сегодня. Подобные призывы не являются коллективными попытками населения перейти от равновесия Нэша к оптимуму Парето. Призыв — это инструмент королей, играющих в игры, для которых им нужны оловянные солдатики. Я считаю, что призывники времён Вьетнама, бежавшие в Канаду, были правы. Но общество, которое считает себя слишком умным для королей, вовсе не должно быть слишком умным для того, чтобы выжить. Даже если вторгаются орды варваров, и эти варвары практикуют призыв.
Будут ли рациональные солдаты подчиняться приказам? Что если командующий офицер совершит ошибку?
Солдаты маршируют. Все чеканят шаг в едином ритме. Возможно, даже вопреки собственным желаниям, ведь предоставленные сами себе люди шли бы вразнобой. Лазеры из людей. Вот что такое маршировка.
Если возможно изобрести какой-то метод группового принятия решений, который превосходит отдачу приказов капитаном, то рота рациональных солдат могла бы внедрить эту процедуру. Если же нет проверенного метода лучше капитана, то рота рациональных солдат обязуется подчиняться капитану, даже вопреки своим личным склонностям. А если люди не настолько рациональны... тогда до проведения лотереи общая политика, дающая вам наибольшее личное математическое ожидание выживания, — расстреливать солдат, не подчиняющихся приказам. Это не значит, что те, кто устраивал фрэггинг собственным офицерам во Вьетнаме, были неправы; ведь они могли последовательно утверждать, что предпочитают, чтобы в призывной лотерее никто не участвовал.
Но нескоординированную толпу просто перебьют, и поэтому солдатам необходим какой-то способ делать одно и то же в одно и то же время ради достижения одной и той же цели, пусть даже, будучи предоставлены самим себе, они разбрелись бы во все стороны. Приказы могут исходить не от капитана, подобного верховному вождю племени, но единые приказы должны исходить откуда-то. Общество, чьи солдаты слишком умны, чтобы подчиняться приказам, — это общество, которое слишком умно, чтобы выжить. Точно так же, как общество, люди в котором слишком умны, чтобы быть солдатами. Вот почему я говорю «умный» (слово, которое я часто использую в неодобрительном смысле), а не «рациональный».
(Впрочем, я действительно считаю важным вопрос о том, можно ли придумать метод координации в малой группе, который на практике действительно работал бы лучше, чем наличие лидера. Чем сильнее люди могут доверять методу группового принятия решений — чем больше они могут верить в то, что он действительно превосходит ситуацию, когда каждый идет своим путем, — тем более согласованно они могут действовать даже в отсутствие реально применимых наказаний за неподчинение.)
Я говорю всё это, хоть и не ожидаю, что рационалисты в ближайшее время захватят власть в какой-нибудь стране, потому что считаю: наши представления об обществе «таких же людей, как мы» в какой-то мере отражают то, как мы думаем о самих себе. Если вы верите, что общество из таких же людей, как вы, окажется слишком разумным, чтобы выжить в долгосрочной перспективе... это один вариант самовосприятия. И совсем другой вариант самовосприятия — если вы думаете, что общество людей, полностью похожих на вас, могло бы сразиться со свирепыми Злобными Варварами и победить — не просто благодаря превосходству в технологиях, а потому что ваши люди заботятся друг о друге и о своем обществе в целом — и потому что они могут смотреть в лицо реалиям войны, не теряя себя — и потому что они просчитали бы групповое рациональное действие и позаботились о том, чтобы оно было выполнено — и потому что в правилах теории вероятностей или теории принятия решений нет ничего, что запрещало бы жертвовать собой ради общего дела — и потому что если вы действительно умнее Врага, а не просто льстите себе на этот счет, то вы должны быть способны использовать те слепые зоны, о которых Враг не позволяет себе даже задумываться — и потому что, как бы сильно Враг ни накручивал себя перед битвой, вы допускаете, что, возможно, цельный разум, не раздираемый внутренними противоречиями и, быть может, практикующий нечто вроде медитации или самогипноза, способен на практике сражаться так же яростно, как и тот, кто теоретически верит, что его ждут семьдесят две девственницы.
Тогда вы будете ожидать большего от себя и от таких же людей, действующих в группах; и тогда вы сможете увидеть в себе нечто большее, чем просто культурный тупик.
Так что посмотрите на это с такой стороны: Джеффриссай, вероятно, не сдался бы Злобным Варварам, даже если бы сражался в одиночку. Целая армия мастеров-бейсуцаев должна быть силой, с которой никто не захочет связываться. В этом и заключается вдохновляющее видение. Вопрос в том, как именно это работает.
*
