Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

общие последствия применения подобных правил и даже (3) создает иллюзию, что мы могли бы принять другое решение, если бы кто-то опубликовал новую статью по физике, снижающую эти вероятности.

Авторы на конференции по глобальным катастрофическим рискам, судя по всему, предполагали, что мы можем провести еще немного анализа БАК, а затем включить его. Это показалось мне самой лукавой частью их аргументации. Стоит вам один раз принять довод «А вдруг анализ ошибочен, и кто знает, что тогда произойдет?», и никакая статья по физике уже не сможет от него избавиться.

Независимо от того, какие еще статьи по физике были бы опубликованы ранее, на конференции по глобальным катастрофическим рискам авторы использовали бы тот же самый довод и выдумали бы те же самые числовые вероятности. Конечно, я не могу быть полностью уверен в этом утверждении, но его вероятность составляет 75%.

В целом рационалист стремится заставить свой разум работать на максимуме доступной мощности; иногда для этого требуется рассуждать о вербальных вероятностях, а иногда нет, но законы теории вероятностей всегда главенствуют.

Если всё, что у вас есть, — это лишь интуитивное ощущение неопределенности, то вам, пожалуй, стоит придерживаться тех алгоритмов, которые работают с интуитивными ощущениями неопределенности, поскольку ваши встроенные алгоритмы могут справиться лучше, чем ваши неуклюжие попытки облечь всё в слова.

Рассуждая подобным образом, я могу поймать себя на непоследовательности. К примеру, лотерейный аппарат с четко определенным шансом «один на миллион» уничтожить мир встревожил бы меня существенно сильнее, чем запуск Большого адронного коллайдера.

С другой стороны, если бы вы спросили меня, смогу ли я сделать миллион столь же авторитетных заявлений вроде «Большой адронный коллайдер не уничтожит мир» и ошибиться при этом в среднем лишь один раз, мне пришлось бы ответить «нет».

Что мне делать с этой непоследовательностью? Я не уверен, но уж точно не собираюсь махать волшебной палочкой, чтобы от нее избавиться. Это все равно что обнаружить несовпадения на двух картах из вашей коллекции и наскоро сделать на них исправления, чтобы они казались согласованными.

К слову, лотерейный аппарат с шансом уничтожить мир один на миллиард беспокоил бы меня существенно больше, чем устройство, которое уничтожит мир, если иудео-христианский Бог существует. Но я не думаю, что смог бы сделать миллиард последовательных, полностью независимых и столь же рискованных утверждений вроде «Бога нет» и ошибиться в среднем лишь один раз.

Не могу сказать, что я доволен таким положением дел в моей эпистемологии, но я не собираюсь его менять, пока не увижу, что двигаюсь в сторону большей точности и практической эффективности, а не просто к большей внутренней согласованности. В конце концов, цель в том, чтобы побеждать. Если я выдумаю вероятность, не подкрепленную вероятностным инструментарием, если я просто сочиню число, не полученное математическими методами, то, возможно, я лишь мешаю работе собственных встроенных алгоритмов, которые справились бы лучше, рассуждая в привычном для них режиме неопределенности.

Разумеется, это не дает права игнорировать хорошо обоснованные вероятности. Хоть какое-то числовое обоснование, скорее всего, будет лучше смутного ощущения неопределенности; люди — ужасные статистики. Но если вы высосете число полностью из пальца — то есть используете нечисловую процедуру для его получения, — у вас фактически не будет вообще никакого обоснования; и в таком случае вам, вероятно, действительно лучше оставаться при своих смутных ощущениях неопределенности.

Вот почему в своих статьях я обычно использую слова вроде «возможно», «вероятно» и «наверняка» вместо приписывания выдуманных числовых вероятностей вроде «40%», «70%» или «95%». Только представьте, как глупо это бы выглядело. И я думаю, это действительно было бы глупо; полагаю, я бы от этого только проиграл.

Я не из тех «карикатурных» байесианцев, которые утверждают, будто нужно выдумывать вероятности во избежание «голландской книги ставок». Я из тех байесианцев, которые говорят, что на практике люди все равно попадаются на «голландскую книгу», потому что они недостаточно сильны, чтобы этого избежать; и более того, поймать мяч важнее, чем не попасться на «голландскую книгу». Математика здесь подобна фундаментальной физике: она правит всем неизбежно, но рассчитывать её слишком затратно.

Нет также никакого смысла в таком ритуале познания, который лишь имитирует внешние формы математики, но не приводит к систематически более качественным решениям. Это было бы утратой цели; это не истинное искусство жить по закону.

*

291. Задача Ньюкома и сожаление о рациональности. Следующая дилемма вполне может оказаться самой спорной в истории теории принятия решений:

Суперинтеллект из другой галактики, которого мы назовем Омегой, прибывает на Землю и затевает странную игру. В этой игре Омега выбирает человека, ставит перед ним две коробки и улетает.

Коробка А прозрачна и содержит тысячу долларов.

Коробка B непрозрачна и содержит либо миллион долларов, либо ничего.

Вы можете взять обе коробки или взять только коробку B.

Изюминка заключается в том, что Омега помещает миллион долларов в коробку B тогда и только тогда, когда Омега предсказал, что вы выберете только коробку B.

До сих пор Омега оказывался прав в каждом из 100 наблюдаемых случаев: все, кто брал обе коробки, находили коробку B пустой и получали только тысячу долларов; все, кто брал только коробку B, находили в ней миллион долларов. (Мы предполагаем, что коробка А исчезает в облачке дыма, если вы берете только коробку B; никто другой не сможет забрать коробку А после этого.)

К тому моменту, когда вы делаете выбор, Омега уже улетел и перешел к следующей игре. Коробка B уже либо пуста, либо полна.

Омега опускает на землю перед вами две коробки и улетает.

Вы берете обе коробки или только коробку B?

И стандартная философская дискуссия строится следующим образом:

ОДНОКОРОБОЧНИК: «Конечно, я беру только коробку B. Я бы предпочел миллион, а не тысячу».

ДВУХКОРОБОЧНИК: «Омега уже улетел. Коробка B уже либо полна, либо пуста. Если коробка B пуста, то выбор обеих коробок приносит мне 1 000 долларов, а выбор только коробки B приносит 0 долларов. Если коробка B полна, то выбор обеих коробок приносит мне 1 001 000 долларов, а выбор только коробки B — 1 000 000 долларов. В любом случае для меня лучше взять обе коробки, и хуже — оставить тысячу долларов на столе. Так что я поступлю рационально и возьму обе коробки».

ОДНОКОРОБОЧНИК: «Если ты такой рациональный, то почему ты не богат?»

ДВУХКОРОБОЧНИК: «Я не виноват, что Омега решает вознаграждать только людей