Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски
Иногда экспериментальные психологи обнаруживают в человеческих рассуждениях весьма странные вещи. Например, кто-то оценивает вероятность того, что «Билл играет джаз», как меньшую, чем вероятность того, что «Билл — бухгалтер, который играет джаз». Это кажется странным суждением, поскольку любой отдельно взятый бухгалтер, играющий джаз, очевидно, является джазменом. Но с какой более высокой точки зрения мы утверждаем, что это суждение ошибочно?
Экспериментальные психологи используют два золотых стандарта: теорию вероятностей и теорию принятия решений.
Теория вероятностей — это свод законов, лежащих в основе рациональных убеждений. Математика вероятностей одинаково и без каких-либо различий описывает: а) определение того, где находится ваш книжный шкаф, б) вычисление температуры земного ядра и в) оценку количества волос на голове Юлия Цезаря. Всё это одна и та же задача: как обработать свидетельства и наблюдения, чтобы скорректировать («обновить») свои убеждения. Точно так же теория принятия решений — это свод законов, лежащих в основе рациональных действий, и она в равной степени применима независимо от того, каковы чьи-то цели и доступные варианты.
Пусть «P(то-то и то-то)» означает «вероятность того, что произойдет то-то и то-то», а P(A,B) — «вероятность того, что произойдут и А, и B». Поскольку универсальный закон теории вероятностей гласит, что P(A) ≥ P(A,B), суждение о том, что P(Билл играет джаз) меньше, чем P(Билл играет джаз, Билл — бухгалтер), признаётся неверным.
Выражаясь научным языком, можно сказать, что эта вероятностная оценка является небайесовской. Убеждения и действия, рациональные в этом математически строгом смысле, называют «байесовскими».
Заметьте, что современное понимание рациональности не сводится к рассуждениям с помощью слов. Я приводил пример с открытием глаз, осмотром комнаты и построением ментальной модели помещения, где у стены стоит книжный шкаф. Современное понятие рациональности достаточно широко, чтобы включить ваши глаза и зрительные зоны мозга в число «картографирующих инструментов». Оно включает в себя и ваши бессловесные интуитивные догадки. Математике всё равно, используем ли мы одно и то же слово «рациональный» и применительно к Споку, и применительно к байесовскому подходу. Математика моделирует эффективные способы достижения целей или картографирования мира независимо от того, соответствуют ли эти способы нашим предвзятым мнениям и стереотипам о том, какой «должна быть» рациональность.
Это далеко не исчерпывает вопрос о том, что понимается под «рациональностью» на практике, по двум важным причинам:
Во-первых, байесовский формализм в его полном виде вычислительно нереализуем для большинства задач реального мира. Никто не может на самом деле рассчитать всё математически и следовать этим расчётам, так же как невозможно предсказать поведение фондового рынка, просчитывая движение кварков.
Именно поэтому существует целый сайт под названием «Less Wrong», а не единственная страница, которая просто декларировала бы формальные аксиомы, на чём всё и заканчивалось бы. Поиск истины и реализация ценностей изнутри человеческого разума — это целое отдельное искусство: нам нужно изучить собственные изъяны, преодолеть свои когнитивные искажения, избегать самообмана, привести себя в хорошую эмоциональную форму, чтобы смело смотреть в лицо истине и делать то, что должно быть сделано, и так далее, и так далее.
Во-вторых, иногда под вопрос ставится смысл самой математики. Точные правила теории вероятностей ставятся под сомнение, к примеру, антропными проблемами, в которых число наблюдателей неопределённо. Точные правила теории принятия решений ставятся под сомнение, например, задачами типа Ньюкома, в которых другие агенты могут предсказать ваше решение до того, как оно будет принято.1
В подобных случаях бесполезно пытаться решить проблему, придумывая новое определение слова «рациональный» и заявляя: «Следовательно, предпочитаемый мной ответ по определению, — это и есть то, что подразумевается под словом „рациональный“». Это лишь ставит вопрос о том, почему кто-то вообще должен обращать внимание на ваше определение. Меня интересует теория вероятностей не потому, что это священное слово, ниспосланное Лапласом. Меня интересует обновление убеждений в байесовском стиле (с априорными вероятностями Оккама), потому что я ожидаю, что этот стиль мышления систематически приближает нас, ну, знаете, к точности — к карте, которая отражает территорию.
А кроме того, существуют вопросы о том, как мыслить, на которые, кажется, не дают исчерпывающего ответа ни теория вероятностей, ни теория принятия решений — например, вопрос о том, что чувствовать по отношению к истине, когда вы её уже узнали. Здесь попытка как-то по-особому определить «рациональность» опять же не обосновывает ответ, а лишь заранее его предполагает.
Я здесь не для того, чтобы спорить о значении слова, даже если это слово — «рациональность». Смысл привязки последовательностей букв к определённым понятиям состоит в том, чтобы позволить двум людям общаться — помочь перенести мысли из одного разума в другой. Вы не можете изменить реальность или доказать мысль, манипулируя тем, какие значения закреплены за какими словами.
Так что если вы понимаете, к какому понятию я в целом клоню, используя слово «рациональность» и субтермины «эпистемическая рациональность» и «инструментальная рациональность», то мы поняли друг друга: мы достигли всего, чего можно достичь разговорами о том, как определять «рациональность». Обсуждать теперь нужно не то, какое значение приписать слогам «ра-ци-о-наль-ность», обсуждавать нужно то, какой способ мыслить хорош.
Если вы говорите: «Для меня (эпистемически) рационально верить в X, но на самом деле верно Y», то вы, вероятно, используете слово «рационально» в каком-то ином значении, нежели я. (Например, «рациональность» должна быть непротиворечивой при рефлексии: «рациональный» взгляд на свидетельства и «рациональное» осмысление того, как ваш разум обрабатывает эти свидетельства, не должны приводить к двум разным выводам.)
Точно так же, если вы ловите себя на мысли: «С (инструментальной) точки зрения рационально поступить как X, но правильно поступить как Y», то вы почти наверняка вкладываете какой-то другой смысл в слово «рационально» или слово «правильно». Я использую термин «рациональность» нормативно, чтобы выделить желательные паттерны мышления.
В этом случае — как и в любом другом, когда люди спорят о значениях слов, — вам следует заменить слово «рациональный» более конкретными формулировками: «Для моей личной выгоды лучше убежать, но я надеюсь, что хотя бы попытался бы стащить ребёнка с железнодорожных путей» или «Каузальная теория принятия решений в её обычной формулировке утверждает, что в задаче Ньюкома нужно брать две коробки, но я бы предпочёл получить миллион долларов».
На самом деле я рекомендую перечитать это эссе заново, заменяя каждое употребление слова «рациональный» на «фузальный», и посмотреть, изменит ли это хоть как-то коннотации моих
