Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

330. Остерегайтесь оптимизации других.

Я заметил одну серьезную проблему: начинающие рационалисты сильно переоценивают свою способность оптимизировать жизнь других людей. И, кажется, я догадываюсь, как возникает эта проблема.

Вы читаете девятнадцать разных веб-страниц с советами по саморазвитию — продуктивности, диетам, экономии денег. И все авторы вовсю расхваливают Свой Метод, рассказывают истории о том, как он помог им, и обещают потрясающие результаты...

Но большинство советов звучат настолько фальшиво, что их даже не хочется рассматривать. Вы вздыхаете, с грустью размышляя о диком, детском энтузиазме, который люди способны разжечь в себе по любому поводу, каким бы нелепым он ни был. Советы №4 и №15 звучат интересно, вы их пробуете, но... они... как-то не... в общем, всё с треском проваливается. Совет оказался плохим, или у вас ничего не вышло, и в любом случае вам не стало лучше.

А потом вы читаете двадцатый совет — или даже находите двадцатый метод, которого не было ни на одной из страниц, — и, СИЛЫ НЕБЕСНЫЕ, НА ЭТОТ РАЗ ОН ДЕЙСТВИТЕЛЬНО РАБОТАЕТ!

И вот наконец-то вы открыли настоящий путь, правильный путь, тот, который действительно работает. И когда кто-то другой попадает в ту же неприятность, в которой раньше бывали вы, — что ж, теперь-то вы знаете, как помочь. Вы можете избавить их от необходимости перелопачивать девятнадцать бесполезных советов и сразу перейти к правильному ответу. Как начинающий рационалист вы уже усвоили, что большинство людей не слушают, и обычно даже не пытаетесь — но этот человек ваш друг, вы его знаете, вы доверяете ему и уважаете его достаточно, чтобы рассчитывать, что он прислушается.

И вот вы по-дружески кладете руку ему на плечо, смотрите прямо в глаза и объясняете, как надо действовать.

Лично мне достается этого с избытком. Потому что, понимаете... когда вы открыли способ, который действительно работает... ну, вы уже достаточно помудрели, чтобы не бежать рассказывать об этом друзьям и семье. Но вы непременно должны попробовать рассказать Элиезеру Юдковскому. Ему это нужно, и есть отличный шанс, что он-то поймет.

Мне и самому потребовалось некоторое время, чтобы это понять. Одним из ключевых событий стал случай, когда кто-то из совета директоров Научно-исследовательского института машинного интеллекта (MIRI) сказал мне, что мне не нужно повышение зарплаты для компенсации инфляции, — потому что я мог бы тратить значительно меньше денег на еду, если бы пользовался сервисом онлайн-купонов. И я поверил, ведь это был друг, которому я доверял, да и сказано это было с такой уверенностью. Моя девушка попробовала пользоваться этим сервисом, но через пару недель сдалась.

И вот в чём штука: если бы я наткнулся точно на такой же совет об использовании купонов где-нибудь в блоге, я бы, скорее всего, даже не обратил внимания — прочитал бы и забыл. Даже если бы его написал Скотт Ааронсон или кто-то столь же заведомо умный, я бы всё равно просто прочитал его и пошёл дальше. Но поскольку совет исходил лично от моего друга, мой мозг обработал его иначе — словно мне открыли тот самый секрет; и ведь именно с такой интонацией мне его и преподнесли. И лишь спустя время я осознал: то, что мне преподнесли как личный совет, в иных обстоятельствах было бы просто очередной записью в чьем-то блоге; и шансов сработать в моём случае у этого совета было ничуть не больше и не меньше, чем у поста о продуктивности, написанного любым другим умным человеком.

Поскольку я сталкивался с огромным количеством людей, пытающихся меня оптимизировать, я могу подтвердить: советы, которые я получаю, столь же разнообразны, как и вся блогосфера на тему продуктивности. Но другие не видят в этом изобилии советов указания на то, что люди разные и каждому помогает своё. Вместо этого они видят кучу явно негодных, плохих советов. А потом они наконец находят правильный путь — тот, который работает, в отличие от всех этих бесполезных блогов, — и после этого довольно часто решают использовать его для оптимизации Элиезера Юдковского.

Поймите меня правильно. Иногда советы бывают полезными. Иногда они работают. «Застрял посередине с Брюсом» — это во мне отозвалось. Возможно, это окажется самым полезным из всего, что я до сих пор читал на новом Less Wrong, хотя это ещё предстоит выяснить.

Просто вероятность того, что ваш искренний личный совет — то чудесное средство, которое, черт возьми, действительно у вас сработало, — поможет мне, ничуть не больше и не меньше вероятности того, что вам поможет случайный пост о саморазвитии, написанный каким-то умным автором.

«Разным людям помогает разное». От этой фразы у вас может возникнуть неприятное чувство; знаю, у меня оно возникает. Дело в том, что эта фраза — инструмент, которым пользуется Эпистемология Тёмной стороны для защиты от критики, и применяется она почти так же, как утверждение «Для разных людей истинны разные вещи» (что попросту ложно).

Но пока вы не постигнете законы, представляющие собой почти универсальные обобщения, вы так и будете возиться с поверхностными трюками, которые подходят одному человеку и не подходят другому, сами не понимая почему, поскольку вам неизвестны общие законы, определяющие, что и для кого работает.

Вам особенно стоит быть готовым услышать «нет» в ответ, если у вас есть власть над другим. Власть вообще штука очень опасная, ею чрезвычайно легко злоупотребить, даже не осознавая этого. Есть меры, которые вы можете принять, чтобы уберечь себя от злоупотребления властью, но их нужно именно принимать, иначе они не сработают. На Overcoming Bias был пост о том, что пребывание у власти, как показывают исследования, снижает нашу способность сопереживать и понимать другого человека, хотя сейчас я не могу его найти. Я видел одного рационалиста, который не думал, что обладает властью, и потому не считал нужным осторожничать, а потом изумился, узнав, что его могут бояться...

Всё ещё хуже, когда метод, который у них сработал, требует капельки силы воли. Ведь если вы скажете, что вам это не помогает, ответ для них ясен и очевиден: вы просто ленитесь, и им нужно оказать на вас некоторое давление, чтобы заставить поступить правильно — то есть последовать совету, который, как они выяснили на собственном опыте, реально работает.

Иногда — полагаю — люди действительно ленятся. Но будьте очень, очень, очень осторожны, прежде чем решите, что дело именно в этом, и воспользуетесь своей властью над другими, чтобы «расшевелить» их. Начальники,