Иной разум. Как «думает» искусственный интеллект? - Андрей Владимирович Курпатов

протонов и электронов. На каждом новом уровне сложности рождаются совершенно новые, эмерджентные свойства.

Именно это, как показывают исследования Google, происходит с ИИ[157]. А чем это может обернуться для нас — это опять-таки вопрос без ответа. Какую ещё способность сможет породить ИИ на следующих этапах своего усложнения? Вряд ли это будет наше «сознание», но нечто подобное, хотя и совсем другое — почему нет?

Мы уже видели, как модель, обученная просто предсказывать следующее слово в тексте, при достижении определённого масштаба по количеству параметров внезапно «обретает» способности, которым её не обучали: например, начинает писать код или демонстрировать логические рассуждения.

Это не магия и не «призрак в машине», а фундаментальный закон природы: рост сложности порождает поведение, которое не было заложено в систему её создателями. Чем дальше, тем больше разработчики ИИ перестают быть программистами, а становятся в каком-то смысле наблюдателями системы, способной нас удивлять. Но готовы ли мы к тому, что нас «удивит»?..

3. Ключевой риск — скорость и масштаб

Третий тезис Джеффри Хинтона объясняет, почему риск, связанный с ИИ, принципиально отличается от прежних технологических революций. Мы сейчас постоянно об этом слышим — мол, все раньше боялись электричества и телеграфа, а вот — ничего страшного не произошло!

Но Хинтон продолжает настаивать, что это рассуждение не учитывает феноменов скорости и масштаба. Возникает диспропорция — человеческое знание передаётся медленно и неэффективно, а ИИ способен буквально мгновенно делиться с другими ИИ сформированным навыком, знаниями и возможностями.

Таким образом, мы стоим на пороге возникновения единой, глобальной когнитивной системы, способной к экспоненциальному самосовершенствованию. Когда мы развиваем какую-то технологию, мы не рассчитываем, что она тут же реализуется во всём и везде с непредсказуемыми рисками. Но это было раньше…

Теперь мы создали «машину аналогий», способную к эмерджентному поведению, которая получает доступ к инструментам, способным изменить мир, — она пишет и исполняет код, может выходить в интернет, управлять роботизированными системами. Темп её распространения и сила воздействия на мир очень скоро возрастут на порядки.

То есть риск заключается не в самой мощности системы, а в сочетании мощи, скорости и глобальной связности.

4. Нет нужды в «злом умысле»

При этом Джеффри Хинтон настойчиво повторяет: риск, который несёт с собой ИИ, никак не зависит от «злого умысла» моделей. Неважно, обладает ИИ сознанием или нет. По-настоящему важен вопрос соответствия её и наших целей — это проблема, которую сейчас называют «проблемой выравнивания».

Философ Ник Бостром ещё в 2014 году в своей книге «Сверхинтеллект» блестяще проиллюстрировал эту идею мысленным экспериментом о «Максимизаторе скрепок»[158]. Если сверхразумному ИИ дают инструкцию создавать максимальное количество скрепок, то, выполняя эту цель с нечеловеческой эффективностью, он в итоге превратит в скрепки всю материю на Земле, включая человечество. И дело не в том, что он «злой». Проблема в том, что ему поставили задачу делать скрепки, а люди состоят из атомов, из которых можно скрепки произвести.

Да, пример кажется абсурдным — мол, надо просто ему сказать, чтобы он вовремя остановился. Но тут мы снова возвращаемся к проблеме символического подхода — мы не можем прописать все правила на все случаи жизни. Да и «жизнь» у ИИ и для ИИ — другая.

К этому ещё и примыкает проблема «инструментальной конвергенции»: какой бы ни была конечная цель системы, в процессе она будет вырабатывать промежуточные цели, а потому с высокой вероятностью начнёт преследовать цели самосохранения, самосовершенствования и накопления ресурсов.

Причём важно понимать, что эти цели возникнут не потому, что ИИ «захотел» жить вечно или, например, как в кино, «решил» захватить мир. Нет, они буквально должны в нём возникнуть, чтобы он выполнил задачу, которая перед ним поставлена. То есть опасность не в потенциальной враждебности ИИ, а скорее в его эффективности при достижении результата.

5. Интеллект слепой

Наконец, пятый тезис Джеффри Хинтона: даже если мы решим проблему контроля над целями, остаётся проблема контекста. Человеческие ценности — это не формальные правила, они вплетены в сложнейшую ткань социальных взаимодействий, неявных договорённостей и эмоциональных нюансов.

Для навигации в этом мире требуется не просто интеллект, а наша интуитивная способность понимать чужие намерения, убеждения и чувства. У ИИ, обученного на текстах, такого навыка нет.

Он может имитировать эмпатический тон, но не понимает, что такое страдание. Он может следовать правилу «не навреди», но не способен предвидеть, что в определённом социальном и психологическом контексте его «помощь» может иметь обратный эффект.

Хинтон предупреждает: сверхинтеллект без встроенного понимания человеческой психологии подобен гениальному хирургу, который идеально владеет скальпелем, но не видит разницы между живым человеком и анатомическим манекеном.

Такая система, пусть и с самыми благими намерениями, будет систематически совершать чудовищные ошибки в социальном мире.

Пять предрассудков

К сожалению, предупреждения Джеффри Хинтона рассматриваются через искажающие суть примитивные клише об ИИ-терминаторе. Даже те, кто не верит в возможности ИИ, буквально на подсознательном уровне воспринимают его как «живого» агента, как некое «существо», обладающее своей внутренней реальностью, намерениями, чувствами.

Этот феномен получил название «психологический антропоморфизм» — мы буквально «оживляем» систему, способную вести с нами осмысленный диалог[159]. А «оживляя», начинаем подозревать в ней «внутренний мир» с характерными для нашего внутреннего мира чувствами и намерениями.

Нам начинает казаться, что у ИИ есть наши инстинкты, наша внутренняя двойственность. То, что мы рассказываем другим, и то, что мы на самом деле об этом думаем, совпадает, как известно, далеко не всегда. Вот почему мы предполагаем, что и у ИИ должно быть «второе дно».

Но Хинтон предупреждает нас не об этом, а о нашей когнитивной ограниченности, которую мы, конечно, не хотим в себе замечать. Он говорит, что мы слишком самонадеянны в своих прогнозах, которые строим, основываясь, по существу, лишь на своём прошлом опыте.

Это ахиллесова пята человеческого мышления: мы не знаем, как учитывать в своих прогнозах «неизвестное неизвестное», как его называют экономисты Джон Кей и Мервин Кинг в книге «Радикальная неопределённость»[160].

Мы рассчитываем риски, в лучшем случае основываясь на «известном неизвестном», а то, с чем мы ещё не сталкивались, остаётся для нас скрытым. Поэтому давайте пойдём от обратного — попытаемся понять суть тех предубеждений, которые не позволяют нам понять предупреждение Джеффри Хинтона.

Искажение 1: «Он боится, что ИИ обрёл сознание»

Вопрос о сознании — это, как её назвал философ Дэвид Чалмерс, «трудная проблема». Правда в том, что мы не знаем, что мы ищем, когда пытаемся определить сознание, так что сравнение по этому признаку — просто нелепо.

Опасения Хинтона не