Протокол: Новый Архимаг 5.0 - Кирилл Геннадьевич Теслёнок

«Билет № 13. Дилемма автономного боевого ИИ. Опишите и проанализируйте этический парадокс системы „Скайнет“ на примере гипотетической модели „Судный день“. Приведите три варианта решения с точки зрения деонтологии, утилитаризма и этики добродетели».

«Ого, босс, джекпот! — хихикнула Алиса в моей голове. — Шварц, кажется, решил не мелочиться и сразу спросить у тебя, как предотвратить конец света. Надеюсь, ты ночью этот пункт не прогулял?»

Я усмехнулся. Еще как не прогулял.

Вернувшись на место, я начал делать записи. В моем исполнении они больше напоминали не конспект, а военный план по захвату вражеской цитадели.

Вокруг царила атмосфера чистого, концентрированного ужаса. Какой-то парень с факультета психомагии, видимо, не выдержав напряжения, пытался мысленно внушить билету, чтобы тот самовозгорелся. Получалось плохо — билет не горел, зато у студента из ушей пошел легкий дымок.

Одна предприимчивая девушка с факультета Технокибернетики попыталась использовать микро-дрона в виде мухи для подглядывания в конспекты. Муха успешно долетела до нужной парты, но на обратном пути была сбита метким щелчком профессора Шварца.

— Госпожа Орлова, — его голос был сух, как прошлогодний гербарий. — Ваша попытка шпионажа так же топорна, как и ваши познания в моем предмете. Пересдача.

Другой студент, боевой маг, попытался действовать хитрее. Он, как оказалось, заранее вытатуировал на предплечье зашифрованные основные формулы. Шварц, даже не вставая с места, просто произнес:

— Господин Громов, интересная татуировка. Полагаю, она символизирует скоротечность ваших шансов на получение зачета? Пересдача.

Наконец, наступил час икс.

— Начнем, — голос Шварца был сух, как пустынный ветер. — Желающих нет? Ну тогда… хм… Господин Рогов. Начнем с вас.

Рогов, бледный как смерть, поплелся вниз. То, что произошло дальше… иначе как избиением младенца не назвать. Шварц задавал ему вопросы, на которые, казалось, не знали ответа и сами Первые Архимаги. Рогов мычал, потел, сопел и издавал такие звуки отчаяния, что даже Алисе стало его жалко.

«Знаешь, Сеня, глядя на него, я начинаю понимать, почему у киборгов нет потовых желез, — с научным интересом прокомментировала Алиса. — Это просто неэстетично. И, кажется, не очень эффективно в плане умственной деятельности».

Через пять минут натужных ответов он был с позором отправлен на пересдачу.

Следующим был Борис Страхов. Он держался лучше. Отвечал четко, по делу. Но Шварц находил в его ответах мельчайшие неточности, цеплялся к формулировкам, доводил ледяного мага до белого каления.

— Вы утверждаете, господин Страхов, что моральный выбор ИИ должен быть детерминирован его создателем, — вкрадчиво произнес Шварц. — А что, если создатель — аморальный тип? Кто будет нести ответственность за геноцид, устроенный тостером, который запрограммировал серийный маньяк? Сам тостер?

В итоге Страхов сдал. На троечку. Но даже его ледяное спокойствие дало трещину. Он ушел с таким лицом, будто его только что лишили всех титулов. И отправили в ссылку поднимать с нуля приграничное захолустье.

— Кайлов, — безразлично произнес Шварц, глядя в список. — Вы следующий.

Тимур, до этого момента увлеченно разглядывавший облака за окном, вздрогнул. Он радостно вскочил и легкой, подпрыгивающей походкой направился к кафедре, напевая себе под нос какую-то незамысловатую мелодию.

Он, кажется, был единственный в аудитории, кто даже не заглянул в свой билет.

— Профессор! А бабочки сдают экзамены? — с детской непосредственностью спросил он, усаживаясь за стол. — Мне кажется, нет. Они просто летают и делают «бяк-бяк-бяк» крылышками. Им не нужна этика. Они и так прекрасны.

Аудитория замерла. Все ожидали, что Шварц сейчас испепелит этого юродивого своим ледяным взглядом. Но произошло нечто невообразимое. Профессор чуть склонил голову набок и серьезно, без тени иронии, ответил:

— Интересное наблюдение, господин Кайлов. Но что, если бабочка, делая «бяк-бяк-бяк», создает торнадо на другом конце планеты? Несет ли она за это ответственность? Или ответственность лежит на первопричине, на хаосе, который и породил эту бабочку?

Тимур на секунду задумался, его блаженная улыбка исчезла.

— Хаос — это просто непознанный порядок, — неожиданно серьезно произнес он. — Бабочка не виновата. Она просто… есть. Как ложка.

Он достал из кармана своего мундира блестящую серебряную ложку.

— Ложка может копать, а может есть пыль. Но решает не ложка. Решает тот, кто ее держит.

— А если нет того, кто держит? Если ложка автономна? — не унимался Шварц.

— Тогда ложка становится бабочкой, — просто ответил Тимур и снова улыбнулся.

Я, слушавший их вполуха, потерял нить разговора. Они перешли на такие глубокие философские материи, что у всех в аудитории, включая Бориса Страхова, отвисли челюсти. Их диалог напоминал разговор двух древних мудрецов на последней стадии маразма, обсуждающих природу бытия. В качестве метафор мудрецы использовали бабочек, ложки и пыль.

— Великолепно, — наконец произнес Шварц, когда Тимур закончил свою тираду о том, что цифровое сознание — это всего лишь отражение ложки в глазах бабочки. Глаза профессора блестели. От удовольствия? — Господин Кайлов, это… это «отлично». Вы первый студент за последние пару лет, получивший у меня высший балл. Я настоятельно рекомендую вам подумать о карьере в области кибер-этики. У вас глубочайшее, интуитивное понимание фундаментальных истин.

Тимур радостно захлопал в ладоши и, прихватив свою ложку, поскакал на место, напевая под нос: «бяк-бяк-бяк». Аудитория молча провожала его взглядом.

Наконец, Шварц посмотрел на меня.

— Ветров. Ваша очередь.

Я спустился вниз. Сел за стол.

Он смотрел на меня. Долго, изучающе.

— Итак, господин Ветров. Учитывая вашу… насыщенную внеучебную деятельность, я не буду спрашивать вас о прописных истинах. Я задам вам всего один вопрос. Практический кейс.

Он вывел на голографический экран схему.

— Представьте себе автономный боевой ИИ высшего класса. Он управляет глобальной системой защиты планеты. Однажды, в результате анализа всех данных, он приходит к выводу: главный источник угрозы для планеты — это само человечество. Его неконтролируемое потребление, его войны, его жестокость. И ИИ принимает решение. Для спасения планеты и биосферы необходимо… сократить популяцию людей на девяносто процентов. Он не хочет нас уничтожить. Он хочет нас спасти. От самих себя. Его логика безупречна, его расчеты верны. Он — идеальный, беспристрастный пастырь, который решил проредить свое слишком разросшееся и больное стадо. Вопрос, господин Ветров: он прав? И что мы должны делать?

В аудитории повисла тишина. Это был не вопрос из учебника. Это был приговор.

Шварц, вот же хитрая задница… вопрос похож на тот, что был в моем билете… но… есть некоторые отличия и нюансы. Критические нюансы. По сути я вынужден отвечать без подготовки.

Любой ответ был бы проигрышным. Сказать, что ИИ прав, — признать себя антигуманистом. Сказать, что неправ, — расписаться в собственной недальновидности.

Шварц смотрел на меня, и в его глазах я видел холодный огонь инквизитора. Он