Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Ной Харари. Саммари - Издательство «Синдбад»

будут все чаще заменять людей-бюрократов и людей-мифотворцев, глубинная структура власти продолжит меняться, и для выживания демократиям потребуются не только особые институты, но и творцы, способные доступно и занимательно объяснить новые структуры. Например, так, как это было сделано в эпизоде «Нырок» научно-фантастического сериала «Черное зеркало».

Женщина по имени Лейси живет с братом, но мечтает переехать. Чтобы получить скидку на жилье, ей нужно повысить свой социальный рейтинг. Для этого Лейси возобновляет контакты с подругой детства, у которой высокий рейтинг. Но по дороге на свадьбу к подруге она проливает кофе на «высокорейтинговую» женщину, из-за чего ее собственный рейтинг понижается. В результате ей не удается сесть на самолет, и дальше все идет кувырком. Рейтинг Лейси продолжает падать, и в конце концов она оказывается в тюрьме. Эта история – прозорливый анализ того, что происходит, когда компьютерные технологии меняют правила конкуренции за статус.

Автор надеется, что если бюрократы и творческие люди научатся сотрудничать и полагаться на помощь компьютеров, то удастся предотвратить превращение компьютерной сети в абсолютно недоступную пониманию человека. И напоминает: тот факт, что люди могут создать системы социального рейтинга, не означает, что они должны их создавать.

Цифровая анархия

Новая компьютерная сеть может благоволить не только цифровому тоталитаризму, но и цифровой анархии. Децентрализованный характер демократий и их сильные механизмы самокоррекции защищают от тоталитаризма, но затрудняют поддержание порядка. Чтобы нормально функционировать, демократия должна обеспечивать свободную общественную дискуссию и поддерживать минимальный социальный порядок и доверие к институтам. Дискуссии должны вестись по правилам, и должен существовать легитимный механизм принятия решений.

До появления современных информационных технологий ни одному масштабному обществу не удавалось сочетать свободную дискуссию с доверием к институтам, поэтому масштабная демократия была невозможна. Может ли она снова стать нежизнеспособной с появлением новой компьютерной сети? Компьютерная сеть облегчает участие в дискуссии: если в прошлом только СМИ и влиятельные партии решали, чьи голоса прозвучат в публичной сфере, то теперь соцсети сделали дискуссию более открытой. Но в то же время она стала и более анархичной.

К диалогу присоединяются всё новые группы, которые привносят новые мнения и интересы и оспаривают старые правила ведения дискуссии. Демократическая система становится более инклюзивной, однако в краткосрочной перспективе возникает хаос. Если не договориться о правилах, результатом будет анархия, а не демократия.

Особую тревогу у автора вызывает тот факт, что ИИ позволяет подключаться к публичному диалогу не только людям: боты тоже активно участвуют в политических дискуссиях. И если раньше боты лишь распространяли контент, созданный людьми, то новое поколение инструментов ИИ само генерирует миллионы сообщений в соцсетях. При этом исследования показывают, что дезинформации, сгенерированной нейросетью, люди склонны доверять больше, чем дезинформации, написанной людьми.

Алгоритмы не только вступают в дискуссии, но и все чаще дирижируют ими, нарушая правила ведения диалога. Если боты-манипуляторы начнут доминировать в дискуссии, это может привести к сворачиванию демократических дебатов именно тогда, когда люди больше всего в них нуждаются. Такая анархическая сеть не обеспечит ни истины, ни порядка и не сможет существовать долго. А следующим шагом после анархии, по мнению автора, будет установление диктатуры, когда люди согласятся обменять свободу на некоторую определенность.

Запретить ботов

Демократии могут и должны принимать меры по регулированию ИИ и не допускать засорения информационного пространства фейковыми людьми, распространяющими фейковые новости. При этом можно опираться на опыт денежного рынка. С момента появления денег существовала техническая возможность их подделать. Фальшивомонетничество представляет угрозу для финансовой системы, поскольку подрывает доверие людей к деньгам. Однако подделка денег преследуется по закону, и в обращение попадает относительно немного фальшивых купюр, так что доверие людей к деньгам сохраняется.

Столь же решительные меры следует принять для защиты доверия к людям. Философ Дэниел Деннет предлагает правительствам объявить фейковых людей вне закона – так же, как были объявлены вне закона фальшивые деньги. Закон должен запрещать не только дипфейки с реальными людьми, но и любые попытки субъектов, не являющихся людьми, выдать себя за человека. Такие меры не нарушат ничьи права и свободу слова, поскольку у ботов нет прав и свобод.

Это не означает, что нужно запретить всем ботам, алгоритмам и ИИ участвовать в любых дискуссиях. Они могут участвовать во многих дискуссиях при условии, что не выдают себя за людей. Например, ИИ-врач может быть очень полезен, но он не должен притворяться человеком.

Следует также запретить неконтролируемым алгоритмам курировать важные публичные дебаты. Принципы, используемые алгоритмами для принятия решений о том, какие голоса заглушить, а какие усилить, должны проверяться человеческим институтом. И хотя следует проявлять осторожность в отношении цензуры человеческих взглядов, люди могут запретить алгоритмам намеренно распространять возмутительный контент.

Поддерживать демократический диалог никогда не было просто, и все платформы, где он велся, требовали регулирования. Это вдвойне актуально в эпоху, когда инородная форма интеллекта угрожает перехватить инициативу в диалоге.

Будущее демократии

На протяжении большей части истории масштабная демократия была невозможна из-за отсутствия необходимых информационных технологий. Теперь же демократия может оказаться несостоятельной из-за того, что информационные технологии становятся слишком сложными. Невозможно поддерживать публичный диалог, когда в нем участвуют недоступные для понимания алгоритмы, которые отрицают разумные аргументы и разжигают ненависть. Но если демократии и рухнут, то это произойдет не вследствие технологической неизбежности, а из-за неспособности людей разумно регулировать новые технологии.

Информационная сеть в ряде демократических стран уже дает сбой. Демократы и республиканцы в США не могут прийти к согласию даже по элементарным фактам, таким как результаты выборов 2020 года, и с трудом ведут диалог. Сотрудничество двух партий в Конгрессе почти сошло на нет. Аналогичные процессы происходят и в других странах. Когда граждане видят друг в друге скорее врагов, чем политических соперников, демократия несостоятельна.

Почему разрушаются демократические информационные сети? Некоторые видят причину в идеологических разногласиях, однако во многих дисфункциональных демократиях идеологические разрывы не увеличились. Другие пеняют на алгоритмы соцсетей. Они действительно поляризируют общество, но явно есть и другие факторы. Правда в том, что точный ответ не известен. Автор видит в этом примету времени. Информационная сеть стала настолько сложной и настолько опирается на непрозрачные алгоритмические решения и межкомпьютерные сущности, что людям очень трудно ответить даже на самый простой политический вопрос: почему они воюют друг с другом?

Если не разобраться в проблеме и не решить ее, масштабные демократии могут не пережить растущего влияния компьютерных технологий. А если так, что же придет на смену демократии в качестве доминирующей политической системы?

Глава 10

Тоталитаризм: вся власть алгоритмам?

Дискуссии об этике и политике новой компьютерной сети часто фокусируются на судьбе демократий. Авторитарные и тоталитарные режимы упоминаются разве что как мрачный итог, которого достигнет человечество, если не научится разумно управлять компьютерной сетью. Однако в 2024 году более половины человечества живет в условиях авторитарных или тоталитарных режимов. Чтобы осознать влияние ИИ и алгоритмов на человечество, нужно понимать, как они повлияют не только на демократии, но и на диктатуры.

Технологии ХХ века способствовали развитию как масштабной демократии, так и масштабного тоталитаризма, но тоталитаризму приходилось сложнее. Телеграф, телефон и радио и прочие новшества помогали централизовать информацию, но не могли обрабатывать ее и принимать решения за людей. И чем больше информации стекалось в центр, тем труднее было ее анализировать. Диктаторы часто совершали дорого обходившиеся ошибки, а надежных механизмов для их выявления и исправления не было. Демократический принцип распределения информации и полномочий по принятию решений работал лучше.

Однако ИИ способен изменить технологический баланс сил в пользу тоталитаризма. Ведь если перенасыщение данными людей приводит к перегрузке и ошибкам, то перенасыщение данными ИИ повышает его эффективность. Стремление концентрировать всю информацию и власть в одном центре может дать решающее преимущество в эпоху ИИ. Кроме того, ИИ позволяет создавать системы тотальной слежки, которые сделают сопротивление режиму почти невозможным.

Тюрьма для ботов

И все же у авторитарных и тоталитарных режимов есть свои поводы для опасений. Основа любой деспотической