Общество контроля. Как сохранить конфиденциальность в эпоху тотальной слежки - Джон Фасман

точно, чем случайная группа из 20 человек, и их точность достижима при использовании всего двух легко доступных факторов, должны ли штаты и округа действительно тратить деньги налогоплательщиков на покупку таких программ?

Второй вопрос касается справедливости и выбора: какая правовая система, по мнению людей, должна судить их самих и их знакомых? В 2013 году судья в Висконсине, частично полагаясь на оценку рисков COMPAS, приговорил обвиняемого по имени Эрик Лумис к шести годам тюремного заключения и освободил еще пять человек под подписку о невыезде. Лумис подал в суд, утверждая, что использование COMPAS – алгоритма, который выносит решение с помощью секретной методологии, – нарушило его процессуальные права. Суд первой инстанции и Верховный суд штата Висконсин вынесли решение против него. Но второй суд постановил, что программно вычисляемые оценки риска сами по себе не могут определять приговор. И судей, которые их используют, должны предупреждать, что такие алгоритмы непрозрачны, не индивидуализированы и могут быть несправедливыми по отношению к небелым обвиняемым[181].

Все эти факторы противоречат чувству справедливости либерального общества. Одним из наиболее фундаментальных прав в англо-американской судебной системе является право человека открыто противостоять своему обвинителю. Непрозрачные алгоритмы оценки рисков не полностью нарушают это право – они просто оценивают риск, сами по себе не обвиняют и не выносят суждений. Но они предоставляют выводы, не подлежащие сомнению, и тем самым подходят ближе к нарушению этого права, чем многим хотелось бы. Они также могут препятствовать пересмотру дел в апелляционном порядке. Судья должен обосновать свое решение, в то время как алгоритм, работающий по принципу черного ящика, этого не делает. Даже если апелляционный суд знает, какие факторы учитывал алгоритм, остается неясным, как они взаимодействовали и взвешивались. И с какой целью? Похоже, что программа работает не лучше, чем группа случайным образом выбранных людей. Кроме того, точность и людей, и алгоритмов достигает максимума примерно в 66 %, что не так уж и много: такой результат на школьном экзамене принес бы ученику двойку. Действительно мы именно этого и хотим от нашей системы правосудия?

Полицейские алгоритмы прогнозирования вызывают аналогичные опасения. Как объяснил мне Уильям Айзек, ученый-исследователь искусственного интеллекта, фундаментальная проблема заключается в том, что сообщения о преступлениях – это не перечень всех преступлений. Когда вы прогнозируете, где произойдет преступление, основываясь на сообщениях о преступлениях, вы вводите институциональные предубеждения. Полицейские патрули не везде присутствуют в одинаковом количестве. Как правило, присутствие правоохранителей наиболее заметно в бедных районах, где проживают в основном меньшинства.

Более высокие показатели преступности и арестов в этих районах отражают способ, каким полиция распределяет по городу свои силы, а это распределение сил, в свою очередь, отражает ожидания и предпочтения социума. И когда вы обучаете алгоритм на данных, полученных в результате этих решений, алгоритм просто воспроизводит одну и ту же тенденцию.

Как объяснил Айзек в исследовании, которое он провел вместе с Кристианом Люмом, статистиком из группы анализа данных по правам человека, это создает петлю обратной связи: модель накапливает уверенность, что криминальная активность будет с наибольшей вероятностью расти именно в тех локациях, которые ранее считались местами с высоким уровнем преступности, предвзятость отбора встречается с предвзятостью подтверждения. Предвзятость отбора является результатом использования нерепрезентативной выборки данных. В данном случае это районы, подвергаемые чрезмерному наблюдению со стороны полиции. Предвзятость подтверждения – это когнитивная тенденция человека положительно относиться к тем данным, которые подтверждают наши предположения, и отрицательно – к данным, которые оспаривают или опровергают их[182].

Команда из Нью-Йоркского университета – Рашида Ричардсон, Джейсон Шульц и Кейт Кроуфорд (соответственно, директор по политическим исследованиям в университетском институте AI Now, где изучается социальное влияние искусственного интеллекта на формирование политики; профессор клинического права, стоящий во главе лаборатории технологий и политики юридического факультета; и одна из основателей Института AI Now, ныне занимающая пост профессора-исследователя) – проанализировала данные, которые используются в прогностических программах. Результаты опубликованы в статье «Грязные данные, плохие прогнозы: как нарушения гражданских прав сказываются на полицейских данных, прогностических системах и правосудии»[183].

Статья посвящена простому вопросу: какие данные поступают в системы прогнозирования и контроля? Чтобы на него ответить, авторы изучили тринадцать юрисдикций, которые на момент публикации или ранее пользовались прогностическими системами и были уличены в коррумпированной, расово предвзятой или иной незаконной полицейской практике. Исследовались общедоступные данные об использовании в этих юрисдикциях алгоритмов прогнозирования, а также доказательства из судебных решений и федеральных расследований. Цель – определить, применялись ли в алгоритмах данные, полученные из коррумпированных, предвзятых и незаконных практик, в том числе данные, которыми намеренно манипулировали, которые подтасовывали, искажали индивидуальными и социальными предрассудками, которые поступили в результате заведомо ложных арестов. Другими словами, исследователи хотели знать, опирается ли полицейское прогнозирование на данные, искаженные именно теми предубеждениями, ради исправления которых оно – согласно рекламе – замышлялось.

Обнаружилось, что это происходило в девяти юрисдикциях: алгоритмы, используемые местными департаментами, обрабатывали данные, сгенерированные в периоды, когда, как было установлено, департамент занимался различными формами коррумпированной полицейской практики. Например, в Чикаго создали свой стратегический список подозреваемых именно в тот период, когда, по данным ACLU штата Иллинойс, полиция города участвовала в незаконной деятельности по задержанию и обыску, непропорционально нацеленной на афроамериканцев. (Отчет ACLU привел к мировому соглашению, которое предусматривает независимый надзор за действиями полиции и сбором данных, а также реформу практики задержания и обыска, принятой в полиции Чикаго.)

Можно ли считать, что эти результаты доказывают, будто конкретные аресты, произведенные в определенное время в определенных городах, были ошибочны и вызваны расистской практикой? Нет. Но данные, зараженные предвзятостью, – по крайней мере, частично – лежат в основе прогностических полицейских программ, применяемых в этих городах. Профессор права из Университета Джорджии Сандра Мэйсон в статье «Предвзятость на входе, предвзятость на выходе» отмечает: «В расово стратифицированном мире любой метод прогнозирования будет проецировать неравенство из прошлого в будущее»[184].

Если это обсуждение циклов обратной связи, предвзятых данных и моделей практики звучит расплывчато – это отчасти обусловлено тем, что мы не знаем точно, из чего состоит каждый алгоритм, каким образом взвешиваются различные факторы и как принимаются решения. Мы знаем, что практически невозможно определить, почему Facebook[185] или Twitter показали вам эту историю, а не иную, и почти так же сложно определить, какие факторы в алгоритме прогнозирования привели к тому или иному результату.

Я встретился с Рашидой Ричардсон в быстро пустеющем офисе на Нижнем Манхэттене (Центр науки о данных Нью-Йоркского университета находился в процессе переезда). До прихода в Институт AI Now она была юрисконсультом в Нью-Йоркском союзе гражданских свобод. Ричардсон объяснила мне, что если знать