На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд
На краю пропасти. Экзистенциальный риск и будущее человечества читать книгу онлайн
Философ Тоби Орд, много лет изучавший проблему глобальной бедности, в разное время – советник Всемирной организации здравоохранения, Всемирного банка и других важных международных институтов, один из основателей движения эффективного альтруизма посвятил свой труд экзистенциальным рискам, способным разрушить не только настоящее, но и весь будущий потенциал человечества. Выделяя основные риски, с которыми нам предстоит столкнуться, Орд приводит слова Уинстона Черчилля, предупреждавшего, что “те достижения мысли, которые сулили человечеству неизмеримые материальные блага, могут обернуться его полным уничтожением”. Опираясь на современные научные исследования и огромный массив данных, Орд выражает ясную, доступную и в высшей степени гуманистическую мысль: он призывает человечество в целом и к каждого человека в отдельности внести свой вклад в сохранение нашей цивилизации здесь и сейчас. Как бы ни была велика вероятность природных катастроф, главные угрозы для себя создали мы сами – и только в наших силах их предотвратить. Но действовать нужно немедленно. В формате PDF A4 сохранен издательский макет книги.
373
Danzig et al. (2011). В первом теракте “Аум синрикё” с применением зарина, осуществленном в 1994 году и направленном против судей, задействованных в процессах по делу организации, погибло 8 человек и пострадало 200. Вскоре после этого члены организации с помощью VX-газа убили человека, которого заподозрили в сотрудничестве с полицией. На следующий год в устроенном ими теракте в токийском метро погибло 13 человек и пострадало 6000.
374
В письме Эйнштейну о содержании их манифеста (датированном 11 февраля 1955 года) Рассел написал: “Хотя в настоящий момент в центре внимания находится водородная бомба, разрушительные возможности науки этим не ограничиваются, и вероятно, что совсем скоро бактериологическое оружие станет представлять не меньшую опасность” (Russell, 2012).
375
Из статьи Ледерберга “Биологическое оружие и гибель человечества” (1969).
376
Например, Пинкер пишет: “Угроза биологического терроризма тоже может оказаться призрачной. Биологическое оружие, от которого в 1972 году отказались практически все страны мира, подписав соответствующую международную конвенцию, ни разу не сыграло никакой роли в современных войнах. Запрет был вызван почти повсеместным отвращением к самой идее таких боеприпасов, но даже военных долго убеждать не пришлось, потому что микроскопические живые существа – никудышное оружие” (Pinker, 2018, p. 306; перевод Г. Бородиной и С. Кузнецовой).
377
См. примечание 54 к главе 2.
378
Tucker (2001). Исполнение положений Договора о нераспространении ядерного оружия проверяется Международным агентством по атомной энергии, где работает 2500 человек. Исполнение положений Конвенции о запрещении химического оружия проверяется Организацией по запрещению химического оружия, где работает 500 человек.
379
СССР подписал КБО в 1972 году и ратифицировал ее в 1975 году (Davenport, 2018). Разработка биологического оружия в стране велась с 1928 года как минимум до 1991 года (Carus, 2017).
380
ЮАР подписала КБО в 1972 году и ратифицировала ее в 1975 году (Davenport, 2018). Разработка биологического оружия в стране велась с 1981 по 1993 год (Gould & Folb, 2002).
381
Ирак подписал КБО в 1972 году и ратифицировал ее в 1991 году (Davenport, 2018). Разработка биологического оружия в стране велась примерно с 1974 по 1991 год (Carus, 2017).
382
В 2018 году советник президента США по национальной безопасности Джон Болтон сказал: “Есть… государства, которые входят в Конвенцию по биологическому оружию, однако, как мы полагаем, нарушают ее” (Bolton & Azar, 2018).
383
Известно, что в прошлом в Израиле велась разработка биологического оружия (Carus, 2017), и Израиль – одна из всего десяти стран, которые не подписали и не ратифицировали конвенцию (ее подписали 182 государства, включая все остальные развитые страны) (Davenport, 2018).
384
Стоит отметить, что есть и другие трудности. Создать функционирующий вирус только на основе его ДНК не так просто (хотя это удалось одной небольшой группе). Кроме того, в настоящее время сложно замещать ДНК в бактерии. Также существуют ограничения по продолжительности синтеза последовательности, и потому ДНК многих организмов сегодня не поддаются синтезу.
385
DiEuliis, Carter & Gronvall (2017); IGSC (2018).
386
Часто аргументом против обязательного скрининга служит то, что он может открыть конкурентам доступ к интеллектуальной собственности в виде заказываемых последовательностей ДНК. Но у этой проблемы, по видимому, должно быть криптографическое решение (Esvelt, 2018).
Нам известно немало случаев, когда подобные системы защиты пользовательских продуктов подвергались взлому, но они тем не менее могут обеспечить определенный уровень безопасности, поскольку требуют от злоумышленников экспертизы не только в биологии, но и в компьютерных технологиях. Кроме того, они могут помочь “честным людям оставаться честными”, избавляя исследователей от искушения проводить эксперименты над контролируемыми патогенами.
387
Термин предложил Bostrom (2011b). Неформально их также называют “инфоопасностями”.
388
См. Bostrom, Douglas & Sandberg (2016), где авторы делают обзор этой проблемы, проводят ее формальный анализ и предлагают некоторые решения. В работе Lewis (2018) это понятие применяется к биотехнологическим информационным опасностям.
389
Эту ситуацию усугубляет дополнительная неопределенность в вопросе о размере выгоды и риска, поскольку из за нее распределение оценок чистой выгоды становится шире: самые оптимистичные прогнозы оказываются еще дальше от центральных оценок.
Я сказал, что достаточно одной чрезмерно оптимистичной оценки, но если ученому нужно, чтобы информация была опубликована в журнале, то оценок должно быть две – автора и редактора. Это подсказывает, что решать соответствующую проблему нужно на уровне редакторов журналов, где в процессе участвует меньше людей. Можно, как предлагается в Lewis (2018), обязать первый журнал, отклонивший статью из соображений безопасности, делиться своими опасениями с другими, чтобы автор статьи не принялся рассылать ее во все журналы в поисках того единственного, который слишком оптимистично оценит риск.
В Esvelt (2018) предлагается ввести предварительную регистрацию потенциально опасных исследований, чтобы открытые и широкие дискуссии по вопросам безопасности проходили еще до появления опасной информации.
390
В 1999 году Айман аз-Завахири (нынешний лидер “Аль-Каиды”) написал, что планирует приступить к исследованиям химического и биологического оружия: “Хотя они чрезвычайно опасны, мы узнали о них лишь тогда, когда противник привлек к ним наше внимание, многократно выражая беспокойство в связи с тем, что их разработка не представляет труда” (Wright, 2002).
391
Этим соглашением был Женевский протокол 1925 года, в котором был раздел, запрещавший подписавшим протокол государствам первыми применять бактериологическое оружие. Японцы подписали протокол лишь в 1970 году, но получили информацию из самого факта его существования (Harris, 2002, p. 18).
392
Lewis et al. (2019).
393
Так, я специально привел лишь достаточно широко известные примеры.
394
McCarthy et al. (1955). Основы ИИ были заложены еще до Дартмутской конференции, но лето 1956 года обычно считается моментом появления ИИ как области исследований.
395
Это называется парадоксом Моравека по имени пионера ИИ и робототехники Ханса
