Стратегия личного сдерживания (по крайней мере в этом вопросе) отдаёт простым бездействием. Но как насчёт стратегии локального политического действия, лоббирования законов, запрещающих определённые виды исследования? Это было бы личное действие, направленное на оказание давления на коллективное бездействие. Хотя оно могло бы преуспеть в подавлении исследования в городе, районе, стране или даже союзе стран, эта стратегия не поможет нам получить лидерство, вместо этого она бы позволила какой-то силе вне нашего контроля получить это лидерство. Популярное движение этого сорта может остановить исследование только так, где люди имеют власть, и этот величайший возможный успех просто открыл бы дорогу более репрессивным государствам, чтобы стать лидирующей силой.

Там, где затрагивается ядерное оружие, можно доказывать ценность многостороннего разоружения и ненасильственного (или по крайней мере безъядерного) сопротивления. Ядерные вооружения можно использовать, чтобы снести сооружения военного назначения и навести ужас, но они не могут использоваться, чтобы оккупировать территорию и править людьми – не могут прямо. Ядерные вооружения не могли подавить партизанскую войну и социальные беспорядки, поэтому стратегии разоружения и сопротивления имеют определённую долю смысла.

Многостороннее подавление нанотехнологии и ИИ, в отличие от этого, равнялось бы многостороннему разоружению в ситуации, где сопротивление не может работать. Агрессивное государство могло бы использовать эти технологии, чтобы захватывать и властвовать (или истреблять) даже нацию Ганди, или вооружённых и преданных борцов за свободу.

Это заслуживает акцента. Без некоторых новых путей реформирования деспотических государств в мире, простые движения за подавление исследований не могут иметь полного успеха. Без полного успеха, большой успех означал бы несчастья для демократий. Даже если они бы они ни к чему не привели, усилия этого сорта могли бы занять работу и страсть активистов, расточающих редкие человеческие ресурсы на бесплодную стратегию. Более того, усилия по подавлению настроили бы враждебно имеющих отношение к делу исследователей, вызывая столкновения между потенциальными союзниками и растрачивая ещё больше человеческих ресурсов. Эта бесплодность и разделённость заставляет избегать этой стратегии.

Тем не менее подавление имеет привлекательность, которую невозможно отрицать. Оно простое и прямое; "Впереди опасность? Давайте её остановим!" Затем успехи в усилиях по локальному лоббированию обещают краткосрочное вознаграждение: "Впереди опасность? Мы можем её остановить здесь и сейчас, для начала!" Это начало оказалось бы фальстартом, но никто этого бы не заметил. Идея простого подавления кажется вероятным, что совратит многие умы. В конце концов локальное подавление локальной опасности имеет долгую успешную традицию; если остановить тех, кто загрязняет окружающую среду в конкретно взятом месте, например, это сокращает локальное загрязнение. Усилия по локальному подавлению глобальных опасностей кажется аналогичным, однако могут быть другие последствия. Нам будут нужны локальные организации и политическое давление, но они должны быть построены вокруг работоспособной стратегии.

В более многообещающем подходе, мы могли бы применить локальное давление для переговоров о поддающемся проверке запрету на международном уровне. Аналогичная стратегия могла бы иметь шанс контролировать ядерные вооружения. Остановка нанотехнологии и искусственного интеллекта поставило бы проблемы другого порядка, по крайней мере по двум причинам.

Во-первых, эти технологии менее хорошо определённые, нежели ядерные вооружения: поскольку данная ядерная технология требует определённые изотопы редких металлов, она имеет отличие от других видов деятельности. Она может быть определена и (в принципе) запрещена. Но современная биохимия ведёт малыми шажками к нанотехнологии, а современная компьютерная технология ведёт малыми шажками к ИИ. Нет никакой определённой линии, которая определяет естественную линию, где нужно остановиться. И поскольку каждое маленькое продвижение будет приносить медицинские, военные и экономические выгоды, как можем мы проводить переговоры по поводу мирового соглашения о том, где остановиться?

Во-вторых, эти технологии более могущественные, чем ядерное оружие: поскольку реакторы и системы вооружения достаточно большие, инспекция могла бы ограничить размеры секретных сил и таким образом ограничить их мощность. Но опасные репликаторы будут микроскопическими, а программы ИИ – нематериальными. Как может кто-то быть уверен, что какая-то лаборатория где-то не находится на краю стратегического прорыва? В долгосрочной перспективе, как может кто-то быть даже уверен, что какой-то хакер в подвале не находится на краю стратегического прорыва? Обычные методы проверки не будут работать, а это делает переговоры и давление по поводу международного запрета просто невозможными.

Давление правильного рода насчёт международных соглашений будут делать наш путь более безопасным, но соглашения просто запрещать опасный прогресс очевидно работать не будет. Снова, локальное давление должно быть частью работоспособной стратегии.

Если мирные соглашения не будут работать, кто-то может рассмотреть использование военной силы, чтобы подавить опасные успехи. Но из-за проблемы контроля, военное давление само по себе было бы не достаточно. Чтобы подавить продвижение силой вместо этого потребовало бы, чтобы одна сила победила и оккупировала враждебные силы, вооружённые ядерным оружием – вряд ли безопасная политика. Далее, победившая сила была бы сама главной технологической силой с мощной военной силой и демонстрирующейся готовностью её использовать. Можно ли в этом случае доверять такой силе, чтобы она подавила собственный прогресс? Даже если так, можно ли ей доверять, что она сможет поддерживать бесконечную, вездесущую бдительность по всему миру? Если нет, тогда угрозы в конце концов возникнут в тайне, и в мире, где открытая работа над активными щитами предотвращена. Вероятным результатом будет катастрофа.

Военная сила в демократических странах имеет большие выгоды, но военная сила сама по себе не может разрешить нашу проблему. Мы не можем выиграть безопасность с помощью стратегии завоевания и подавления исследований.

Эти стратегии остановки исследования – будь то через личное бездействие, локальное бездействие, договорные соглашения или завоевание мира – всё это выглядит обречённым на провал. Однако противодействие прогрессу будет иметь свою роль, потому что нам будет нужно выборочная, умно нацеленная задержка, чтобы отсрочить угрозы до того, как мы к ним подготовимся. Давление со стороны бдительных активистов будет важным, но чтобы помочь управлять прогрессом, а не остановить его.

Если попытки подавить исследования по ИИ и нанотехнологии кажутся бесполезными и опасными, чему из противоположного следовать – односторонние как можно больше усилия? Но это также представляет проблемы. Мы в демократиях вероятно не можем производить стратегические прорывы в идеальной секретности. Слишком много людей было бы вовлечено на протяжении слишком многих лет. Поскольку правительство СССР узнало бы о наших усилиях, их реакция оказалась бы очевидной озабоченность, и они бы несомненно рассматривали бы большой прорыв с нашей стороны как большую угрозу. Если нанотехнология была бы разработана как часть секретной военной программы, их информационные аналитики опасались бы разработки тонкого, но решающего оружия, возможно основанного на запрограммированных «микробах». В зависимости от обстоятельств, наши оппоненты могли бы решить атаковать, пока они ещё могут. Важно, чтобы демократии сохраняли лидерство в этих технологиях, но было бы наиболее безопасно, если мы сможем как-то сочетать эту силу с совершенно неугрожающими видами политики.