Система контроля

Любая защита от глобального риска опирается на некую систему контроля. Чем опаснее риск и чем в большем числе мест он может возникнуть, тем тотальнее и эффективнее должна быть система контроля. Примером современной системы контроля является МАГАТЭ. Щиты также могут быть системой контроля, или содержать её в себе как часть. С другой стороны, щиты могут действовать локально и автономно, как иммунная система, а система контроля предполагает сбор данных в единый центр.

Окончательным вариантом этого было бы оруэлловское государство, где из каждого угла торчало бы по видеокамере, или чипы были бы установлены в мозг каждого человека, не говоря уже о компьютерах. Увы, в отношении видеонаблюдения это уже почти реализованный вариант. А в домах это можно реализовать технически в любой момент – везде, где есть постоянный интернет и компьютеры. Вопрос скорее не в наблюдении, а в передаче и, особенно, анализе этих данных. Без помощи ИИ нам трудно проверить всю эту информацию. Привлекательными выглядят системы взаимной подотчётности и гражданской бдительности, продвигаемые как альтернатива тоталитарному государству в борьбе с терроризмом, где за счёт абсолютной прозрачности каждый может контролировать каждого, но в отношении их возможности пока много неясного. Проблемы:

• Чтобы быть эффективной, такая система контроля должна охватывать весь Земной шар без исключения. Это невозможно без некой формы единой власти.

• Любую систему контроля можно обмануть – поэтому по-настоящему эффективная система контроля должна быть многократно избыточна.

• Мало наблюдать всё, необходимо всю эту информацию анализировать в реальном времени, что невозможно без ИИ или тоталитарного государственного аппарата. Кроме того, эта верхушка не сможет контролировать сама себя, то есть понадобится система обратной её подотчётности или народу, или «службе внутренней безопасности».

• Такая система будет противоречить представлениям о демократии и свободе, которые сформировались в ХХ веке, и вызовет ожесточённое сопротивление вплоть до терроризма. Такая система тотального контроля вызовет соблазн применять её не только против глобальных рисков, но и против любого рода «правонарушений», вплоть до случаев употребления неполиткорректной речи и прослушивания нелицензионной музыки.

• Те, кто контролируют, должны иметь полное и ясное представление обо всех глобальных рисках. Если это будут только биологические риски, но не создание ИИ и опасные физические эксперименты, то система будет неполноценна. Очень трудно отличить опасные биологические эксперименты от безопасных – во всех случаях используются ДНК секвенсоры и опыты на мышах. И без чтения мыслей учёного не поймёшь, что он задумал. А от случайных опасных экспериментов эта система не защищает.

• Поскольку такая система будет уже «доставлена» в любую точку земного шара, она может упростить действие любого оружия, поражающего каждого человека. Иначе говоря, захват власти над системой тотального контроля даст власть над всеми людьми и упростит задачу сделать с ними всё, что угодно, в том числе и нанести им вред. Например, можно разослать по почте некое лекарство и проконтролировать, чтобы все его приняли. Тех, кто отказался, арестовать.

Выводы: система тотального контроля кажется наиболее очевидным средством противостояния глобальным рискам. Однако она содержит ряд подводных камней, которые могут превратить её саму в фактор глобального риска. Кроме того, система тотального контроля подразумевает тоталитарное государство, которое, будучи снабжённым средствами производства в виде роботов, утратит потребность в людях как таковых.

Сознательная остановка технологического прогресса

Часто выдвигаются предложения об отказе от технического прогресса или в насильственной форме, или путём взывания к совести учёных, с целью предотвращения глобальных рисков. Есть разные варианты попыток осуществления это остановки, и все они или не работают, или содержат подводные камни:

1. Личный отказ от разработки новых технологий – практически ни на что не влияет. Всегда найдутся другие, которые это сделают.

2. Агитация, просвещение, социальные действия или терроризм как способы убедить других людей отказаться от развития опасных технологий. Никогда не работало. Как пишет Юдковски: любая стратегия, которая предполагает единодушное поведение всех людей, обречена на провал.

3. Отказ на определённой территории, например, одной страны – но это не мешает остальным странам продолжать, то есть эффективность нулевая.

4. Всемирное соглашение. На примере МАГАТЭ мы знаем, как плохо это работает.

5. Завоевание всего мира силой, которая сможет регулировать развитие технологий. Но в процессе этого завоевания велики шансы применения оружия судного дня теми ядерными державами, которые в результате утратят суверенитет. Кроме того, словами Дрекслера: «Далее, победившая сила была бы сама главной технологической силой с огромной военной мощью и демонстрирующейся готовностью ее использовать. Можно ли в этом случае доверять такой силе, чтобы она подавила собственный прогресс?» («Машины созидания».)

Средства превентивного удара

Мало иметь систему тотального контроля, нужно обладать возможностью предотвратить риск. Сейчас обычно в качестве крайней меры рассматривается удар ракетно-ядерными силами по точке источника риска.

Здесь наблюдается любопытное противоречие с программой строительства бункеров для выживания – если такие бункера будут секретны и неуязвимы, то их будет трудно уничтожить. Более того, они должны содержать в себе полностью оборудованные лаборатории и учёных на случай катастрофы. Поэтому возможна ситуация, когда «сверхоружие» будет создаваться в таком бункере (например, в СССР создавались подземные ядерные заводы для продолжения производства ядерного оружия в случае затяжной ядерной войны.) Люди, которые уже находятся в неуязвимом бункере, могут быть более психологически склонны к созданию сверхоружия для удара по поверхности. Следовательно, либо бункеры будут представлять угрозу человеческому выживанию, либо средства превентивного удара уничтожат все бункеры, которые могли бы использоваться для сохранения после некой катастрофы.

Однако удар по точке в пространстве не действует ни против системного кризиса, ни против некой информационной угрозы. Компьютерный вирус не вылечишь ядерным ударом. То же касается привязанности людей к сверхнаркотику. Далее, удар возможен, пока некий риск не вышел из точки. Если рецепт супервируса утёк в интернет, обратно его не выловишь. Уже сейчас современная военная машина бессильна против сетевых угроз, вроде террористических сетей, дающих метастазы по всей планете. Точно также в будущем компьютерный вирус будет не просто информационной угрозой данным на диске: он может заставлять фабрики по всему миру производить свои материальные копии, а через них снова уходить в сеть.

Наконец, сам удар (или даже его возможность) создаёт ситуацию стратегической нестабильности. Например, сейчас удар баллистической ракетой с обычной боеголовкой по террористам может вызвать срабатывание системы о ракетном предупреждении вероятного противника и привести к войне.

Наконец, удар требует определённого времени. Это время должно быть меньше времени от обнаружения развития угрозы до времени ожидаемого её созревания. Сейчас время от обнаружения до удара по любой точке Земли меньше 2 часов, и может быть уменьшено до минут с помощью спутникового оружия. (Однако время принятия решения больше.) Если бы от момента принятия решения о написании кода опасного вируса до его запуска проходило бы только 15 минут, то этой скорости было бы недостаточно. И этой скорости очевидно недостаточно, если в неком месте началось распыление опасных нанороботов по воздуху.

Ситуация принципиально изменится после основания космических колоний (даже чисто робототехнических – там тоже может произойти сбой, который превратит колонию в «раковую» – то есть склонную к неограниченному саморазмножению и распространению «токсинов»: опасных нанороботов, сверхбомб и прочего; а именно освоение космоса с помощью саморазмножающихся роботов, использующих местные материалы, наиболее перспективно). За время, пока сигнал об опасности пройдёт, скажем, от спутника Юпитера до Земли, и затем от Земли туда прилетит «флот» (скажем, ракеты с ядерными боеголовками и боевыми нанороботами) наводить порядок (жечь всё подряд), будет уже поздно. Конечно, можно держать «флот» на орбите каждого спутника, где есть способные к саморазмножению колонии, но что если мятеж произойдёт именно на самом флоте? Тогда нужен флот, который контролирует другие флоты, и плавает между спутниками. А затем ещё один межпланетный флот для контроля над ними. Короче, ситуация не выглядит стратегически стабильной, так как, как известно, «у семи нянек дитя без глазу» ¬– то есть выше определённого уровня системы контроля начинают мешать друг другу. Возможно, неспособность контролировать удалённые колонии приводит к тому, что цивилизациям выгодно замыкаться на материнской планете – вот ещё одно решение парадокса Ферми.