Российская Академия Наук - Алексей Турчин

Иначе говоря, иммунная система хороша, когда есть мощное дублирование основной системы. У нас пока нет возможности дублирования Земли, а космические поселения столкнуться с рядом принципиальных трудностей (см. главу о них). Кроме того, у всех иммунных систем бывают ложные срабатывания, которые проявляются в автоиммунных заболеваниях – как, например, аллергия и диабет – которые оказывают значительный вклад в человеческую смертность, сравнимый по порядку величины с вкладом рака и инфекционных заболеваний. Если иммунная система слишком жёсткая, она порождает автоиммунные заболевания, а если слишком мягкая – то пропускает некоторые опасности. Поскольку иммунная система покрывает весь защищаемый объект, то выход её из строя создаёт угрозу всему объекту (здесь действует принцип распространение фактора опаснее разрушения). Террористическая атака на иммунную систему делает всю систему беззащитной – так работает СПИД, который только тем сильнее распространяется, чем сильнее с ним иммунная система борется, поскольку он находится внутри неё.

Соответственно, широко обсуждаются идеи БиоЩита и НаноЩита. Эти щиты подразумевают распыление по всей поверхности Земли тысяч триллионов контролирующих устройств, способных оперативно проверять любые агенты на опасность и оперативно уничтожать опасные. Также к щитам относится дальнейшее ужесточение контроля в Интернете и всемирное развешивание следящих видеокамер. Однако уже на примере всемирной ПРО видны существенные проблемы любых щитов.

1. Они мучительно отстают от источника угрозы по времени разработки.

2. Они должны действовать сразу на всей территории Земли без исключений. Чем точечнее угроза, тем плотнее должен быть щит.

3. Они уже сейчас вызывают серьёзные политические разногласия. Поскольку, если щит покрывает не всю поверхность Земли, то он может создавать ситуацию стратегической нестабильности, как, например, национальные системы ПРО порождают соблазн ударить первыми – и страх этого у тех, у кого их нет.

4. Любой щит создаётся на основе ещё более продвинутых технологий, которые могут создавать угрозы своего уровня.

5. Щит может быть источником глобального риска сам по себе, если у него начнётся некая «автоиммунная реакция», то есть он начнёт уничтожать то, что должен был защищать. Или если управление щитом будет потеряно, и он начнёт защищаться от своих хозяев.

6. Щит не может быть абсолютно надёжен – то есть успех его срабатывание носит вероятностный характер. И тогда, в случае постоянной глобальной угрозы вопрос его пробивания – это только вопрос времени.

7. Щит должен иметь централизованное управление, но при этом автономность на местах для быстрого реагирования.

Например, антиастероидный щит создаст много новых проблем безопасности человечества. Во-первых, он даст технологию точного управления астероидами, которая за счёт малых воздействий может направить на Землю огромную массу, причём тайно, в духе криптовойны. Во-вторых, сам такой щит может быть использован для атаки по Земле. Например, если на высокой орбите будет висеть 50 штук гигатонных бомб, готовых по команде устремиться в любую точку Солнечной системы, я не буду чувствовать в большей безопасности. В-третьих, движение всех астероидов за миллиарды лет хорошо синхронизировалось, и любое нарушение этого равновесия может привести к тому, что этот же астероид станет постоянной угрозой, регулярно проходя рядом с Землёй. Особенно это будет опасно, если человечество после такого вмешательства откатится на предтехнологический уровень.

Обратим внимание на то, что каждая опасная технология может быть средством собственного предотвращения:

• Ракеты сбиваются с помощью ракет ПРО.

• По местам производства ядерного оружия наносятся ядерные удары.

• ИИ контролирует весь мир, чтобы нигде не создали неправильный ИИ.

• Биодатчики не дают распространиться биологическому оружию.

• Нанощит защищает от нанороботов.

Часто щиты делают нечто ровно противоположное тому, ради чего они создавались. Например, есть мнение (доклад Беллоны, глава IV.1. «Три «трещины» ДНЯО» ), что договор о нераспространении ядерного оружия плохо справляется с чёрным рынком, но хорошо справляется с распространением мирного атома (то есть строительствам во всех странах, которые этого хотят, исследовательских ядерных реакторов), который фактически оказывается технологией двойного назначения. Прочные двери, которые защищают кабины самолётов после терактов 11 сентября, не дадут проникнуть террористам в кабину, но если они там всё-таки окажутся (например, в силу того, что сам пилот – террорист), то пассажиры и стюарды не смогут им помешать. Если есть система управления полётом с Земли, то появляется шанс захватить самолёт, используя эту систему, по радио.

Наконец, все щиты предлагаются в предположении, что у нас есть некая идеальная система, которая наблюдает и контролирует другую, несовершенную. Например, неподкупная милиция управляет несовершенным обществом. Если же мы милиция коррумпирована, то отдел собственной безопасности её контролирует, и так далее. Очевидно, что идеальных систем не бывает, поскольку и система контроля, и контролируемый объект сделаны из одного теста. Можно представить себе многоуровневую иерархическую систему щитов, но тут есть риск раскола между разными контролирующими системами. Наконец, у любого щита есть слепое пятно – он не может контролировать собственный центр управления.

Действующие и будущие щиты

Здесь я привожу краткий, но насколько возможно полный список щитов, которые уже есть или могут появиться в будущем.

1) Всемирная система ПРО. Страдает от политических и технологических проблем, готова только в зачаточной стадии.

2) МАГАТЭ. Работает, но со сбоями. Упустила несколько военных ядерных программ.

3) Всемирная борьба с наркотиками. Находится в равновесии со своей проблемой – сдерживает в некоторой степени, но не более.

4) Оруэлловский контроль. Система контроля за каждым человеком с помощью видеокамер, чипов идентификации, слежения за Интернетом, перехвата телефонных разговоров. Технически достижима, развёрнута только на несколько процентов от того, что могло бы быть, однако активно развивается. Проблемы с легитимностью, интернациональностью, слепыми зонами, хакерами. Теоретически может стать основой для всех других систем контроля, так как, возможно, достаточно предотвратить злонамеренное поведение людей, чтобы не появлялось опасных био, нано и ИИ устройств. Далее мы обсудим недостатки этой системы подробнее.

5) Mind-контроль. Эта система подразумевает вживление в мозг неких контролирующих чипов. Это может быть не так сложно, как кажется, если мы найдём группы клеток, на которые проецируется внутренний диалог и эмоциональные состояния. Чем-то вроде этого сейчас является детектор лжи. Такая штука решит проблему даже спонтанных преступлений, вроде внезапной агрессии. С другой стороны, потенциал злоупотребления такой технологией – неограничен. Если с помощью такой системы можно будет управлять людьми, то достаточно одной неверной команды, чтобы убить всё человечество. Наконец, она не даст абсолютной защиты, так как её можно взломать, а так же, потому что некоторые катастрофы происходят не по злому умыслу, а от недомыслия.

6) Антиастероидная защита. Ведётся наблюдение, но недостаточное, средства перехвата официально не разрабатываются. (Но зонд Deep Impact использовался для столкновения с астероидом.)

7) БиоЩит. Действует на уровне разведки и международных соглашений по контролю. Есть рекомендации по безопасной разработке биотехнололгий.

8) НаноЩит. В стадии предварительного обсуждения. Есть рекомендации по безопасной разработке.

9) ИИ-щит. Защита от создания враждебного ИИ. В SIAI ведётся обсуждение проблем безопасного целеполагания для сильного ИИ, то есть проблемы его Дружественности. Есть рекомендации по безопасной разработке.

10) Обычная полиция и службы безопасности.

Можно также охаректиризовать последовательность срабатывания щитов в случае развития опасной ситуации.

Первый уровень состоит в поддержании мира в осознанном, миролюбивом, уравновешенном состоянии и в подготовке к работе на всех остальных уровнях. На этом уровне важны открытые дискуссии, сбор средств, пропаганда, образование и инвестиции.

Второй состоит в непосредственном контроле над людьми и опасными системами с тем, чтобы ситуации глобального риска вообще не могли возникнуть. На этом уровне действует МАГАТЭ, оруэлловский контроль и т. д.

Третий – в подавлении возникшей опасности с помощью ракет, антинаноробтов и т д. Это уровень систем ПРО.

Четвёртый – в эвакуации с Земли или закупоривании в бункеры (однако принцип предосторожности предполагает, что следовало бы начать это делать даже одновременно с первым пунктом).