Сборник статей Под редакцией Валерии Прайд, И. В. Следзевского, А. В. Турчина. Черновик проект
жүктеу/скачать 3.14 Mb.
|
- Бұл бет үшін навигация:
- 5.2. Ядерный холокост
- 5.3. Мы живем в симуляции, и она выключается
- 5.5. Генетически сконструированный биологический объект
- 5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).
- 5.7. Нечто непредвиденное
- 5.8. Катастрофы в результате физических экспериментов
- 5.9. Естественно возникшее заболевание
- 5.10. Столкновение с астероидом или кометой
- 5.11. Неудержимое глобальное потепление
5. Взрывы (Bangs)Это — наиболее очевидная форма глобальных рисков. Понять эту концепцию легче всего. Ниже описываются некоторые наиболее возможные пути взрывного3 завершения существования мира. Я попытался расположить их в порядке возрастания (по моей оценке) вероятности стать причиной истребления возникшей на Земле разумной жизни; но мое намерение в отношении упорядочивания было, скорее, создать базис для дальнейшей дискуссии, чем сделать некие однозначные утверждения. 5.1. Преднамеренное злоупотребление нанотехнологиями В своей зрелой форме молекулярная нанотехнология позволит создавать самовоспроизводящихся роботов размеров с бактерию, которые смогут питаться нечистотами или другой органической материей (Drexler 1985, 1992; Merkle et al. 1991: 187—195; Freitas 2000). Такие репликаторы могут съесть биосферу или разрушить ее другими способами, такими, как отравление ее, сжигание ее или блокирование солнечного света. Человек с преступными намерениями, обладающий этой нанотехнологией, может вызвать истребление разумной жизни на Земле, выпустив таких наноботов в окружающую среду1.Технология для создания деструктивных наноботов кажется значительно более простой, чем технология создания эффективной защиты от такой атаки (глобальной нанотехнологической иммунной системы, «активного щита» (Drexler 1985)). Поэтому, скорее всего, будет период уязвимости, в течение которого необходимо не допустить попадания этих технологий в неправильные руки. Также эти технологии могут оказаться трудными для управления ими, поскольку не требуют редких радиоактивных изотопов или огромных, легко обнаруживаемых заводов, как это имеет место при производстве ядерного оружия (Drexler 1985). Даже если эффективная защита от ограниченной нанотехнологической атаки будет создана до того, как опасные репликаторы будут разработаны и приобретены склонными к самоубийству режимами или террористами, все еще остается опасность гонки вооружений между государствами, владеющими нанотехнологиями. Утверждается (Gubrud 2000), что молекулярное производство приведет к большей нестабильности гонки вооружений и к большей нестабильности в отношении кризисов, чем ядерные вооружения. Нестабильность гонки вооружений означает, что для каждой соревнующейся стороны будут доминировать стремления усилить свое вооружение, приводящее к стремительному раскручиванию гонки вооружений. Нестабильность в отношении кризисов означает, что для каждой стороны главным стремлением будет ударить первым. Два приблизительно одинаково сильных противника, приобретя нанотехнологическое оружие, начнут, с этой точки зрения, массовое производство и конструирование вооружений, которое продолжится до тех пор, пока не случится кризис и не начнется война, потенциально способная вызвать всеобщее окончательное уничтожение. То, что эта гонка вооружений могла бы быть предсказана, не является гарантией того, что международная система безопасности будет создана вовремя — чтобы предупредить эту катастрофу. Ядерная гонка вооружений между СССР и США была предсказана, но, тем не менее, случилась. 5.2. Ядерный холокостСША и Россия по-прежнему имеют огромные запасы ядерных вооружений. Но приведет ли полноценная ядерная война к реальному истреблению человечества? Отметьте, что: (а) для того, чтобы это стало риском существованию, достаточно, чтобы мы не были уверены, что этого не случится. (б) климатические эффекты широкомасштабной ядерной войны малоизвестны (есть вероятность ядерной зимы). (в) будущие гонки вооружений между странами не могут быть исключены, и это может привести к возникновению еще больших арсеналов, чем те, что существовали в разгар холодной войны. Мировой запас плутония устойчиво возрастает и достиг величины в 2 000 тонн, что примерно в десять раз больше, чем остается в боеголовках (Leslie 1996: 26). Даже если некоторые люди переживут кратковременные эффекты ядерной войны, она может привести к коллапсу цивилизации. Человеческая раса, живущая в условиях каменного века, может быть (а может и не быть) более стойкой к вымиранию, чем другие виды животных. 5.3. Мы живем в симуляции, и она выключаетсяМожет быть доказано, что гипотезе, будто мы живем в компьютерной симуляции, следует приписать значительную вероятность (Bostrom 2001). Основная идея, лежащая в основе так называемого Доказательства симуляции, состоит в том, что огромные количества вычислительной мощности могут быть доступны в будущем (Moravec 1989, 1999), и что они могут быть использованы, среди прочего, для запуска большого количества тонко структурированных симуляций прошлых человеческих цивилизаций. При нескольких не слишком невероятных предположениях результат может быть тот, что большинство разумов, подобных нашим, являются симулированными разумами, и потому мы должны приписать значительную вероятность тому, что мы являемся такими симулированными разумами, а не (субъективно неразличимыми) разумами естественно развившихся существ. И если это так, мы подвергаемся риску того, что симуляция может быть выключена в любой момент. Решение прекратить нашу симуляцию может быть вызвано нашими действиями или внешними факторами. Хотя кому-то может показаться легкомысленным выдвигать столь радикальную гипотезу рядом с конкретной угрозой ядерного холокоста, мы должны основывать свои выводы на рассуждениях, а не на необученной интуиции. Пока не появится опровержение доводам, представленным Бостромом (Bostrom 2001), было бы интеллектуально нечестно пренебрегать выключением симуляции как возможной причиной истребления человечества. 5.4. Плохо запрограммированный суперинтеллект Когда мы создадим первое суперинтеллектуальное устройство (Moravec 1989, 1998, 1999; Vinge 1993; Bostrom 1998; Kurzweil 1999; Hanson et al. 1998), мы можем сделать ошибку и задать ему цели, которые направят его на уничтожение человечества, если учесть его колоссальное интеллектуальное преимущество, дающее силу сделать это. Например, мы можем ошибочно возвести цель более низкого уровня в статус сверхцели. Мы говорим ему решить некую математическую задачу, и он подчиняется, превращая все вещество в солнечной системе в огромное вычислительное устройство, попутно убивая человека, который задал этот вопрос. (Для дальнейшего анализа этой темы, см. (Yudkowsky 2001)).5.5. Генетически сконструированный биологический объектВ результате огромного прогресса генетических технологий, который происходит сейчас, может оказаться возможным для тирана, террориста или сумасшедшего создать «вирус конца света»: организм, который будет совмещать длительный период латентности с высокой вирулентностью и смертельностью (National Intelligence Council 2000). Опасные вирусы могут быть даже выращены ненарочно, как недавно продемонстрировали австралийские исследователи, которые создали модифицированный вирус мышиной оспы (mousepox Ectromelia virus) со 100% смертельностью, когда пытались сконструировать вирус-контрацептив для мышей, чтобы использовать его для контроля грызунов-вредителей (Nowak 2001). Хотя этот конкретный вирус не заражает людей, подозревается, что аналогичные изменения увеличат смертельность вируса человеческой оспы. То, что усиливает возможную опасность здесь — это то, что исследование было быстро опубликовано в открытой научной литературе (Jackson et al. 2001: 1479—1491). Редко увидишь, чтобы информация, созданная в открытых биотехнологических проектах, хранилась бы в секрете, независимо от того, насколько суровой потенциальной опасностью она обладает - и то же относится к исследованиям в нанотехнологиях. Генетическая медицина приведет к созданию лучших лекарств и вакцин, но нет никаких гарантий, что оборона выдержит гонку с нападением. (Даже случайно созданный вирус мышиной оспы имел 50% смертельность на вакцинированных мышах.) В конце концов, опасности биологического оружия могут быть похоронены развитием наномедицины, но хотя нанотехнологии имеют колоссальный долговременный потенциал для медицины (Freitas 1999), они несут свои собственный опасности.
Однако, существует много путей избежать уничтожающих всех людей аварий благодаря применению надёжных инженерных решений. Можно избежать опасного применения самовоспроизводящих систем; можно сделать наноботов1 зависимыми от использования какого-то редкого химического вещества, не существующего в природе; можно заключать их в герметичное окружение; можно спроектировать их так, что любая мутация почти наверняка заставит нанобот прекратить функционирование (Foresight Institute 2000). По этой причине случайное неправильное применение наноботов тревожит гораздо меньше, чем злонамеренное (Drexler 1985; Freitas 2000; (Foresight Institute 1997—1991). Однако, различие между случайным и намеренным может стать расплывчатым. Хотя, в принципе, кажется возможным сделать глобальные нанотехнологические катастрофы очень маловероятными, конкретные обстоятельства могут не позволить реализоваться этому идеальному уровню безопасности. Сравните нанотехнологию с ядерной технологией. С инженерной точки зрения, разумеется, возможно использовать ядерную технологию только в мирных целях, например, только в ядерных реакторах, которые имеют нулевую вероятность уничтожить всю планету. Но на практике оказалось невозможным избежать использования ядерных технологий также и для создания ядерного оружия, что привело к гонке вооружений. При наличии ядерных арсеналов высокой степени боевой готовности неизбежен высокий риск случайной войны. Тоже самое может случиться с нанотехнологиями: их могут заставить служить военным целям таким способом, который может создать неизбежный риск серьезных происшествий. В некоторых ситуациях может быть даже стратегически выгодно нарочно сделать некую технологию или контрольную систему рискованной, например, чтобы создать «принципиально непредсказуемую угрозу, в которой всегда есть элемент случайности» - (Schelling 1960). 5.7. Нечто непредвиденноеНам необходима такая объединяющая категория. Было бы глупо верить, что мы уже придумали и спрогнозировали все значительные угрозы. Будущие технологические или научные открытия легко могут создать новые способы уничтожить мир. Некоторые предвидимые опасности (и, следовательно, не из этой категории), были исключены из списка Взрывов по причине того, что они кажутся слишком маловероятными причинами глобальной катастрофы, а именно: солнечные вспышки, сверхновые, взрывы и слияния черных дыр, гамма-всплески, вспышки в центре галактики, супервулканы, утрата биоразнообразия, рост загрязнения воздуха, постепенная утрата человеческой способности размножаться, и множество религиозных сценариев конца света. Гипотезы о том, что мы однажды достигнем «просветления» и совершим коллективное самоубийство или прекратим размножаться, как надеются сторонники VHEMT (Движение за добровольное вымирание человечества — The Voluntary Human Extinction Movement ) (Knight 2001), выглядят маловероятными. Если бы, действительно, лучше было бы не существовать (как Силен сказал царю Мидасу в греческом мифе и как доказывал Артур Шопенгауэр (Schopenhauer 1891), хотя по причинам, свойственным конкретно его философской системе, он не агитировал за самоубийство), то тогда бы мы не считали этот сценарий глобальной катастрофой. Предположение о том, что быть живым — неплохо, надо рассматривать как подразумеваемое предположение в определении Взрывов. Ошибочное всеобщее самоубийство является риском существованию, хотя его вероятность кажется чрезвычайно малой. (Больше на тему этики человеческого вымирания см. главу 4 из (Leslie 1996: 26).) 5.8. Катастрофы в результате физических экспериментовТревоги конструкторов атомной бомбы из Манхэттенского проекта по поводу того, что взрыв приведет к возгоранию атмосферы, имеют современные аналоги. Были рассуждения о том, что эксперименты на будущих высокоэнергетичных ускорителях частиц могут вызвать разрушение метастабильного состояния вакуума, в котором, возможно, находится наш космос, превращая его в «подлинный» вакуум с меньшей энергетической плотностью (Coleman, Luccia 1980: 3305—3315). Это создаст расширяющийся пузырь всеобщего уничтожения, который распространится по всей галактике и за ее пределы со скоростью света, раздирая всю материю на части по мере продвижения. Другой идеей является то, что эксперименты на ускорителе могут создать отрицательно заряженные стабильные «странные частицы» (strangelets) (гипотетическая форма ядерной материи) или породить микроскопическую черную дыру, которая погрузится в центр Земли и начнет поглощать всю остальную планету (Dar et al. 1999: 142—148). Такие сценарии выглядят невозможными, исходя из наших лучших физических теорий. Но причина, по которой мы ставим эксперименты, состоит именно в том, что мы не знаем, что же на самом деле случится. Гораздо более убедительным доказательством является то, что плотности энергии, достигаемые на современных ускорителях, намного ниже тех, что встречаются в природе при столкновении космических лучей (Dar et al. 1999: 142—148; Turner, Wilczek 1982: 633—634). Возможно, однако, что для этих гипотетических процессов имеют значение другие факторы, помимо плотности энергии, и эти факторы будут собраны вместе в будущих новых экспериментах. Основной причиной беспокойства в связи с «физическими катастрофами» является наблюдение мета-уровня о том, что открытия всех видов опасных физических феноменов происходят постоянно, так что даже если сейчас все физические катастрофы, о которых мы подумали, совершенно невероятны или невозможны, все равно могут быть более реальные пути к катастрофе, ждущие своего открытия. Приведенные здесь — не более чем иллюстрации общего случая. 5.9. Естественно возникшее заболеваниеЧто, если СПИД был бы столь же заразен, как и простуда? Есть несколько черт современного мира, которые могут сделать глобальную пандемию гораздо более вероятной, чем когда-либо раньше. Путешествия, торговля едой и жизнь в городах — все это значительно возросло в современное время, делая проще возможность для новой болезни быстро заразить большую часть населения Земли. 5.10. Столкновение с астероидом или кометойЕсть реальный, но очень маленький риск, что мы будем истреблены ударом астероида или кометы (Morrison et al. 1994). Для того чтобы вызвать вымирание человечества, ударяющее тело, возможно, должно иметь размер более 1 км в диаметре (и, вероятно, 3—6 км.) Было, по крайней мере, пять, а, может быть, и более дюжины массовых вымираний на Земле, и, по крайней мере, некоторые из них были, вероятно, вызваны столкновениями. (Leslie 1996: 81 f). В частности, вымирание динозавров 65 миллионов лет назад связывалось с падением астероида размером 10-15 км в диаметре на полуострове Юкатан. Считается, что тело 1 км или более в диаметре сталкивается с Землей в среднем раз в полмиллиона лет1. Мы пока каталогизировали только малую часть потенциально опасных тел. Если мы сможем заметить приближающееся тело вовремя, мы будем иметь неплохой шанс отклонить его, перехватив ракетой с ядерной бомбой (Gold 1999).
жүктеу/скачать 3.14 Mb. Достарыңызбен бөлісу:
|
и температуру в 450°С. Надеюсь, однако, что у нас будут технологические средства для противодействия данной тенденции к тому моменту, когда это станет действительно опасно.