Сборник статей Под редакцией Валерии Прайд, И. В. Следзевского, А. В. Турчина. Черновик проект

жүктеу/скачать 3.14 Mb.

бет	7/37
Дата	30.06.2016
өлшемі	3.14 Mb.
	#168670
түрі	Сборник статей

1 2 3 4 5 6 7 8 9 10 ... 37

6. Сужения (Crunches)

В то время как некоторые события, описанные в предыдущей главе, могут наверняка уничтожить Homo sapiens (например, распад метастабильного вакуума), другие могут быть, в принципе, пережиты (такие, как тотальная ядерная война). Если современная цивилизация рухнет, то отнюдь не обязательно она снова возникнет, даже если человеческий вид выживет. Возможно, мы выработали слишком много легкодоступных ресурсов, которые потребуются примитивному обществу для того, чтобы подняться на наш уровень технологии. Примитивное человеческое общество может быть — а может и не быть — также подвержено вымиранию, как и любой другой вид животных. Но давайте не будем ставить этот эксперимент.

Если примитивное общество выживет, но никогда больше не сможет подняться на нынешний технологический уровень, не говоря о том, чтобы его превзойти, то тогда мы имеем пример сужения. Далее описаны некоторые возможные причины сужения.

6.1. Истощение ресурсов или разрушение экологии

Природные ресурсы, необходимые для поддержания высокотехнологической цивилизации, истощаются. Если какой-нибудь другой катаклизм разрушит технологию, которой мы обладаем, может быть невозможно вскарабкаться назад на нынешний уровень, если природные условия будут менее благоприятными, чем они были для наших предшественников, например, если наиболее легко доступные уголь, нефть и минеральные ресурсы истощатся. (С другой стороны, если масса информации о наших технологических шагах сохранится, это может сделать возрождение цивилизации проще.)

6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс

Можно представить, что однажды в мире придет к власти некое фундаменталистское религиозное или экологическое движение. Если к тому времени станет возможно сделать такое мировое правительство устойчивым относительно мятежей (с помощью продвинутого полицейского надзора или технологий контроля ума), это может навсегда закрыть возможность для человечества развиться до постчеловеческого уровня. Дивный Новый Мир Олдоса Хаксли являет собой широко известный сценарий этого типа (Huxley 1932).

Мировое правительство может не быть единственной формой социального равновесия, которое может необратимо повредить прогрессу. Многие регионы мира сегодня имеют большие трудности в создании учреждений, адекватных темпам роста. В исторической ретроспективе было много случаев, когда прогресс стоял на месте или откатывался назад на значительную дистанцию. Экономический и технологический прогресс может не быть настолько неизбежным, как это кажется нам.

6.3. Давление «вырождения»

Возможно, что продвинутое цивилизованное общество нуждается в том, чтобы в нем была достаточно большая доля интеллектуально одаренных людей. Сейчас кажется, что имеется негативная корреляция в некоторых местах между интеллектуальностью и фертильностью. Если такая селекция продлится в течение длительного периода времени, мы можем развиться в менее мозговитых, но более размножающихся существ, homo philoprogenitus («любитель большого числа отпрысков»).Однако, вопреки тому, что могут заставить подумать эти рассуждения, IQ фактически значительно вырос в течение последнего столетия. Это известно как эффект Флинна; см. например (Flynn 1987: 171—191; Storfer 1999). Не определено, однако, соответствует ли это реальным достижениям в важных интеллектуальных функциях.

Более того, генетическая инженерия быстро приближается к точке, к тому времени, когда родители смогут наделять своих отпрысков генами, коррелирующими с интеллектуальными способностями, физическим здоровьем, долгожительством и другими желательными чертами. В любом случае, временная шкала естественной человеческой генетической эволюции кажется слишком большой, чтобы такое развитие событий имело бы какой-либо значительный эффект до того, как другие процессы сделают эту проблему спорной (Bostrom et al. 1999; Freitas 1999).

6.4. Технологическая остановка.

Существенные технологические трудности в переходе к постчеловеческому миру могут оказаться столь велики, что мы его никогда не достигнем.

6.5. Нечто непредвиденное^¹.

Как и в прошлый раз, это — категория на все случаи жизни.

В общем, вероятность сужения выглядит гораздо меньшей, чем взрыва. Нам следует иметь в виду эту возможность, но не давать ей играть доминирующую роль в нашем мышлении на данном этапе. Если технологическое и экономическое развитие должно будет замедлиться по неким причинам, тогда мы должны будем обратить более пристальное внимание к сценариям сужения.

7. Скрипы (Shrieks)

Выяснение того, какие сценарии являются скрипами, является более трудным из-за включения понятия «желательности» в определение скрипа. Если мы не знаем, что есть «желательное», мы не можем сказать, какие сценарии являются скрипами. Однако есть ряд сценариев, которые следует считать скрипами, исходя из наиболее разумных интерпретаций.

7.1. Захват власти превосходящим интеллектом, загруженным в компьютер

Предположим, что загрузка сознания в компьютер возникнет раньше, чем будет создан искусственный интеллекта человеческого уровня. Загрузка — это разум, перенесенный с биологического мозга в компьютер, который эмулирует вычислительный процесс, имеющий место в исходной биологической нейронной сети (Bostrom et al. 1999; Kurzweil 1999; Merkle 1994; Hanson 1994). Успешный процесс загрузки разума сохранит изначальную память, навыки, ценности и сознание.

Загрузка разума упростит улучшение его интеллекта путем запуска на большей скорости, добавления дополнительных компьютерных ресурсов или оптимизации архитектуры. Можно предположить, что улучшение загрузки выше некого уровня приведет к появлению позитивной обратной связи, когда продвинутая загрузка будет способна находить пути сделать себя еще умнее; и более умная следующая версия будет, в свою очередь, еще успешнее в улучшении себя, и так далее. Если этот быстрорастущий процесс произойдет внезапно, он может привести к тому, что загрузка достигнет сверхчеловеческого уровня интеллекта, тогда как все остальные разумные существа останутся примерно на человеческом уровне. Такое колоссальное интеллектуальное преимущество легко может дать ей соответственно большую власть. Она может, например, быстро создать новые технологии или совершенные нанотехнологические конструкции. Если такая загрузка имеет склонность к не допускать других к тому, чтобы тоже загрузиться в компьютер, она сможет сделать это.

Тогда постчеловеческий мир может быть отражением частных эгоистических предпочтений этой загрузки (которые в худшем случае будут хуже, чем просто бесполезными). Такой мир легко может стать реализацией только малой части того, что возможно и желательно. Этот исход — Скрип.

7.2. Сверхинтеллект с ошибкой

Опять-таки, существует возможность, что плохо запрограммированный сверхинтеллект возьмет власть и реализует те ошибочные цели, которые были ошибочно ему даны.

7.3. Глобальный репрессивный тоталитарный режим

Подобным образом, можно представить, что фанатичное мировое правительство, основываясь, возможно, на ошибочных религиозных или этических убеждениях, сформируется, будет стабильным и решит реализовать только очень малую часть из всех тех позитивных вещей, которые постчеловеческий мир может иметь.

Такое мировое правительство, очевидно, может быть сформировано небольшой группой людей, если они будут контролировать первый сверхинтеллект и смогут задавать его цели. Если сверхинтеллект внезапно возникнет и станет достаточно сильным, чтобы захватить власть над миром, то этот постчеловеческий мир может отражать только уникальные ценности собственников или проектировщиков этого сверхинтеллекта. В зависимости от того, каковы эти цели, этот сценарий может считаться Скрипом.

7.4. Нечто непредвиденное^¹

Все остальное.

Сценарии Скрипа кажутся имеющими значительную вероятность и потому должны быть восприняты всерьез в нашем стратегическом планировании.

Можно пытаться доказать, что одна ценность, которая содержит в себе значительную часть того, что мы считаем желательным в постчеловеческом мире, состоит в том, что этот мир содержит в себе настолько много, насколько это возможно, людей, которые сейчас живы. Помимо всего прочего, многие из нас очень хотят не умирать (во всяком случае, не сейчас) и иметь шанс стать постлюдьми. Если мы примем это, то тогда любой сценарий, в котором переход к постчеловеческому миру отложен достаточно надолго, чтобы почти все современные люди умерли до этого (предполагая, что они не были успешно сохранены посредством крионики (Merkle 1994; Ettinger 1964)) будет Скрипом. В случае провала попыток продления жизни или массового распространения крионики, даже гладкий переход к полностью развитому постчеловечеству через 80 лет будет составлять значительный риск существованию, если мы определим «желательность» конкретно по отношению к людям, которые живы сейчас. Это предположение, однако, отягощено глубокой проблемой о природе ценностей, которую мы не будем пытаться решить здесь.

8. Всхлипы

Если все пойдет хорошо, мы можем однажды выйти на уровень фундаментальных физических пределов. Хотя вселенная кажется бесконечной (Zehavi, Dekel 1999: 252—254; Bostrom 2001), доля вселенной, которую мы можем теоретически колонизировать (исходя из очень ограниченного нашего современного понимания ситуации) конечна (Cirkovic, Bostrom 2000: 675—687), и мы, в конечном счете, истощим все доступные ресурсы, или ресурсы сами собой будут распадаться, по мере постепенного уменьшения негэнтропии и связанного с этим превращением материи в излучение. Но здесь мы говорим об астрономических масштабах времени. Окончание такого рода может быть лучшим, на что мы вправе надеяться, так что будет неправильным считать это риском существованию. Он не соответствует определению Всхлипа, так как человечество на этом пути реализует большую часть своего потенциала.

Два вида Всхлипов (в отличие от обычных, охватывающих все гипотез) кажутся имеющими значительную вероятность:

8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции

Этот сценарий концептуально более сложен, чем другие риски существованию, которые мы рассматривали (вместе, возможно, со сценарием Взрыва «Мы живем в компьютерной симуляции, которую выключают»). Он рассмотрен более подробно в статье-компаньоне этой (Bostrom 2001). Очерк той статьи приведен в конце этой статьи в Приложении (Приложение: очерк эволюционного «всхлипа»).

Похожий сценарий описывается в (Hanson 1998), где доказывается, что наши «космические привычки» будут выжжены в ходе колонизационной гонки. Селекция будет благоприятствовать тем репликаторам, которые будут тратить все свои ресурсы на отправку вовне следующих колонизационных зондов (Freitas 1980: 251—264).

Хотя время, которое потребуется, чтобы случился Всхлип такого рода, относительно велико, он все равно может иметь важные стратегические приложения, так как, возможно, краткосрочные решения могут предопределить, вступим ли мы на путь (Bostrom 2000), который неизбежно ведет к этому результату. Как только эволюционный процесс запущен или космическая колонизационная гонка началась, может оказаться трудным или невозможным остановить ее (Chislenko 1996). Вполне может быть, что единственный возможный путь избежать данного Всхлипа — полностью предотвратить раскручивание этих цепочек событий.

8.2 Уничтожение внеземной цивилизацией

Вероятность столкнуться с инопланетянами в ближайшее время кажется очень маленькой (см. главу этой статьи об увеличивающихся вероятностях ниже, а так же (Barrow, Tipler 1986; Tipler 1982: 36—39)).

Если все пойдет хорошо, и мы разовьемся в межгалактическую цивилизацию, мы можем однажды в далеком будущем встретить инопланетян.

Если они будут враждебны и если (по некой неизвестной причине) они будут обладать значительно лучшей технологией, чем мы будем обладать тогда же, они могут начать процесс завоевания нас. Или, если они запустят процесс фазового перехода вакуума посредством своих высокоэнергетических физических экспериментов (см. главу Взрывы), то однажды нам придется столкнуться с последствиями. По причине того, что пространственная протяженность нашей цивилизации на этой стадии будет вероятно очень велика, завоевание или разрушение потребует много времени для завершения, в силу чего этот сценарий будет скорее Всхлипом, чем Взрывом.

8.3 Нечто непредвиденное

Все другие гипотезы.

Первый из сценариев всхлипа должен быть тщательно взвешен при формулировании долгосрочной стратегии. Взаимодействие со вторым сценарием Всхлипа мы можем безопасно делегировать будущим поколениям (поскольку мы ничего не можем сделать с этим сейчас в любом случае.)

9. Определение величины вероятности рисков существованию

9.1 Прямые методы против непрямых

Есть два взаимодополняющих пути оценки наших шансов создания постчеловеческого мира. Прямой путь, состоит в анализе различных сценариев катастрофы, приписании им вероятностей и затем — вычитании суммы вероятностей этих катастроф из единицы для получения вероятности успеха. Детальные вычисления помогут нам понять, каков будет вклад отдельных причин вымирания в конечный результат. Например, мы бы хотели знать ответы на следующие вопросы вопросы, такие как: насколько труднее спроектировать нанотехнологическую иммунную систему с защитой от глупца, чем спроектировать нанобот, который может выжить и репродуцировать себя в естественной среде? Насколько реально сохранить нанотехнологии строго регулируемыми в течение длительных периодов времени (таким образом, чтобы человек с деструктивными намерениями не мог получить в свои руки наноассемблер, находящийся вне герметичной защищенной сборочной лаборатории (Drexler 1985))? Насколько вероятно, что сверхинтеллект появится ранее продвинутых нанотехнологий? Мы можем делать догадки на основе соответствующих параметров и давать оценки; и мы можем сделать то же самое для других рисков существованию, которые мы описали выше. (Я попытался отобразить приблизительную относительную вероятность различных рисков в порядке следования их описаний, данном в предыдущих четырех главах.)

Во-вторых, имеется непрямой путь оценки наших шансов создания постчеловеческого мира. Есть теоретические ограничения, связанные с данной проблемой, основанные на некоторых общих свойствах мира, в котором мы живем. Их немного, но они важны, так как не основываются на множестве догадок о деталях будущего технологического и социального развития.

9.2 Парадокс Ферми

Парадокс Ферми — это вопрос, вызываемый тем фактом, что мы не наблюдаем никаких признаков внеземной жизни (Brin 1983: 283—309). Это говорит нам о том, что жизнь не возникает на значительной части землеподобных планет и не развивается вплоть до появления продвинутых технологий, которые используется для колонизации Вселенной теми путями, которые могут быть замечены нашими современными инструментами. Здесь должен быть (по крайней мере, один) Большой Фильтр — эволюционный шаг, который чрезвычайно маловероятен — где-то на полпути между землеподобной планетой и видимым образом колонизирующей космос цивилизацией (Hanson 1998). И если этот Великий Фильтр не находится в нашем прошлом, нам следует опасаться его в (ближайшем) будущем. Может быть, почти каждая цивилизация, развившая определенный уровень технологии, вызывает свое собственное вымирание.

К счастью, то, что мы знаем о нашем эволюционном прошлом, хорошо соотносится с гипотезой, что Великий Фильтр позади нас. Имеется несколько убедительных кандидатов на крайне маловероятные эволюционные шаги в истории развития жизни на Земле, которые могут быть достаточно невероятными, чтобы объяснить, почему цивилизации в космосе возникают столь редко и, следовательно, почему мы не видим и не встречаем никаких инопланетян. Эти шаги включают в себя возникновение первых органических саморепликаторов, переход от прокариотов к эукариотам, дыхание кислородом, половое воспроизводство и, вероятно, другие^¹. Вывод состоит в том, что, исходя из нашего нынешнего знания эволюционной биологии, рассуждения о Великом Фильтре не могут много сказать нам о том, с какой вероятностью мы станем постлюдьми, хотя они могут дать нам легкие намеки (Barrow, Tipler 1986; Carter 1983: 347—363; Carter 1989: 33—63; Hanson 1998).

Это может резко измениться, если мы откроем следы независимо развившейся жизни (неважно, вымершей, или нет) на других планетах. Такое открытие будет плохой новостью. Обнаружение относительно продвинутых форм жизни (многоклеточных организмов) будет особенно угнетающим.

9.3 Эффекты селективности наблюдения (Observation selection effects)

Теория эффектов селективности наблюдения может сказать нам, что именно мы должны ожидать от наблюдений, исходя из некоторых гипотез о распределении наблюдателей во Вселенной. Сравнивая эти предсказания с нашими реальными наблюдениями, мы получим вероятностные оценки за или против различных гипотез. Одной из попыток применить такого рода рассуждения для предсказания наших будущих перспектив является так называемое Рассуждение о конце света^² ( Doomsday argument ) (Leslie 1989, 1996). Его цель — доказать, что мы систематически недооцениваем вероятность того, что человечество вымрет относительно скоро. Идея, в простейшей форме, состоит в том, что мы должны думать о себе как о — в некотором смысле — случайной выборке из набора всех наблюдателей в нашем референтном классе ( reference class ), и мы, скорее всего, живем так рано, как оно обстоит на самом деле, если после нас нет очень большого числа наблюдателей нашего класса. Рассуждение о конце света крайне противоречиво, и я всюду доказывал, что, хотя оно может быть теоретически обосновано, некоторые из условий его применимости не выполняются, так что применение его к нашему конкретному случаю будет ошибкой (Bostrom 1999: 539—550; Bostrom 2002).

Другие рассуждения, основанные на антропном принципе, могут быть более успешными: рассуждения на основе парадокса Ферми — это один пример, и в следующей главе приводится другой. В целом, основной урок состоит в том, что мы должны избегать использования того факта, что жизнь на Земле выжила до сегодняшнего дня и что наши гуманоидные предки не вымерли в некой внезапной катастрофе, для доказательства того, что рожденная на Земле жизнь и гуманоидные предки были высоко живучими. Даже если на огромном большинстве землеподобных планет жизнь вымерла до возникновения разумной жизни, мы все равно можем считать себя находящимися на одной из исключительных планет, которая была достаточно везучей, чтобы избежать разрушения^¹. В этом случае наш прошлый успех не дает никаких оснований ожидать успеха в будущем.

Область исследований эффектов избирательности наблюдения является методологически очень сложной (Bostrom 2000: 93—108, 2001: 359—387, 2002), и требуются более фундаментальные работы для того, чтобы понять, как правильно рассуждать об этих вещах. Вполне могут существовать выводы из этой области знаний, которые мы пока еще не можем понять.

9.4 Рассуждение о Симуляции

Большинство людей не верят, что они живут в компьютерной симуляции. Я недавно показал (используя некоторые, достаточно непротиворечивые аспекты теории эффектов избирательности наблюдения), что это приводит к вере в то, что мы почти наверняка не достигнем постчеловеческой стадии или что почти все постчеловеческие цивилизации не имеют индивидуумов, которые запускают большие количества симуляций прошлого, то есть, — компьютерных симуляций человекоподобных существ, из которых они развились (Bostrom 2001). Этот вывод весьма пессимистичен, поскольку он существенно уменьшает число позитивных сценариев будущего, которые достаточно логичны в свете современных эмпирических знаний.

Рассуждение о симуляции является не только общим предупреждением; оно также перераспределяет вероятности между гипотезами, которые остаются вероятными. Он увеличивает вероятность того, что мы живем в симуляции (что может множеством тонких путей влиять на нашу оценку того, насколько вероятными являются разные исходы) и оно уменьшает вероятность того, что постчеловеческий мир будет обладать множеством свободных индивидуумов, имеющих большие ресурсы и человекоподобные мотивы. Это дает нам ценные намеки на то, на что же мы реально можем надеяться и, соответственно, на что мы должны направлять наши усилия.

9.5 Психологические предубеждения?

Психология восприятия рисков является активно развивающеся, но довольно запутанной областью знания (Sjberg 2000: 1—11), которая может потенциально предоставить непрямые основания для пересмотра наших оценок угроз существованию.

Думаю, что наши прозрения о том, какие сценарии будущего являются «убедительными и реалистичными», сформированы тем, что мы видим по телевидению и в кино, и тем, что мы читаем в романах. (Помимо всего прочего, значительная часть рассуждений о будущем, с которыми сталкиваются люди, существует в форме фантастики и в других развлекательных контекстах.) Тогда мы должны, размышляя критически, подозревать, что наши интуитивные ожидания отклонены в сторону переоценки вероятностей тех сценариев, которые создают Хорошие истории, поскольку такие сценарии кажутся более знакомыми и более «реальными».

Это предубеждение Хорошей-истории может быть весьма сильным. Когда вы видели последний раз фильм о внезапном истреблении человечества (без предупреждения и без замены какой-либо другой цивилизацией)? Хотя этот сценарий гораздо более вероятен, чем сценарий, в котором люди-герои успешно отражают вторжение монстров или боевых роботов, он гораздо менее забавен для просмотра. Так что, мы не видим большого количества фильмов такого типа. Если мы не будем осторожны в своих рассуждениях, мы можем впасть в заблуждение, будто скучные сценарии слишком маловероятны, чтобы их стоило принимать всерьез. В общем, если мы подозреваем, что имеет место предубеждение Хорошей истории, мы можем сознательно увеличить наше доверие скучным гипотезам и уменьшить наше доверие интересным, эффектным гипотезам. Суммарный эффект должен перераспределить вероятность между рисками существованию в пользу тех, которые кажутся менее соответствующими продающимся сюжетам, и, возможно, увеличить вероятность рисков существованию как группы.

Эмпирические данные о предубеждениях в оценке рисков двусмысленны. Доказано, что мы страдаем от систематических предубеждений, когда оцениваем наши собственные перспективы рисков в целом. Некоторые данные показывают, что людям свойственно переоценивать собственные способности и перспективы^¹. Три четверти всех автолюбителей думают, что они более осторожные водители, чем среднестатистический водитель^². Согласно одному исследованию, почти половина социологов верит, что они принадлежат к лучшим десяти ученым в своей области (Westie 1973: 19—32), и 94% социологов думают, что они лучше работают в своей отрасли, чем их коллеги в среднем. Также было показано, что находящиеся в депрессии люди делают более точные предсказания, чем люди в нормальном состоянии, за исключением тех, что касаются безнадежности их ситуации (Paulhaus 1986; Roth, Ingram 1985: 243—251; Sackheim, Gur 1979: 213—215). Большинство людей думает, что они сами с меньшей вероятностью подвержены обычным рискам, чем другие люди (Sjberg 1994). Широко распространено убеждение (Urguhart. Heilmann 1984), что публика склонна переоценивать вероятности часто освещаемых в печати рисков (таких, как катастрофы самолетов, убийства, отравления едой и т. д.), и недавнее исследование (Taylor 1999) показывает, что публика переоценивает большое количество распространенных рисков здоровью в отношении себя. Другое недавнее исследование (Benjamin et al. 2001: 35—57), однако, предполагает, что доступная информация согласуется с предположением, что публика рационально оценивает риск (хотя и с некоторым сужением числа доступных анализу вариантов из-за расхода мыслительных усилий на удержание в уме точной информации)^³.

Даже если мы можем получить твердые свидетельства предубеждений в оценке личных рисков, мы все еще должны быть осторожны в распространении их на случай рисков существованию.

9.6 Оценка собранных данных

В сумме эти непрямые аргументы добавляют важные ограничения к тем, которые мы можем вывести из прямого рассмотрения различных технологических рисков, хотя в этой статье недостаточно места для детального рассмотрения. Но общая сумма свидетельств такова, что может показаться неразумным не приписать значительную вероятность гипотезе, что глобальная катастрофа убьет нас. Мое субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25%, и наивысшая оценка может быть значительно больше. Но даже если бы вероятность была гораздо меньше (скажем, ~1%) заявленная тема все равно заслуживала бы очень серьезного внимания по причине высоты ставок.

В целом, наибольшие риски существованию на отрезке времени в два столетия или меньше кажутся связанными с активностью продвинутой технологической цивилизации. Мы видим это, просматривая список различных глобальных рисков, который мы составили. В каждой из четырех категорий наивысшие риски связаны с человеческой активностью. Значительные глобальные угрозы, для которых это не верно, — это «симуляция выключается» (Хотя в некоторых версиях этой гипотезы выключение может быть вызвано нашей активностью, (Bostrom 2001)); удар кометы или астероида (что очень маловероятный риск); и уничтожение внеземной цивилизацией (что очень маловероятно в ближайшем будущем)^¹.

Неудивительно, что глобальные риски, созданные современной цивилизацией, получают львиную долю вероятности. В конце концов, мы делаем сейчас некоторые вещи, которые никогда не делались на Земле ранее, и мы развиваем потенциал, чтобы сделать гораздо больше таких вещей. Если неантропогенные факторы не смогли уничтожить человеческий вид в течение сотен тысяч лет, может показаться маловероятным, что эти факторы сразят нас в ближайшие сто или двести лет. И, наоборот, у нас нет никаких причин не думать, что творения продвинутой цивилизации будут нашей погибелью.

Однако, мы не должны слишком спешить отбрасывать риски существованию, которые не созданы человеком, как незначительные. Это правда, что наш вид выжил в течение долгого времени, несмотря на присутствие таких рисков. Но здесь может играть роль эффект селекции наблюдателей. Вопрос, который нам следует задать, состоит в следующем: в теоретическом случае, если природные катастрофы стерилизуют землеподобные планеты с большой частотой, что мы должны ожидать обнаружить? Очевидно, не то, что мы живем на стерилизованной планете. Но может быть, мы должны быть людьми, стоящими на более ранней фазе эволюции? Чтобы ответить на этот вопрос, мы нуждаемся в решении вопроса о референтных классах в теории селекции наблюдателей (Bostrom 2002). Но эта часть методологии еще не существует. Так что сейчас мы можем сказать, что наиболее серьезный глобальный риск создается продвинутой человеческой цивилизацией, но мы основываем эти утверждения на прямых рассуждениях. Есть ли дополнительные аргументы для наших выводов от непрямых рассуждений, — остается открытым вопросом.

Мы не должны винить цивилизацию или технологию за создание больших глобальных рисков. По причине того, как мы определили угрозы существованию, провал в создании технологической цивилизации будет означать, что мы пали жертвами глобальной катастрофы (а именно, сужения, «технологической остановки»). Без технологии наши шансы избежать глобальных рисков будут нулевыми. С технологиями у нас есть небольшой шанс, хотя наибольшие риски, как оказалось, создаются самими технологиями.

10. Рекомендации, касающиеся стратегии и этики

Угрозы существованию имеют набор черт, в силу которых полезно выделить их в отдельную категорию: колоссальный размер ущерба; тщетность метода проб и ошибок в данном случае; недостаток развитых биологических и культурных методов преодоления; тот факт, что предотвращение риска существованию является глобальным общественным интересом; совместная общественная заинтересованность всех будущих поколений; международная природа многих требуемых мер противодействия; по своей природе умозрительная и междисциплинарная природа темы; тонкие и разнообразные методологические проблемы, возникающие в процессе оценки вероятностей глобальных рисков; и относительное пренебрежение ко всей этой области.

Из нашего обзора наиболее важных угроз существованию и их главных свойств мы можем вывести предварительные рекомендации для этики и стратегии.

10.1. Поднимать известность проблемы рисков существованию.

Нам нужно больше исследований в области рисков существованию — детальных исследований частных аспектов конкретных рисков, равно как и общих исследований проблем, связанных с этикой, методологией, безопасностью и политикой. Осведомленность публики так же должна быть повышена, чтобы стали бы возможными конструктивные политические дискуссии о возможных контрмерах..

Современные исследователи всегда склонны заканчивать свои статьи словами, что в их области требуются дальнейшие исследования. Но в данном случае это, действительно, правда. Имеется гораздо больше научных исследований на тему поведения навозных мух, чем о глобальных рисках.

10.2 Создать структуру для международных действий

Поскольку снижение рисков существованию является всеобщим общественным благом, в идеальном случае должна быть такая узаконенная структура, которая бы справедливо распределяла расходы и ответственность для обеспечения этого блага между всеми людьми. Даже если расходы нельзя разделить справедливо, нужно пытаться создать некоторую систему, которая обеспечит расходы на снижение рисков в приблизительно оптимальных объемах.

Однако, необходимость международных действий связана с чем-то большим, чем желательность распределения расходов. Многие глобальные риски просто не могут быть существенно уменьшены посредством внутренних действий одной или даже большинства стран. Например, даже если большинство стран примет и применит национальные законы против создания некоторых конкретных деструктивных видов нанотехнологий, достигнем ли мы, на самом деле, безопасности, если некоторые менее добросовестные страны решат все равно продвигаться вперед? И принципы ведения стратегических переговоров - могут сделать недопустимым подкуп всех безответственных сторон, чтобы они подписали соглашение, даже если все выиграют, если каждый подпишется (Feldman 1980; Schelling 1960).

10.3 Сохранять готовность к превентивному действию в качестве последнего средства

Создание консенсуса на широкой основе между странами мира требует много времени, оно трудно и во многих случаях невозможно. Поэтому мы должны осознать, что могут возникнуть случаи, в которых сильные страны или коалиции стран должны действовать односторонне ради своего и общего блага. Такие односторонние действия могут ущемлять суверенитет других наций и, возможно, должны быть сделаны упреждающе.

Давайте конкретизируем эту гипотезу. Предположим, продвинутая нанотехнология только что была создана в нескольких ведущих лабораториях. (Под продвинутой нанотехнологией я имею в виду настоящий универсальный наноассмблер — устройство, которое может создавать широкий круг трехмерных структур, включая твердые части, с точностью до атома на основании детально определенного процесса сборки и конструирования, некоторого запаса химикатов и поставки энергии.) Предположим, что на этой стадии возможно предсказать, что изготовление опасных нанорепликаторов будет гораздо проще, чем создание надежной нанотехнологической иммунной защиты, которая может защитить от всех простых опасных репликаторов. Может быть, чертежи опасных репликаторов уже были созданы заранее и доступны через Интернет. Предположим далее, что большая часть исследований, ведущих к созданию наноассемблера, за исключением только нескольких последних стадий, доступна в открытой литературе; так что другие лаборатории в других частях мира, скорее всего, скоро создадут свои собственные наноассемблеры. Что должно быть сделано?

С такими исходными данными, можно с уверенностью предсказать, что опасные технологии вскоре попадут в руки «стран-изгоев», к сосредоточенным на ненависти к чему-то группам людей и, возможно, в конце концов, в руки одиноких психопатов. Рано или поздно кто-либо соберет и выпустит на волю деструктивный нанобот и разрушит биосферу. Единственный вариант — предпринять действия по недопущению распространения технологии наноассемблера до тех пор, пока надежные контр-меры против наноатаки не будут развернуты.

Можно надеяться, что большинство наций будут достаточно ответственны, чтобы добровольно подписаться на соответствующую регуляцию технологии ассемблеров. Эта регуляция не должна быть в форме запрета на ассемблеры, но должна ограничить временно, но эффективно их использование, и она должна дополняться строгой программой контроля. Некоторые страны, однако, могут отказаться принять эту программу. На них будет вначале оказываться давление, чтобы они примкнули к коалиции. Если все попытки убеждения провалятся, сила или угроза применения силы должны быть использованы, чтобы заставить их принять регуляцию.

Превентивный удар по суверенной стране не должен быть легко совершаемым действием, но, в крайнем случае, который мы обрисовали, когда неспособность действовать с большой вероятностью приведет к глобальной катастрофе, мы несем ответственность, которую нельзя игнорировать. Любой моральный запрет, который существует в нормальных условиях против нарушения государственного суверенитета, перевешивается в этом случае необходимостью предотвратить разрушение человечества. Даже если подозрительная страна еще не совершила открытых нарушений, само решение продвигаться в развитии опасных технологий при отсутствии достаточной регуляции должно интерпретироваться как акт агрессии, поскольку это подвергает весь остальной мир даже большему риску, чем, скажем, запуск нескольких ядерных ракет в случайных направлениях.

Интервенция должна быть достаточно решительной, чтобы уменьшить риск до приемлемых уровней, но она не должна быть большей, чем это необходимо, чтобы достичь цели. Может быть, даже уместно выплатить компенсацию жителям подвергшейся атаки страны, многие из которых не несут никакой или почти никакой ответственности за безответственные действия своих лидеров.

Хотя мы надеемся, что мы никогда не окажемся в ситуации, когда применение силы станет необходимым, важно, что мы озвучим наши моральные и стратегические мысли на случай этих чрезвычайных обстоятельств. Развитие широкого понимания моральных аспектов этого сценария заранее особенно важно, поскольку без определенного уровня публичной поддержки демократическим странам будет трудно действовать решительно до того, как появятся какие-либо видимые проявления опасности. Ожидание ее проявления — определенно не подходящий вариант, потому что оно само по себе уже может быть концом^¹.

10.4 Регулирование скорости развития технологий

Если некая возможная технология имеет большой коммерческий потенциал, вероятно, невозможно не допустить ее развития. Во всяком случае, в современном мире, с большим количеством автономных держав и относительно ограниченным надзором и, во всяком случае, с технологиями, которые не зависят от редких материалов или огромных заводов, будет чрезвычайно трудно сделать запрет на развитие 100% надежным. Для некоторых технологий (скажем, разрушающих озон веществ) несовершенно осуществляемая регуляция может быть всем, что нам нужно. Но с другими технологиями, такими как деструктивные наноботы, которые самореплицируются в естественной среде, даже единственное нарушение может быть смертельным. Ограниченная применимость технологических запретов ограничивает набор возможных политик, из которого мы можем выбирать.

То, на что мы должны иметь возможность влиять (в объеме, зависящем от того, как мы определяем это «мы»), — это темп развития различных технологий и, вероятно, последовательность, в которой возможные технологии развиваются и применяются. Мы должны быть сосредоточены на том, что я называю дифференциальным технологическим развитием: попытках замедлить применение опасных технологий и ускорить применение полезных технологий, особенно тех, которые смягчают угрозы, создаваемые другими технологиями.

В случае нанотехнологий, желательной последовательностью было бы размещение защитных систем до того, как наступательные возможности станут доступными для многих независимых государств; с того момента, когда секрет или технология становится доступной многим, чрезвычайно трудно не допустить их дальнейшего распространения. В случае биотехнологий мы должны стремиться продвигать исследования в области вакцин, антибактериальных и антивирусных лекарств, защитных приспособлений, сенсоров и систем диагностики и отложить настолько, насколько это возможно, развитие (и распространение) возбудителей и переносчиков болезней из арсенала бактериологического оружия. Разработки, развивающие средства наступления и обороны в равной степени, являются нейтральными с точки зрения безопасности, пока они осуществляются странами, которые мы идентифицируем как ответственные, и в этом случае они являются выгодными в том отношении, что они увеличивают наше технологическое преимущество над нашими потенциальными противниками. Такие «нейтральные» разработки также могут быть полезны в уменьшении природных угроз, и они могут также приносить пользу, не связанную с глобальной безопасностью.

Некоторые технологии особенно стоит продвигать, поскольку они могут помочь уменьшить широкий круг рисков. Сверхинтеллект — одна из них. Хотя он имеет свои опасности (разъяснявшиеся в предыдущих главах), есть опасности, с которыми мы столкнемся в некоторый момент, несмотря ни на что. Но получение сверхинтеллекта раньше этого момента — желательно, поскольку это поможет уменьшить другие риски. Сверхинтеллект может дать нам советы в стратегии. Сверхинтеллект сделает кривую прогресса для нанотехнологий гораздо круче, таким образом, сокращая период уязвимости между созданием опасных нанорепликаторов и размещением адекватной защиты. Наоборот, получение нанотехнологий до сверхинтеллекта мало уменьшит риски сверхинтеллекта. Единственное значительное исключение здесь — в том случае, если мы думаем, что важно достичь сверхинтеллекта посредством загрузки человека в компьютер, а не искусственного интеллекта. Нанотехнологии очень помогут загрузке (Freitas 1999).

Другие технологии, которые обладают высоким потенциалом уменьшения рисков, включают в себя усиление интеллекта, информационные технологии и надзор. Они могут сделать нас умнее индивидуально и коллективно и могут сделать более возможным установление необходимой регуляции. Таким образом, судя по имеющимся данным, есть серьезные причины продвигать эти технологии настолько решительно, насколько возможно^¹.

Как уже говорилось, мы можем также определить достижения за пределами технологий, которые полезны почти при всех сценариях. Мир и международное сотрудничество — очевидно, стóящие цели, равно как и культивирование традиций, которые помогают демократиям процветать^².

10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию

Некоторые малые угрозы существованию могут быть парированы достаточно дешево. Например, есть организации, нацеленные на картирование потенциально опасных околоземных объектов (например, в НАСА существует программа обнаружения околоземных астероидов и фонд космической защиты). Здесь могло бы быть дано дополнительное финансирование. Чтобы уменьшить вероятность «физических катастроф», может быть создан общественный наблюдательный комитет с правом осуществлять предварительную экспертизу потенциально опасных экспериментов. Сейчас это делается от случая к случаю и часто таким способом, который зависит от честности исследователей, имеющих личную заинтересованность в продолжении экспериментов.

Угрозы существованию от естественных или генетически сконструированных пандемий могут быть уменьшены теми же мерами, которые могут помочь не допустить или локализовать более ограниченные эпидемии. В силу этого можно было бы увеличить усилия в противодействии терроризму, гражданской обороне, эпидемиологическом мониторинге и передаче информации, разработке и накоплении запасов антидотов, репетировании карантинных процедур в случае катастрофы и т. д. Даже отвлекаясь от угроз существованию, было бы, вероятно, рентабельно увеличить долю таких программ в оборонных бюджетах^³.

Широко признанным приоритетом является уменьшение риска ядерного Армагеддона, как случайного, так и намеренного. Имеется огромный объем литературы о связанных с этим стратегических и политических проблемах, к которому мне нечего здесь добавить.

Такие долгосрочные опасности, как распространение нанотехнологий или гонка вооружений между нанотехнологическими державами, равно как и риск в духе Всхлипа «эволюции в забвение», могут сделать необходимым, даже в большей мере, чем ядерное оружие, создание и применение скоординированной глобальной стратегии. Признание этих угроз существованию предполагает, что было бы разумно постепенно перенести фокус политики в области безопасности с поиска национальной безопасности посредством одностороннего усиления на создание единой международной системы безопасности, которая сможет предотвратить гонку вооружений и распространение оружия массового поражения. Какая конкретная политика имеет наилучшие шансы достижения этой долгосрочной цели — это вопрос, выходящий за пределы тематики данной статьи.

10.6. Максипок: эмпирическое правило для этичных поступков

Предыдущие главы показали, что совместная вероятность угроз существованию очень велика. Хотя по-прежнему имеется достаточно широкий разброс оценок, которые могут сделать ответственные мыслители, тем не менее, может быть доказано, что, поскольку ущерб от глобальной катастрофы столь велик, стремление к уменьшению угроз существованию должно быть доминирующим соображением среди забот о человечестве в целом. Было бы полезно принять следующее эмпирическое правило для этичных поступков; мы назовем его Максипок:
Максимизируйте вероятность позитивного исхода, где «позитивный исход» — это любой исход, при котором не происходит глобальной смертельной катастрофы.
В лучшем случае, это — эмпирическое правило, первоначальное предположение, а не абсолютно обоснованный принцип, поскольку есть и другие моральные цели, помимо предотвращения глобальной смертельной катастрофы. Этичное действие всегда находится под риском переноса его основных усилий на вызывающие приятные ощущения проекты^¹, а не на серьезную работу, которая имеет наилучшие шансы излечить наихудшие болячки. Разрыв между вызывающими приятные ощущения проектами и теми, которые на самом деле имеют наибольший позитивный потенциал, вероятно, особенно велик в отношении угроз существованию. Поскольку цель весьма абстрактна и поскольку угрозы существованию не причиняют сейчас страданий ни одному живому существу^², из усилий по их уменьшению может быть выведено гораздо меньше прибыли в виде приятного самоощущения . Это предполагает дополнительный этический проект, а именно: изменить общественное этическое восприятие таким образом, чтобы создать большее уважения и социальное одобрение тем, кто тратит свое время и ресурсы на то, чтобы облагодетельствовать человечество посредством глобальной безопасности, в сравнении с другими видами филантропии.

Максипок, как один из принципов разумной достаточности, отличается от Максимина («Выбирайте действие, которое имеет наилучший исход в наихудшем случае».)^³. Поскольку мы не можем полностью устранить угрозы существованию (в любой момент мы можем быть сброшены в мусорный ящик космической истории расширяющимся фронтом вакуумного перехода, запущенного в далекой галактике миллиард лет назад), использование Максимина в текущем контексте имело бы последствием то, что мы должны были бы выбрать действие, которое имело бы наибольшие преимущества при предположении о неизбежном вымирании. Иными словами, Максимин означает, что мы все должны начать развлекаться, как если бы у нас не было завтра.

Хотя этот вариант бесспорно привлекателен, очевидно, что лучше допустить, что может наступить хотя бы завтрашний день, особенно, если мы правильно разыграем наши карты.

Выражения признательности

Я благодарен за комментарии Курту Адамсу (Curt Adams), Амаре Ангелике (Amara Angelica), Брайану Эткинсу (Brian Atkins) , Милану Цирковичу (Milan Cirkovic), Дугласу Чембермену (Douglas Chamberlain), Роберту Фрайтасу, Марку Губруду (Mark Gubrud), Робину Хэнсону (Robin Hanson), Барбаре Ламар (Barbara)Lamar, Джону Лесли (John Leslie), Майку Тредеру (Mike Treder), Кену Олуму (Ken Olum), Роберту Пизани (Robert Pisani), нескольким анонимным читателям и аудитории на встрече SIG в институте Foresight Institute в апреле 2001 года. Эта статья также выиграла от дискуссий с Микаэлой Фистос (Michaela Fistioc), Биллом Джоем (Bill Joy), Джоном О (John Oh), Пэтом Паркером (Pat Parker), Кетом Де Роузом (Keith DeRose), и Питером Сингером (Peter Singer).

Приложение: очерк эволюционного «всхлипа»

Это приложение дает очерк того, почему существует угроза, что мы кончим эволюционным «всхлипом». Последующая цепь рассуждений из 11 звеньев не предназначена для того, чтобы быть жестким доказательством какого-либо рода, но скорее — наводящим на размышления рассказом без литературных украшений. (Более подробную дискуссию по некоторым из этих идей см. (Bostrom 2001).)

Хотя легко думать об эволюции как о жизни, происходящей от простых к более сложным формам, мы не должны некритически предполагать, что это всегда так. Это правда, что здесь, на Земле, простые репликаторы развились в человеческие существа (среди прочего), но по причине эффекта селективности наблюдения, информационная ценность этого одного свидетельства очень ограничена (больше на эту тему сказано в главе об оценке вероятностей рисков существованию).

Мы не наблюдаем в настоящий момент значительного эволюционного развития человеческого вида. Это связано с тем, что биологическая эволюция действует на временной шкале многих поколений, а не потому что этого больше не происходит (Kirk 2001: 432—435).

Биологическая человеческая эволюция медленна в первую очередь из-за медленности процесса человеческого размножения (с минимальным промежутком между поколениями примерно в полтора десятка лет).

Загруженные в компьютер люди и машинные интеллекты могут размножаться практически мгновенно в случае наличия необходимых ресурсов. Также, если они смогут предсказать некоторые аспекты своей эволюции, они смогут модифицировать себя прямо сейчас, вместо того, чтобы ждать, пока их оттеснят на второй план другие. Оба эти фактора могут привести к гораздо более быстрому эволюционному развитию в постчеловеческом мире.

Виды деятельности и жизненные пути, которые мы ценим, могут не совпадать с видами деятельности, которые имеют максимальную экономическую ценность в постчеловеческом мире. Деятели, которые выберут трату некоторой части своих ресурсов на (непродуктивные или не очень оптимальные) «хобби», будут находится в невыгодном положении, и будут потому рисковать быть оттесненными на второй план. (Но как тогда игра могла развиться у людей и других приматов? Предположительно, потому что она была адаптивно выгодна и поэтому «продуктивна» в смысле слова используемого здесь. Мы приписываем ценность игре. Но опасность состоит в том, что нет никаких гарантий, что виды деятельности, которые будут адаптивно полезными в будущем, будут теми же, которые мы сейчас считаем полезными — адаптивная деятельность в будущем может быть даже не связана с какой-либо формой осознания).

Мы должны различать два значения слов «оттеснены на второй план». В первом случае «оттеснены» означает «оттеснены» только в относительном смысле: ресурсы, которыми такие существа обладают, составляют все меньшую и меньшую часть от всех колонизованных ресурсов с течением времени. Во втором смысле, «оттесненный» тип испытывает уменьшение в абсолютных терминах, так что, в конечном счете, это тип становится вымершем.

Если права собственности почти совершенно соблюдаются (на космических расстояниях, что, кажется, непросто сделать), тогда «хоббисты» (то есть те типы, которые тратят часть своих ресурсов на непродуктивные виды деятельности) будут оттеснены только в первом смысле слова. В зависимости от деталей это может быть, а может и не быть классифицировано как «всхлип». Если потеря потенциала (по причине доминирования типов, которые мы не считаем ценными) достаточно велика, это будет «всхлипом».

При отсутствии совершенного соблюдения прав собственности, нам следует опасаться того, что хоббисты вымрут, потому что они менее эффективные соревнователи за одни и те же экологические ниши, чем те типы, которые не тратят никаких своих ресурсов на активность в духе хобби.

Единственный путь избежать этого исхода может состоять в замене естественной эволюции — направленной эволюцией, то есть так сформировать давление социальной селекции, что оно будет потворствовать хоббистам (например, обкладывая налогом нехоббистов) (Bostrom et al. 1999; Bostrom 2001). Это может сделать тип хоббистов успешным в соревновании.

Направленная эволюция, однако, требует координации. Ничего хорошего не выйдет, если одни общества решат благоволить своим хоббистам, в то время как другие общества, наоборот, решат максимализировать свою продуктивность путем прекращения их поддержки. Последние в конечном счете переиграют первых. Таким образом, единственный путь, на котором направленная эволюция может избежать того, что, в противном случае, обречено быть эволюционным «всхлипом», может состоять в том, что на высшем уровне организации будет только один независимый деятель. Мы можем назвать такую организацию Синглетон (singleton — единственный, одиночка).

Синглетон не обязан быть монолитным. Он может содержать в себе высоко разнообразную экологическую среду из независимых групп и индивидуумов. Синглетон может быть, например, всемирным демократическим правительством или дружественным сверхинтеллектом (Yudkowsky 2001). Остается открытым вопрос, сформируется ли, в конце концов, Синглетон. Если Синглетон не сформируется, и если структурный ландшафт будущей эволюции не благоприятствует видам деятельности, которые мы находим ценными, то тогда результатом может быть эволюционный «всхлип».

Библиография

Barrow, J.D., & Tipler, F.J. (1986). The Anthropic Cosmological Principle. Oxford: Oxford University Press.
Benjamin, D.K. et al. (2001). Individuals' estimates of risks of death: Part II — New evidence. Journal of Risk and Uncertainty, 22(1), 35-57.
Bostrom, N. (1998). How Long Before Superintelligence? International Journal of Futures Studies, 2. URL: http://www.nickbostrom.com/superintelligence.html.
Bostrom, N. (1999). A Subjectivist Theory of Objective Chance, British Society for the Philosophy of Science Conference, July 8-9, Nottingham, U.K.
Bostrom, N. (1999). The Doomsday Argument is Alive and Kicking. Mind, 108(431), 539-550. URL: http://www.anthropic-principle.com/preprints/ali/alive.html.
Bostrom, N. (2000). Is the end nigh?, The philosopher's magazine, Vol. 9 (pp. 19-20). URL: http://www.anthropic-principle.com/primer.html.
Bostrom, N. (2000). Observer-relative chances in anthropic reasoning? Erkenntnis, 52, 93-108. URL: http://www.anthropic-principle.com/preprints.html.
Bostrom, N. (2000). Predictions from Philosophy? Coloquia Manilana (PDCIS), 7. URL: http://www.nickbostrom.com/old/predict.html.
Bostrom, N. (2001). Are Cosmological Theories Compatible With All Possible Evidence? A Missing Methodological Link. In preparation.
Bostrom, N. (2001). Are You Living in a Simulation? Working-paper. URL: http://www.simulation-argument.com.
Bostrom, N. (2001). Fine-Tuning Arguments in Cosmology. In preparation. URL: http://www.anthropic-principle.com.
Bostrom, N. (2001). The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. Synthese, 127(3), 359-387. URL: http://www.anthropic-principle.com.
Bostrom, N. (2001). The Future of Human Evolution. Working paper. URL: http://www.nickbostrom.com.
Bostrom, N. (2001). Transhumanist Values. Manuscript. URL: http://www.nickbostrom.com.
Bostrom, N. (2002). Anthropic Bias: Observation Selection Effects in Science and Philosophy. Routledge, New York. URL: http://www.anthropic-principle.com/book/.
Bostrom, N. et al. (1999). The Transhumanist FAQ. URL: http://www.transhumanist.org.
Brin, D. (1998). The Transparent Society. Reading, MA.: Addison-Wesley.
Brin, G.D. (1983). The `Great Silence': The Controversy Concerning Extraterrestrial Intelligent Life. Quarterly Journal of the Royal Astronomical Society, 24, 283-309.
Caplin, A., & Leahy, J. (2000). The Social Discount Rate. National Bureau of Economic Research, Working paper 7983.
Carter, B. (1983). The anthropic principle and its implications for biological evolution. Phil. Trans. R. Soc., A 310, 347-363.
Carter, B. (1989). The anthropic selection principle and the ultra-Darwinian synthesis. In F. Bertola & U. Curi (Eds.), The anthropic principle (pp. 33-63). Cambridge: Cambridge University Press.
Chislenko, A. (1996). Networking in the Mind Age. URL: http://www.lucifer.com/~sasha/mindage.html.
Cirkovic, M., & Bostrom, N. (2000). Cosmological Constant and the Final Anthropic Hypothesis. Astrophysics and Space Science, 274(4), 675-687. URL: http://xxx.lanl.gov.
Coleman, S., & Luccia, F. (1980). Gravitational effects on and of vacuum decay. Physical Review D, 21, 3305-3315.
Cowen, T., & Hanson, R. (2001). How YOU Do Not Tell the Truth: Academic Disagreement as Self-Deception. Working paper.
Dar, A. et al. (1999). Will relativistic heavy-ion colliders destroy our planet? Physics Letters, B 470, 142-148.
Drexler, K.E. (1985). Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. URL: http://www.foresight.org/EOC/index.html.
Drexler, K.E. (1988). A Dialog on Dangers. Foresight Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background3.html.
Drexler, K.E. (1992). Nanosystems. New York: John Wiley & Sons, Inc.
Earman, J. (1995). Bangs, Crunches, Whimpers, and Shrieks: Singularities and Acausalities in Relativistic Spacetimes: Oxford University Press.
Ettinger, R. (1964). The prospect of immortality. New York: Doubleday.
Evans, L. (1991). Traffic Safety and the Driver: Leonard Evans. URL: http://www.scienceservingsociety.com/book/.
Feldman, A. (1980). Welfare Economics and Social Choice Theory. Boston: Martinus Nijhoff Publishing.
Flynn, J.R. (1987). Massive IQ gains in many countries: What IQ tests really measure. Psychological Bulletin, 101, 171-191.
Foresight Institute (1997-1991). Accidents, Malice, Progress, and Other Topics. Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background2.html.
Foresight Institute (2000). Foresight Guidelines on Molecular Nanotechnology, Version 3.7. URL: http://www.foresight.org/guidelines/current.html.
Forrest, D. (1989). Regulating Nanotechnology Development. . URL: http://www.foresight.org/NanoRev/Forrest1989.html.
Foster, K.R. et al. (2000). Science and the Precautionary Principle. Science, 288, 979-981. URL: http://www.biotech-info.net/science_and_PP.html.
Freitas (Jr.), R.A. (1999). Nanomedicine, Volume 1: Basic Capabilities. Georgetown, TX: Landes Bioscience. URL: http://www.nanomedicine.com.
Freitas (Jr.), R.A. (2000). Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: http://www.foresight.org/NanoRev/Ecophagy.html.
Freitas(Jr.), R.A. (1980). A Self-Reproducing Interstellar Probe. J. Brit. Interplanet. Soc., 33, 251-264.
Frieze, I. et al. (1978). Women and sex roles. New York: Norton.
Gilovich, T. (1991). How We Know What Isn't So. New York: Macmillan.
Gold, R.E. (1999). SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28, 1999.
Gubrud, M. (2000). Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. URL:
Hanson, R. (1994). What If Uploads Come First: The crack of a future dawn. Extropy, 6(2). URL: http://hanson.gmu.edu/uploads.html.
Hanson, R. (1995). Could Gambling Save Science? Encouraging an Honest Consensus. Social Epistemology, 9:1, 3-33.
Hanson, R. (1998). Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. URL: http://hanson.gmu.edu/workingpapers.html.
Hanson, R. (1998). Must Early Life be Easy? The rhythm of major evolutionary transitions. URL: http://hanson.berkeley.edu/.
Hanson, R. (1998). The Great Filter — Are We Almost Past It? Working paper.
Hanson, R. (2000). Showing That You Care: The Evolution of Health Altruism. . URL: http://hanson.gmu.edu/bioerr.pdf.
Hanson, R. et al. (1998). A Critical Discussion of Vinge's Singularity Concept. Extropy Online. URL: http://www.extropy.org/eo/articles/vi.html.
Huxley, A. (1932). Brave New World. London: Chatto & Windus.
Jackson, R.J. et al. (2001). Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. Journal of Virology, 73, 1479-1491.
Jeffrey, R. (1965). The logic of decision: McGraw-Hill.
Jeremiah, D.E. (1995). Nanotechnology and Global Security. Presented at the Fourth Foresight Conference on Molecular Nanotechnology. URL: http://www.zyvex.com/nanotech/nano4/jeremiahPaper.html.
Joy, B. (2000). Why the future doesn't need us. Wired, 8.04. URL: http://www.wired.com/wired/archive/8.04/joy_pr.html.
Kaul, I. (1999). Global Public Goods: Oxford University Press.
Kennedy, R. (1968). 13 Days. London: Macmillan.
Kirk, K.M. (2001). Natural Selection and Quantitative Genetics of Life-History Traits in Western Women: A Twin Study. Evolution, 55(2), 432-435. URL:
Knight, L.U. (2001). The Voluntary Human Extinction Movement. URL: http://www.vhemt.org/.
Kruger, J., & Dunning, D. (1999). Unskilled and Unaware if It: How Difficulties in Recognizing One's Own Incompetence Lead to Inflated Self-Assessments. Journal of Personality and Social Psychology, 77(6), 1121-1134.
Kubrick, S. (1964). Dr. Strangelove or How I Learned to Stop Worrying and Love the Bomb: Columbia/Tristar Studios.
Kurzweil, R. (1999). The Age of Spiritual Machines: When computers exceed human intelligence. New York: Viking.
Leslie, J. (1989). Risking the World's End. Bulletin of the Canadian Nuclear Society, May, 10-15.
Leslie, J. (1996). The End of the World: The Science and Ethics of Human Extinction. London: Routledge.
Lewis, D. (1986). Philosophical Papers (Vol. 2). New York: Oxford University Press.
Lewis, D. (1994). Humean Supervenience Debugged. Mind, 103(412), 473-490.
McCarthy, T. (2000). Molecular Nanotechnology and the World System. . URL: http://www.mccarthy.cx/WorldSystem/intro.htm.
Merkle, R. (1994). The Molecular Repair of the Brain. Cryonics, 15(1 and 2).
Merkle, R. et al. (1991). Theoretical studies of a hydrogen abstraction tool for nanotechnology. Nanotechnology, 2, 187-195.
Moravec, H. (1989). Mind Children. Harvard: Harvard University Press.
Moravec, H. (1998). When will computer hardware match the human brain? Journal of Transhumanism, 1. URL: http://www.transhumanist.com/volume1/moravec.htm.
Moravec, H. (1999). Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.
Morgan, M.G. (2000). Categorizing Risks for Risk Ranking. Risk Analysis, 20(1), 49-58.
Morrison, D. et al. (1994). The Impact Hazard. In T. Gehrels (Ed.), Hazards Due to Comets and Asteroids. Tucson: The University of Arizona Press.
National Intelligence Council (2000). Global Trends 2015: A Dialogue about the Future with Nongovernment Experts. URL: http://www.cia.gov/cia/publications/globaltrends2015/.
Nowak, R. (2001). Disaster in the making. New Scientist, 13 January 2001. URL:
Paulhaus, D.L. (1986). Self-Deception and Impression Management in Test Responses. In A. Angeitner & J.S. Wiggins (Eds.), Personality Assessment via Questionnaires: Current Issues in Theory and Measurement. New York: Springer.
Powell, C. (2000). 20 Ways the World Could End. Discover, 21(10). URL: http://www.discover.com/oct_00/featworld.html.
Putnam, H. (1979). The place of facts in a world of values. In D. Huff & O. Prewett (Eds.), The Nature of the Physical Universe (pp. 113-140). New York: John Wiley.
Rawls, J. (1999). A Theory of Justice (Revised Edition ed.). Cambridge, Mass.: Harvard University Press.
Roth, D.L., & Ingram, R.E. (1985). Factors in the Self-Deception Questionnaire: Associations with depression. Journal of Personality and Social Psychology, 48, 243-251.
Sackheim, H.A., & Gur, R.C. (1979). Self-deception, other-deception, and self-reported psychopathology. Journal of Consulting and Clinical Psychology, 47, 213-215.
Schelling, T.C. (1960). The Strategy of Conflict. Cambridge, Mass.: Harvard University Press.
Schelling, T.C. (2000). Intergenerational and International Discounting. Risk Analysis, 20(6), 833-837.
Schopenhauer, A. (1891). Die Welt als Wille und Vorstellung. Leipzig: F, A, Brockhaus.
Shute, N. (1989). On the Beach: Ballentine Books.
Sjberg, L. (1994). Stralforskningens Risker: Attityder, Kunskaper och Riskuppfattning. RHIZIKON: Rapport fran Centrum fr Riskforskning, Handelshgskolan i Stockholm, 1.
Sjberg, L. (2000). Factors in Risk Perception. Risk Analysis, 20(1), 1-11.
Storfer, M. (1999). Myopia, Intelligence, and the Expanding Human Neocortex. International Journal of Neuroscience, 98(3-4).
Svenson, O. (1981). Are we less risky and more skillful that our fellow drivers? Acta Psychologica, 47, 143-148.
Taylor, H. (1999). Perceptions of Risks. The Harris Poll #7, January 27. URL: http://www.harrisinteractive.com/harris_poll/index.asp?PID=44.
Tickner, J. et al. (2000). The Precautionary Principle. URL: http://www.biotech-info.net/handbook.pdf.
Tipler, F.J. (1982). Anthropic-principle arguments against steady-state cosmological theories. Observatory, 102, 36-39.
Turner, M.S., & Wilczek, F. (1982). Is our vacuum metastable? Nature, August 12, 633-634.
Urguhart, J., & Heilmann, K. (1984). Risk Watch: The Odds of Life. New York: Facts on File Publications.
Vinge, V. (1993). The Coming Technological Singularity. Whole Earth Review, Winter issue.
Waldeman, M. (1994). Systematic Errors and the Theory of Natural Selection. The American Economics Review, 84(3), 482-497.
Warwick, K. (1997). March of the Machines. London: Century.
Westie, F.R. (1973). Academic Expectations of Professional Immortality: A Study of Legitimation. The American Sociologists, 8, 19-32.
Whitby, B. et al. (2000). How to Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. URL: http://www.cogs.susx.ac.uk/users/blayw/BlayAISB00.html.
Yudkowsky, E. (2001). Friendly AI 0.9. URL: http://singinst.org/CaTAI/friendly/contents.html.

Zehavi, I., & Dekel, A. (1999). Evidence for a positive cosmological constant from flows of galaxies and distant supernovae. Nature, 401(6750), 252-254.