Сборник статей Под редакцией Валерии Прайд, И. В. Следзевского, А. В. Турчина. Черновик проект

2. Робот должен повиноваться приказам, данным ему людьми, кроме случаев, когда такие приказы будут противоречить Первому Закону.

3. Робот должен защищать своё собственное существование, пока такая защита не противоречит Первому или Второму Закону. (прим. авт.)

1 Дэнни Хиллис (Danny Hillis). В 12 лет из проводов и батареек "вылепил" автомат для игры в крестики-нолики. Студентом Массачусетского технологического института из подручных материалов собрал компьютер. Разработал принцип массированного параллелизма вычислений и основал собственную компанию "Думающие Машины" ("Thinking Machines") для производства параллельных суперкомпьютеров. (прим. перев.)

2 Один из проектов фонда "Долгосрочное Настоящее" ("Long Now") имеет целью длительное (на тысячи лет) сохранение информации. Для этого был разработан "вечный" диск "Rosetta". Он изготовлен из никеля и позволяет сохранять в аналоговом виде до 350000 страниц текста и рисунков в течение 2000-10000 лет. (прим. перев.)

1 Роберт Энсон Хайнлайн (Robert A.Heinlein, 1907-1988) – американский писатель-фантаст. Название упоминаемого Джоем романа "Have Spacesuit -- Will Travel" в русской прессе обычно переводится, как "Будет скафандр - будут и путешествия". (прим. ред.)

2 Айзек Азимов (Исаак Озимов, Isaac Asimov, 1920-1992) - один из известнейших писателей-фантастов, ученый-биохимик и популяризатор науки, автор почти пятисот книг - как художественных, так и научных и научно-популярных. Впервые сформулировал знаменитые три закона робототехники. Уроженец России (Смоленск). (прим. перев.)

1 Джин (Жене) Родденбери (Gene Roddenberry, 1921-1991) – культовая фигура мировой фантастики. Автор знаменитого "Star Trek" в книжном и экранном воплощении. (прим. ред.)

2 Ирвинг Стоун (Irving Stone,1903-1989) - американский писатель. Общепринятый перевод названия упоминаемой книги "The agony and the ecstasy" - "Муки и радости", но перевод "Страдание и экстаз" точнее. (прим. перев.)

3 Микеланджело сочинил сонет, начинающийся:

Non ha l' ottimo artista alcun concetto

Ch' un marmo solo in se non circonscriva

Col suo soverchio; e solo a quello arriva

La man che ubbidisce all' intelleto.

Стоун переводит это так:

Лучший художник не думает показать то,

чего необработанный камень в своей излишней скорлупе

не содержит; разбить мраморные чары -

это всё, что может сделать рука, служащая голове.

Стоун изображает процесс: "Он не работал с рисунками или глиняными моделями; все они были убраны прочь. Он высекал из образов в своём уме. Его глаза и руки знали, где должна была появиться каждая черта, закругление, масса и на какой глубине в сердцевине камня создать барельеф." ("The agony and the ecstasy". Doubleday, 1961: 6, 144.) (прим. авт.)

1 Стефан Вольфрам (Stephen Wolfram) - создатель системы "Mathematica". (прим. перев.)

2 Гордон Мур (Gordon Earl Moore, р. 1916) – начинал работать у изобретателя транзистора У.Шокли, затем стал одним из основателей известной фирмы Fairchild Semiconductor. Основатель фирмы Интел. Так называемый первый закон Мура, соблюдающийся уже более 35 лет, утверждает, что производительность микросхем удваивается в среднем каждые восемнадцать месяцев. Есть и второй, менее оптимистичный закон Мура, о котором часто забывают: затраты на производство растут быстрее выигрыша в производительности. Правда, кривые еще не пересекались, в противном случае производство все более производительных чипов стало бы невыгодным (прим. ред.).

1 Эймори и Хантер Ловинсы (Amory Lovins, Hunter Lovins) - соответственно научный руководитель и президент Института Рокки Маунтин в США. Они основали этот некоммерческий центр по разработке политики в области ресурсов в 1982 году. Эймори Ловинс - физик-экспериментатор, получил образование в Гарварде и Оксфорде. Член Мирового Форума. Опубликовал 26 книг и несколько сотен статей. Хантер Ловинс - адвокат, социолог, политолог, лесник и ковбой. Она имеет почётную докторскую степень и является соавтором многих книг и статей, написанных совместно с Эймори Ловинсом. Удостоена вместе с ним премий Ниссан, Митчелл и Альтернативной Нобелевской премии. (прим. перев.)

1 "Повесть двух ботаник" ("A tale of two botanies") Эймори и Хантер Ловинсов опубликована в журнале "Wired" (http://www.wired.com/wired/archive/8.04/botanies.html) (прим. перев.)

2 Грегг Истербрук (Gregg Easterbrook) - издатель журнала "Атлантический ежемесячник" ("Atlantic monthly"). (прим. перев.)

3 Ричард Филипс Фейнман (Richard F. Feynman, 1918-1988)– один из самых популярных ученых ХХ века, американский физик-теоретик, создатель квантовой электродинамики, лауреат Нобелевской премии 1965 г. В СССР был известен переводным курсом "Фейнмановские лекции по физике". Считается также родоначальником нанотехнологий (1959). Одной из самых перспективных работ Фейнмана была выдвинутая в конце жизни (1982) идея квантовых компьютеров. Фейнман знаменит также, как замечательный рассказчик (главы из книги “Несомненно, вы шутник, мистер Фейнман?” легко найти в Сети). (прим. ред.)

4 "Engines of creation" by Eric Drexler. Иногда эту книгу сокращённо называют просто "EOC", настолько она нашумела. (прим. перев.)

1 "Unbounding the future: the nanotechnology revolution", Эрик Дрекслер совместно с Кристиной Петерсон (Christine Peterson) и другими. (прим. перев.)

2 “assemblers”. По непонятной причине в отечественных источниках чаще используется именно термин "ассемблеры", хотя термин "сборщики" более адекватен. (прим. перев.)

3 На самом деле здесь непереводимая игра слов: "vampire" означает и вампира, и вымогателя. Из-за этой игры слов шутка получается довольно эффектной. (прим. перев.)

4 Первая конференция Института предвидения по нанотехнологии в октябре 1989-го года, лекция, озаглавленная "Будущее вычислений". Опубликована в Крандалле, редакторы Б.К. и Джеймс Льюис. "Нанотехнология: исследования и перспективы". ("Nanotechnology: research and perspectives". MIT Press, 1992: 269.) См. также www.foresight.org/Conferences/MNT01/Nano1.html. (прим. авт.)

5 “to a skunk works” – по моей просьбе Билл Джой пояснил смысл идиомы: "скунсовые работы" - это место, где небольшая группа людей создаёт что-то действительно новое. Так, например, Уолт Дисней имел группу, создавшую идею парка на тему диснейленда. Вероятно, адекватный перевод - "рабочая группа". (прим. перев.)

1 Институт предвидения ("Foresight Institute"). Сайт в Интернете: http://www.foresight.org (прим. перев.)

2 “gray goo”. Более точный перевод - "серое липкое" или "серая липкая масса", но в отечественных источниках это чаще называют "серой слизью". (прим. перев.)

3 В своём романе 1963-го года "Колыбель для кошки" Курт Воннегут вообразил катастрофу, подобную "серой слизи", где разновидность льда, названная "лёд 9" и затвердевающая при гораздо более высокой температуре, замораживает океаны. (прим. авт.)

2 Стюарт Коффман. "Самовоспроизводство: даже пептиды это делают". (Stuart Kauffman. "Self-replication: even peptides do it". Nature, 382, August 8, 1996: 496.) См. www.santafe.edu/sfi/People/kauffman/sak-peptides.html (прим. авт.)

3 Имеется в виду процесс репликации ДНК. В 1953 году Уотсон и Крик предложили модель пространственной структуры ДНК (двойную спираль), что позволило объяснить многие её свойства и биологические функции и положило начало молекулярной генетике. Джеймс Дьюи Уотсон (D. D. Watson, р. 1928) - американский биохимик, иностранный член РАН (1988). Фрэнсис Харри Комптон Крик (F. Crick, р. 1916) - английский биофизик и генетик. (прим. перев)

1 (38) "Pale blue dot" by Carl Sagan. Карл Саган (1934-1996) - писатель, профессор астрономии Корнуэльского университета, член Совета по международным отношениям и Мирового Форума. (прим. перев.) Известен, как автор модели “ядерной зимы”(- ред.).

2 (39) Роберт Оппенгеймер (Oppenheimer Julius Robert, 1904-1967) - американский физик. Руководил (1943-1945) созданием американской атомной бомбы (“Манхеттенский проект”). Выступил против создания водородной бомбы, в связи с чем в 1953 году был обвинён в "нелояльности" и отстранён от секретных работ. (прим. перев.)

1 Эдвард Теллер (Edward Teller, р. 1908) - американский физик; родился в Венгрии. Участник создания американской атомной бомбы и руководитель работ по созданию водородной бомбы. (прим. перев.)

2 Пёрл-Харбор - военно-морская база США на Гавайских островах. 7 декабря 1941 г. японская авиация нанесла внезапный удар по базе и вывела из строя основные силы американского Тихоокеанского флота. Это явилось началом войны на Тихом океане. (прим. перев.)

3 Фриман Джон Дайсон (Freeman Dyson, р. 1923) - американский физик-теоретик. Один из создателей квантовой электродинамики. (прим. перев.)

1 "Visions of technology" by Richard Rhodes. (прим. перев.)

2 Джон Элс. "День после Троицы: Дж. Роберт Оппенгеймер и атомная бомба". (Jon Else. "The day after Trinity: J. Robert Oppenheimer and the atomic bomb".) (доступно на www.pyramiddirect.com) (прим. авт.)

3 (45) "Бюллетень учёных-атомщиков" - http://www.bullatomsci.org. "Часы конца света" - символические часы, стрелки которых отражают угрозу ядерной катастрофы в зависимости от международной обстановки (http://www.bullatomsci.org/clock.html). (прим. перев.)

1 (46) Эта оценка находится в книге Лесли "Конец света: наука и этика человеческого вымирания", где он отмечает, что вероятность вымирания будет в значительной степени выше, если мы примем "Доказательство Судного дня" (она же «Теорема о конце света», Doomsday arguement) Брэндона Картера (см. ниже – ред.), которое, кратко, состоит в том, что "нам, вероятно, как-то не хочется верить, что мы есть очень исключительно ранние, например, в раннейшем 0.001-м проценте из числа всех людей, которые когда-либо будут жить. Это было бы некоторым поводом для размышления, что человечество не уцелеет в течение ещё многих столетий, не говоря уже о заселении Галактики. Доказательство Судного дня Картера не порождает никаких оценок риска просто само по себе. Это доказательство, охватывающее производимые нами оценки, когда мы рассматриваем различные возможные опасности." (Routledge, 1996: 1, 3, 145.) (прим. авт.) "Доказательства Судного дня": 99% всех видов, когда-либо проживавших на планете Земля, вымерли. В 1983 году британский космолог Брэндон Картер написал работу под названием "Доказательства Судного дня", представляющую собой статистические выкладки относительно того, когда мы сможем к ним присоединиться. (прим. перев.)

2 Артур Чарлз Кларк (Arthur Clarke, р. 1917) - английский писатель-фантаст. С 1956 года живёт в Шри-Ланке. (прим. перев.)

1 Артур Кларк. "Президенты, эксперты и астероиды". ("Presidents, experts, and asteroids". Science, June 5, 1998. Перепечатано как "Science and society" в "Greetings, Carbon-Based Bipeds!" Collected Essays, 1934-1998. St. Martin's Press, 1999: 526.) (прим. авт.)

2 И, как предлагает Дэвид Форрест в своей статье "Регулирование развития нанотехнологии", доступной на www.foresight.org/NanoRev/Forrest1989.html, "если мы используем объективную ответственность в качестве альтернативы для регулирования, то невозможно, чтобы всякий разработчик усвоил цену риска (разрушения биосферы), таким образом, теоретически деятельность по развитию нанотехнологии никогда не следует предпринимать". Анализ Форреста оставляет нас только с правительственным регулированием для нашей защиты - мысль не утешительная. (прим. авт.)

1 Фридрих Ницше (Friedrich Nietzsche) (1844-1900) - немецкий философ, представитель "философии жизни", профессор классической филологии Базельского университета (1869-1879). Творческая деятельность Ницше оборвалась в 1889 году в связи с душевной болезнью. В сочинениях, написанных в жанре философско-художественной прозы, выступал с анархической критикой культуры, проповедовал эстетический имморализм ("По ту сторону добра и зла", 1886). В мифе о "сверхчеловеке" индивидуалистический культ сильной личности ("Так говорил Заратустра", 1883-1884; "Воля к власти", опубликованной в 1889-1901) сочетался у Ницше с романтическим идеалом "человека будущего". (прим. перев.)

2 Пандора - в греческой мифологии женщина, созданная Гефестом по воле Зевса в наказание людям за похищение Прометеем огня у богов; пленила красотой брата Прометея Эпиметея и стала его женой. Увидев в доме мужа ящик, наполненный бедствиями, любопытная Пандора, несмотря на запрет, открыла его, и все бедствия, от которых страдает человечество, распространились по земле. (прим. перев.)

1 Генри Дэвид Торо (Henry David Thoreau) родился 12 июля 1817 года в Конкорде, штат Массачусетс, США. Умер 6 мая 1862 года в Уолден, близ Конкорда. Американский эссеист и поэт, философ, натуралист. Исходный пункт философии Торо - критическое неприятие нравственных принципов современного ему американского общества. Действенную альтернативу стяжательству, роскоши, бездуховности он видел в добровольной трудовой бедности. Стремясь реализовать этот принцип на практике, Торо более двух лет (04.07.1845 - 06.09.1847) жил в одиночестве на берегу Уолденского озера и обеспечивал свое существование физическим трудом, рыбной ловлей, собирательством. В трактате "Уолден или Жизнь в лесу" (1854, русский перевод 1910, 1962) Торо утверждал, что нравственное очищение возможно лишь после глубокого осознания личностью своего отчуждения от несправедливого общественного уклада и при условии постоянного контакта человека с природой, воплощающей трансцендентный идеал, чистоту, красоту и непорочность. В программном эссе "О гражданском неповиновении" (1849, русский перевод 1977) Торо дал моральное обоснование ненасильственной революции - серии мирных общественных кампаний (демонстрации, отказ от призыва на военную службу, саботаж государственных учреждений и т.д.). Накануне Гражданской войны 1861-1865 гг. Торо открыто призвал к борьбе с рабовладением. Идея гражданского неповиновения оказала влияние на формирование взглядов Махатмы Ганди и Мартина Лютера Кинга. Социально-нравственные идеи Торо высоко ценил Л.Н. Толстой. В конце 60-х - начале 70-х годов ХХ века идеи Торо получили широкую известность в кругах леворадикальной молодежи США, идеологи которой рассматривают Торо как одного из предшественников современной западной контркультуры.

Джой приводит цитату из книги Торо "Уолден или Жизнь в лесу". В русском переводе так (http://lib.ru/INPROZ/TORO/walden.txt): "Не мы едем по железной дороге, а она - по нашим телам. Думали ли вы когда-нибудь о том, что за шпалы уложены на железнодорожных путях? Каждая шпала - это человек, ирландец или янки. Рельсы проложили по людским телам, засыпали их песком и пустили по ним вагоны. Шпалы лежат смирно, очень смирно. Через каждые несколько лет укладывают новую партию и снова едут по ним; так что пока одни имеют удовольствие переезжать по железной дороге, других, менее счастливых, она переезжает сама." (прим. перев.)

1 Мэтью Месельсон. "Проблема биологического оружия". Подарок к 1818-ому очередному собранию Американской академии искусств и наук 13-го января 1999-го года. (minerva.amacad.org/archive/bulletin4.htm) (прим. авт.)

2 Пол Доути. "Забытая опасность: запасы ядерного оружия по-прежнему представляют наибольшую угрозу для цивилизации". (Paul Doty. "The forgotten menace: nuclear weapons stockpiles still represent the biggest threat to civilization". Nature, 402, December 9, 1999: 583.) (прим. авт.)

1^ Ганс Альбрехт Бете (Hans Bethe, р. 1906) - американский физик-теоретик, родом из Германии, лауреат Нобелевской премии (1967) за исследования в астрофизике. После уничтожения Хиросимы и Нагасаки был в числе тех, кто сознавал свою ответственность за катастрофу. (прим. перев.)

2 См. также письмо Ганса Бете 1997-го года к президенту Клинтону на www.fas.org/bethecr.htm. (прим. авт.)

3 Цитата из книги Торо "Уолден или Жизнь в лесу". В русском переводе так: "... ибо богатство человека измеряется числом вещей, от которых ему легко отказаться." (прим. перев.)

4 Жак Аттали (Jacques Attali) родился в Алжире в 1943 году. Был главным советником президента Франции. Является членом Бильдербергского клуба. С 1991 года - глава "Европейского Банка Реконструкции и Развития". Автор десятка книг. 8 марта 2001 года за причастность к незаконным поставкам оружия из республик бывшего СССР в Анголу был заключён под стражу, однако в тот же день за 1 млн. франков был отпущен на свободу. В книге "Линии горизонта" ("Lignes d'horizons", в английском переводе - "Millennium", что переводится на русский в данном случае как “Золотой век”) Жак Аттали разбирает эволюцию нашего общества, взятого на мировом уровне, на будущую четверть века, а также исследует сущность его экономической, политической, социальной и идеологической организации. По мнению Жака Аттали, демократия - это наилучшая политическая система, Торговый Строй - двигатель прогресса, всемогущество денег - самый справедливый порядок правления. (прим. перев.)

5 "Fraternites" by Jacques Attali. (прим. перев.)

1 Dalai Lama, "Ethics for the new millennium". (прим. перев.)

2 Эдит Гамильтон. "Греческий путь". (Edith Hamilton. "The Greek way". W.W. Norton & Co., 1942: 35.) (прим. авт.)

1 Вуди Аллен (Woody Allen, настоящее имя - Аллен Стьюарт Кёнигсберг) (р. 1935) - американский кинорежиссёр, актёр, сценарист, писатель. (прим. перев.)

2 Граучо Маркс (1890-1977) - американский комик. Вилли Мейс (р. 1931) - американский бейсболист 50-60-х годов. Луи Армстронг (1901-1971) - американский музыкант, олицетворение джаза. Марлон Брандо (р. 1924) - американский киноактёр и известный скандалист. Фрэнк Синатра (1915-1998) - американский певец и киноактёр. Роль Трейси в фильме "Манхэттен" играла 17-летняя актриса Мэриэл Хемингуэй. (прим. перев.)

1 В других контекстах, понятие о «наилучшей субъективной оценке» может быть представлено как рыночные ставки на соответствующие притязания на Знание о Будущем ( Idea Future ' s claim ) (Hanson 1995: 3—33). Это замечание может помочь в качестве иллюстрации подразумеваемой концепции, но не может служить определением. Только глупец будет ставить на человеческое вымирание, поскольку здесь нет никаких шансов получить выплату, не зависимо от того, выиграешь ли ты или проиграешь.

1 Здесь можно увидеть основную идею так называемого Принципа Предосторожности (Tickner et al. 2000). Любая более сильная интерпретация этого принципа, например, в отношении того, лежит ли тяжесть доказательства о введении некой новой рискованной процедуры на открытых дискуссиях - может стать неразумным упрощением (Foster et al. 2000: 979—981).

2 О различие между объективной и субъективной вероятностью см. например (Lewis, 1986, 1994: 473—490; Bostrom, 1999) [4-6]. Классический разбор теории решений см. в (Jeffrey, 1965).

1 Президент Кеннеди, говорят, однажды оценил вероятность ядерной войны между США и СССР как «где-то в районе одной трети» (“somewhere between one out of three and even ”) (Kennedy 1968: 110; Leslie 1996: 26). Джон фон Нейман (1903-1957), выдающийся математик и один из создателей теории игр и компьютерной науки и председатель Военно-воздушного стратегического ракетного комитета по развитию США ( Air Force Strategic Missiles Evaluation Committee ), был главным архитектором ранней американской ядерной стратегии. Как говорят, он утверждал, что «абсолютно точно, что во-первых, будет ядерная война и, во-вторых, в ней все погибнут» (Putnam 1979: 113—140)., p . 114.

2 Это верно по отношению к человеческому виду. Вымирание других видов — обычное дело. Оценивается, что 99% всех видов, живших на Земле, вымерло. Мы можем также получить некоторое образное знакомство с глобальными смертельными катастрофами из фантастики. Хотя в ней, кажется, есть наклонность к хэппи-энду, существует ряд исключений, таких как фильм «Доктор Стрэйнжлав» (Dr. Strangelove) (Kubrick 1964) и горький роман Нейвила Шута (Nevil Shute) «На берегу» («On the beach») (русский перевод — http://www.lib.ru/INPROZ/SHUT/on_beach.txt). Более того, в отношении некоторых рисков существованию (например, истребление всего вида Homo sapiens ударом метеорита), у нас уже есть опыт более мягких вариантов (то есть ударов меньших метеоритов), что помогает нам вычислить вероятность более крупного события. Но для большинства серьезных рисков существованию, прецедентов нет.

1 Эта терминология вдохновлена знаменитыми строками Томаса Элиота:

Вот как кончится мир –

Не взрыв, но всхлип.

Т.С. Элиот «Полые люди» (Перевод А. Сергеева)

А также названием книги философа Джона Ирмана по общей теории относительности (Earman, 1995). По вопросам общей классификации рисков см. (Morgan 2000: 49—58).

2 Слова «Постчеловечество» и «постчеловеческая цивилизация» используются для определения общества технологически весьма усовершенствованных существ (с гораздо большими интеллектуальными и физическими способностями, гораздо большей продолжительностью жизни и т. д.), которым мы однажды можем стать (Bostrom et al. 1999).

3 Некоторые из них обсуждаются более детально в первых двух главах прекрасной книги Джона Лесли (Leslie 1996: 26); некоторые обсуждены кратко в (Powell 2000). Недавняя полемика о статье Билла Джоя ( Bill Joy ) в журнале Wired (Joy 2000) также привлекла внимание к некоторым из этих проблем.

1 Нанотехнологии, конечно, также обладают огромным полезным потенциалом в медицине, защите окружающей среды, и в экономике в целом, но здесь мы не рассматриваем эту сторону медали.

1 Другое название наноробота (Прим. пер.)

1 Для сравнения, тунгусское событие в 1908 году было вызвано телом примерно 60 метров в диаметре с силой взрыва в 2 мегатонны ТНТ (Бомба в Хиросиме имела выход в 2 килотонны — (так у автора — прим. пер.)) и повалила деревья в радиусе 40 км.

1 Остается под вопросом, следует ли считать «всхлипом» плохо запрограммированный суперинтеллект, который решит сдерживать развитие человечества неопределенно долго. Этот сверхинтеллект должен быть такой ограниченной природы, чтобы он сам по себе не считался формой постчеловечества; в противном случае это будет «скрип».

1 Я считаю чрезвычайно маловероятной гипотезу (распространенную в масс-медиа и защищаемую, например, в статье Уорвика (Warwick 1997); см. также статью Уитби (Whitby 2000)) о том, что мы будем истреблены в обычной войне между человеческим видом и популяцией человекоподобных, сделанных людьми роботов.

1 Это — наиболее убедительные кандидаты на роль критических моментов (возможно, требующих одновременных мутаций сразу в нескольких местах или других редких совпадений), в первую очередь потому, что они потребовали очень много времени (в сравнении, например, с эволюцией Homo Sapiens из наших гуманоидных предков). Но длительность некоего шага не всегда хорошее основание, для того чтобы счиать, будто этот шаг невозможен. Например, дыхание кислородом стало адаптивно выигрышно только после того, как в атмосфере появилось значительное количество кислорода, и анаэробным организмам потребовалось сотни миллионов лет, чтобы создать достаточно кислорода, чтобы насытить различные виды процессов, поглощающих кислород из земной атмосферы и поднять уровень атмосферного кислорода до требуемого. Этот процесс был очень медленным, но почти наверняка должен был рано или поздно завершиться, так что было бы ошибкой считать, что эволюция кислородного дыхания и сопутствующий ему кембрийский взрыв представляют собой чрезвычайно трудный шаг в человеческой эволюции.

2 Краткий обзор Рассуждения о конце света см. в (Bostrom 2000: 19—20).

1 Это утверждение верно, если суммарное количество землеподобных планет в космосе достаточно велико, чтобы сделать высоко вероятным то, что, по крайней мере, на части из них разовьются интеллектуальные наблюдатели (Bostrom 2001).

1 Или, во всяком случае, так делают мужчины. Одно исследование (Frieze et al. 1978) предполагает, что женщины недооценивают свои перспективы, хотя и не в той степени, как мужчины переоценивают свои. За дополнительной библиографией см. (Waldeman 1994: 489), стр. 489, (Cowen, Hanson 2001; Kruger, Dunning 1999: 1121—1134) [83,84].

2 Для обзора см. главу 12 в (Evans 1991). Некоторые из этих исследований пренебрегают тем, что может быть вполне реальным, что 75% водителей лучше, чем среднестатистический водитель; некоторые из исследований стремятся избежать этой проблемы, например (Svenson 1981: 143—148).

3 Может ли быть причиной этого то, что недавние исследования описывают как более точную степень рациональности оценки рисков публикой, — то, что более ранние результаты способствовали обучению публики и рекалибровке ее оценок? Исследователи, пытающиеся определить систематические предубеждения в восприятии рисков, могут быть подобны охотникам, стреляющим по движущейся мишени, и во многом подобны тем, кто пытается найти регулярности в движении рыночных индексов.

1 Сценарий сужения «технологическая остановка» не может правомерно считаться вызванным нашей активностью.

1 Сложности стратегического планирования наилучшего пути к нанотехнологиям становятся даже больше, если мы учтем возможные меметические (memetic — связанные с саморепликацией идей-мемов в информационном поле) последствия агитации за различные позиции в различные моменты времени. О некоторых других идеях по управлению рисками в сфере нанотехнологий см. (Drexler 1985, 1988; Freitas 2000; Gubrud 2000; Foresight Institute 1997—1991; McCarthy 2000; Forrest 1989; Jeremiah 1995) [23,25,26,41,96-99].

1 Разумеется, усиление интеллекта может сделать отрицательных персонажей более способными продвигать свои злостные амбиции, и системы контроля могут быть использованы диктаторским режимами (и молотки можно использовать для разбивания черепов). Чистая благодать редко заходит в гости.. Но в сумме кажется, что эти технологии стоит продвигать. В случае систем контроля, кажется важным стремиться к двухсторонней прозрачности, за которую агитировал Дэвид Брин (David Brin ) (Brin 1998), По этой системе все мы сможем наблюдать агентства, которые наблюдают нас.

2 При ограниченных ресурсах критическое значение имеет мудрый выбор приоритетов. Миллион долларов сейчас могут значительно увеличить количество исследований по рискам существованию; то же количество денег, потраченное на дело мира во всем мире, будет только каплей в море.

3 Это было написано до трагедии 11 сентября. С тех пор приоритеты американской обороны сдвинулись в направлении, за которое мы агитируем здесь. Я думаю, что желательно дальнейшее движение в этом направлении.

1 См., например, (Hanson 2000) и приведенные там ссылки.

2 Исключение из этого будет в том случае, если мы полагаем, что значительной частью возможного и желательного постчеловеческого будущего является то, что оно будет содержать в себе значительную долю людей, которые сейчас живы. Если принять эту точку зрения, нынешний мировой уровень смертности в 150 000 человек в день является частью происходящей сейчас, потенциально глобальной катастрофы (скрип), которая вызывает огромные человеческие страдания.

3 Согласно John Rawls (Rawls 1999), термин «максмин» также используется в другом смысле в экономике благосостояния, для определения принципа (с учетом ряда важных ограничений), что мы должны выбирать состояние, которое оптимально с точки зрения ожиданий наименее состоятельных классов. Эта версия принципа не затрагивается в последующих рассуждениях.

1 Милан Цирковиц (Milan Cirkovic) указывает на то, что сверхизвержение вулкана Toba (73 000 лет до Р.Х.) может считаться событием, едва не приведшим к истреблению человечества. Взрыв и последующая зима убили большую часть человечества; генетические свидетельства предполагают, что было только несколько тысяч выживших, или даже меньше. [Ambrose, 1998.] Отметьте, что это событие отсутствует в нашей исторической памяти — оно предшествует возникновению письменности.

1 Т.е. имеющим вероятность порядка одного на миллиард миллиардов.

1отметьте, что показатель 44% относится ко всем видам бизнеса, включая маленькие рестораны, а не только к, допустим, дот-ком стартапам. Доуз [Dawes, 1988]

1 Кононов Александр Анатольевич, кандидат технических наук, старший научный сотрудник Института системного анализа Российской академии наук, член Российского философского общества РАН, kononov@isa.ru

1 Этот закон известен в несколько смягченной, не увязанной с проблематикой космической экспансии и конкурентоспособности цивилизации, формулировке как закон техно-гуманитарного баланса [Назаретян А. П., 2004, с. 112]: «чем выше мощь производственных и боевых технологий, тем более совершенные средства культурной регуляции необходимы для сохранения общества».

1G. Cocconi and P. Morrison. Searching for Interstellar Communications. Nature, Vol. 184, Number 4690, pp. 844-846, September 19, 1959.

2 См. по-русски обзор А. Торгашов «Избранные места из переписки с инопланетянами». Русский репортёр 20 марта 2008 г. .http://www.expert.ru/printissues/russian_reporter/2008/10/obschenie_s_vselennoy/

3 Такого мнения придерживался под конец жизни И.С. Шкловский, автор знаменитой книги «Вселенная, жизнь, разум», отметим также исследование P. Ward. Rare Earth, 2002.

4 А.Д. Панов. Универсальная эволюция и проблема поиска внеземного разума (SETI). М., УРСС, 2007.

5 Ф. Хойл, Дж. Эллиот. Андромеда. М., 1966.

6 H. Moravec. Mind Children: The Future of Robot and Human Intelligence, 1988.

7 R. A. Carrigan Jr. Do potential SETI signals need to be decontaminated? Acta Astronautica. Volume 58, Issue 2, January 2006, Pages 112-117. http://home.fnal.gov/~carrigan/SETI/SETI_Hacker_AC-03-IAA-8-3-06.pdf, русский перевод: Р. Кэрриген. Следует ли обеззараживать сигналы SETI? http://www.proza.ru/texts/2007/11/20/582.html

8 http://cosmicos.sourceforge.net/

9 E Yudkowsky. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2008. (Русский перевод: Е. Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска. http://www.proza.ru/texts/2007/03/22-285.html)

10 В. Виндж. Пламя над бездной, 1991.

11 B. Joy. Why the future doesn't need us. Wired. 2000. http://www.wired.com/wired/archive/8.04/joy_pr.html

12 Declaration Of Principles Concerning Activities Following The Detection Of Extraterrestrial Intelligence http://www.davidbrin.com/firstsetiprotocol.html