Вернор Виндж. Технологическая Сингулярность

Вернор Виндж. Технологическая Сингулярность

Компьютеры обретут "сознание", и возникнет сверхчеловеческий интеллект. (В настоящее время нет единого мнения о том, сумеем ли мы создать машину, равную человеку, однако, если это получится, несомненно, вскоре затем можно будет сконструировать еще более разумные существа).

Крупные компьютерные сети (и их объединенные пользователи) могут "осознать себя" как сверхчеловечески разумные сущности.

Машинно-человеческий интерфейс станет настолько тесным, что интеллект пользователей можно будет обоснованно считать сверхчеловеческим.

Однако с течением времени мы будем наблюдать все больше симптомов. Дилемма, которую прочувствовали фантасты, станет восприниматься в контексте творческих усилий иного рода. (Мне известно, что вдумчивые авторы комиксов уже беспокоятся о том, каким образом придется создавать зрительные эффекты, когда все видимое вокруг станет можно отображать при помощи широко доступных технических средств.) Мы станем свидетелями того, как постепенно будут автоматизироваться задачи всё более высокого уровня. Уже сейчас существуют инструменты (программы символической логики, САПР), которые освобождают нас от большинства нудной рутины. Есть и обратная сторона медали: истинно производительный труд становится уделом стабильно сокращающейся узкой элиты человечества. С пришествием Сингулярности мы увидим, как, наконец, сбываются прогнозы о настоящей техногенной безработице.

[В предыдущем абзаце не достает того, что я считаю сильнейшим аргументом против вероятности Технологической Сингулярности: даже если мы сумеем создать компьютеры с чистой аппаратной мощью, вероятно, не получится организовать имеющиеся компоненты таким образом, чтобы машина обрела сверхчеловеческий разум. Для техноманов-механистов это, по-видимому, выльется в нечто вроде "неспособности решения проблемы сложности программного обеспечения". Будут предприниматься попытки запустить все более крупные проекты по разработке ПО, но программирование не справится с задачей, а мы никогда не овладеем секретами биологических моделей, которые могли бы помочь воплотить в жизнь "обучение" и "эмбриональное развитие" машин. В конце концов, появится следующий полуфантастический контрапункт Мерфи к закону Мура: "Максимально возможная эффективность программной системы растет пропорционально логарифму эффективности (то есть скорости, полосе пропускания, объему памяти) подлежащего программного обеспечения". В этом мире без сингулярности будущее программистов уныло и беспросветно. (Представьте себе необходимость одолевать скопившиеся за столетия унаследованные программы!) Так что в последующие годы, полагаю, следует обращать особое внимание на две важнейшие тенденции: прогресс в крупных проектах по разработке программного обеспечения и прогресс в применении биологических парадигм в масштабных сетях и масштабных параллельных системах.]

Но если технологической Сингулярности суждено быть, то она случится. Даже если все государства мира осознают "угрозу" и перепугаются до смерти, прогресс не остановится. Конкурентное преимущество - экономическое, военное, даже в сфере искусства - любого достижения в средствах автоматизации является настолько непреодолимым, что запрещение подобных технологий просто гарантирует, что кто-то другой освоит их первым.

Эрик Дрекслер составил впечатляющие прогнозы развития и совершенствования технических средств. Он соглашается с тем, что появление сверхчеловеческого разума станет возможно в ближайшем будущем. Но Дрекслер оспаривает способность человечества удерживать контроль над столь сверхчеловеческими устройствами, чтобы результаты их работы можно было оценить и надежно использовать.

Не соглашусь, что сохранение контроля так уж невозможно. Представьте себя запертым в собственном доме при единственном, ограниченном некими вашими хозяевами канале доступа информации извне. Если бы эти хозяева мыслили со скоростью, скажем, в миллион раз медленнее вас, едва ли стоит сомневаться в том, что через несколько лет (вашего времени) вы изобрели бы способ побега. Я называю эту "быстро мыслящую" форму сверхразума "слабым сверхчеловеческим". Такая "слабая сверхчеловеческая сущность" более чем ускорила бы течение времени эквивалентного человеческому ума. Сложно сказать точно, что будет из себя представлять "сильное сверхчеловеческое", но отличие, по-видимому, будет разительным. Вообразите собаку с чрезвычайно ускорившейся работой мысли. Сможет ли тысячелетний опыт собачьего мышления что-то дать человечеству? Многие предположения о сверхразуме, как кажется, основываются на модели "слабого сверхчеловеческого". Я же думаю, что наиболее верные догадки о постсингулярном мире можно строить на предположениях об устройстве "сильного сверхчеловеческого". К этому вопросу мы еще вернемся.

Другим подходом к проблеме сохранения контроля является идея о создании искуственных ограничений свободы действий сконструированной сверхчеловеческой сущности. [например, Законы роботехники у Азимова]. Я полагаю, что любые правила, достаточно строгие, чтобы обеспечить их эффективность, приведут у созданию устройства с возможностями, очевидно более узкими, чем у нестесненных ограничениями версий (таким образом, соревновательность будет способствовать развитию более опасных моделей).

Если Сингулярность нельзя предотвратить или ограничить, насколько жестокой может стать постчеловеческая эра? Что ж, довольно жестокой. Физическое вымирание человеческой расы - одно из возможных следствий. (Или, как сформулировал это Эрик Дрекслер, говоря о нанотехнологиях: со всеми подобными техническими возможностями, вероятно, правительства решат, что простые граждане им больше не нужны). Тем не менее, физическое вымирание может оказаться далеко не самым страшным последствием. Вспомните о разного рода наших отношениях к животным. В постчеловеческом мире по-прежнему останется множество ниш, в которых эквивлентная человеческой автономность будет востребована: встроенные системы в самоуправляющихся устройствах, автономные демоны низшей функциональности в более крупных разумных существах. ("Сильное сверхчеловеческое, по-видимому, будет представлять собой Общность Разума из нескольких очень умных компонентов".) Некоторые из таких человеческих эквивалентов могут использоваться исключительно для цифровой обработки сигналов. Прочие могут остаться весьма человекоподобными, хотя и специализированными, с узким профилированием, из-за которого в наше время их поместили бы в психиатрическую клинику. Несмотря на то что никто из этих существ может не быть уже людьми из плоти и крови, они останутся наиболее близкими к современному нам человеку в том новом окружении.

[Уверен, Ирвингу Гуду было бы, что сказать на этот счет (хоть я и не нашел у него упоминаний чего-то подобного). Гуд предложил золотое метаправило, которое можно переформулировать следующим образом: "Обращайся с братьями меньшими так, как ты хочешь, чтобы старшие братья обращались с тобой". Это чудесный парадокс (и большинство моих друзей этому не верят), так как последствия, подсчитанные согласно теории игр, отчетливо выразить трудно.Тем не менее, если бы мы могли следовать этому правилу, в каком-то смысле это могло бы говорить о распространенности подобных добрых намерений во вселенной.]

Я уже выражал выше сомнение в том, что мы не можем предотвратить Сингулярность, что ее наступление есть неминуемое следствие естественной человеческой соревновательности и возможностей, присущих технологиям. И все же мы - инициаторы. Даже величайшая лавина вызывается мельчайшими действиями. Мы вольны устанавливать начальные условия, чтобы все происходило с наименьшим для нас ущербом.

[Будет ли прок от предвидения и вдумчивого планирования, может зависеть от того, как произойдет технологическая Сингулярность. Будет ли это "резкий переход" или "тихий переход". Резкий переход - это тот, при котором сдвиг к сверхчеловеческому контролю произойдет за несколько сотен часов (как в "Музыке крови" Грега Бэра). Мне представляется, что спланировать что-то в расчете на резкий переход будет чрезвычайно трудно. Он будет подобен лавине, о которой я писал в этом эссе в 1993 году. Наиболее кошмарная форма резкого перехода может произойти из гонки вооружений, когда две державы подстегивают свои отдельные "манхэттенские проекты" с целью добиться сверхчеловеческой мощи. Эквивалент десятилетий шпионажа на человеческом уровне может сжаться в последние несколько часов существования расы, и весь человеческий контроль и рассудительность пасуют перед некими чрезвычайно деструктивными целями.

С другой стороны, "тихий переход" может занять десятки лет, возможно, более века. Такая ситуация кажется более поддающейся планированию и вдумчивому экспериментированию. Ганс Моравец рассматривает такой "плавный переход" в книге "Робот: от простой машины к сверхразуму"].

Конечно (как и в случае с лавинами), нельзя с уверенностью судить, каков именно на самом деле будет тот самый направляющий толчок.

И вполне возможно, что УИ является наиболее легким путем к достижению сверхчеловеческого, нежели ИИ в чистом виде. В том, что касается людей, сложнейшие проблемы развития уже решены. Постепенное создание умных систем на основе имеющихся у человека способностей представляется более легким, чем выяснение истинной сути людей и затем уже постройка аналогичных им интеллектуальных машин. Предположительно, существует еще, по крайней мере, один прецедент в поддержку данной точки зрения. Кернс-Смит рассуждал о том, что биологическая жизнь вполне могла зародиться в качестве случайного дополнительного свойства более примитивных форм жизни, основывавшихся на росте кристаллов. Линн Маргулис выдвигала серьезные аргументы, доказывая, что симбиоз является могучей движущей силой эволюции.

Заметьте, я совсем не предлагаю игнорировать работы по созданию ИИ. Достижения в области разработки искусственного интеллекта зачастую будут находить применение в УИ, и наоборот. Я предлагаю понять, что в работах по созданию сетей и интерфейса кроется нечто настолько же серьезное (и потенциально дикое), как и искусственный интеллект. С таким пониманием мы сможем различить проекты, не столь уже явно практические, как обычные работы по интерфейсам и построению сетей, но зато служащие делу нашего прогресса на пути к Сингулярности вдоль тропы УИ.

Вот несколько возможных проектов, которые приобретают особое значение с точки зрения УИ:

Автоматизация человеко-машинной связки. Возьмите проблемы, которые обычно отводятся для решения машинам (вроде задач по методу итеративного спуска - hillclimbing), и программы разработки и интерфейсы, использующие преимущество человеческой интуиции с доступным компьютерным оборудованием. Принимая во внимание причудливость задач по hillclimbing более высокого порядка (и стройных алгоритмов, придуманных для их решения), для человеческого компонента связки можно разработать чрезвычайно интересные дисплеи и средства управления.

Симбиоз машины и человека в искусстве. Объедините графические возможности современных машин и эстетическую чуткость людей. Конечно, огромные усилия исследователей тратятся на разработку компьютерных средств помощи художникам. Я предлагаю четко нацелиться на наибольшее совмещение умений, на максимально возможную кооперацию. Карл Бимс проделал замечательную работу в этом направлении.

Человеко-машинные команды на шахматных турнирах. У нас уже есть программы, которые играют в шахматы лучше подавляющего большинства людей. Но сколько сделано, для того чтобы эту мощь мог использовать человек, с тем чтобы добиться каких-либо еще больших успехов? Если бы таким командам разрешалось участвовать хотя бы в некоторых шахматных турнирах, это могло бы оказать такое же положительное влияние на исследования УИ, какое допуск компьютеров к шахматным соревнованиям оказывает на соответствующую нишу разработок ИИ.

[В последние несколько лет гроссмейстер Гарри Каспаров развил идею проведения шахматных турниров между игроками, которым помогают компьютеры (поищите в интернете по ключевым словам "Каспаров" и "прогрессивные шахматы"). Насколько мне известно, такие человеко-машинные команды не допускаются к участию в серьезных соревнованиях по шахматам.]

Интерфейсы, которые обеспечат доступ к компьютерам и сетям без обязательной привязки человека к одному месту, за столом с монитором. (Данный аспект УИ настолько успешно согласуется с известными экономическими преимуществами, что в этом направлении уже работают очень активно.)

Более симметричные системы поддержки решения. Популярной областью исследований и разработок в последнее время стали системы поддержки решения. Это одна из форм УИ, только, возможно, слишком сфокусированная на прогностических системах. Столько же, сколько программа предоставляет информации пользователю, должно быть и руководства программой со стороны пользователя.

Местные сети, которые сделают усилия группы людей эффективнее работы отдельных членов. Это и есть, в принципе, понятие о groupware; смена подхода в данном вопросе заключается в представлении групповой деятельности как работы коллективного организма.
В определенном смысле цель такого предложения может заключаться в изобретении "Устава" для таких комбинированных операций. Например, направление деятельности группы легче было бы поддерживать, чем посредством классических собраний. Умения отдельных индивидуумов можно будет изолировать от эгоистических устремлений, с тем чтобы объединенные усилия разных членов группы концентрировались на общем проекте. Ну и, конечно, базы данных совместного пользования можно было бы задействовать полнее, нежели в обычных совещательных операциях.

Интернет представляет собой комбинированный человеко-машинный инструмент. Из всего перечисленного в данном списке прогресс в данной области идет наиболее быстрыми темпами. Сила и влияние интернета в немалой степени недооценивают. Сама по себе анархичность развития Всемирной сети является свидетельством ее потенциала. Покуда наращиваются связность, полоса пропускания, архивные объемы и производительность компьютеров, мы наблюдаем нечто похожее на представление Линн Маргулис о биосфере, как своего рода конспекте процессора данных, только с в миллион раз большей производительностью и с миллионами разумных человеческих агентов (нас самих).

[Брюс Стерлинг искусно иллюстрирует, как подобное развитие может привести ко всеобъемлющему проникновению в повседневную жизнь ("Манеки-Неко", журнал Fantasy & Science Fiction, май 1998 года). В качестве нехудожественного взгляда на возможности связки "человечество + технологии" как на сложносоставное существо я рекомендую книгу Грегори Стока "Метачеловек: слияние людей и машин в глобальный сверхорганизм", издательство Simon & Schuster, 1993 год. Но возникнет ли в результате самосознание? Или, может быть, самосознание есть неотъемлемая черта интеллекта, заключенного в определенных границах?]

Приведенные выше примеры иллюстрируют исследование, которое можно провести в рамках современных областей компьютерной науки. Существуют и другие парадигмы. Например, многие работы по созданию искусственного интеллекта и нейросетей только выиграют от более тесной связи с биологической жизнью. Вместо того чтобы просто пытаться моделировать и воспроизводить биологическую жизнь при помощи компьютеров, исследования следует направить на создание композитных систем, полагающихся на управление со стороны биологической жизни, либо ради каких-то свойств биологической жизни, которые мы недостаточно понимаем, но все-таки стремимся воспроизвести в аппаратном обеспечении. Вековечной мечтой научной фантастики являются прямые компьютерно-мозговые интерфейсы. На практике, в этой области ведутся конкретные работы:

Протезирование конечностей представляет собой область прямого коммерческого приложения. Прямые нейро-кремниевые преобразователи можно создать. Это восхитительно досягаемый первый шаг к налаживанию прямой человеко-машинной связи.

Прямые каналы связи с мозгом кажутся вполне осуществимыми, если битрейт достаточно низок: учитывая развитую обучаемость человека, едва ли потребуется точно выбирать мишени среди нейронов живого мозга. Даже 100 бит в секунду будут чрезвычайно полезны пострадавшим от паралича, которым, в противном случае, придется оставаться в заложниках у интерфейсов, построенных на структурированных меню.

Эксперименты с зародышами животных. Какого-либо успеха в УИ в первые годы подобных исследований я не ожидаю, но обеспечение развивающемуся мозгу доступа к сложным симулированным нейроструктурам могло бы, в конечном итоге, привести к появлению животных с дополнительными нервными связями и интересными интеллектуальными способностями.

Я надеялся, что данное рассмотрение УИ выявит какие-нибудь очевидно более безопасные пути к Сингулярности (в конце концов, УИ допускает наше участие в некой трансцендентальной форме). Увы, я уверен почти лишь в том, что такие предположения следует принять во внимание, что они предоставят нам большую свободу выбора. Но, что касается безопасности, некоторые из них представляются достаточно устрашающими. УИ для человеческих индивидуумов создает довольно зловещую элиту. У нас, людей, за плечами миллионы лет эволюционного развития, которые заставляют нас представлять соперничество в мрачном свете. По большей части, эта мрачность может оказаться невостребованной в сегодняшнем мире, в котором проигравшие перенимают приемы победителей и, сплотившись, организуют выигрышные предприятия. Существо, созданное "с чистого листа", может оказаться гораздо благонамереннее, нежели тварь, взращенная по законам клыка и когтя.

Проблема заключается не просто в том, что Сингулярность представляет собой уход человечества со сцены, но в том, что она противоречит нашим сокровенным понятиям бытия. Полагаю, более пристальное рассмотрение концепции сильного сверхчеловеческого может прояснить причины такого положения вещей.

Сильное сверхчеловеческое и лучшее, на что можно рассчитывать.

Предположим, нам удастся спланировать Сингулярность. Предположим, нам удастся воплотить самые сумасбродные мечты. Чего же нам еще тогда останется желать? Что сами люди станут наследниками самих себя, что, какая бы несправедливость не случилась, она всегда будет уравновешена осознанием нашего собственного происхождения. Для не подвергшихся изменениям будет уготовано нарочито мягкое обращение (возможно, даже придание "отставшим" статуса хозяев богоподобных слуг). Может наступить золотой век, не лишенный дальнейшего прогресса (минуя барьер Стента). Бессмертие (или, по меньшей мере, продолжительность жизни, ограниченная нашими способностями сохранить Вселенную) станет достижимым.

Но в этом прекраснейшем и добрейшем из миров одни только философские проблемы становятся устрашающими. Разум, замкнутый в одних и тех же границах, не способен жить вечно, спустя несколько тысяч лет он станет напоминать, скорее, бесконечно повторяющуюся закольцованную пленку, нежели личность. (Наиболее жуткую картину чего-то подобного нарисовал в "Этике безумия" Ларри Найвен). Чтобы жить неограниченно долго, сам разум должен расти. А когда он разрастется до поистине исполинских размеров и оглянется в прошлое, какие родственные чувства он сможет испытывать по отношению к тому, чем он являлся изначально? Разумеется, позднее бытие будет включать в себя все, чем жил оригинал, но и несравненно больше того! Так что даже для индивидуума концепция Кернс-Смита или Линн Маргулис о новой жизни, прирастающей из прежней, остается справедливой.

Данная "проблема" бессмертия проявляется и гораздо более непосредственным образом. Понятие эго и самосознания являлось основополагающим в прожженном рационализме последних нескольких столетий. Однако ныне концепция самосознания подвергается нападкам со стороны приверженцев искусственного интеллекта ("самосознание и прочие заблуждения"). Усиление интеллекта, в свою очередь, выбивает почву из-под концепции эго с другой стороны. В постсингулярном мире чрезвычайно распространятся сверхширокополосные сети. Главной особенностью сильных сверхчеловеческих сущностей, вероятно, станет их способность общаться на разных скоростях, включая более высокие, чем у речи и письма. Что произойдет, когда части эго можно станет копировать и объединять, когда объем самосознания сможет увеличиваться или сокращаться, подстраиваясь под масштаб решаемых задач? Это и есть существенные черты сильного сверхчеловеческого и самой Сингулярности. При мысли о них начинаешь чувствовать, какой радикально чуждой и отличной будет постчеловеческая эра, вне зависимости от того, насколько продуманно и милосердно мы к ней подойдем.

С одной точки зрения, картина вписывается во многие наши мечты о счастье: жизнь без конца и края, в которой мы научимся по-настоящему понимать друг друга и сокровеннейшие тайны бытия. С другой точки зрения, это все сильно напоминает худший сценарий развития событий, который я уже описывал выше в этом эссе.

Какая же точка зрения обоснована? В действительности, мне представляется, что новая эра будет настолько иной, что не сможет вписываться в классические рамки противопоставления добра и зла. Такое понимание зиждется на понятии изолированных, неменяющихся разумов, объединенных тонкими связями с низкой пропускной способностью. Зато постсингулярный мир прекрасно вписывается в более значимую традицию эволюции и коллективности, зародившуюся давным-давно (может быть, еще до появления биологической жизни). Я думаю, что этические нормы, применимые в такую эпоху, все-таки есть. Дальнейшие исследования УИ и сверхширокополосных коммуникаций должны улучшить понимание этого.

Сейчас я вижу лишь отдаленные очертания будущего. Есть Золотое Метаправило Добра. Возможно, есть и законы для распознавания себя среди прочих, основанные на пропускной способности связи. В то время как разум и личность станут значительно лабильнее, чем в прошлом, многого из того, что мы ценим (знания, память, мышление), терять, тем не менее, не следует. Мне кажется, Фримен Дайсон правильно это сформулировал: "Бог - это разум, переросший границы нашего понимания".