Есть множество факторов, которые могут оказывать влияние на любой управляемый людьми институт, добившийся решающего стратегического преимущества, и помешать ему в формировании синглтона. Перечислим некоторые из них: агрегированная функция полезности; правила принятия решений, не максимизирующие выигрыш; неразбериха и неопределенность; проблемы с координацией действий; высокие затраты, связанные с осуществлением контроля. Но как быть в ситуации, когда решающее стратегическое преимущество получает не человеческая организация, а цифровая действующая сила, пусть даже сверхразумная? Будут ли перечисленные выше факторы столь же действенным средством удержания ИИ от попытки утвердить свою власть? Рассмотрим коротко каждый из них и представим, как они могут повлиять на ситуацию.
Обычно предпочтения людей и организаций, управляемых людьми, в отношении ресурсов не совсем точно соответствуют неограниченным агрегированным функциям полезности. Человек, как правило, не поставит весь свой капитал, если шансы удвоить его — пятьдесят на пятьдесят. Страна, скорее всего, не пойдет на риск потерять всю свою территорию ради десятипроцентной вероятности увеличить ее в десять раз. И для отдельных людей, и для правительств действует правило убывающей отдачи большинства переменных ресурсов. Однако это не обязательно будет присуще искусственным агентам. (К проблеме мотивации ИИ мы вернемся в последующих главах.) Таким образом, ИИ с большей вероятностью мог бы пойти на рискованный действия, дающие ему некоторые шансы получить контроль над миром.
Для людей и управляемых людьми организаций также характерен процесс принятия решений, не подразумевающий стремления максимизировать функцию полезности. Например, могут оказывать влияние такие обстоятельства: природная склонность человека стараться избегать риска; принцип разумной достаточности, главным критерием которого является поиск и принятие удовлетворительного варианта; наличие этических ограничений, запрещающих совершать определенные действия независимо от степени их желательности. Принимающие решения люди часто действуют сообразно своим личным качествам или социальной роли, а не стремлению максимизировать вероятность достижения той или иной цели. И опять — это не обязательно будет присуще искусственным агентам.
Между ограниченными функциями полезности, склонностью к избеганию риска и правилами принятия решений, не максимизирующими выигрыш, возможна синергия, особенно в условиях стратегической неразберихи и неопределенности. Революции, даже добившиеся успеха в изменении существующего порядка вещей, часто не приносят результата, на который рассчитывали их инициаторы. Как правило, человек как действующее лицо останавливается в нерешительности, если предполагаемые действия необратимы, нарушают устоявшиеся нормы или не имеют исторических прецедентов. Сверхразуму как действующей силе ситуация может показаться вполне однозначной, и его не остановит неопределенность результата, если он решит попытаться воспользоваться своим решающим стратегическим преимуществом для укрепления собственного господствующего положения.
Еще одним важным фактором, способным препятствовать использованию группой людей потенциального решающего стратегического преимущества, является проблема внутренней координации действий. Участники тайного общества, планирующие захватить власть, должны беспокоиться не только о внешних врагах, но и о возможности оказаться жертвами внутренней коалиции недоброжелателей. Если тайное сообщество состоит из ста человек и шестьдесят из них, составляя большинство, могут перехватить власть и лишить избирательных прав тех, кто не разделяет их позиции, что остановит от раскола победителей, в результате которого тридцать пять человек отодвинут от управления оставшихся двадцать пять? А потом из этих тридцати пяти какие-то двадцать лишат права голоса остальных пятнадцать? У каждого человека из исходной сотни есть все основания защищать определенные устоявшиеся нормы и стараться не допустить общего хаоса, который возникнет в результате любой попытки изменить существующий общественный договор при помощи бесцеремонного захвата власти. Проблема внутренней координации никакого отношения к ИИ не имеет, поскольку он воплощает собой единую действующую силу36.
Наконец, остается вопрос издержек. Даже если Соединенные Штаты решились бы использовать свою ядерную монополию для установления синглтона, их затраты были бы огромны. Если удалось бы подписать договор о передаче ядерного оружия под контроль реформированной и усиленной ООН, эти издержки можно было бы минимизировать; но в случае попытки окончательно завоевать мир, угрожая ему ядерной войной, цена — моральная, экономическая, политическая и человеческая — оказалась бы немыслимо высокой даже в условиях сохранения ядерной монополии. Впрочем, если технологическое преимущество довольно заметно, эту цену можно снизить. Предположим сценарий, по которому одно из государств обладает настолько большим технологическим превосходством, что может, оставаясь в полной безопасности, разоружить все остальные страны одним нажатием кнопки, причем никто не погибнет и не будет ранен, а природе и инфраструктуре не будет нанесено ни малейшего ущерба. В случае такого почти сказочного технологического превосходства идея упреждающего удара кажется гораздо более соблазнительной. Или предположим еще более высокую степень превосходства, которая позволит государству-лидеру побудить остальные страны сложить оружие добровольно, не угрожая им разрушением, а просто убедив большинство населения в преимуществах общемирового единства при помощи чрезвычайно эффективных рекламных и пропагандистских кампаний. Если это будет сделано с намерением принести пользу всем народам, а именно: вместо международного соперничества и гонки вооружений предложить честное, представительное и эффективное мировое правительство, — вряд ли придется возражать против превращения временного стратегического преимущества в постоянный синглтон.
Таким образом, все наши соображения указывают на высокую вероятность, что власть, наделенная сверхразумом и обладающая абсолютным стратегическим преимуществом, на самом деле способна привести к формированию синглтона. Целесообразность и привлекательность такого шага, безусловно, зависит от природы созданного синглтона, а также от версии будущей интеллектуальной жизни, которая будет выбрана из альтернативных многополярных сценариев. Мы еще вернемся к этим вопросам в следующих главах. Но вначале разберемся, почему и каким образом сверхразум окажется мощной и действенной силой, способной решать судьбы всего мира.
Глава шестая
Разумная сила, не имеющая себе равной
Допустим, сверхразумная цифровая действующая сила уже появилась и по каким-то своим резонам собирается установить новый миропорядок — возможен ли такой поворот событий? В этой главе мы поговорим на темы полномочий и власти. Какой властью будет облечен этот сверхразумный агент? Велика ли окажется сфера его полномочий? Каким образом перехватывалось им право на управление? В общих чертах поговорим о развитии сценария, по которому происходит перевоплощение простой программной модели в сверхразумную цифровую действующую силу, сумевшую занять позицию синглтона и приобрести абсолютную власть. В завершение — несколько замечаний о власти над природой и другими агентами.
Основная причина, по которой человечество занимает на нашей планете господствующее положение, заключается в том, что головной мозг человека обладает чуть более расширенными возможностями по сравнению с головным мозгом остальных живых существ1. Благодаря более развитому интеллекту люди производят, накапливают и преумножают знания, передавая их из поколения в поколение, и, таким образом, сохраняют свое культурное наследие. Накоплен уже такой багаж знаний, технологий и опыта, что мы сейчас живем в мире, в котором перемешалось все, на что способно человечество: космические полеты, водородная бомба, генная инженерия, компьютеры, агропромышленные фермы, инсектициды, международное движение за мир и прочие реалии современной цивилизации. Ученые называют нашу эпоху антропоценом — таким образом они обозначают геоисторический период особой человеческой активности, имеющий свои специфические признаки: биологические (биотические факторы окружающей среды); геологические (осадочные отложения); геохимические2. По одной из оценок, на долю человека приходится двадцать четыре процента чистой первичной продукции планетарной экосистемы3. И все-таки люди далеко не исчерпали всех ресурсов технологического процесса.
