Тратит ли человек радостный больше энергии, чем человек угрюмый? Может быть, счастливые люди больше склонны к творческим порывам и полетам фантазии — поведение, которое вряд ли будет приветствоваться будущими работодателями. Возможно, угрюмая и тревожная сосредоточенность на безошибочном выполнении конкретного задания станет самым желанным образом действий для большинства видов трудовой деятельности. Мы не считаем, что это так, мы лишь говорим, что не знаем, что это не так. И все же нам следует подумать, насколько плоха может быть ситуация, если одна из таких пессимистичных гипотез относительно будущих мальтузианских условий окажется истинной: не только из-за «цены выбора» в создании чего-то лучшего и даже грандиозного, но также потому, что это состояние может быть плохим само по себе, возможно, гораздо более плохим, чем мальтузианские условия.
Мы редко работаем в полную силу. Но когда мы так делаем, чувствуем, как это болезненно. Представьте, что вы бежите по беговой дорожке с уклоном вверх: сердце колотится, мышцы болят, легким не хватает воздуха. Короткий взгляд на таймер: следующий отдых ожидается через 49 лет, 3 месяца, 20 дней, 4 часа, 56 минут и 12 секунд — это же и момент вашей смерти. Впору пожалеть, что родился.
И снова речь не о том, что все будет именно так, — проблема в отсутствии уверенности, что все будет иначе. Конечно, можно представить и более оптимистичную картину. Например, нет очевидной причины, по которой эмуляторы должны страдать от физического недомогания и болезней, поскольку они будут лишены уязвимой физической оболочки — что было бы большим достижением по сравнению с нынешним положением дел. Более того, поскольку виртуальная реальность довольно дешевая, эмуляторы могут работать в роскошных условиях: в прекрасных дворцах на вершинах гор, на террасах, выходящих в цветущий весенний сад, на солнечных пляжах, омываемых лазурным океаном, — с правильными освещением и температурным режимом, пейзажем и декором; их не побеспокоят неприятные запахи, шумы, сила тяжести и жужжащие насекомые; они будут облачены в комфортную одежду, ощущать ясность мысли и сосредоточенность внимания, хорошо питаться. Еще более важно, что если у людей оптимальным психическим состоянием для максимальной продуктивности в большинстве видов работ является радостная жажда деятельности — видимо, так оно и есть, — то цифровая эпоха имитационных моделей может оказаться похожей на рай.
В любом случае было бы ценно организовать все так, чтобы у кого-то или чего-то была возможность вмешаться и все исправить в случае, если выбранная траектория окажется ведущей в антиутопию. Также было бы желательно оставить что-то вроде спасательного люка, который позволял бы сбежать в смерть и забвение в случае, если качество жизни постоянно оказывается ниже того уровня, когда исчезновение становится предпочтительнее продолжения существования.
Аутсорсеры, лишенные сознания?
В долгосрочной перспективе, когда эпоху эмуляторов сменит эпоха искусственного интеллекта (или если машинный интеллект появится сразу, минуя стадию имитационной модели головного мозга), в сценарии многополярного мира страдания и удовольствия могут исчезнуть совсем, поскольку гедонистический механизм вознаграждения окажется не самой эффективной системой стимуляции сложного искусственного агента, который, в отличие от человеческого мозга, не обременен наследием нервной системы животных. Возможно, более совершенная система мотивации будет основана на явном выражении функции полезности или на какой-то иной архитектуре, в которой отсутствуют прямые функциональные аналоги удовольствия и страданий.
Близким, но несколько более радикальным вариантом многополярного мира — в принципе, лишенного привычных нам систем ценностей — является такой сценарий, по которому мировой пролетариат полностью будет лишен сознания. Вероятность этого особенно велика в случае ИИ, который может быть структурирован совершенно не так, как человеческий интеллект. Но даже если машинный интеллект вначале возникнет в результате полной эмуляции головного мозга, дав старт появлению обладающих сознанием цифровых агентов, сохранение конкуренции в постпереходной экономике вполне способно привести к возникновению прогрессивных и менее нейроморфных форм машинного интеллекта — или в результате создания синтетического ИИ с нуля, или в результате последовательных модификаций и улучшений имитационных моделей, причем в процессе совершенствования эмуляторы начнут все больше терять человеческие характеристики.
Рассмотрим сценарий, по которому после появления технологии полной эмуляции головного мозга продолжающийся прогресс в нейробиологии и кибернетике (подстегиваемый наличием эмуляторов, работающих как в качестве исследователей, так и объектов экспериментов) сделал бы возможным изоляцию эмулированных индивидуальных когнитивных модулей и подключение их к аналогичным модулям, изолированным от других эмуляторов. Чтобы такие стандартные модули могли эффективно сотрудничать, им потребуется период обучения и притирки, после которого они будут в состоянии взаимодействовать быстрее. Это повысит их продуктивность и стимулирует дальнейшую стандартизацию.
После этого эмуляторы смогут начать передавать на аутсорсинг большую часть своего функционала. Зачем учиться складывать и умножать, если можно переслать задачу, требующую знания математики, в компанию Gauss Modules, Inc.? Зачем уметь говорить, если можно привлечь к переводу своих мыслей в слова агентство Coleridge Conversation? Зачем принимать решения о своей личной жизни, если существуют сертифицированные исполнительные модули, способные сканировать вашу систему ценностей и управлять вашими ресурсами так, что ваши замыслы удастся воплотить быстрее, чем если бы вы занимались этим сами? Некоторые эмуляторы могут предпочесть сохранить за собой большую часть собственного функционала и выполнять самостоятельно даже те задачи, с которыми более эффективно справились бы другие. Они будут похожи на любителей, с удовольствием разводящих овощи или вяжущих свитеры. Но эти эмуляторы-дилетанты так и не станут профессионалами, поэтому, если рабочий поток будет перенаправлен от малоэффективных игроков к более эффективным, — такие имитационные модели непременно окажутся в проигрыше.
Таким образом, бульонные кубики отдельных человекоподобных умов растворятся и превратятся в однородное алгоритмическое варево.
Можно предположить, что оптимальная эффективность будет обеспечена за счет группировки модулей, отвечающих за различные способности, в структуры, отдаленно напоминающие систему когнитивных функций человеческого мозга. Вполне возможно, например, что математический модуль должен быть связан с языковым, и оба они — с исполнительным, чтобы все три могли работать вместе. Тогда когнитивный аутсорсинг окажется практически бесполезным. Но пока тому нет убедительных подтверждений, мы должны считать, что человекоподобная когнитивная архитектура оптимальна только внутри ограничений, связанных именно с человеческой неврологией (а может быть, и вообще не оптимальна). Когда появятся перспективные архитектуры, которые не могут быть хорошо реализованы на биологических нейронных сетях, возникнет необходимость в качественно новых решениях, и наиболее удачные из них уже почти не будут напоминать знакомые нам типы психики. Тогда человекоподобные когнитивные схемы начнут терять свою конкурентоспособность в новых экономических и экосистемных условиях постпереходной эпохи25.
То есть вполне могут существовать свои ниши для разумных систем: менее сложных — таких как индивидуальные модули; более сложных — таких как огромные кластеры модулей; сравнимых по сложности с человеческим мозгом, но с радикально иной архитектурой. Будут ли таким системам присущи хоть какие-то ценности? Следует ли нам приветствовать рождение мира, в котором эти чужеродные системы заменят человеческий мозг?
Ответ на этот вопрос может зависеть от конкретной природы таких систем. В современном мире существует много уровней организации. Есть очень сложные структуры высокого уровня, например государства и транснациональные корпорации, состоящие из множества людей, но за этими структурами мы обычно признаем лишь инструментальную ценность. Государства и корпорации (как принято считать) не обладают сознанием сверх сознания людей, составляющих их: они не в состоянии почувствовать страдание, удовольствие или испытать какие-либо иные чувства. Мы ценим их лишь постольку, поскольку они обслуживают потребности людей, а когда они не справляются со своей задачей, мы «убиваем» их без малейшего раскаяния. Есть структуры более низкого уровня, также обычно лишенные морального статуса. Мы не видим никакого вреда в том, чтобы удалить приложение из смартфона, мы не считаем, будто нейрохирург вредит человеку, страдающему эпилепсией, когда удаляет у него неправильно функционирующий отдел мозга. Большинство людей призна?ет моральный статус сложных систем уровня человеческого мозга только в случае, если они будут способны получать сознательный опыт26.
