Одно из мнений заключается в том, чтобы включать в популяцию лишь взрослых людей, живущих на Земле на момент начала создания ИИ. После этого первая экстраполяция, полученная на этой базе, решит, нужно ли ее расширять. Поскольку количество «маргиналов» на периферии этой базы сравнительно невелико, результат экстраполяции не должен сильно зависеть от того, где именно будет проведена граница — например, будут или нет учитываться и эмбрион, и плод или только плод.
Однако если кого-то исключат из исходной базы экстраполяции, это не будет означать, что их желания и благополучие принесли в жертву. Если КЭВ тех, кто в базу включен (например, живущие на Земле взрослые люди), будет состоять в том, что этические соображения следует распространить и на другие существа, результат КЭВ учтет эти предпочтения. Тем не менее возможно, что интересы людей, включенных в исходную базу экстраполяции, будут учтены в большей степени, чем всех остальных. В частности, если процесс начинает действовать только в случае согласия между индивидуальными экстраполированными волеизъявлениями (как предполагается в оригинальном предложении Юдковского), то возникает значительный риск преобладания голосов тех, кто не самым благородным образом начнет выступать против заботы о благополучии высших млекопитающих или эмуляторов. Тогда был бы нанесен серьезный ущерб нравственной атмосфере всего человеческого сообщества17.
Метод КЭВ выгодно отличается от других еще и тем, что снижает конкуренцию между людьми за создание первого сверхразума. Но даже признав, что метод выглядит лучше многих других, мы не можем исключить совсем возникновение конфликтных ситуаций. Всегда найдутся те, кто начнет преследовать собственные корыстные интересы: и отдельные личности, и сообщества, и целые государства могут стремиться увеличить свою долю будущего пирога за счет исключения других из базы экстраполяции.
Такое стремление к власти объясняется по-разному. Например, собственник проекта, полностью финансирующий разработку ИИ, имеет право влиять на дальнейшие результаты. Этичность этого права сомнительна. Оспорить ее можно, например, тем, что проект по созданию первого успешного зародыша ИИ несет огромные риски гибели всего человечества, которые, соответственно, должны быть как-то компенсированы. Но справедливая величина компенсации настолько высока, что единственно возможная ее форма — это предоставление каждому доли тех благ, которые удастся получить в случае успеха18.
Другой аргумент сторонников концентрации власти над ИИ заключается в том, будто значительные слои народонаселения имеют примитивные или аморальные предпочтения, поэтому включение их в базу экстраполяции только увеличит риск превращения будущего человечества в антиутопию. Трудно определить соотношение добра и зла в душе человека. Так же трудно оценить, как оно изменяется в зависимости от его принадлежности к различным группам, социальным стратам, культурам и странам. Независимо от того, оптимистично или пессимистично смотришь на природу человека, вряд ли возникнет желание стремиться к освоению космических пространств на основании одной лишь надежды, что в экстраполированном волеизъявлении большинства из семи миллиардов живущих сейчас на планете людей преобладают добрые черты. Конечно, исключение определенной группы из базы экстраполяции не гарантирует победы; вполне возможно, что в душах тех, кто первым готов исключить других или концентрировать власть над проектом, зла намного больше.
Еще одна причина борьбы за контроль над исходными условиями состоит в том, что кто-то может считать, будто предложенные другими подходы к созданию ИИ не сработают так, как должно, даже если предполагается, что ИИ будет следовать КЭВ человечества. Если у нескольких групп разработчиков сформируются разные представления о научных направлениях, которые с наибольшей вероятностью приблизят успех, они вступят между собой в беспощадную борьбу. Каждая группа начнет стремиться к тому, чтобы воспрепятствовать остальным создать ИИ. В подобной ситуации конкурирующие проекты должны урегулировать свои эпистемологические противоречия, не прибегая к вооруженным конфликтам, а с помощью методов, позволяющих более надежно определять, кто прав больше, а кто — меньше19.
Модели, основанные на этических принципах
Модель КЭВ — не единственно возможная форма косвенной нормативности. Например, вместо моделирования когерентного экстраполированного волеизъявления человечества можно пойти иным путем. Разработать ИИ, цель которого будет состоять в том, чтобы выполнять только то, что правильно с этической точки зрения. Причем люди, прекрасно осознавая, насколько когнитивные способности ИИ превосходят их собственные, будут полагаться на его оценочные суждения, какие действия отвечают этому определению, а какие нет. Это можно назвать моделью моральной правоты (далее в тексте — МП). Мысль предельно простая. Человек не обладает абсолютными представлениями, что хорошо, а что плохо; еще хуже он разбирается в том, как лучшим образом проанализировать концепцию моральной правоты с философской точки зрения. Сверхразум в состоянии справиться с подобными проблемами лучше человека20.
Но как быть, если мы не уверены в истинности концепции моральной правоты? Даже тогда можно попытаться использовать этот метод. Нужно лишь обязательно определить, как должен поступать ИИ в том случае, если выяснится, что его предположения о сути моральной правоты ошибочны. Например, можно указать следующее: если ИИ с довольно высокой вероятностью выяснит, что с концепцией моральной правоты не связано ни одной абсолютной истины, тогда он может вернуться к использованию метода КЭВ или просто отключиться21.
По всей видимости, у метода МП есть несколько преимуществ по сравнению с методом КЭВ. В случае МП не важны различные свободные параметры метода КЭВ, в частности степень когерентности экстраполированных волеизъявлений, которая требуется для работы КЭВ, легкость, с которой большинство может взять верх над меньшинством, и природа социального окружения, в котором наши экстраполированные личности должны «стать ближе друг к другу». В этом случае, кажется, невозможна нравственная катастрофа в результате использования слишком узкой или слишком широкой базы экстраполяции. Более того, МП будет подталкивать ИИ к этически правильным действиям даже в том случае, когда наши когерентные экстраполированные волеизъявления могли бы вызвать недопустимые с точки зрения морали шаги ИИ. Однако в границах метода КЭВ — и мы говорили об этом — они вполне возможны. В человеческой природе высокие моральные качества, видимо, скорее являются редким металлом, их не встретишь в изобилии, и даже после того, как золото добыто и очищено в соответствии с методом КЭВ, никто не знает, что получится в результате — драгоценный металл, нейтральный шлак или токсичный осадок.
По всей видимости, метод МП тоже не лишен недостатков. Они основаны на чрезвычайно сложной концепции, вокруг которой ломают копья философы на протяжении многих веков, но в отношении которой так и не достигли согласия. Выбор ошибочного представления о моральной правоте может привести к очень негативным с этической точки зрения результатам. Казалось бы, эта сложность в определении моральной правоты может быть сильнейшим аргументом против использования метода. Однако пока неясно, насколько серьезным недостатком является эта особенность МП. В методе КЭВ тоже используются термины и концепции, которые не слишком легко определить (например, «знания», «быть в большей степени людьми, которыми нам хотелось бы быть», «стать ближе друг к другу»)22. Даже если терминологические единицы КЭВ чуть менее непрозрачны, они все-таки очень далеки от тех возможностей, которые сегодня есть у программистов, чтобы выразить все это в исходном коде23. Чтобы ИИ справился с любой подобной концепцией, ему нужно обладать хотя бы общими лингвистическими знаниями и способностями (сравнимыми с теми, которые есть у взрослого человека). Но такую общую способность понимать обычный язык можно использовать и для познания того, что означает «моральная правота». Если ИИ способен понять смысл, он выберет и действия, которые соответствуют этому значению. По мере продвижения в сторону сверхразума ИИ может прогрессировать в двух направлениях: в осознании значения моральной правоты с точки зрения философской проблемы и в решении практической задачи по применению этого понимания к оценке конкретных действий24. Хотя это и нелегко, но вряд ли труднее, чем моделирование когерентного экстраполированного волеизъявления человечества25.
