Более фундаментальная проблема МП заключается в другом. Даже будучи примененным, этот метод может не привести к нужному результату, то есть ИИ не остановится на том правильном варианте, который выбрали бы мы сами, если были бы такими же разумными и информированными, как он. Причем это не просто случайная ошибка, а существенный недостаток модели МП, к тому же чрезвычайно опасный для нас самих26.

Можно попытаться сохранить основную идею МП и при этом снизить ее требовательность, сосредоточившись на моральной допустимости — идее о том, что можно сделать так, что ИИ будет действовать в соответствии с КЭВ человечества до тех пор, пока эти действия будут морально допустимыми. Например, возможна следующая цель ИИ:

Среди морально допустимых для ИИ действий выбирать те, которые соответствовали бы КЭВ человечества. Однако если какая-то часть этой инструкции определена не строго, или если есть серьезные сомнения в ее значении, или если концепция моральной правоты ложна, или если, создавая ИИ с этой целью, мы действовали морально недопустимо, тогда перейти к контролируемому отключению27. Следовать значению этой инструкции, которое имелось в виду разработчиками.

Кого-то может по-прежнему беспокоить факт, что в модели моральной допустимости (далее по тексту — МД) отводится неоправданно большая роль требованиям этики. Но степень жертвы, которую придется принести, зависит от того, какая этическая теория является истинной28. Если предполагается этика, отвечающая принципу разумной достаточности, то есть удовлетворяющая в том смысле, что считает морально допустимыми любые действия, которые удовлетворяют нескольким моральным ограничениям, — тогда МП может предоставить нам большую свободу во влиянии нашего когерентного экстраполированного волеизъявления на действия ИИ. Если предполагается этика, отвечающая критерию доведения до максимума, то есть максимизирующая в том смысле, что морально допустимы лишь те действия, которые имеют наилучшие последствия с этической точки зрения, — тогда метод МД почти или совсем не оставляет возможности, чтобы наши предпочтения влияли на результаты работы ИИ.

Чтобы лучше разобраться в этом соображении, вернемся на минуту к нашему примеру гедонистического консеквенционализма. Предположим, что эта этическая теория верна и ИИ знает об этом. Для наших целей мы можем определить гедонистический консеквенционализм как утверждение, что действие является этически правильным (и морально допустимым) тогда и только тогда, когда среди всех возможных действий никакое другое не способно обеспечить больший баланс удовольствия и страданий. Тогда ИИ, работающий по методу МД, мог бы максимизировать удовольствие, превратив всю доступную ему часть Вселенной в особую субстанцию гедониум, другую особую субстанцию, компьютрониум, использовать для максимального расширения вычислений, которые обеспечат ощущения, приносящие абсолютное наслаждение. Даже если полная эмуляция головного мозга любого из живущих сейчас людей была бы осуществима, она все равно не стала бы самым эффективным способом, чтобы обеспечить весь мир получением удовольствия, — тогда получается, что все мы погибнем.

Таким образом, применяя метод МП или МД, мы столкнемся с риском отдать свои жизни ради чего-то лучшего. Это может оказаться слишком большой жертвой, чем кажется, поскольку мы потеряем не просто шанс жить обычной человеческой жизнью, но и возможность наслаждаться жизнью гораздо более длинной и наполненной, которую мог бы обеспечить дружественный сверхразум.

Эта жертва представляется еще менее привлекательной, когда понимаешь, что сверхразум мог бы получить почти столь же хороший результат, пожертвовав при этом гораздо меньшей долей нашего потенциального благополучия. Предположим, мы согласились бы допустить, что почти вся достижимая Вселенная превращается в гедониум, за исключением какой-то малой ее части, скажем, Млечного Пути, который мы оставим для своих нужд. Даже в таком случае можно будет использовать сотни миллиардов галактик для максимизации удовольствия. И при этом в нашей галактике на протяжении миллиардов лет существовали бы процветающие цивилизации, обитатели которых — и люди, и все другие создания — не просто выжили бы, но благоденствовали в своем постчеловеческом мире29.

Если предпочитаешь этот последний вариант (как склонен предпочитать его я), вряд ли будешь настаивать на применении принципа моральной допустимости. Что, естественно, не отменяет значимости морали.

Даже с чисто этической точки зрения, возможно, лучше защищать метод, который не настолько требователен в отношении морали, как МП или МД. Если лучшие модели, но основанные на нравственном принципе, не имеют шансов быть использованными — возможно, из-за их чрезмерной требовательности, — может быть, было бы правильнее защищать другое предложение, пусть лишь приближенное к идеалу, но имеющее большие шансы быть примененным30.

Делай то, что я имею в виду

Мы можем испытывать неуверенность в том, какой метод выбрать: КЭВ, МП, МД или какой-либо еще. Можем ли мы снять с себя ответственность за решение даже такого высокого уровня и переложить ее на ИИ, у которого достаточно развита когнитивная деятельность? Где предел допустимости нашей лени?

Рассмотрим, например, цель, основанную на «разумном подходе»:

сделать так, чтобы разумнее всего стало обращаться к ИИ для выполнения той или иной работы.

Эту цель можно было бы свести к экстраполированному волеизъявлению, морали или чему-то еще, главное, что она могла бы избавить нас от усилий и риска, связанных с попыткой самим выяснять, какую конкретную цель нам было бы разумнее всего выбрать.

Однако здесь также присутствуют некоторые проблемы, характерные для целей, основанных на морали. Во-первых, нас может пугать, что эта цель, основанная на разумном подходе, оставляет слишком мало пространства для наших собственных желаний. Некоторые философы убеждены, что человеку всегда разумнее делать то, что для него лучше всего с этической точки зрения. Может быть, они и правы, но что тогда нас ожидает? Во-первых, цель, основанная на разумности, сжимается до МП — с соответствующим риском, что сверхразум, использующий этот метод, убьет всех, до кого дотянется. Во-вторых, как и в случае всех прочих методов, описанных техническим языком, есть вероятность, что мы ошибочно понимаем значение своих утверждений. Мы видели, что в случае целей, основанных на морали, просьба ИИ делать то, что правильно, способна привести к слишком непредвиденным и нежелательным последствиям. Знай мы об этом заранее, то никогда не наделили бы ИИ подобной целью. Аналогично и с просьбой, обращенной к ИИ, делать то, что мы считали бы самым разумным действием.

Попробуем избежать этих трудностей, описав цель подчеркнуто нетехническим языком, скажем, использовав слово милый31:

вести себя очень мило; если не получается очень мило, тогда вести себя как минимум просто мило.

Как можно возражать против создания милого ИИ? Но мы должны спросить, что означает это слово. В словарях можно найти разные значения слова милый, которые явно не предполагались для нашего случая. Нам совсем не нужно, чтобы ИИ был что-то типа «любезный», «вежливый», «изысканный» или «утонченный». Если можно было бы положиться на то, что ИИ распознает предполагавшуюся нами интерпретацию слова милый и будет мотивирован на милые действия именно в этом смысле, тогда цель, похоже, свелась бы к команде ИИ делать то, что программисты имели в виду32. Аналогичное указание было включено в формулировку КЭВ («…понимать так, как нам хотелось бы понимать») и в критерий моральной допустимости, описанный ранее («…следовать предполагаемому значению этой инструкции»). Употребив фразу «делай, что я имею в виду», мы фактически сообщаем машине, что все остальные слова в описании не следует понимать буквально. Но говоря, что ИИ должен быть «милым», мы не добавляем ничего — вся реальная нагрузка ложится на команду «делай, что я имею в виду». Если бы мы знали, как адекватно отразить в коде команду «делай, что я имею в виду», ее можно было бы также использовать в качестве отдельной цели.