16. См.: [Lenman 2000; Burch-Brown 2014].

17. См.: [Bostrom 2007].

18. Обратите внимание, что этот аргумент касается только порядка, но не времени, когда произойдут указанные события. Более раннее появление сверхразума поможет снизить другие экзистенциальные риски только в том случае, если его вмешательство изменит последовательность ключевых событий: например, если сверхразум появится раньше, чем будут пройдены определенные вехи в развитии нанотехнологий или синтетической биологии.

19. Если решить проблему контроля несоизмеримо сложнее, чем проблему эффективности машинного интеллекта, и если возможности проекта очень слабо коррелируют с размером проекта, тогда, возможно, лучше вначале реализовать мелкие проекты, особенно если различия в возможностях среди мелких проектов выше. Даже если мелкие проекты отличаются в среднем более низким уровнем компетентности, чем крупные, вероятность того, что у какого-то из них уровень компетентности окажется достаточно высоким, чтобы решить проблему контроля, будет не ниже, чем в случае крупного проекта.

20. Никто не отрицает, что можно представить появление новых инструментов, которые способны еще больше облегчить общение в глобальных масштабах — например, для высококачественного перевода, точного поиска, повсеместной работы смартфонов, создания привлекательной виртуальной среды для общения и так далее — и для которых будет желательным (или даже обязательным) прогресс в области аппаратного обеспечения.

21. Инвестиции в развитие технологии полной эмуляции головного мозга ускорят движение в сторону создания полноценной имитационной модели не только прямо (за счет появления новых технических методов), но и косвенно, за счет создания условий, которые обеспечат увеличение финансирования, а также повысят заметность этого направления и доверие к нему.

22. Сколько может потерять человечество, если контуры будущего будут определяться желаниями одного случайного человека, а не суперпозицией желаний всего народонаселения? Ответ на этот вопрос очень сильно зависит от стандартов оценки, которые мы используем, а также от того, идет ли речь об идеализированных или «необработанных» желаниях.

23. Например, в то время как два человеческих мозга «обмениваются информацией» очень медленно, посредством языка, ИИ может быть разработан таким образом, что две копии одной и той же программы смогут легко и быстро передавать друг другу и информацию, и навыки. Изначально предназначенный для киберпространства машинный интеллект не нуждается в громоздкой системе приспособления к природной среде обитания, унаследованной людьми от своих предков. Устройство цифрового мозга позволяет ему воспользоваться всеми преимуществами быстрых последовательных вычислений, недоступных мозгу биологическому, а также быстро инсталлировать новые высокооптимизированные функциональные модули (например, для обработки символьной информации, распознавания образов, симуляции, глубинной обработки данных и планирования). У ИИ могут быть заметные преимущества нетехнического характера, например его легче запатентовать и с ним не связаны типичные для использования КИМГМ сложности этического плана.

24. Если p₁ и p₂ — вероятности риска неудачи на каждом шаге, то суммарная вероятность неудачи равна p₁ + (1 – p₁) p₂, поскольку фатальная неудача может случится лишь один раз.

25. Конечно, возможен и такой вариант, что у лидирующего проекта не будет такой большой форы и он не сможет сформировать синглтон. Также может быть, что синглтон сформируется прежде, чем появится ИИ, даже без вмешательства КИМГМ, в этом случае причины предпочитать сценарий «сначала КММ» отпадают полностью.

26. Есть ли возможность у сторонников КИМГМ скорректировать усилия по поддержке этого направления так, чтобы при этом минимизировать ущерб для направления ИИ? В этом смысле, вероятно, лучше развивать технологии сканирования, чем нейрокомпьютерного моделирования. (Поддержка разработки аппаратного обеспечения вряд ли сыграет какую-то роль, поскольку благодаря большому коммерческому интересу прогресс в этой области и так довольно заметен.) Развитие технологии сканирования может повысить вероятность многополярного исхода, поскольку устранит потенциальное узкое место метода и позволит создать первую популяцию эмуляторов на базе множества различных человеческих шаблонов, а не воспроизводить сто тысяч миллиардов одинаковых копий нескольких исходных сканов. Прогресс в области технологии сканирования также повысит вероятность того, что узким местом окажется аппаратное обеспечение, а это может замедлить взлет.

27. У нейроморфного ИИ может не быть и других свойств компьютерной модели мозга, повышающих безопасность проекта, в частности, аналогичного человеческому профиля сильных и слабых когнитивных черт (благодаря которому мы могли бы, опираясь на свои знания о людях, формировать ожидания об уровне развития системы на разных стадиях ее развития).

28. Если мотивом поддержки направления КИМГМ является желание, чтобы технология полной эмуляции головного мозга была создана раньше разработок ИИ, то следует помнить, что ускорение развития этого направления изменит порядок появления двух форм машинного интеллекта только в том случае, если они и так должны были бы появиться почти сразу друг за другом с небольшим преимуществом в пользу ИИ. В противном случае инвестиции в технологию эмуляции или просто ускорят создание КИМГМ (сократив аппаратный навес и время, оставшееся на подготовку к этому), не изменив порядок появления КИМГМ и ИИ, или вообще не будут иметь никакого успеха (возможен даже обратный эффект, если ускорение разработок приведет к созданию нейроморфного ИИ).

29. См.: [Hanson 2009].

30. Конечно, и в этом случае имеется некоторый экзистенциальный риск, из-за которого отложить прогресс было бы правильно даже с субъективной точки зрения — это или позволит ныне живущим людям прожить чуть дольше, или обеспечит дополнительное время для попыток снизить опасность.

31. Предположим, мы можем предпринять некоторое действие, которое приблизит взрывное развитие интеллекта на один год. Предположим также, что люди, в настоящее время населяющие­ Землю, умирают со скоростью 1% в год и что по умолчанию риск гибели человечества в результате взрывного развития равен 20% (число произвольное, взято просто для иллюстрации). Тогда ускорение появления взрывного развития интеллекта на один год означает (с субъективной точки зрения) увеличение риска с 20% до 21%, то есть на 5%. Однако большинство живущих за год до начала взрывного развития интеллекта людей заинтересованы отложить его, если тем самым можно снизить риск на один процентный пункт (поскольку большинство людей знают, что их риск смерти в следующий год гораздо меньше 1%, учитывая, что основная смертность приходится на сравнительно узкий сегмент старых и больных людей). Так можно получить модель, в которой население ежегодно голосует за то, чтобы отложить взрывное развитие искусственного интеллекта еще на год, притом что все живущие согласны с тем, что было бы хорошо, если рано или поздно он произошел бы. В реальной жизни, конечно, такого бесконечного откладывания, скорее всего, не будет — из-за плохой координации, ограниченных возможностей прогнозирования или предпочтений иных вещей, нежели личное выживание. Если вместо стандартов, затрагивающих личные интересы каждого, использовать экономический коэффициент дисконтирования, позитивный эффект от ускорения резко снизится, так как упадет приведенная стоимость того, что ныне живущие люди обеспечат себе астрономически длинные жизни. Этот эффект проявится особенно заметно, если коэффициент дисконтирования применять к субъективному времени каждого индивидуума, а не к звездному. Если будущие блага дисконтируются по ставке x% годовых, а фоновый уровень экзистенциального риска от других источников равен y% в год, то оптимальный момент для взрывного развития искусственного интеллекта настанет тогда, когда его откладывание еще на год приведет к снижению связанного с ним экзистенциального риска меньше, чем на x + y процентных пунктов.