Чтобы понять, следует ли продвигать идею создания технологии полной эмуляции головного мозга, нужно учесть еще несколько важных моментов.

Во-первых, следует помнить об уже упомянутой связке технологий: движение в сторону КИМГМ может привести к созданию нейроморфного ИИ. Это причина не настаивать на эмуляторах26. Несомненно, есть некоторые варианты синтетического ИИ, которые менее безопасны, чем некоторые нейроморфные варианты. Однако в среднем кажется, что нейроморфные системы более опасны. Одна из причин этого в том, что имитация может подменить собой знание. Чтобы построить нечто с нуля, обычно нужно сравнительно хорошо представлять, как будет работать система. Но в таком понимании нет нужды, если всего лишь копируешь какие-то свойства уже существующей системы. Полная эмуляция головного мозга полагается на масштабное копирование биологической системы, что не требует досконального понимания механизмов познания (хотя, без сомнения, понадобятся серьезные знания на уровне ее компонентов). В этом смысле нейроморфный ИИ может походить на КИМГМ: его можно получить путем плагиата различных элементов без необходимости того, чтобы инженеры имели глубокое математическое понимание принципов ее работы. Зато нейроморфный ИИ не будет похож на КИМГМ в другом аспекте — у него не будет по умолчанию человеческой системы мотивации27. Это соображение говорит против стремления двигаться по пути КИМГМ, если в результате может появиться нейроморфный ИИ.

Во-вторых, о чем нужно помнить: КИМГМ, скорее всего, подаст нам сигнал о своем скором появлении. В случае ИИ всегда есть возможность неожиданного концептуального прорыва. В отличие от него, для успеха эмуляции головного мозга требуется совершить множество трудоемких предварительных шагов: создать высокопроизводительные мощности для сканирования и программное обеспечение для обработки изображений, проработать алгоритм моделирования нейронной сети. Поэтому можно уверенно утверждать, что КИМГМ еще не на пороге (и не будет создан в ближайшие двадцать–тридцать лет). Это значит, что усилия по ускорению создания КИМГМ имеют значение лишь для тех сценариев, где машинный интеллект появляется сравнительно нескоро. Это делает инвестиции в КИМГМ привлекательными для тех, кто хотел бы, чтобы взрывное развитие интеллекта исключило другие экзистенциальные риски, но опасается поддерживать разработку ИИ из страха, что этот взрыв произойдет преждевременно, до того как будет решена проблема контроля. Однако, похоже, неопределенность относительно сроков этих событий настолько велика, что не стоит придавать этому соображению слишком большой вес28.

Поэтому стратегия поддержки КИМГМ более привлекательна, если: 1) вы с пессимизмом смотрите на способность людей решить проблему контроля над ИИ; 2) не слишком беспокоитесь по поводу нейроморфного ИИ, многополярных исходов и рисков второго перехода; 3) думаете, что КИМГМ и ИИ будут созданы довольно скоро; 4) предпочитаете, чтобы сверхразум появился не слишком рано и не слишком поздно.

С субъективной точки зрения — лучше быстрее

Боюсь, что под словами одного из комментаторов в блоге могут подписаться многие:

Мне инстинктивно хочется двигаться быстрее. И не потому что, как мне кажется, мир от этого выиграет. Почему я должен думать о мире, если все равно умру и превращусь в прах? Мне просто хочется, чтобы все двигалось быстрее, черт возьми! Это увеличивает шансы, что я застану более технологически продвинутое будущее29.

С субъективной точки зрения у нас есть серьезная причина торопить появление любых радикально новых технологий, с которыми связан экзистенциальный риск. Причина в том, что все, кто сейчас живет, по умолчанию умрут в течение ближайших ста лет.

Особенно сильно желание торопить события, когда речь идет о технологиях, способных продлить нашу жизнь и тем самым увеличить количество ныне живущих людей, способных застать взрывное развитие искусственного интеллекта. Если революция машинного интеллекта пойдет так, как нам хотелось бы, появившийся в ее результате сверхразум почти наверняка найдет способ бесконечно продлевать жизнь людей, которые окажутся его современниками, причем не просто продлевать жизнь, но и делать ее абсолютно качественной, поскольку люди будут совершенно здоровы и полны молодой энергией — тоже благодаря стараниям сверхразума. Более того, сверхразум увеличит возможности человека далеко за пределы того, что можно было бы предположить; кто знает, вдруг он поможет человеку совсем избавиться от своего бренного организма, загрузит его мозг в цифровую среду и подарит ему идеально здоровое виртуальное тело. Что касается технологий, не обещающих продление жизни, то здесь оснований для спешки меньше, но они все равно есть, поскольку появление таких возможностей способно повысить стандарты жизни30.

Благодаря такой же логике с субъективной точки зрения кажутся привлекательными многие рискованные технологические инновации, обещающие приблизить момент взрывного развития искусственного интеллекта, даже если они нежелательны с объективной точки зрения. Такие инновации могут сократить «час волка», в течение которого мы должны сидеть на своем насесте в ожидании рассвета постчеловеческой эпохи. Поэтому с субъективной точки зрения быстрый прогресс в области аппаратного обеспечения кажется таким же желательным, как и в области создания КИМГМ. Потенциальный вред из-за повышения экзистенциального риска уравновешивается возможной пользой для отдельно взятого человека благодаря возросшим шансам, что взрывное развитие искусственного интеллекта произойдет еще при жизни живущих сейчас людей31.

Сотрудничество

Важным параметром является степень сотрудничества и координации, которую удастся обеспечить в ходе создания машинного интеллекта. Сотрудничество способно принести много пользы. Посмотрим, какое влияние этот параметр мог бы оказать на процесс создания машинного интеллекта и какие рычаги имеются в нашем распоряжении для расширения и углубления сотрудничества.

Гонка и связанные с ней опасности

Ощущение гонки возникает, когда есть страх, что проект обойдут конкуренты. Для этого совсем не обязательно наличие множества сходных проектов. Ситуация, при которой инициаторы проекта находятся в состоянии гонки, может сложиться и в отсутствие реальных конкурентов. Возможно­, союзники не создали бы атомную бомбу так быстро, если не считали бы (ошибочно), что Германия крайне близка к этой цели.

Интенсивность ощущения гонки (то есть степень того, насколько конкуренты готовы ставить скорость выше безопасности) зависит от нескольких факторов, таких как плотность конкуренции, относительная важность возможностей и удачи, количество соперников, схожесть их подходов и целей. Также важно, что думают обо всех этих факторах конкуренты (см. врезку 13).

ВРЕЗКА 13. СМЕРТЕЛЬНАЯ ГОНКА

Рассмотрим гипотетическую гонку вооружений с применением ИИ — гонку, в которой несколько команд конкурируют за право первыми создать сверхразум32. Каждая из них сама решает, сколько инвестировать в безопасность, понимая, что ресурсы, потраченные на меры предосторожности, — это ресурсы, не потраченные на создание ИИ. В отсутствие согласия между соперниками (которого не удалось достичь из-за различия позиций или невозможности контролировать соблюдение договора) гонка может стать смертельно опасной, когда каждая команда тратит на безопасность лишь минимальные средства.

Производительность каждой команды можно представить как функцию ее возможностей (к которым относится и удача), штрафной функцией являются затраты на обеспечение безопасности. Первой создаст ИИ команда с наивысшей производительностью. Риски, связанные с появлением ИИ, зависят от того, сколько его создатели инвестировали в безопасность. В наихудшем сценарии все команды имеют одинаковые возможности. В этом случае победитель определяется исключительно по величине его капиталовложений в безопасность: выиграет команда, потратившая на меры предосторожности меньше всего. Тогда равновесие Нэша в этой игре достигается в ситуации, когда ни одна команда ничего не тратит на безопасность. В реальном мире такая ситуация будет означать возникновение эффекта храповика: одна из команд принимает на себя больший риск, опасаясь отстать от конкурентов, последние отвечают тем же — и так несколько раз, пока уровень риска не оказывается максимальным.