Скорее всего, использовать стратегию аргументации от противного для достижения глобальных долгосрочных целей будет невероятно трудно. Кто сможет предсказать результирующее воздействие сообщения после его скачков влево-вправо и вверх-вниз в пинболе общественного дискурса? Для этого пришлось бы смоделировать риторический эффект на миллиарды его составляющих, для которых характерны свои уникальные черты и степень влияния на события, меняющиеся на протяжении долгого времени, в течение которого извне на систему будут действовать непредсказуемые события, а изнутри ее топология будет претерпевать непрерывную эндогенную реорганизацию — задача явно неразрешимая!16 Однако может статься, что нам не придется детально прогнозировать всю траекторию будущего развития системы, дабы обзавестись уверенностью, что наше вмешательство в нужный момент увеличит вероятность достижения ею нужной нам долгосрочной цели. Можно было бы, например, сосредоточить внимание лишь на сравнительно кратко­срочных и предсказуемых этапах этой траектории, выбирая такие действия, которые облегчат их прохождение, и рассматривая поведение системы за пределами горизонта прогнозирования как случайное блуждание.

Существуют, однако, некоторые этические основания для отказа от шагов в пределах аргументации от противного. Попытки перехитрить других выглядят как игра с нулевой суммой или даже отрицательной, если учесть время и энергию, которых понадобится намного больше как на сами эти попытки, так и потому, что всем становится сложнее понять, что же на самом деле думают другие, и добиться доверия к своим собственным суждениям17. Повсеместное использование методов стратегического манипулирования убило бы искренность, а истина была бы обречена блуждать в коварном мраке политических игр.

Пути и возможности

Следует ли нам приветствовать успехи в создании аппаратного обеспечения? А успехи на пути к созданию компьютерной модели мозга? Давайте ответим на эти вопросы по очереди.

Последствия прогресса в области аппаратного обеспечения

Повышение быстродействия компьютеров облегчает создание машинного интеллекта. Таким образом, одним из эффектов от прогресса в области аппаратного обеспечения является ускорение момента, когда на свет появится­ машинный интеллект. Мы уже говорили о том, что с объективной точки зрения это может быть плохо, поскольку у человечества будет меньше времени на то, чтобы решить проблему контроля и подняться на более высокую ступень цивилизации. Впрочем, это не означает неминуемость катастрофы. Поскольку сверхразум устранит множество других экзистенциальных рисков, стоит предпочесть его раннее появление, если уровень этих рисков окажется слишком высоким18.

Приближение или откладывание взрывного развития искусственного интеллекта — не единственный канал, посредством которого прогресс в области аппаратного обеспечения способен повлиять на экзистенциальный риск. Еще одна возможность заключается в том, что аппаратное обеспечение может до некоторой степени заменить программное: более совершенная аппаратная основа снижает требования к минимальному уровню навыков, которые требуются для создания кода зародыша ИИ. Быстрые компьютеры могут также стимулировать использование подходов, которые больше полагаются на полный перебор (вроде генетических алгоритмов и прочих методов, работающих по схеме «генерация–оценка–уничтожение») и меньше — на техники, требующие глубокого понимания ситуации. Если в результате использования методов полного перебора, как правило, возникают системы с более беспорядочной и менее точной архитектурой, где проблему контроля решить труднее, чем в системах с более точно спроектированной и теоретически предсказуемой архитектурой, то это означает еще одну причину, по которой более быстрые компьютеры увеличивают экзистенциальный риск.

Еще одно соображение состоит в том, что быстрый прогресс в области аппаратного обеспечения повышает вероятность быстрого взлета. Чем больших успехов добивается индустрия микропроцессоров, тем меньше человеко-часов требуется программистам для вывода возможностей компьютеров на новый уровень производительности. Это значит, что взрывное развитие искусственного интеллекта вряд ли произойдет на самом нижнем уровне производительности аппаратного обеспечения. То есть более вероятно, что такой взрыв случится тогда, когда компьютеры окажутся на гораздо более высоком уровне развития. Это означает, что взлет произойдет в условиях «аппаратного навеса». Как мы видели в четвертой главе, аппаратный навес — один из многих факторов, снижающих сопротивляемость системы в процессе взлета. А значит, быстрый прогресс в области аппаратного обеспечения­, скорее всего, приведет к более быстрому и взрывоопасному переходу к сверхразуму.

Быстрый взлет за счет так называемого аппаратного навеса может разными путями оказывать влияние на риски перехода. Наиболее очевидно, что при быстром взлете остается меньше возможностей отреагировать и внести корректировки в процесс перехода, что повышает связанные с ним риски. Кроме того, в случае аппаратного навеса снижаются шансы, что потенциально опасный зародыш ИИ, приступивший к самосовершенствованию, будет удачно изолирован и не допущен к достаточному объему вычислительных ресурсов, поскольку чем быстрее процессоры, тем меньше их требуется, чтобы ИИ быстро развился до уровня сверхразума. Еще один эффект аппаратного навеса заключается в том, что он уравнивает шансы мелких и крупных проектов, снижая преимущества крупных в более мощном компьютерном парке. Он также повышает экзистенциальный риск, поскольку в рамках крупных проектов выше вероятность решить проблему контроля и установить более приемлемые с этической точки зрения цели19.

У быстрого взлета есть свои преимущества. Он увеличивает вероятность того, что будет сформирован синглтон. Если формирование синглтона важно для решения проблемы постпереходной координации, может иметь смысл пойти на более высокий риск в ходе взрывного развития искусственного интеллекта, чтобы снизить риск катастрофических последствий провала координационных усилий после него.

Успехи в сфере вычислений могут повлиять на исход революции машинного интеллекта не только прямо, но и косвенно, благодаря своему влиянию на общество и опосредованному участию в формировании условий для взрывного развития искусственного интеллекта. Скажем, интернет, для развития которого требуется массовое производство недорогих компьютеров, влияет на деятельность людей во многих областях, включая работу над созданием искусственного интеллекта и исследования по проблеме контроля. (Эта книга, скорее всего, не была бы написана, и вы могли бы остаться без нее, не будь интернета.) Однако аппаратное обеспечение уже довольно хорошо развито, чтобы появились отличные приложения, облегчающие людям работу, общение, размышления, — поэтому неясно, действительно ли прогресс в этих областях сдерживается скоростью его совершенствования20.

Итак, представляется, что с объективной точки зрения более быстрый прогресс в области развития аппаратного обеспечения нежелателен. Это предварительное заключение может быть опровергнуто, например, если окажется, что другие экзистенциальные риски или риски, связанные с провалом постпереходной координации, окажутся чрезвычайно высокими. В любом случае, похоже, трудно еще сильнее полагаться на скорость совершенствования оборудования. А значит, наши усилия по улучшению исходных условий взрывного развития искусственного интеллекта следует сосредоточить на других параметрах общего стратегического процесса.

Обратите внимание, что даже если мы не знаем, как влиять на тот или иной параметр, может быть полезно для начала работы над стратегией хотя бы определить «знак» этого влияния (то есть понять, что лучше — увеличивать или уменьшать значение параметра). А точку опоры для воздействия на выбранный параметр можно будет отыскать и позже. Возможно также, что знак одного параметра коррелирует со знаком какого-то другого, которым легче манипулировать, и тогда наш исходный анализ помог бы нам решить, что с ним делать.