Определим «открытие» как действие, в результате которого некая информация становится известна раньше, чем могла бы появиться. Тогда ценность открытия не равняется значимости заложенной в нем информации, а скорее приобретает значение, потому что информация попадает в наше распоряжение сейчас, а не позже. Чтобы первому найти решение проблемы, которое ускользнуло от многих других, ученому требуется приложить много сил и способностей; но если проблема в любом случае должна была в ближайшее время быть решена, мир получил не так много пользы от его работы. Конечно, есть случаи, когда даже чуть более раннее решение проблемы несет в себе огромную ценность, но чаще всего это возможно лишь в тех случаях, когда такое решение можно немедленно использовать: или применить на практике, или положить в основу другой теоретической работы. Причем в последнем случае, когда решение сразу используется в качестве строительного материала для дальнейших теоретических поисков, то сам факт, что оно получено чуть раньше, будет значим лишь тогда, когда новая работа сама по себе и важная, и срочная1.

То есть вопрос не в том, является ли результат, полученный математиком, награжденным Филдсовской премией, «важным» (или сам по себе, или с инструментальной точки зрения). Скорее, значение имеет то, насколько важно появление этого результата сейчас, а не позже. И ценность этого перемещения во времени следует сравнивать со значимостью иного результата, который мог бы получить этот математик мирового уровня, работая над другой проблемой. Как минимум в некоторых случаях Филдсовская премия становилась свидетельством того, что жизнь была потрачена на решение неправильно выбранных задач, например тех, привлекательность которых вызвана главным образом тем, что они представляли собой трудноразрешимые проблемы.

Того же упрека заслуживает и философия. Конечно, она действительно занимается изучением проблем, решение которых поможет снизить экзистенциальный риск, — с некоторыми философскими концепциями мы познакомились в этой книге. Но часть философских теорий не имеет отношения ни к экзистенциальным рискам, ни к какой-либо иной практической направленности. Конечно, некоторые проблемы, которыми занимается философия (как и математика), важны сами по себе, в том смысле, что размышлять над ними люди могут независимо от возможностей применить результаты своих умозаключений на практике. Фундаментальную природу реальности, например, стоит понимать в любом случае. Мир определенно был бы менее симпатичным местом, если бы никто не изучал метафизику, космологию или теорию струн. Однако мрачные перспективы взрывного развития интеллекта проливают новый свет на это старое как мир стремление к мудрости.

Сейчас складывается ощущение, что прогресса в области философии можно достигнуть, двигаясь окольными путями, а не за счет непосредственного философствования. Одной из многих задач, в решении которых сверхразум (и даже слегка улучшенный человеческий интеллект) мог бы опередить современных мыслителей, является задача ответа на фундаментальные научные и философские вопросы. Эта мысль предполагает следование стратегии отложенного удовольствия. Мы могли бы отложить ненадолго работу над вечными вопросами, делегировав эту задачу нашим, будем надеяться, более компетентным потомкам, чтобы сосредоточить свое внимание на более­ неотложной проблеме: повышении шансов того, что у нас вообще будут компетентные потомки. Вот это и называют настоящей философией и настоящей математикой2.

Что нужно делать?

Таким образом, нам следует сосредоточить силы на проблемах, не просто важных, но неотложных в том смысле, что их нужно разрешить раньше, чем произойдет взрывное развитие интеллекта. И воздерживаться от работы над задачами с отрицательной ценностью (то есть решение которых принесет вред). Отрицательную ценность могут иметь некоторые технические задачи в области искусственного интеллекта, поскольку их решение может подстегнуть развитие этого направления, опережающее создание методов контроля, которые все-таки призваны помочь человечеству пережить революцию машинного интеллекта и получить выгоду от нее.

Довольно нелегко определить проблемы, которые одновременно являются важными, срочными и имеющими абсолютно положительную ценность. Стратегическая неопределенность, присущая попыткам снизить экзистенциальные риски, приводит к тому, что даже действия, предпринятые с самыми добрыми намерениями, могут оказаться не только непродуктивными, но даже неконструктивными. Чтобы ограничить риск совершения действий, способных принести реальный вред или оказаться ошибочными с этической точки зрения, нам следует работать лишь над теми проблемами, которые, как представляется, обладают строго положительной ценностью (например, решение которых помогает получить положительный исход в широком спектре сценариев), и применять инструменты исключительно допустимые (например, приемлемые с точки зрения широкого спектра этических норм).

При расстановке приоритетов есть и другое соображение, которое следует учитывать. Мы хотим работать над проблемами, которые эластичны к нашим усилиям по их решению. Высокоэластичные проблемы — это такие, которые в результате приложения дополнительной единицы усилий могут быть решены гораздо быстрее и в гораздо большей степени. Сделать мир добрее — задача явно важная и срочная, более того, имеющая строго положительную ценность, однако из-за отсутствия прорывных идей — как именно этого можно добиться — она предстает совершенно неэластичной. Точно так же крайне желательно было бы обеспечить мир во всем мире, но учитывая огромные усилия, уже направленные на решение этой задачи, и серьезные препятствия, не позволяющие сделать это быстро, кажется маловероятным, что вклад еще нескольких человек будет иметь какое-то принципиальное значение.

Чтобы снизить риски, связанные с революцией машинного интеллекта, мы предложили бы две цели, которые, по всей видимости, удовлетворяют всем высказанным пожеланиям: это стратегический анализ и создание возможностей. Мы можем быть уверенными в положительной ценности этих параметров, поскольку стратегическое понимание и большие возможности — это благо. Более того, они эластичны: небольшие дополнительные инвестиции способны привести к сравнительно большим изменениям. Срочность этой задачи также очевидна — обеспечив понимание и создав новые возможности сейчас, можно будет более эффективно прилагать усилия в будущем. Кроме этих двух крупных целей можно предложить еще несколько других, также достойных нашего внимания.

В поисках стратегии

В условиях растерянности и неопределенности стратегический анализ представляется задачей, имеющей особенно высокую ожидаемую полезность3. Понимание ситуации, в которой мы находимся, поможет нам действовать более эффективно. Особенно полезен стратегический анализ в том случае, если мы не уверены не только во второстепенных деталях, но и главных аспектах проблем. Часто неопределенность связана даже со знаком многих ключевых параметров: то есть неизвестно, какое направление изменений желательно, а какое — нет. Наше незнание может иметь непоправимые последствия. Однако область эта изучена мало, и сверкающие стратегические озарения могут ожидать нас совсем близко, стоит лишь сделать первый шаг.

Под «стратегическим анализом» мы понимаем здесь поиск критически важных соображений: идей и аргументов, обладающих потенциалом изменить наши взгляды не столько на детали реализации плана, сколько на общую топологию желательного4. Даже единственное упущенное из виду критически важное соображение способно обесценить наши самые напряженные усилия или вовсе обратить их во вред — как в случае солдата, вою­ющего за неправую сторону. Поиск критически важных соображений (в ходе которых приходится изучать как нормативные, так и дескриптивные вопросы­) часто предполагает пересечение границы между различными научными дисциплинами и другими областями знаний. Поскольку устоявшейся методологии проведения такого рода исследований пока не существует, они требуют напряженных размышлений буквально с чистого листа.