Возможно, есть более удачные способы создать агента, отвечающего критерию разумной достаточности, главное, сохранять бдительность, так как планы, которые в нашем представлении выглядят естественными, удобными и понятными, могут не показаться таковыми сверхразуму с решающим стратегическим преимуществом — и наоборот.
Преступная безнравственность
Проект может потерпеть неудачу вследствие еще одного вида пагубного отказа, которому мы дадим название преступная безнравственность. Как и инфраструктурная избыточность, преступная безнравственность представляет собой побочный эффект действий, предпринятых ИИ по инструментальным причинам. Но в этом случае побочный эффект является не внешним для ИИ, а скорее относится к «внутреннему состоянию» самой системы (или вычислительных процессов, которые она генерирует). Неудачи такого типа заслуживают отдельного рассмотрения, поскольку они малозаметны, но чреваты большими проблемами.
Обычно мы не считаем, что происходящее внутри компьютера имеет какое-то этическое значение, если только это не затрагивает внешний мир. Но сверхразум способен создавать внутренние процессы, имеющие отношение к этике. Например, детальная имитационная модель какого-то реально существующего или гипотетического человеческого мозга может иметь сознание и во многих смыслах приближаться к его полной имитационной модели. Можно представить сценарий, в котором ИИ создает триллионы таких обладающих сознанием эмуляторов, возможно, чтобы улучшить свое понимание психических и социальных особенностей человека. Эти эмуляторы помещаются в имитирующую внешние условия искусственную среду, на них воздействуют различные внешние стимулы, после чего ИИ анализирует их реакцию. После того как нужная информация получена, эмуляторы могут быть уничтожены (сколько лабораторных крыс — жертв, принесенных во имя науки, — привычно умерщвлялись человеком по окончании эксперимента).
Если такую практику применять к агентам, имеющим высокий моральный статус: имитационным моделям людей или другим типам интеллекта, наделенным сознанием, — то такие действия могут классифицироваться как геноцид, а следовательно, представлять чрезвычайно серьезную морально-этическую проблему. Более того, число жертв может на порядок превышать число жертв любого геноцида, известного в истории человечества.
Речь не о том, что создание имитационных моделей, наделенных сознанием, обязательно плохо с этической точки зрения в любой ситуации. Многое зависит не только от условий, в которых будут существовать эти создания и от качества их чувственного восприятия, но и от огромного количества других факторов. Разработка этических правил для таких экспериментов лежит за пределами темы нашей книги. Однако ясно, что по меньшей мере есть вероятность возникновения источника повышенной опасности, что приведет к страданиям и гибели множества имитационных моделей. Опять налицо безрадостная перспектива катастрофических последствий, правда, на сей раз носящих морально-этический характер9.
Помимо причин гносеологического характера у машинного сверхразума могли бы существовать иные инструментальные причины запускать вычислительные операции, которые так или иначе будут нарушать этические нормы, например создавать множественные образцы разума, наделенного сознанием. Вполне вероятно, что сверхразум начнет угрожать имитационным моделям, помыкать ими или, напротив, обещать вознаграждение — и все ради того, чтобы шантажировать и вынуждать к каким-либо действиям разных внешних агентов; кроме того, он использует эти модели, чтобы вызывать у внешних наблюдателей ощущение дейктической неопределенности10.
***
Этот обзор неполон. В последующих главах нам придется иметь дело и с другими типами пагубных отказов. Но мы узнали о них достаточно, чтобы понять: к сценариям, по которым искусственный интеллект приобретает решающее стратегическое преимущество, следует относиться со всей серьезностью.
Глава девятая
Проблемы контроля
Если мы по умолчанию принимаем, что в результате взрывного развития интеллекта человеческую цивилизацию ждет экзистенциальная катастрофа, наши мысли должны немедленно обратиться к поиску мер противодействия. Возможно ли избежать такого исхода? Можно ли наладить режим управления процессом взрывного развития интеллекта? Мы проанализируем проблему контроля с точки зрения решения отношений «принципал–агент», причем в нашем случае эта модель не имеет аналогов, поскольку агентский конфликт возникает в результате появления искусственного сверхразумного агента. Мы также выделим и дифференцируем два широких класса потенциальных методов решения — контроль над возможностями сверхразума и выбор его мотиваций. В каждом классе отберем несколько конкретных подходов и рассмотрим их. Кроме того, упомянем даже такую эзотерическую тему, как завоевание Вселенной по антропному принципу.
Две агентские проблемы
Если возникает подозрение, что результатом взрывного развития искусственного интеллекта неизбежно будет экзистенциальная катастрофа, нам следует без отлагательств начать поиски возможных решений, как спасти свою цивилизацию от столь плачевного конца. Можно ли найти механизмы контроля над ходом взрывного развития интеллекта? Сможем ли мы разработать такое исходное состояние для этого процесса, чтобы получить результат, который нужен нам, или хотя бы иметь гарантии, что последствие будет отвечать условиям так называемого приемлемого исхода? Строго говоря, смогут ли заказчики и разработчики проекта, в рамках которого создается искусственный интеллект, не только принять необходимые меры, но и поручиться за них, — что в случае успеха их творение будет ориентировано на достижение целей, поставленных ему организаторами проекта? То есть все упирается в проблему контроля, которую мы, чтобы наиболее полно изучить ее, разобъем на две составляющие. Первая — абсолютно универсальна, вторая — совершенно уникальна, причем уникальна для каждого конкретного случая.
Первая составляющая проблемы контроля, или первая агентская проблема, возникает из отношений «принципал–агент»: когда некий индивидуум («принципал») привлекает другого индивидуума («агент») действовать в своих интересах. Агентская проблема, или агентский конфликт, — вопрос, глубоко изученный экономистами1. Нас он может интересовать с единственной стороны: если те, кто создает ИИ, и те, в чьих интересах ИИ создается, — не одни и те же люди. В таком случае организатор, или заказчик, проекта (причем это может быть кто угодно: начиная от частного лица и заканчивая всем человечеством) должен был бы испытывать постоянную тревогу, не начнут ли ученые и программисты, занятые в проекте, действовать в своих интересах в ущерб его2. Несмотря на то что первая агентская проблема действительно способна создать определенные трудности для организатора проекта, она не является уникальной для тех проектов, которые связаны с повышением уровня интеллектуальных способностей или созданием ИИ. Агентские конфликты типичны для экономических и политических процессов, и варианты их решения хорошо изучены и разработаны. Например, можно принять ряд необходимых мер, чтобы свести к минимуму риск нарваться на нелояльного работника, который начнет саботировать проект или вредить ему: провести тщательную проверку биографических и профессиональных данных ведущих специалистов; в проектах по разработке ПО использовать надежную систему контроля версий; усилить надзор за деятельностью многочисленных независимых наблюдателей и ревизоров. Конечно, эти защитные меры дорого обойдутся: возрастут потребности в дополнительных кадрах; усложнится процедура отбора персонала; возникнут препятствия в творческих поисках; начнут подавлять проявление критической мысли и независимого поведения — все вместе взятое крайне тормозит темп проведения работ и наносит ущерб их качеству. Издержки могут быть очень существенны, особенно если речь идет о проектах с ограниченным бюджетом или включенных в жесткую конкурентную борьбу по принципу «победитель получает все». Участники подобных проектов — в силу скупости или экономии времени — могут пренебречь процедурами безопасности, призванными решить агентскую проблему, и тем самым спровоцировать потенциальную угрозу катастрофического отказа.
