Возможности и риск

Ситуация меняется, когда возможности команд не одинаковы. Поскольку различия в возможностях являются более важным фактором по сравнению с затратами на обес­печение безопасности, эффект храповика слабеет: стимулов идти на больший риск в ситуации, когда это не повлияет на расстановку сил, гораздо меньше. Различные сценарии такого рода показаны на рис. 14, иллюстрирующем риски ИИ в зависимости от значимости такого параметра, как возможности разрабатывающих его команд. Инвестиции в безопасность лежат в диапазоне от 1 (в результате получаем идеально безопасный ИИ) до 0 (совершенно небезопасный ИИ). По оси x отображается относительная значимость возможностей команды для определения ее прогресса на пути создания ИИ по сравнению с инвестициями в безопасность. (В точке 0,5 уровень инвестиций в безопасность в два раза значимее возможностей; в точке 1 они равны; в точке 2 возможности в два раза значимее инвестиций в безопасность и так далее.) По оси y отображается уровень риска, связанный с ИИ (ожидаемая доля максимальной полезности, которую получает победитель.)

Рис. 14. Уровни риска в условиях гонки технологий искусственного интеллекта. На рисунке изображен уровень риска опасного ИИ для простой модели гонки технологий с участием а) двух или б) пяти команд в сочетании с относительной значимостью их возможностей (по сравнению с инвестициями в безопасность) для определения того, какой проект станет победителем. На диаграмме отражены три сценария: сплошная линия — нет информации об уровне возможностей; штриховой пунктир — закрытая информация о возможностях; точечный пунктир — открытая информация о возможностях.

Мы видим, что во всех сценариях опасность ИИ максимальна, когда возможности не играют никакой роли, и постепенно снижается по мере роста их значимости.

Сравнимые цели

Еще один способ снизить риск заключается в том, чтобы обеспечить командам большую долю в успехе друг друга. Если конкуренты убеждены, что второе место означает потерю всего, что им дорого, они пойдут на любой риск, чтобы обойти соперников. И наоборот, станут больше инвестировать в безопасность, если окажутся менее зависимыми от результатов гонки. Это означает, что нам нужно поощрять различные формы перекрестного инвестирования.

Количество конкурентов

Чем больше конкурирующих команд, тем более опасной становится гонка: у каждой из команд меньше шансов на то, чтобы прийти первой, соответственно, выше соблазн рисковать. Это видно, если сравнить позиции а и б на рис. 14: две команды и пять команд. В каждом сценарии риск растет с ростом числа конкурентов. Его можно снизить, если команды объединятся в небольшое количество конкурирующих коалиций­.

Проклятие избыточной информации

Хорошо ли, если команды будут знать о своем месте в гонке (например, уровень своих возможностей)? И да, и нет. Желательно, чтобы о своем лидерстве знала сильнейшая команда (это будет означать, что отрыв от конкурентов позволит ей больше думать о безопасности). И нежелательно, чтобы о своем отставании знали остальные (поскольку это подтвердит их решимость ослабить меры предосторожности в надежде нагнать конкурентов). Хотя на первый взгляд может показаться, что компромисс возможен, модели недвусмысленно показывают, что информация — это плохо33. На рис. 14 (а и б) отражены три сценария: прямая линия соответствует ситуации, в которой ни одна из команд не имеет информации о возможностях участников гонки, включая свои собственные; штриховой пунктир соответствует ситуации, в которой команды знают только о своих собственных возможностях (тогда они готовы идти на дополнительный риск в случае, если их возможности низки); точечный пунктир показывает, что происходит, если все команды осведомлены о возможностях друг друга (они могут пойти на дополнительный риск в случае, если их возможности близки). С каждым ростом уровня информированности гонка обостряется.

В случае развития машинного интеллекта представляется, что ощущение гонки будет как минимум заметным, а возможно, и очень сильным. От интенсивности этого ощущения зависит, какими могут быть стратегические последствия возможного взрывного развития искусственного интеллекта.

Из-за ощущения гонки проекты могут ускорить свое движение в сторону сверхразума, сократив капиталовложения в решение проблемы контроля. Возможны и другие негативные последствия вроде прямых враждебных действий по отношению к конкурентам. Предположим, что две страны соревнуются в том, какая из них первой создаст сверхразум, и одна вырывается вперед. В ситуации, когда «победитель получает все», аутсайдер может решиться на отчаянный удар по сопернику, вместо того чтобы пассивно ждать поражения. Предполагая это, страна-лидер может нанести упреждающий удар. Если антагонисты обладают достаточной военной мощью, их столкновение приведет к большой крови34. (Даже точечный удар, нанесенный по инфраструктуре проекта разработки ИИ, несет риск более широкой конфронтации, кроме того, он может не достичь своей цели, если страна, в которой ведутся работы над этим проектом, примет соответствующие меры предосторожности35.)

Если взять сценарий, в котором враждующие разработчики представляют не страны, а менее мощные институты, их конфликт, по всей вероятности, окажется менее разрушительным с точки зрения непосредственного вреда. Хотя в целом последствия такой конкуренции будут почти столь же плохи. Это связано с тем, что главным образом вред вызывается не столкновением на поле битвы, а ослаблением мер предосторожности. Как мы видели, ощущение гонки приведет к снижению инвестиций в безопасность, а конфликт, даже бескровный, устранит возможность сотрудничества, поскольку в атмосфере враждебности и недоверия проектные группы вряд ли захотят делиться идеями о путях решения проблемы контроля36.

О пользе сотрудничества

Итак, сотрудничество дает много полезного. Оно избавляет от спешки при разработке машинного интеллекта. Позволяет больше вкладывать в безопасность. Избегать насильственных конфликтов. И облегчает обмен идеями в вопросах контроля. К этим преимуществам можно добавить еще одно: сотрудничество, скорее всего, приведет к такому исходу, в котором благоприятный эффект от контролируемого взрывного развития интеллекта будет распределен более равномерно.

Расширение сотрудничества приводит к более широкому распределению благ, но это не столь очевидно, как кажется. В принципе, небольшой проект под управлением альтруиста тоже может привести к исходу, в котором блага будут распределены равномерно или справедливо между всеми обладающими моральным статусом существами. Тем не менее есть несколько причин полагать, что более широкое сотрудничество, включая большее количество инвесторов, будет лучше (как ожидается) с точки зрения распределения результатов. Одна из причин заключается в том, что инвесторы предположительно предпочитают исход, в котором они сами получают справедливую долю. Тогда более широкое сотрудничество означает, что сравнительно много людей получат как минимум свою справедливую долю в случае успешного завершения проекта. Другая причина заключается в том, что более широкое сотрудничество выгодно даже людям, не имеющим непосредственного отношения к проекту. Чем шире сотрудничество, тем больше людей в него вовлечено и тем больше людей вне проекта связано с ними и может рассчитывать на то, что участники проекта учтут их интересы. Кроме того, чем шире сотрудничество, тем больше вероятность, что к нему будут привлечены­ как минимум несколько альтруистов, стремящихся действовать на благо всех. Более того, такой проект с большей вероятностью будет объектом общественного контроля, что снизит риск присвоения всего пирога кликой программистов или частных инвесторов37. Заметьте также, что чем шире сотрудничество в работе над успешным проектом, тем ниже его издержки на распределение выгод среди людей, не имеющих к нему прямого отношения. (Например, если 90 процентов всех людей уже вовлечены в сотрудничество, то поднять всех остальных до своего уровня им будет стоить не больше 10 процентов их доли.)