7. Однако и в этом случае не стоит переоценивать безопасность системы. Психические образы легко заменяются на визуальные с помощью графической информации. Более того, вспомним, какое воздействие на человека оказывают книги — притом что книга, насколько мы знаем, не вступает в диалог со своим читателем.

8. См. также: [Chalmers 2010]. Однако было бы неправильным считать, что систему, за действиями которой нельзя наблюдать со стороны, невозможно использовать. Во-первых, происходящее внутри нее может быть определено как результирующее значение. Во-вторых, не исключено, что кто-то, либо руководствуясь собственными соображениями, либо взяв на себя такое обязательство, создает именно замкнутую систему, чтобы иметь приоритетное право на то, что происходит внутри нее. Само существование определенных классов замкнутых систем, содержащих шаблон наблюдателя, может вызвать у некоторых внешних наблюдателей чувство сомнения в антропном принципе, что, естественно, повлияет на их дальнейшие действия.

9. Может возникнуть вопрос, почему социальная интеграция расценивается как один из методов контроля над возможностями? Наверное, правильнее было бы классифицировать ее как один из методов выбора мотивации? На том основании, что целью социальной интеграции является стимулирование нужного нам поведения системы. Довольно скоро мы начнем подробное обсуждение проблемы выбора мотивации, но сейчас, в поисках ответа на поставленный вопрос, скажем, что в этой конкретной ситуации метод контроля мы рассматриваем в свете метода выбора мотивации, имеющего прямое отношение к конечным целям системы, выбор или уточнение которых не имеет инструментального значения, поскольку они значимы сами по себе. Так как социальная интеграция не является конечной целью системы, она не относится к методам выбора мотивации. Скорее, социальная интеграция призвана ограничить огромные возможности системы, то есть не дать ей реализовать определенные сценарии, в которых она нарушает правила, не подвергаясь при этом соответствующему наказанию (возмездие и потеря выгоды от сотрудничества). Надежда лишь на одно: в результате резкого сужения потенциала, большую часть которого она не в состоянии раскрыть, система поймет, что наиболее значимой из оставшихся в ее распоряжении возможностей добиться конечных целей остается сотрудничество с человеческим обществом.

10. Этот подход может оказаться более удачным, если считать, что у имитационных моделей будет мотивация, аналогичная человеческой.

11. Идею я позаимствовал у Карла Шульмана.

12. Создание шифра, способного противостоять сверхразумному дешифратору, — задача крайней сложности. Например, следы случайной последовательности могут сохраниться в мозгу какого-то наблюдателя или в микроструктуре генератора случайных чисел, откуда их сможет извлечь сверхразум. Помимо этого, если используются псевдослучайные числа, он способен разгадать или отыскать принцип их генерации. Более того, сверхразум может построить большие квантовые компьютеры или даже открыть новые физические явления, которые позволят создать совсем новые типы компьютеров.

13. ИИ мог бы перепрограммировать себя так, чтобы поверить в то, что получает наградные знаки, но это не будет прямым стимулированием, если он сконструирован так, чтобы стремиться получать именно знаки (а не формулировать те или иные убеждения на­счет них).

14. См.: [Bostrom 2003 a]; см. также: [Elga 2004].

15. См.: [Shulman 2010 a].

16. Предположительно, доступная нам реальность базового уровня требует большего количества вычислительных ресурсов, чем имитационный мир, поскольку все вычислительные процессы, происходящие в имитационной модели, делаются на компьютерах, на которых она запущена. Реальность базового уровня также содержит множество других физических ресурсов, к которым трудно получить доступ имитационным агентам — агентам, существующим лишь милостью сверхмощных и сверхразумных имитаций-принципалов; причем у последних могут быть свои виды на эти ресурсы. (Конечно, дедуктивный вывод здесь не идеально строг — вполне допустимо, что имитационные миры обладают таким количеством ресурсов, что сверхмощные и сверхразумные имитации-принципалы в среднем имеют доступ к большему количеству ресурсов, чем сверхразумы, обитающие в реальном мире, даже если каждая неимитационная цивилизация, запускающая имитационные модели, обладает большими ресурсами, чем все ее имитации, вместе взятые.)

17. Есть и другие эзотерические соображения, имеющие отношение к этой теме и способные привести к таким последствиям, которые еще не проанализированы в должной мере. В конечном счете они могут оказаться критически важными для создания всеобъемлющего подхода к подготовке взрывного развития искусственного интеллекта. Однако маловероятно, что мы преуспеем в выяснении степени практической значимости этих эзотерических соображений, не добившись вначале определенного прогресса в анализе более приземленных вещей, которым посвящена большая часть этой книги.

18. См., например: [Quine, Ullian 1978].

19. О них ИИ может узнать, проведя анализ характеристики производительности различных базовых вычислительных компонентов, включая размер и емкость шин данных, время доступа к разным областям памяти и т. д.

20. Размышляя об априорной вероятности создания миров, наш сверхразум не стал бы первооткрывателем: еще в 1960-е гг. Рэй Соломонов ввел концепцию алгоритмической вероятности, которая легла в основу его, соломоновской, теории индуктивного вывода — теории предсказаний, сделанных в результате наблюдений; см.: [Li, Vitanyi 2008].

21. Уже в следующий момент — сразу после рождения обмана — ИИ может решить стереть следы своих мятежных мыслей. Поэтому очень важно, чтобы «растяжки» работали постоянно. Кроме того, было бы полезно иметь «черный ящик» вроде тех, которые используются в самолетах, где могли бы храниться следы всех действий ИИ (включая точное время введения информации с клавиатуры программистами), чтобы после автоматического отключения системы их можно было проследить и проанализировать. Храниться информация может на устройстве с возможностью лишь однократной записи и многократного чтения.

22. См.: [Asimov 1942][38]. К этим трем позднее был добавлен «нулевой» закон: 0) робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред [Asimov 1985][39].

23. См.: [Gunn 1982].

24. См.: [Russell 1986, p. 161f].

25. У философов порою уходила вся жизнь на то, чтобы ясно сформулировать положения деонтологической этики[40], тем более что и время, и мир никогда не стоят на месте, постоянно возникают новые события и обстоятельства, требующие пересмотра концепций, а значит, и обновленных изложений. Эта аналогия невольно приходит на ум в связи с нашей темой. Например, со второй половины прошлого века набирает силу новое междисциплинарное направление, названное «мысленный эксперимент», и всем, кто занимается этическими учениями или теорией познания, вновь пришлось переоценивать стандартные представления. С позиций деонтологии речь прежде всего идет, конечно, о так называемой проблеме вагонетки — этическом мысленном эксперименте, открывшем современным исследователям многие нравственные установки, присутствующие в сознании современных людей. Возьмем хотя бы наши едва уловимые представления, связанные с различиями таких понятий, как последствия действия и бездействия, последствия намеренные и непреднамеренные; см.: [Kamm 2007].

26. См.: [Armstrong 2010].

27. Здравый смысл подсказывает, что если планируешь использовать многочисленные предохранительные устройства для изоляции ИИ, а также другие методы контроля и мотивации, то самым разумным было бы действовать так, будто каждое устройство и каждый метод является тем единственным, который следовало бы применять именно в данном случае. Говоря языком программистов, когда ставишь одно дырявое ведро в другое дырявое ведро — вода все равно вытекает наружу.