Для своих целей мы не будем задерживаться на выяснении, прав ли Парфит, считая такого агента рациональным, если мы примем, что в инструментальном смысле описанное в этом примере поведение агента не обязательно неразумно. Агент Парфита может быть безукоризненно рациональным в инструментальном смысле, а следовательно, иметь большой интеллект, даже если ему недостает восприимчивости к «объективной причине», которой должен был бы обладать полностью рациональный агент. Следовательно, такие примеры не опровергают тезис об ортогональности.
5. Даже наличие объективных этических норм, которые способен понять полностью рациональный агент, и даже если эти этические нормы обладают внутренней мотивирующей силой (в результате чего все, кто их понял, непременно будут поступать в соответствии с ними), не опровергает тезис об ортогональности. Он остается верным, если агент непоколебимо рационален в инструментальном смысле при отсутствии некоторых других составляющих рациональности или качеств, необходимых для полного понимания данных этических норм. (Агент также может быть чрезвычайно интеллектуальным, даже сверхинтеллектуальным, и не обладать полной инструментальной рациональностью во всех областях.)
6. Более подробно тезис об ортогональности рассматривается в работах: [Bostrom 2012; Armstrong 2013].
7. См.: [Sandberg, Bostrom 2008].
8. На эту тему есть две основополагающие работы Стивена Омохундро, считающего, что всем прогрессивным системам ИИ, скорее всего, будет присущ набор «базисных установок», под которыми он понимает «исходные склонности, влияющие до тех пор, пока не будет осуществлено явное противодействие» [Omohundro 2007; Omohundro 2008]. У термина установка ИИ есть несомненное преимущество — он короткий, яркий и узнаваемый. Но у него есть недостаток: он наводит на мысль, что инструментальные цели ИИ — чем, по сути, являются его базисные установки — воздействуют на процесс принятия им решений ровно таким же образом, как человеческие психологические установки влияют на процесс принятия решений людьми, когда мы — за счет своего рода феноменологической удавки, наброшенной на собственное я, — силой воли преодолеваем свои природные склонности. Подобная аналогия неплодотворна. Ведь никто из нас никогда в жизни не произнесет: «У меня есть установка своевременно заполнять налоговую декларацию», — даже если само действие является разумной инструментальной целью любого цивилизованного члена современного общества (реализация именно этой цели предотвращает неприятности, способные помешать человеку воплотить в жизнь многие его конечные цели). Некоторых другие заключения Омохундро тоже расходятся с нашей трактовкой, хотя в вопросе основной идеи мы с ним солидарны. См. также: [Chalmers 2010; Omohundro 2012].
9. См.: [Chislenko 1997].
10. См. также: [Shulman 2010 b].
11. Под влиянием перемен в онтологических взглядах агент может менять и общее целевое представление, чтобы придать равновесие своей мировоззренческой позиции, см.: [De Blanc 2011].
Еще одним фактором может стать важность принятия того или иного решения под воздействием бесспорности внешних обстоятельств: агент вынужден предпринимать те или иные действия, в том числе меняя конечные цели, чтобы увеличить очевидность принятия решений. Например, агент, следующий принципам теории выбора, может верить, что во вселенной существуют другие агенты, в чем-то похожие на него, и что от них можно ожидать поведения, сходного с его собственным. Вследствие чего агент выберет по отношению к гипотетическим вселенским агентам альтруистическую конечную цель, надеясь, что и они поведут себя так же. Впрочем, аналогичного результата можно добиться, не меняя конечных целей, а просто действуя таким образом, будто бы они были изменены.
12. Формированию адаптивных предпочтений посвящено множество работ в области психологии; см., например: [Forgas et al. 2010].
13. В формальных моделях ценность информации измеряется разностью между предполагаемым средним значением, полученным в результате оптимальных решений, принятых с учетом этой информации, и предполагаемым средним значением, полученным в результате оптимальных решений, принятых без ее учета; см., например: [Russell, Norvig 2010]. Отсюда следует, что значимость информации не может быть величиной отрицательной и что информация, которой, насколько вам известно, вы никогда не воспользуетесь для принятия решений, имеет для вас нулевую ценность. Однако в таких формальных моделях допускаются некоторые упрощения, правда, не очень значимые для реального мира: во-первых, знание не несет в себе результативной ценности (то есть оно имеет лишь инструментальную ценность, но само по себе ничего не значит); во-вторых, знания одних агентов недоступны другим агентам.
14. См., например: [Hajek 2009].
15. Примером такой стратегии может быть поведение аcцидии: она свободно плавает будучи личинкой, но, повзрослев, находит подходящий камень, к которому прикрепляется навсегда. Обретя свое место, асцидия перестает нуждаться в сложной системе обработки информации и начинает поедать собственный мозг (в частности, головной ганглий). Такие же процессы происходят — что мы можем наблюдать — и с некоторыми учеными, когда они, став штатными профессорами, отдают себя в полное владение университетам.
16. См.: [Bostrom 2012].
17. См.: [Bostrom 2006 c].
18. Рассмотрим проблему с прямо противоположной стороны и расследуем вероятные причины, по которым сверхмощный и сверхразумный синглтон не стал бы развивать свои технологические возможности: 1) синглтон прогнозирует, что не воспользуется этими возможностями; 2) затраты на разработку слишком высоки по сравнению с предполагаемой пользой (например, новейшая технология никогда не пригодится для достижения одной из целей синглтона или ставка дисконтирования столь высока, что делает практически нереальными инвестиции); 3) конечная цель синглтона требует воздерживаться от развития конкретных технологических направлений; 4) если синглтон не уверен, что сможет сохранить стабильность, то может предпочесть воздержаться от развития технологий, которые могли бы угрожать его внутреннему состоянию равновесия или привести к более тяжелым последствиям в случае его распада (например, мировое правительство не станет содействовать развитию технологий, которые могут использоваться в случае массовых акций протеста, даже если у них есть и полезные области применения, или технологий, облегчающих производство оружия массового поражения, способное вырваться из-под контроля в случае падения самого правительства); 5) у синглтона есть ранее взятые обязательства не разрабатывать определенные виды технологий; эти обязательства могут по-прежнему действовать, несмотря на их невыгодность в новых условиях. (Следует отметить, что некоторые существующие сегодня причины развития технологий не будут иметь отношения к будущему синглтону: я имею в виду причины, связанные с гонкой вооружений.)
19. Предположим, что агент будет добывать в будущем ресурсы по экспоненциальной ставке дисконтирования, но обеспеченность ресурсами происходит в соответствии с полиномиальной моделью — из-за ограничений, которые накладывает скорость света. Будет ли это означать, что в определенный момент агент сочтет дальнейшую экспансию бессмысленной? Нет, поскольку так же будут вести себя и затраты на приобретение ресурсов, хотя текущая стоимость ресурсов, которые будут получены в будущем, станет тем быстрее стремиться по асимптоте к нулю, чем дальше в будущее мы будем заглядывать. Текущая стоимость запуска еще одного зонда фон Неймана через 100 млн лет (возможно, за счет ресурсов, приобретенных ранее) будет практически обнулена за счет того же коэффициента дисконтирования, который практически обнулит текущую стоимость будущих ресурсов, добытых этим зондом.
20. Хотя объем космического пространства, охваченный зондами, всегда будет представлять собой почти идеальную сферу, расширяющуюся пропорционально квадрату времени, прошедшему с момента запуска первого зонда (~t2), количество содержащихся в этом объеме ресурсов будет расти с гораздо меньшей скоростью, поскольку они распределены в нем неравномерно. Поначалу, во время колонизации родной планеты, скорость будет равной ~t2; потом она достигнет пика за счет колонизации ближайших планет и звездных систем; затем, когда с объемом в форме диска, в котором содержится Млечный Путь, будет покончено, скорость роста упадет примерно до t; после снова достигнет пика во время колонизации близлежащих галактик; вслед за этим скорость роста снова упадет до ~t2, когда расширение достигнет масштабов, в которых распределение галактик можно считать однородным; далее еще один пик и плавный спад до ~t2 в процессе колонизации галактического суперкластера; и наконец, скорость роста начнет снижаться, пока не упадет до нуля в момент, когда расширение Вселенной сделает дальнейшую колонизацию невозможной.
