84. В литературе встречается огромное количество подтверждений ненадежности прогнозов экспертов во многих областях, поэтому есть все основания полагать, что подобное положение истинно и для сферы изучения искусственного интеллекта. В частности, делающие прогнозы люди, как правило, слишком уверенные в своей правоте, считают себя более точными предсказателями, чем это есть на самом деле, и поэтому присваивают слишком низкую вероятность возможности, что их любимая гипотеза может оказаться ложной [Tetlock 2005]. (О других документально зафиксированных заблуждениях см., например: [Gilovich et al. 2002].) Однако неопределенность — неотъемлемая черта человеческой жизни, и многие наши действия неизбежно основаны на вероятностных прогнозах, то есть ожиданиях того, какие из возможных событий произойдут скорее всего. Отказ от более четко сформулированных вероятностных прогнозов не устранит эпистемологическую проблему, а лишь задвинет ее в тень [Bostrom 2007]. Вместо этого нашей реакцией на чрезмерную самонадеянность должны стать как расширение доверительных интервалов, или интервалов правдоподобия, так и борьба с собственными предубеждениями путем рассмотрения проблемы с различных точек зрения и тренировки интеллектуальной честности. В долгосрочной перспективе можно также работать над созданием методик, подходов к обучению и институтов, которые помогут нам достичь лучших проверочных образцов. См. также: [Armstrong, Sotala 2012].

Глава 2. Путь к сверхразуму

1. Во-первых, этому определению сверхразума наиболее близка формулировка, опубликованная в работах: [Bostrom 2003 c; Bostrom 2006 a]; во-вторых, оно вполне отвечает формализованному­ условию Шейна Легга: «Интеллект оценивается способностью агента добиваться своей цели в широком диапазоне условий» [Legg 2008]; в-третьих, оно очень напоминает описание, сделанное Ирвингом Гудом, которое приведено нами в главе 1 настоящего издания: «Давайте определим сверхразумную машину как машину, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека» [Good 1965, p. 33].

2. По той же причине не буду выстраивать никаких предположений, сможет ли сверхразумная машина обрести «истинную интенциональность», то есть иметь самосознание и действовать преднамеренно (при всем уважении к Джону Сёрлу, она, похоже, и на это способна), поскольку данный вопрос не имеет отношения к предмету нашей книги. Также не собираюсь занимать ничью сторону — ни адептов интернализма, ни последователей экстернализма — в яростно ведущихся среди философов дискуссиях на такие темы, как содержание сознания и расширение сознания, см.: [Clark, Chalmers 1998].

3. См.: [Turing 1950, p. 456].

4. См.: [Turing 1950, p. 456].

5. См.: [Chalmers 2010; Moravec 1976; Moravec 1988; Moravec 1998; Moravec 1999].

6. См.: [Moravec 1976]; аналогичную аргументацию приводит и Чалмерс, см.: [Chalmers 2010].

7. Более подробно эта тема раскрывается в статье: [Shulman, Bostrom 2012].

8. В своей диссертации Шейн Легг предлагает этот подход в качестве аргумента, что люди на воспроизведение эволюционного пути потратят гораздо меньше времени и меньше вычислительных ресурсов (при этом сам автор отмечает, что ресурсы, потребовавшиеся в ходе биологической эволюции, нам недоступны), см.: [Legg 2008]. Эрик Баум утверждает, что часть работы, связанной с созданием ИИ, проделана намного раньше без вмешательства человека, например: само строение генома уже содержит важную информацию об эволюционных алгоритмах, см.: [Baum 2004].

9. См.: [Whitman et al. 1998; Sabrosky 1952].

10. См.: [Schultz 2000].

11. См.: [Menzel, Giurfa 2001; Truman et al. 1993].

12. См.: [Sandberg, Bostrom 2008].

13. Обсуждение этой точки зрения, а также анализ функций, определяющих приспособленность организма лишь на основании критерия его умственных способностей, см. в диссертации Легга [Legg 2008].

14. Более системное и подробное описание способов, с помощью которых специалисты смогут превзойти имеющиеся на сегодня результаты эволюционного отбора, см. в статье «Мудрость природы» [Bostrom, Sandberg 2009 b].

15. Обсуждая целевую функцию, мы говорим лишь о вычислительных ресурсах, необходимых для моделирования нервной системы живых существ, и не учитываем затраты на моделирование их тел или их виртуальной окружающей среды. Вполне возможно, что расчет целевой функции для тестирования каждого организма потребует гораздо меньше операций, чем нужно для симулирования всех нейронных вычислений, аналогичных нейронным процессам, происходящим в мозгу существа за срок его жизни. Сегодня программы ИИ часто разрабатывают для действий в совершенно абстрактной среде (программы для доказательства теорем — в символических математических мирах; программы-агенты — в турнирных мирах простых игр).

Скептики могут настаивать, что для эволюции общего интеллекта абстрактной среды будет недостаточно, а виртуальное пространство должно детально напоминать тот мир, в котором развивались наши предки. Создание реалистичного виртуального мира потребовало бы гораздо больших инвестиций в вычислительные мощности, чем симуляция придуманного игрового мира или области для абстрактных задач (в то время как реальный мир достался эволюции «на дармовщину»). В предельном случае требования к полной точности на микроуровне приводят к тому, что потребность в вычислительных ресурсах вырастает до несуразно большой величины. Однако такой экстремальный пессимизм практически ничем не подкреплен: маловероятно, что наилучшие условия — с точки зрения эволюционирования интеллекта — должны максимально точно имитировать природу. Напротив, вполне возможно, что для симуляции естественного отбора искусственного интеллекта гораздо эффективнее будет использовать специальную среду, совершенно не похожую на ту, которая окружала наших предков, такую, которая специально разработана для стимулирования приспособления на основе нужных нам критериев (например, способности к абстрактному мышлению и общим навыкам решения задач, а не наличия максимально быстрой инстинктивной реакции или высокооптимизированной зрительной системы).

16. См.: [Wikipedia, 2012 b].

17. Об эффекте наблюдения при селективном отборе см.: [Bostrom 2002 a] — общее описание; [Shulman, Bostrom 2012] — с точки зрения обсуждаемой здесь темы; [Bostrom 2008 b] — короткое определение на доступном для неспециалиста языке.

18. См.: [Sutton, Barto 1998; Schultz et al. 1997].

19. В научный обиход термин введен Элиезером Юдковским, см.: [Yudkowsky 2007].

20. Сценарий описан как Ирвингом Гудом [Good 1965], так и Элиезером Юдковским [Yudkowsky 2007]. Однако почему бы не представить альтернативный вариант, в котором итеративная последовательность пойдет по пути не развития интеллекта, а упрощения структуры? То есть время от времени зародыш ИИ будет переписывать самого себя таким образом, что работа его последующих версий значительно облегчится.

21. См.: [Helmstaedter et al. 2011].

22. См.: [Andres et al. 2012].

23. Чтобы стали возможны инструментально полезные формы когнитивного функционирования и коммуникаций, технологии должны соответствовать необходимым требованиям, но все-таки их уровень намного примитивнее уровня технологий, обеспечивающих нейро- и мышечно-компьютерные интерфейсы, получающие сигналы от мышц и органов чувств обычного человеческого тела.

24. См.: [Sandberg 2013].

25. См.: [Sandberg, Bostrom 2008, p. 79–81] — раздел «Требования к компьютеру».

26. Еще более простая модель может иметь микродинамику, подобную биологической, и активность, напоминающую активность мозга человека на ранних стадиях развития, например похожую на фазу медленного сна и реакции на раздражители. Подобная модель могла бы быть полезна при проведении нейробиологических исследований (хотя есть риск возникновения серьезных этических проблем), но она не может считаться полной эмуляцией мозга человека, поскольку недостаточно точна для выполнения большинства умственных задач, с которыми справляется биологический мозг. Существует эвристическое правило: чтобы компьютерная модель мозга могла считаться его полноценной эмуляцией, она должна уметь вербально выражать связанные мысли или иметь возможность научиться этому.