3. Это согласуется с наблюдениями, что за последние годы в некоторых высокоразвитых странах, таких как Великобритания, Дания и Норвегия, похоже, перестал действовать или даже начал действовать в обратную сторону эффект Флинна — рост среднего коэффициента интеллекта у большей части населения примерно на 3 пункта за 10 лет, — исправно работавший на протяжении последних 60 лет; см.: [Teasdale, Owen 2008; Sundet et al. 2004]. Причина возникновения эффекта Флинна — и то, до какой степени он представляет истинные сдвиги в общем интеллектуальном уровне, а до какой является следствием роста навыков прохождения тестов на коэффициент интеллекта, — является предметом ожесточенных споров и до сих пор неизвестна. Даже если этот эффект (хотя бы отчасти) отражает реальный рост умственных способностей и даже если он в последнее время не действует или действует в обратную сторону, это не означает, что исчезла причина его возникновения, какой бы она ни была. Происходящие в последние годы изменения могут быть вызваны каким-то независимым фактором, который при отсутствии указанной причины мог бы привести к еще большему спаду коэффициента интеллекта.
4. См.: [Bostrom, Roache 2011].
5. Временной фактор можно было бы скорректировать с помощью соматической генной терапии, но она гораздо сложнее технически и имеет меньший потенциал, чем вмешательство на эмбриональном уровне.
6. Средний рост производительности в мировой экономике за период 1960–2000 гг. составил 4,3%; см.: [Isaksson 2007]. На повышение организационной эффективности приходится лишь часть этого роста. Конечно, некоторые сети и процессы совершенствовались гораздо более быстрыми темпами.
7. Эволюция биологического мозга ограничена многими факторами и необходимостью компромиссов, число которых резко снижается при переходе мозга «на цифровую платформу». Например, размер мозга определяется размером головы, а слишком большая голова вызовет проблемы при прохождении через родовые пути. Метаболические процессы, происходящие в таком мозгу, потребуют слишком большого расхода энергии. Степень связанности различных областей мозга также имеет стерические ограничения: объем белого вещества значительно превышает объем серого, которое оно соединяет. Отвод тепла ограничивается кровотоком и может уже находиться на пределе для приемлемого функционирования мозга. Более того, биологические нейроны являются медленными, зашумленными, нуждаются в постоянной защите и уходе, а также требуют большого количества глиальных клеток и кровеносных сосудов (из-за чего в черепной коробке становится слишком «тесно»). Обо всем это см.: [Bostrom, Sandberg 2009 b].
8. См.: [Yudkowsky 2008 a, p. 326]; более свежее обсуждение вопроса см.: [Yudkowsky 2013].
9. Для простоты интеллектуальные способности представлены на рисунке в виде однопараметрической функции. Но это не имеет значения с точки зрения обсуждаемой темы. Точно так же можно было бы, например, представить их профиль в виде гиперповерхности в многомерном пространстве.
10. См.: [Lin et al. 2012].
11. Определенный рост возможностей коллективного интеллекта можно обеспечить за счет простого увеличения количества его членов. Это позволит увеличить производительность системы как минимум за счет задач, выполнение которых можно легко распараллелить. Однако для реализации полного потенциала взрывного роста популяции придется обеспечить некоторый (не самый минимальный) уровень координации между этими членами.
12. Различия между скоростью и качеством интеллекта размываются в случаях, не относящихся к нейроморфным системам ИИ.
13. См.: [Rajab et al. 2006, p. 41–52].
14. Предположительно за счет использования конфигурируемых микросхем вместо процессоров общего назначения можно было бы увеличить скорость вычислений в нейронных сетях на два порядка; см.: [Markram 2006]. По результатам исследования климатических моделей на компьютерах, способных выполнять петафлопсы операций, оказалось, что использование кастомизированных процессоров приводит к снижению издержек в 22–24 раза, а потребности в электроэнергии падают примерно на два порядка; см.: [Wehner et al. 2008].
15. См.: [Nordhaus 2007]; есть множество обзоров различных значений закона Мура, см., например: [Tuomi 2002; Mack 2011].
16. Если развитие идет довольно медленно, разработчики проекта могут воспользоваться достижениями в других областях, например успехами или университетских исследователей в области кибернетики, или производителей микропроцессоров.
17. Вероятность возникновения алгоритмического навеса невысока, разве что появится такое экзотическое аппаратное обеспечение, как квантовые компьютеры, которые позволят запускать невозможные прежде алгоритмы. Кто-то может возразить, что примерами алгоритмического навеса являются нейронные сети и глубокое машинное обучение. В момент изобретения они были слишком затратными с точки зрения вычислительной мощности, на некоторое время оказались отложенными в сторону, а затем вновь стали востребованными — когда быстрые графические процессоры снизили затраты на их работу. И теперь они на коне.
18. Даже если продвижение к человеческому интеллектуальному уровню окажется медленным.
19.
20. Наиболее важной среди всех когнитивных способностей зародыша ИИ является его способность выполнять интеллектуальную работу по саморазвитию, то есть способность повышать уровень своего интеллекта. (Если зародыш ИИ специализируется на улучшении другой системы, которая, в свою очередь, улучшает его, их можно рассматривать как подсистемы более крупной системы и анализировать в совокупности.)
21. Когда сопротивляемость не настолько высока, что может привести к отказу от инвестирования или переключению на другой проект.
22. Аналогичный пример обсуждается Юдковским [Yudkowsky 2008 b].
23. Поскольку входные параметры тоже растут (скажем, инвестиции в строительство новых заводов и количество людей, занятых в отрасли производства полупроводников), закон Мура как таковой не обеспечивает требуемого роста при исключении влияния этих параметров. Однако в сочетании с успехами в создании ПО допущение об удвоении возможностей систем каждые 18 месяцев может оказаться правдоподобным.
24. Было сделано несколько экспериментальных попыток развить идею о взрывном развитии интеллекта в рамках теории экономического роста; см., например: [Hanson 1998 b; Jones 2009; Salamon 2009]. В этих исследованиях указывается на возможность чрезвычайно быстрого экономического роста в случае создания цифрового разума, но поскольку теория эндогенного роста сравнительно плохо разработана даже в применении к историческим и современным условиям, ее применение к потенциально недолговечным будущим условиям лучше пока считать источником потенциально полезных концепций и мыслей, чем методом, способным обеспечить нас надежными прогнозами. Обзор попыток создать математическую модель технологической сингулярности см.: [Sandberg 2010].
25. Вполне возможно, что никакого взлета не будет. Но поскольку, как обсуждалось ранее, появление сверхразума представляется технически возможным, взлет может не начаться лишь в случае вмешательства какой-то внешней силы, скажем, экзистенциальной катастрофы, то есть окончательной глобальной катастрофы, которая приведет к вымиранию человечества. Если сильный сверхразум появится не в форме УИИ или имитационной модели мозга, а иными путями, тогда более вероятно развитие по сценарию медленного взлета.
