Но даже если оказалось бы, что нам выгодно как можно быстрее создать технологию эмуляции головного мозга, из этого вовсе не следовало бы, что мы должны торопить прогресс в этом направлении. Поскольку он может привести к созданию вовсе не имитационной модели мозга, а нейроморфного искусственного интеллекта — формы ИИ, копирующей некоторые аспекты организации коры головного мозга, но недостаточно точно воспроизводящей его нейронную функциональность, чтобы симуляция получилась близкой. Если такой нейроморфный ИИ хуже, чем ИИ, который мог бы быть создан в противном случае, — а есть все основания полагать, что это так, — и если, подстегивая прогресс в области эмуляции мозга, мы увеличиваем шансы создать подобный нейроморфный ИИ, тогда наши усилия в направлении лучшего исхода (имитационная модель мозга) приведут к худшему исходу (нейроморфный ИИ); если мы все-таки стремимся ко второму по степени привлекательности исходу (синтетический ИИ), то можем действительно его достичь.
Мы только что описали (гипотетический) случай того, что можно назвать технологической связкой11. Этот термин относится к условиям, в которых две технологии предсказуемо связаны во времени так, что развитие одной должно привести к развитию другой, в качестве или предтечи, или приложения, или следствия. Технологические связки следует принимать в расчет, когда мы используем принцип различного технологического развития: не очень правильно ускорять создание желательной технологии Y, если единственный способ ее получить — это создать чрезвычайно нежелательную технологию-предтечу X, или если в результате создания Y немедленно появится связанная с ней чрезвычайно нежелательная технология Z. Прежде чем делать предложение любимому человеку, посмотрите на будущих родственников.
В случае эмуляции головного мозга прочность технологической связки вызывает вопросы. Во второй главе мы заметили, что хотя для прогресса в этом направлении нужно будет создать множество новых технологий, каких-то ярких теоретических прорывов не потребуется. В частности, нам не нужно понимать, как работает биологический механизм познания, достаточно лишь знать, как создавать компьютерные модели небольших участков мозга, таких как различные виды нейронов. Тем не менее в процессе развития способности моделировать человеческий мозг будет собрано множество данных о его анатомии, что даст возможность значительно улучшить функциональные модели нейронных сетей коры головного мозга. И тогда появятся хорошие шансы создать нейроморфный ИИ раньше полноценной имитационной модели мозга12. Из истории нам известно множество примеров, когда методы ИИ брали начало в области нейробиологии и даже обычной биологии. (Например, нейрон Маккаллока–Питтса, перцептроны, или персептроны, и другие искусственные нейроны и нейронные сети появились благодаря исследованиям в области нейроанатомии; обучение с подкреплением инспирировано бихевиоризмом; генетические алгоритмы — эволюционной теорией; архитектура поведенческих модулей и перцепционная иерархия — теориями когнитивистики о планировании движений и чувственном восприятии; искусственные иммунные системы — теоретической иммунологией; роевой интеллект — экологией колоний насекомых и других самоорганизующихся систем; реактивный и основанный на поведении контроль в робототехнике — исследованиями механизма передвижения животных.) Возможно, еще важнее, что есть множество важных вопросов, имеющих отношение к ИИ, на которые можно будет ответить, лишь изучая мозг дальше. (Например, каким образом мозг хранит структурированные представления в кратковременной и долговременной памяти? Как решается проблема связывания? Что такое нейронный код? Как в мозгу представляются концепции? Есть ли некая стандартная единица механизма обработки информации в коре головного мозга, вроде колонки кортекса, и если да, то какова ее схема и как ее функциональность зависит от этой схемы? Как такие колонки соединяются и обучаются?)
Скоро мы сможем больше сказать об относительной опасности эмуляции головного мозга, нейроморфного ИИ и синтетического ИИ, но уже сейчас можно отметить еще одну важную технологическую связку между эмуляцией и ИИ. Даже если усилия в направлении эмуляции головного мозга действительно приведут к созданию имитационной модели мозга (а не нейроморфного ИИ) и даже если появление такой модели окажется безопасным, риск все-таки остается — риск, связанный со вторым переходом, переходом от имитационной модели к ИИ, который представляет собой гораздо более мощную форму машинного интеллекта.
Есть множество других примеров технологических связок, заслуживающих более глубокого анализа. Например, усилия в сфере полной эмуляции головного мозга ускорят прогресс нейробиологии в целом13. Быстрее станут развиваться технология детекции лжи, техники нейропсихологического манипулирования, методы когнитивного улучшения, различные направления медицины. Усилия в области когнитивного совершенствования (в зависимости от конкретного направления) будут иметь такие побочные эффекты, как быстрое развитие методов генетической селекции и генетического инжиниринга, причем для улучшения не только когнитивных способностей, но и других черт нашей личности.
Аргументация от противного
Мы выйдем на следующий уровень стратегической сложности, если примем в расчет то, что не существует идеально доброжелательного, рационального и универсального контролера над миром, который просто реализовывал бы то, что считается наилучшим вариантом действий. Любые абстрактные соображения о том, что «следовало бы сделать», должны быть облечены в форму конкретного сообщения, которое появится в атмосфере риторической и политической реальности. Его будут игнорировать, неправильно трактовать, искажать и приспосабливать для различных конфликтующих целей; оно будет скакать повсюду, как шарик в пинболе, вызывая действия и противодействия и становясь причиной целого каскада последствий, которые не будут иметь прямой связи с намерениями автора.
Проницательный агент мог бы предвидеть все это. Возьмем, например, следующую схему аргументации в пользу проведения исследований с целью создания потенциально опасной технологии X. (Один из примеров использования этой схемы можно найти в работах Эрика Дрекслера. В его случае X = молекулярная нанотехнология14.)
Риск Х высок.
Для снижения этого риска требуется выделить время на серьезную подготовку.
Серьезная подготовка начнется лишь после того, как к перспективе создания Х начнут серьезно относиться широкие слои общества.
Широкие слои общества начнут серьезно относиться к перспективе создания Х только в случае проведения масштабных исследований возможности его создания.
Чем раньше начнутся масштабные исследования, тем больше времени понадобится на создание Х (поскольку в самом начале ниже уровень развития необходимых технологий).
Следовательно, чем раньше начнутся масштабные исследования, тем больше будет времени на серьезную подготовку и тем сильнее удастся снизить риск.
Следовательно, масштабные исследования в отношении Х нужно начинать немедленно.
Если следовать этой логике рассуждений, то, начав с причины двигаться вперед медленно или вовсе остановиться — из-за высокого риска, связанного с Х, — приходишь к прямо противоположному следствию.
Родственный этому тип аргументации сводится к тому, что нам следует — какая жестокость! — приветствовать мелкие и средние катастрофы на том основании, что они вскроют наши уязвимые места и заставят принять меры предосторожности, снижающие вероятность экзистенциальной катастрофы. Идея состоит в том, что мелкие и средние катастрофы служат своего рода прививкой: сталкиваясь с относительно слабой угрозой, цивилизация вырабатывает иммунитет, благодаря которому сможет справиться с потенциально губительным вариантом той же самой угрозы15.
По сути, речь идет о призывах к так называемой шоковой терапии, когда оправдывается нечто плохое в надежде, что это сможет вызвать нужную реакцию общества. Мы упомянули о ней не потому, что одобряем ее, а для того чтобы познакомить вас с идеей того, что называем аргументацией от противного. Она подразумевает, что если относиться к другим людям как к иррациональным агентам и играть на их когнитивных искажениях и ошибочных суждениях, то можно добиться от них более адекватной реакции, чем в случае, когда говоришь о проблеме прямо и обращаешься к их рассудку.
