4. Brams, S. J., Superior Beings: If They Exist, How Would We Know? Game‑Theoretic Implications of Omniscience, Omnipotence, Immortality, and Incomprehensibility(Springer‑Ferlag, New‑York, 1983).

5. Brams, S. J., Theory of Moves(Cambridge University Press, Cambridge, 1994).

6. Brams, S. J., and Kilgour, D. M., «Backward Induction Is Not Robust: The Parity Problem and the Uncertainty Problem», Theory and Decision, 45,263–89 (December 1998).

7. Carse, J. P., Finite and Infinite Games(Ballantine, New York, 1986).

8. Holsti, O. R., Brody, R. A., and North, R. C., «Measuring Affect and Action in International Relations Models: Empirical Materials from the 1962 Cuban Missile Crisis» J. Peace Res., 1,170–89 (1964).

9. Kilgour, D. M., and S. J. Brams, «The Truel», Math. Mag., 70,315–26 (December 1997).

10. Smolin, L., The Life of the Cosmos(Oxford University Press, New York, 1997).

Нас попросили подумать о далеком будущем — но насколько далеком? Идет ли речь о том времени, когда человечество как вид давно исчезнет? Или лишь о том, когда наука и технология значительно продвинутся вперед, но по–прежнему будут оказывать влияние на живого и здравствующего homo sapiens? «Первое далекое будущее» — в ведении космологов и физиков, а также научных фантастов, размышляющих о системах ИИ, способных пережить (и, быть может, выжить?) человечество. Я же сосредоточусь на «втором далеком будущем» и поразмышляю над тем, как ИИ далекого будущего повлияет на нас или, точнее, на наших потомков. В особенности о том, как повлияет он на наши представления о самих себе, и прежде всего на те из них, что имеют религиозную значимость.

Предсказания социальных и технологических переворотов — дело по большей части бесплодное, и тем более, чем дальше в будущее они простираются. Как известно, Ленин полагал, что революция при его жизни невозможна, Резерфорд не видел никакой практической пользы в расщеплении атома, а Томас Уотсон из Ай–Би–Эм утверждал, что миру хватит полдюжины компьютеров. Не сомневаюсь, что в будущем нас ждет множество технологических чудес. Но каких именно —не знаю, и вряд ли кто‑то знает. Кое‑что из того, что мы представляли во всех подробностях (и даже уверенно предсказывали), не осуществилось и, по моему мнению, не осуществится в ближайшее время. Но возникло много иного, такого, что мы себе и вообразить не могли.

Для наших целей, однако, все это не важно. Очевидно, что в ближайшем будущем ИИ будет занимать все большее место в рыночных технологиях и становиться все более «очеловеченным». Можно ожидать также, что журналисты, писатели, сценаристы, равно как и ученые и философы, будут посвящать дискуссиям об ИИ даже больше времени и текстов, чем сейчас. Говоря вкратце и опуская технологические подробности, ИИ начнет занимать все больше места в нашей жизни. Это создает контекст нашего вопроса: как может повлиять ИИ на наши представления о человечности? Поддержит ли он их, быть может, даже обогатит или подорвет?

Этот вопрос глубоко проблематичен — и проблематичен вдвойне. Вдвойне —потому что необходимо отличать то, что можетпроизойти, от того, что должнопроизойти, и говорить как о том, так и о другом. Как и в других областях жизни, то, что может произойти (на практике), не обязательно совпадает с тем, что должно произойти (в теории). Глубоко —потому что это «должно» философски противоречиво. Оно включает в себя такие «вечные темы», как природа свободы, самость, эмоции, уникальность человека, сознание — темы, важнейшие для всех религий. Я постараюсь убедить вас, что ИИ может пролить и, в сущности, уже пролил на эти темы новый свет. Однако я не случайно сказала «убедить», может быть, даже «поспорить» об этом, ибо этот вопрос вызывает большие споры.

То, как ИИ повлияет на наше самосознание, зависит от общества: от его знаний и предрассудков об ИИ и от лежащих в их основе представлений о природе разума. У нас уже имеются важные свидетельства, представленные социологом и психоаналитиком Шерри Теркл, исследовавшей то, как дети интерпретируют свой опыт взаимодействия с компьютерными технологиями.

Свои исследования она начала с детей начала и середины 1970–х годов, сталкивавшихся с компьютерами в школе или дома [43]. (Домашних компьютеров, какими мы их знаем, в то время еще не было: машины предоставлялись исследователями ИИ из Эм–Ай–Ти [82].) Дети управляли программами, основанными на классических моделях ИИ, с использованием простого и понятного для детей языка программирования LOGO [36]. Основные формы общения: «Сделай это, затем то; если произойдет то, сделай это; в противном случае сделай так‑то…»

Работая с этими машинами, Теркл обнаружила, что даже самые маленькие дети по собственной инициативе настаивают на четком различении людей и компьютеров. Они с восторгом принимают мысль, что компьютер разумен, что он умеет думать. Но, тут же добавляют они, он не может «любить» или «чувствовать», как мы. Более того, он не может ничего делать «сам по себе», а только «когда ему скажут». Короче говоря, дети воспринимали компьютеры как создания, лишенные эмоций и автономии, в отличие от людей.

Второе исследование Теркл было проведено двадцать лет спустя [44]. К этому времени были широко доступны небольшие самоорганизующиеся сети взаимосвязанных ИИ, а также простые программы И–жизни, включающие в себя реактивные и/или эволюционные техники. Оказалось, что новое поколение детей также старается провести четкую границу между человеком и машиной. На этот раз автономия не входила в число существенных критериев, поскольку деятельность этих «существ» [sic!] в определенном смысле происходила «сама по себе», без приказов человека. Дети по–прежнему использовали для различения понятие эмоций, но теперь к нему добавилось понятие телесности.

Что же касается жизни, и дети, и взрослые, которых опрашивала Теркл, затруднялись в ответе на вопрос, являются ли эти создания «живыми». Некоторые говорили, что нет; некоторые называли их «в каком‑то смысле живыми» или отвечали, что они «живые, но не так, как мы». Никто не назвал их живыми с уверенностью и без ограничений, как поступали из уважения к разуму и мышлению их предшественники в 1970–х. И многие, в том числе и взрослые, противоречили сами себе. Такая путаница во мнениях неудивительна: понятие жизни для нас еще более сложно и трудноопределимо, чем понятие интеллекта [9]. Однако эти данные, как и более ранние, показывают, что у нас существует потребность в четком отделении людей (и животных) от компьютеров.

Та же необходимость проявилась в замечании чемпиона мира по шахматам перед его состязанием (в 1996 году) с компьютерной программой «Дип Блю» (которая выиграла благодаря чипам, обрабатывающим 200 миллионов команд в секунду). «Думаю, — сказал тогда Гарри Каспаров, — в этой игре я в каком‑то смысле отстаиваю честь человечества». Такое словоупотребление ясно показывает, что любые грядущие успехи в области ИИ неизбежно будут на практике подрывать широко распространенные взгляды на «честь», ценность и уникальность человека. (Каспаров проиграл и был потрясен и глубоко угнетен таким исходом.) А это, в свою очередь, угрожает всем религиям, базирующимся на представлении об уникальности homo sapiens. Чтобы избежать этой угрозы, приходится либо бросать вызов науке на ее условиях, например, выигрывая шахматные партии или утверждая (как это делали дети), что ИИ не может испытывать эмоции, либо от нее отмахиваться.

Для многих искушение отмахнуться от науки становится все соблазнительнее. Стивен Кларк (еще один из авторов этой книги) писал, что близкая родственница ИИ — И–жизнь — поощряет «магический» взгляд на науку и технологию, когда они рассматриваются как некое неуправляемое волшебство [17]. То же самое происходит с теорией хаоса, квантовой физикой и теорией суперструн. Для среднего человека все эти теории совершенно непонятны, и даже сами ученые подчеркивают их странность и непредсказуемость.