Мне кажется, что ни одно из этих двух утверждений совершенно не следует из работы Шенка. Я попытаюсь это доказать.

Один из способов проверить любую теорию разума состоит в том, чтобы представить себе, что было бы, если бы мой интеллект действительно работал так, как, согласно данной теории, работает любой разум. Давайте проверим теорию Шенка при помощи следующего мысленного эксперимента. Представьте себе, что меня заперли одного, дав мне большой китайский текст. Представьте себе, что я не знаю ни письменного, ни разговорного китайского (так это в действительности и есть), и что я не уверен даже в том, что смогу отличить китайское письмо от, скажем, японского или от бессмысленных каракулей. Для меня китайское письмо выглядит как бессмысленные каракули! Теперь представьте, что я снова получаю китайский текст, на этот раз вместе с набором правил, объясняющих, как соотнести этот текст с первым. Правила написаны по-английски, и я понимаю их, как понял бы любой носитель этого языка. Правила помогают мне соотносить между собой два набора формальных символов; “формальных” означает здесь то, что я могу идентифицировать эти символы исключительно по их форме. Далее, мне дают третий китайский текст, опять с инструкциями по-английски, позволяющими мне соотнести его с первыми двумя. Более того, они объясняют, как отвечать китайскими символами определенной формы на те или иные китайские символы, содержащиеся в третьем тексте. Я ничего не знаю о том, что люди, дающие мне все это, называют первый кусок “текстом”, второй — “рассказом”, а третий — “вопросами.” Они называют символы, которые я даю им после работы с третьим куском, “ответами на вопросы”, а набор правил, которые у меня имеются, — “программой”. Чтобы немного усложнить дело, представьте себе, что эти люди дают мне также рассказы по-английски, задают о них вопросы по-английски, и я отвечаю на них по-английски. Представьте также, что через некоторое время я так натренировался в работе с китайскими символами, а программисты — в составлении программ, что стороннему наблюдателю — то есть, наблюдателю, находящемуся вне комнаты, в которой я заперт, — мои ответы кажутся неотличимыми от ответов китайцев. Никто, глядя только на мои ответы, не предположил бы, что я не знаю ни слова по-китайски. Представьте себе также, что мои ответы на вопросы по-английски будут неотличимы от ответов других носителей языка, просто потому, что я сам — носитель английского языка. С точки зрения того, кто читает мои “ответы”, китайские ответы так же хороши, как английские. Однако, в отличие от английского, в случае китайского я произвожу ответы путем манипуляции с неинтерпретированными формальными символами. Я веду себя в этом случае, как компьютер; я произвожу действия с формально определенными элементами. При работе с китайским я становлюсь воплощением компьютерной программы.

Сильная версия ИИ утверждает, что запрограммированные должным образом компьютеры понимают рассказы и могут в какой-то мере объяснить человеческое понимание. Благодаря нашему мысленному эксперименту мы можем теперь проанализировать эти утверждения.

1. Что касается первого утверждения, из нашего примера совершенно очевидно следует, что я не понимаю ни слова в китайских рассказах. Все, что у меня есть, это вводные и выходные данные, неотличимые от тех, что производят сами китайцы. Какой бы формальной программой я ни был снабжен, я все равно не понимаю ни слова! Точно так же компьютер Шенка не понимает ни слова в рассказах, написаны ли они по-китайски, по-английски или на каком-либо другом языке, поскольку в случае китайского компьютер — это я, а в остальных случаях у компьютера есть только та информация, которая была у меня, когда я ничего не понимал.

2. Что касается второго утверждения, что программа объясняет человеческое понимание, мы видим, что компьютер вместе с программой не создают достаточных условий понимания, поскольку они действуют, ничего при этом не понимая. Но помогают ли они пониманию? Одно из утверждений сторонников сильной версии ИИ заключается в том, что, когда я понимаю рассказ по-английски, я делаю точно то же самое, — или даже в большей степени — как когда я манипулирую китайскими символами. Разница в том, что в случае английского, который я понимаю, в голове у меня происходит большее количество формальных манипуляций, чем в случае китайского, которого я не понимаю. Я не доказал, что это утверждение ошибочно, но в приведенном примере оно кажется достаточно невероятным. Сторонники этого утверждения исходят из того, что мы можем создать программу с точно такими же входными и выходными данными, как у носителя языка, и что на каком-то уровни носители языка также могут быть описаны как воплощения некой программы. На основе этих двух предположений они заключают, что, хотя программа Шенка и не совершенна, это все же шаг вперед в нужном направлении. Думаю, что, хотя это эмпирически возможно, пока не было представлено ни одно доказательство того, что это верно. Наш мысленный эксперимент предполагает — но, разумеется, не доказывает — что компьютерная программа не имеет никакого отношения к моему пониманию рассказа. В случае с китайским, у меня имеется все, что может мне предоставить ИИ, и тем не менее, я ничего не понимаю; в случае с английским, я понимаю все, и у меня нет никаких оснований предположить, что мое понимание каким-то образом связано с компьютерной программой, то есть с вычислительными операциями на чисто формально определенных элементах. Если мы определяем программу как вычислительные операции на чисто формально определенных элементах, то из нашего примера вытекает, что сами по себе программы не имеют связи с пониманием. Они безусловно не являются достаточным условием понимания, и у нас нет ни малейшего основания полагать, что они являются его необходимым условием. Мы не можем заключить даже того, что они вообще способствуют пониманию. Обратите внимание на то, что сила этого аргумента — не в том, что разные машины могут иметь одинаковые входные и выходные данные, когда они работают по различным формальным принципам — суть совсем не в этом. Какие бы формальные принципы вы ни вложили в компьютер, они будут недостаточны для понимания, поскольку человек может следовать тем же формальным принципам, ничего при этом не понимая. Не существует никаких доказательств того, что подобные принципы необходимы или в какой-то мере полезны, поскольку не существует никаких доказательств того, что, когда я понимаю английский текст, я действую в соответствии с какой-либо формальной программой.

Но что же есть у меня в случае с английским текстом такого, что отсутствует в случае с текстом китайским? Очевидный ответ состоит в том, что я знаю, что означает первый, и понятия не имею о значении последнего. Но в чем это заключается, и почему мы не можем дать это нечто, чем бы оно ни было, машине? Я еще вернусь к этому вопросу, но сначала мне бы хотелось продолжить мой пример.

Мне приходилось представлять этот пример нескольким специалистам по Искусственному Интеллекту; интересно, что они не смогли сойтись в мнениях о том, как на него следует отвечать. Я получил самые разнообразные ответы; здесь я приведу основные из них (вместе с их географическим происхождением).

Но сначала я хочу заблокировать обычные недоразумения, связанные с “пониманием”. В этих дискуссиях можно найти попытки дать сложнейшие, причудливые определения слова “понимание”. Мои критики указывают на то, что бывают различные степени понимания; на то, что “понимание” не является простым двучленным предикатом; на то, что существуют даже различные типы и уровни понимания и что закон исключенного третьего нельзя прямо применить к высказываниям типа “X понимает У”, поскольку во многих случаях это не является фактом, но требует принятия решения, и так далее. На все эти возражения мне хочется ответить: “Ну разумеется, разумеется. Но все это не имеет отношения к обсуждаемым вопросам. Существуют бесспорные случаи того, когда понимание имеет место, и бесспорные случаи того, когда никакого понимания нет; именно эти случаи нужны мне для моего доказательства.[4] Я понимаю рассказы по-английски, в меньшей степени, по-французски и в еще меньшей степени, по-немецки. По-китайски я не понимаю ничего. С другой стороны, моя машина и мой калькулятор не понимают ничего — это не их дело. Мы часто метафорически приписываем “понимание” и другие когнитивные предикаты машинам, калькуляторам и другим приспособлениям, но это ничего не доказывает. Мы говорим: “Дверь знает, когда нужно открыться, благодаря своим фотоэлектрическим элементам”, “Калькулятор может складывать и вычитать, но не способен умножать” и “термостат воспринимает изменения температуры”. Причина, по которой мы приписываем все это машинам, довольно интересна — мы наделяем их собственной интенциональностью.[5] Наши инструменты — продолжение наших целей, и мы находим естественным метафорически приписывать им интенциональность. Однако такие примеры не режут философский лед. То, как дверь “понимает инструкции” своего фотоэлемента, не имеет ничего общего с тем, как я понимаю английский. Если бы предполагалось, что компьютер Шенка понимает рассказы в том же метафорическом смысле, в каком дверь понимает инструкции фотоэлемента, а не так, как я понимаю английский, то вопрос не стоил бы обсуждения. Но Ньюман и Саймон (1963) пишут, что понимание компьютеров идентично пониманию человека. Мне нравится прямолинейность подобного утверждения, и именно такие утверждения я и буду рассматривать. Я попытаюсь доказать, что в буквальном смысле запрограммированный компьютер понимает столько же, сколько автомобиль или калькулятор, то есть совершенно ничего. Понимание компьютера не частично или неполно (как мое понимание французского или немецкого) — оно равно нулю.