Кроме того, возможны и пограничные случаи, приемлемость или неприемлемость (причем грань между этими состояниями весьма тонка) которых определяется строгостью стандартов, необходимых для получения ☆-статуса, или тем, насколько точный характер имеют меры предосторожности, установленные с целью обеспечения безошибочности утверждений, принимаемых в качестве «кирпичей» для построения формальной системы Q*. Точная формулировка системы Q* будет различной в зависимости от того, полагаем мы такое Π ₁-высказывание  Pбезошибочным ☆-утверждением либо нет. В обычных обстоятельствах эта разница не имеет большого значения, поскольку различные варианты системы Q*, обусловленные принятием или отклонением высказывания P, являются логически эквивалентными. Такая ситуация может возникнуть в случае Π ₁-высказываний, доказательства истинности которых роботы могут счесть сомнительными просто из-за их чрезмерной сложности. Если доказательство высказывания  Pокажется на деле логическим следствием из других ☆-утверждений, которые уже приняты как безошибочные, то возникнет эквивалентная система Q*, причем вне зависимости от того, принимается высказывание  Pв качестве ее теоремы или нет. С другой стороны, возможны такие Π ₁-высказывания, которые потребуют для своего доказательства каких-то хитроумных логических процедур, выходящих за рамки любых логических следствий из тех ☆-утверждений, которые были приняты как безошибочные ранее, при построении системы Q*. Обозначим получаемую таким образом формальную систему (до включения в нее высказывания P) через Q* ₀, а систему, образующуюся после присоединения к системе Q* ₀высказывания P, через Q* ₁. Система Q* ₁окажется неэквивалентна системе Q* ₀в том, например, случае, если высказыванием  Pбудет гёделевское предположение G( Q* ₀). Однако если роботы, в соответствии с нашим допущением, способны достичь человеческого уровня математического понимания (а то и превзойти его), то они безусловно должны быть способны понять аргументацию Гёделя, так что им ничего не остается, как признать истинность гёделевского предположения для какой угодно системы Q* ₀ (присвоив ему гарантирующий безошибочность ☆-статус), коль скоро обоснованность этой системы Q* ₀ими же ☆-подтверждена. Таким образом, если они принимают систему Q* ₀, то они должны принять и систему Q* ₁(при условии, что степень сложности высказывания G( Q* ₀) не превышает  c— а так оно и будет, если значение  cвыбрано таким, каким мы выбрали его выше).

Необходимо отметить, что наличие либо отсутствие Π ₁-высказывания  Pв формальной системе Q* никоим образом не влияет на представленные в §§3.19и 3.20рассуждения. Само Π ₁-высказывание G( Q*) принимается за истинное в любом случае, независимо от того, входит высказывание  Pв систему Q* или нет.

Могут найтись и другие способы, с помощью которых роботам удастся «перескочить» через ограничения, налагаемые некоторыми ранее принятыми критериями присвоения ☆-статуса Π ₁-высказываниям. В этом нет ничего «парадоксального» — до тех пор, пока роботы не попытаются применить подобное рассуждение к тем самым механизмам M, которые обусловливают их поведение, т.е. к собственно системе Q*. Возникающее в этом случае противоречие не является, строго говоря, «парадоксом», однако дает возможность посредством reductio ad absurdumпоказать, что такие механизмы существовать не могут или, по крайней мере, не могут быть познаваемыми для роботов, а следовательно, и для нас.

Отсюда мы и делаем вывод о том, что такие «роботообучающие» механизмы — восходящие, нисходящие, смешанного типа, причем в каких угодно пропорциях, и даже с добавлением случайных элементов — не могут составить познаваемую основу для построения математического робота человеческого уровня.

Попробую осветить полученный вывод под несколько иным углом зрения. Предположим, что, пытаясь обойти налагаемые теоремой Гёделя ограничения, некто решил построить такого робота, который будет способен каким-либо образом «выскакивать из системы» всякий раз, когда управляющий им алгоритм попадет в вычислительную петлю. В конце концов именно постоянное приложение теоремы Гёделя не позволяет нам спокойно принять предположение о том, что математическое понимание можно объяснить посредством вычислительных процедур, поэтому, как мне кажется, стоит рассмотреть с этой точки зрения трудности, с которыми сталкивается любая вычислительная модель математического понимания при встрече с теоремой Гёделя.

Мне рассказывали, что где-то живут ящерицы, тупость которых настолько велика, что они, подобно «обычным компьютерам и некоторым насекомым», способны «зацикливаться». Если несколько таких ящериц поместить на край круглого блюда, то они в вечной «гонке за лидером» будут бегать по кругу до тех пор, пока не умрут от истощения. Смысл этой истории в том, что подлинно интеллектуальная система должна располагать какими-то средствами для разрыва таких петель, тогда как ни один из существующих компьютеров подобными качествами, вообще говоря, не обладает. (Проблему «разрыва петель» рассматривал Хофштадтер в [ 201].)

Вычислительная петля простейшего типа возникает, когда система на некотором этапе своей работы возвращается назад, в точности в то же состояние, в каком она пребывала на некотором предыдущем этапе. В отсутствие ввода каких-то дополнительных данных она будет просто повторять одно и то же вычисление бесконечно. Не составляет большой трудности построить систему, которая, в принципе, будет гарантированно (пусть и не слишком эффективно) выбираться из петель подобного рода по мере их возникновения (скажем, посредством ведения списка всех состояний, в которых оказывается система, и проверки на каждом этапе на предмет выяснения, не встречалось ли такое состояние когда-либо раньше). Существует, однако, множество других возможных типов петель, причем гораздо более сложных. Проблеме образования петель посвящена большая часть рассуждений главы 2(в особенности, §§2.1-2.6), так как вычисление, застрявшее в петле, есть не что иное, как вычисление, которое не завершается. Собственно говоря, под Π ₁-высказыванием мы как раз и понимаем утверждение о том, что некоторое вычисление образует петлю (см. §2.10, комментарий к возражению Q10). А еще в §2.5мы имели возможность убедиться в том, что факт незавершаемости вычисления (т.е. образования петли) однозначно установить с помощью одних лишь алгоритмических методов невозможно. Более того, как можно заключить из вышеприведенных рассуждений, процедуры, посредством которых математики-люди устанавливают, что данное конкретное вычисление действительно образует петлю (т.е. устанавливают истинность соответствующего Π ₁-высказывания), вообще не являются алгоритмическими.

Таким образом, получается, что, если мы хотим встроить в систему все доступные человеку методы, позволяющие  однозначноустановить, что те или иные вычисления действительно образуют петли, необходимо снабдить ее «невычислительным интеллектом». Можно, конечно, предположить, что петель можно избежать с помощью некоего механизма, который будет оценивать, как долго уже выполняется текущее вычисление, и «выскакивать из системы», если ему покажется, что оно выполняется слишком долго. Однако такой способ не сработает, если механизм, принимающий подобные решения, является по своей природе вычислительным, поскольку в этом случае неизбежны ситуации, когда упомянутый механизм со своей задачей не справляется, либо приходя к ошибочному заключению, что вычисление зациклилось, либо вообще не приходя ни к какому заключению (по той причине, что теперь зациклился уже сам механизм). Целиком и полностью вычислительной системе нечего противопоставить проблеме образования петель, и нет никаких гарантий, что вся система в целом, пусть даже избежав ошибочных выводов, в конце концов не зациклится.