— Мы бы хотели убедиться, что Полина действительно бездействует. Иногда нельзя ручаться. Ты могла заметить, что я оставил Паспарту в городе — для гарантии.
— А разве он не может записывать тебя на расстоянии?
На лице Женетта было сомнение.
— Не думаю, но именно для того, чтобы исключить и такую возможность, мы собрались тут. Мы сидим в хорошо изолированном месте. И хотели бы обезопасить себя, проведя несколько проверок.
— Хорошо, — сказала Свон надменно, как ответила бы Полина. — Проверяйте ее, но я уверена, что она спит.
— Спящие тоже слышат. А нам надо, чтобы она ничего не слышала. Видишь, какие есть преимущества при расположении компьютера вне твоего тела!
— Невежливые люди не раз говорили мне об этом, — ответила Свон.
Уровень активности Полины проверили, приложив к шее Свон какие-то палочки; потом ее попросили ненадолго надеть на голову гибкую проволочную шапку.
— Хорошо, — сказал Варам, когда один из его коллег утвердительно кивнул. — Сейчас мы изолированы, и этот разговор не записывается. Мы все должны обещать сохранить сказанное здесь в тайне. Ты согласна? — спросил он у Свон.
— Да, — сказала Свон.
— Хорошо. Такие встречи придумали Алекс и Жан. Алекс считала, что возникшие проблемы следует обсуждать за границами царства искусственного разума. Одной из таких проблем стал новый тип квантовых компьютеров, вышедший на сцену. Инспектор?
Инспектор Женетт сказал Свон.
— Помнишь якобы людей на «Внутренней Монголии»? Они по-своему прошли тест Тьюринга, или тест Свон, как его можно назвать: ты решила, что они люди, притворяющиеся компьютерами. Люди иногда так делают, и это гораздо более вероятное объяснение, чем существование полностью независимых компьютеров.
— Я по-прежнему считаю их людьми, — сказала Свон. — А ты нет?
— Да. Это были три из обнаруженных нами человекоподобных компьютеров. Всего их около четырехсот. Большинство ведут себя точь-в-точь как люди и стараются не привлекать внимания. Некоторые ведут себя необычно. Встреченные тобой трое как раз из числа странных. Еще один такой пытался прорваться в станцию Вана на Ио. Мы нашли его остатки в лаве, следы квантовой вычислительной основы.
Свон покачала головой.
— Те трое, которых я встретила, глуповаты для машин, если вы понимаете, о чем я.
— Может, ты просто привыкла к Полине, — предположил инспектор.
— Она часто бывает глуповатой, — возразила Свон. — Это вполне заурядно. Хотя, признаюсь, иногда она меня удивляет. Больше, чем люди.
— Ты всегда ей перечишь, — заметил Варам, бросив на нее любопытный взгляд.
— Да. Мне нравится ее дразнить.
Женетт кивнул.
— Но ты заложила в программы Полине дерзкий подход — умение спорить, живо реагировать на необычные повороты в обычном. В ней есть некие рекурсивные программы, благодаря которым она способна к ассоциативным и метафорическим построениям, а не только к логическому «если — то».
Но это лишь одна часть. Предположительно дедукция определяется логикой, и у Полины есть сильная дедуктивная программа. Но иногда дедукция становится почти метафорическим мышлением или мышлением свободными ассоциациями. В результате Полина ведет себя необычно.
Варам обратился ко всей группе.
— Вопрос программирования — в центре нашего сегодняшнего разговора. Есть определенные доказательства того, что новые компьютеры сами себя программируют, в особенности те, что собирают эти гуманоидные машины с квантовым компьютером вместо мозга. Мы не знаем, зачем люди поручили им это, и не знаем, зачем они вообще это делают. Итак, первый вопрос: что они такое и кто их производит? Мы знаем, что они не могут общаться друг с другом внутренне из-за декогеренции. Иными словами, они не образуют единый коллективный мозг. Но могут общаться друг с другом, как мы, используя все наши способы коммуникации. Однако в их случае, когда они используют квантовую шифровку, раскрыть их коды невозможно. Робин, — человек напротив Свон кивнул ей, — координирует запись их разговоров по радио и в облаке и даже некоторые прямые голосовые контакты. Мы не можем расшифровать их разговоры, но видим, что они общаются между собой.
— Давайте вернемся немного назад — как они могут программировать себя? — удивилась Свон. — Я слышала, что рекурсивное самопрограммирование способно лишь оптимизировать уже известные операции.
— Да, но если им поставлена задача постараться что-то сделать, например, они могут прийти к необычным результатам. Пытаясь что-то сделать, они могут обогатиться новыми идеями. Это отчасти похоже на шахматы. Им дается задача — в данном случае выиграть, — а затем во время обычной для них проверки всех возможностей они, вырабатывая новый эффективный способ достижения цели, могут столкнуться с неожиданным успехом. Это не процесс более высокого порядка, но он позволяет выполнить задачу и создает новые алгоритмы. И в какой-то момент самопрограммирование оказывается более эффективным, квакомы могут внезапно получить сознание или нечто подобное. Или процесс может привести к новому поведению — необычному, даже деструктивному. По крайней мере такова теория, которой мы руководствуемся.
— Далеко мог зайти этот процесс по отношению к программам мышления первых квантовых компьютеров? Я хочу сказать, могут ли квакомы все еще путаться в алгоритмах?
— Видишь ли, программисты, создававшие квантовые компьютеры, использовали разные структуры и в итоге создали несколько различных внутренних вычислительных архитектур. Поэтому на самом деле существуют разные квантовые компьютеры, каждый со своей особой формой познания — разными протоколами, алгоритмами, нейронными сетями. Они имитируют мозговую деятельность разных видов — у них есть то, что можно назвать самосознанием и другими особенностями сознания. Это не одна конструкция, и в терминах их мышления они могли начать мыслить.
Слово взял инспектор Женетт:
— Мы видим в этих квакомах явные признаки самопрограммирования. Трудно сказать, к чему это могло их привести. Но мы обеспокоены, ведь у них нет архитектуры и химизма мозга, которые объяснили бы их деятельность. Мы мыслим очень эмоционально. Наши эмоции играют ключевую роль в принятии решений, в долговременном мышлении, в создании памяти — во всем нашем общем постижении смысла. Без этих особенностей мы бы не были людьми. Мы не могли бы функционировать как индивиды в группах. Однако у квантовых компьютеров нет эмоций, и мыслят они при помощи иных архитектур, протоколов, физических методов. Поэтому у них нет менталитета человека, хотя в некотором смысле они могут обладать сознанием. Мы даже не можем быть уверены, что в своем новом состоянии все они похожи. Мы не знаем, мыслят ли они математически, или в терминах логики, или на языке английском или китайском. Или в этом отношении разные квантовые компьютеры одинаковы.
Свон кивнула, обдумывая услышанное. Если глупые девчонки были квантовыми компьютерами — и тот игрок в боулинг тоже, — это поразительно, хотя бы с точки зрения морфологии. А что до мышления, Свон все сказанное не удивило.
— Я часто говорю с Полиной на эти темы, — сказала она собравшимся. — Но из ваших слов мне ясно, насколько искалечены эти квакомы отсутствием того, о чем вы говорили. Скорее всего отсутствием эмоций. И ничего не могут сделать.
— Кажется так, — произнес в наступившей тишине Варам. — Но сейчас они как будто бы ставят себе цели. Может, у них есть какие-то псевдоэмоции; мы не знаем. Вероятно, они все еще не очень умны — скорее сверчки, чем собаки. Но, видите ли, с точки зрения создания более высокого уровня сознания мы не знаем, как работает наш собственный мозг. Поскольку мы не можем проникнуть в эти компьютеры и понять, что в них происходит, мы знаем о них даже меньше, чем они о нас. Так что… проблема.
— Вы разобрали какой-нибудь кваком, чтобы посмотреть?
— Да. Но результаты сложно истолковать. Вот любопытная аналогия с попыткой изучить собственный мозг — вы хотите изучить момент образования мысли, но, даже установив, какой механизм создает мысли, вы не будете знать, что именно вызывает эту конкретную мысль или как эта мысль осознается изнутри. В обоих случаях возникает квантовый эффект, при котором очень трудно проследить мысль до ее физического источника или действия.