Насколько крупным будет самый перспективный проект?
Некоторые пути появления сверхразума требуют значительных ресурсов и поэтому, скорее всего, будут реализованы в рамках крупных, хорошо финансируемых проектов. Например, для полной эмуляции головного мозга потребуется большой разноплановый профессиональный опыт и разнообразное оборудование. Биологическое улучшение интеллектуальных способностей и нейрокомпьютерные интерфейсы также сильно зависят от материального фактора. И хотя небольшая биотехнологическая фирма способна изобрести пару препаратов, однако для появления сверхразума (если такое вообще возможно, говоря о конкретных методах) наверняка потребуется много изобретений и экспериментов, что возможно при поддержке целого сектора промышленности и хорошо финансируемой национальной программы. Достижение уровня коллективного сверхразума за счет повышения эффективности организаций и сетей потребует еще более весомого вклада и вовлечения большей части мировой экономики.
Труднее всего оценить путь ИИ. Возможны разные варианты: от крупнейшей и солиднейшей исследовательской программы до небольшой группы специалистов. Нельзя исключать даже сценариев с участием хакеров-одиночек. Для создания зародыша ИИ могут потребоваться идеи и алгоритмы, которые будут разрабатывать лучшие представители мирового научного сообщества на протяжении нескольких десятилетий. При этом последняя решающая догадка осенит одного человека или нескольких людей — и они смогут свести все воедино. Для одних типов архитектуры ИИ этот сценарий более вероятен, для других — менее. Система из большого количества модулей, каждый из которых нужно заботливо настраивать и балансировать для эффективной совместной работы, а затем тщательно загружать индивидуально разработанным когнитивным контентом, скорее всего, потребует реализации в рамках очень крупного проекта. Если зародыш ИИ может быть простой системой, для строительства которой нужно соблюсти лишь несколько основных правил, тогда она под силу небольшой команде и даже ученому-одиночке. Вероятность того, что последний прорыв будет сделан в рамках маленького проекта, возрастает, если большая часть пройденного ранее пути освещалась в открытых источниках или реализована в виде программного обеспечения с открытым кодом.
Нужно разделять два вопроса: 1) насколько крупным должен быть проект, в рамках которого создается система; 2) насколько большой должна быть группа, которая контролирует, будет ли создана система, и если да, то как и когда. Атомную бомбу создавало множество ученых и инженеров. (Максимальное число участников Манхэттенского проекта достигало ста тридцати тысяч человек, большую часть их составляли технические работники23.) Однако и ученых, и инженеров, и конструкторов, и строителей контролировало правительство США, в конечном счете подотчетное американским избирателям, составлявшим в то время примерно одну десятую часть всего населения мира24.
Система контроля
Учитывая чрезвычайную важность такого вопроса, как появление сверхразума, с точки зрения государственной безопасности, правительства, скорее всего, будут стараться национализировать любой реализующийся на их территории проект, который, по их мнению, окажется близок к стадии взлета. Мощные государства могут также пытаться присвоить проекты, начатые в других странах, — посредством шпионажа, кражи, похищения людей, взяток, военных операций или иных доступных им средств. Если не получится присвоить, будут стараться уничтожить их, особенно если страны, где они реализуются, неспособны эффективно защитить себя. Если к моменту, когда взлет окажется неизбежным, достаточно окрепнут общемировые структуры управления, может оказаться, что многообещающие проекты будут взяты под международный контроль.
Важно, однако, смогут ли национальные или международные органы заметить приближающееся взрывное развитие искусственного интеллекта. Пока непохоже, чтобы спецслужбы уделяли какое-то внимание потенциально успешным проектам в области разработок ИИ25. Можно предположить, что не делают они этого в силу широко распространенного мнения, будто у взрывного развития нет никаких перспектив. Если когда-нибудь среди ведущих ученых возникнет полное согласие по проблеме сверхразума и однажды все дружно заявят, что он вот-вот появится, — тогда, вероятно, основные разведки мира возьмут под свое наблюдение научные коллективы и отдельных исследователей, участвующих в работах по этим направлениям. После чего любой проект, способный показать заметный прогресс, может быть очень быстро национализирован. Если политические элиты посчитают, что риск слишком велик, частные усилия в соответствующих областях могут подвергнуться регулированию или будут вовсе запрещены.
Насколько сложно организовать такую систему контроля? Задача облегчится, если присматривать только за лидерами. В этом случае может оказаться достаточным наблюдать лишь за несколькими проектами, лучше всего обеспеченными ресурсами. Если цель состоит в том, чтобы предотвратить проведение любых работ (как минимум за пределами специально одобренных организаций), тогда слежка должна быть более тотальной, ведь определенного прогресса способны добиться даже небольшие команды и отдельные исследователи.
Будет легче контролировать проекты, требующие значительного объема материальных ресурсов, как в случае полной эмуляции головного мозга. Напротив, труднее поддаются контролю исследования в области ИИ, поскольку для них нужен лишь компьютер, а также ручка и лист бумаги — с их помощью ведутся наблюдения и делаются теоретические выкладки. Но и в этом случае несложно выявить наиболее талантливых ученых с серьезными долгосрочными замыслами в области ИИ. Обычно такие люди оставляют видимые следы: публикации научных работ; участие в конференциях; комментарии в интернет-форумах; премии и дипломы ведущих организаций в области компьютерных наук. Исследователи, как правило, публично общаются друг с другом на профессиональном уровне, что позволяет идентифицировать их, составив социальный граф.
Сложнее будет обнаружить проекты, изначально предполагающие секретность. В качестве их ширмы может выступать идея разработки какого-нибудь обычного ПО26. И только тщательный анализ кода позволит раскрыть истинную сущность проблем, над которыми трудятся программисты. Такой анализ потребует привлечения большого числа очень квалифицированных и очень опытных специалистов, поэтому вряд ли получится досконально исследовать все подряд. В такого рода наблюдениях задачу серьезно облегчит появление новейших технологий, вроде использования детекторов лжи27.
Есть еще одна причина, по которой государства могут не справиться с выявлением многообещающих проектов, поскольку некоторые научные и технические открытия, в принципе, трудно прогнозировать. Скорее всего, это относится к исследованиям в области ИИ, поскольку революционным изменениям в компьютерном моделировании мозга будет предшествовать целая серия успешных экспериментов.
Возможно, что присущие спецслужбам и прочим государственным институтам бюрократические неповоротливость и негибкость не позволят им распознать значимость некоторых достижений — очевидную для профессионалов.
Особенно высоким может оказаться барьер на пути официального признания возможности взрывного развития интеллекта. Вполне допустимо, что этот вопрос станет катализатором религиозных и политических разногласий и в итоге в некоторых странах превратится в табу для официальных лиц. Более того, тему взрывного развития начнут ассоциировать с дискредитировавшими себя персонажами, шарлатанами и пустозвонами, в результате чего ее начнут избегать уважаемые ученые и политики. (В первой главе вы уже читали о подобном эффекте, когда нечто подобное случалось уже минимум дважды — вспомните две «зимы искусственного интеллекта».) К этой кампании дискредитации обязательно присоединятся лоббисты, не желающие, чтобы на выгодное дело была брошена тень подозрений, и сообщества ученых, готовых вышвырнуть из своих рядов любого, кто осмелится озвучить собственные опасения по поводу «замораживания» столь важной проблемы и последствий этого для самой науки28.
