[30] Историческое состояние (history state) — согласно унифицированному языку моделирования, применяется в контексте составного состояния; используется для запоминания того из последовательных подсостояний, которое было текущим в момент выхода из составного состояния.

[31] Хельсинкская декларация (Declaration of Helsinki) — набор этических принципов для медицинского сообщества, касающихся экспериментов на людях; разработана Всемирной медицинской ассоциацией в 1964 году.

[32] In silico (лат.) — термин, обозначающий компьютерное моделирование (симуляцию) эксперимента, чаще биологического; в нашем контексте речь идет об имитационных моделях головного мозга человека. Сама фраза тоже представляет собой «имитацию», так как создана по аналогии с такими моделями, как in vivo («в живом организме») и in vitro («в пробирке»).

[33] Марк Туллий Цицерон. О дивинации. Философский трактат в двух книгах // Марк Туллий Цицерон. Философские трактаты. М. : Наука, 1985.

[34] Даглас Хофштадтер. Гёдель, Эшер, Бах. Эта бесконечная гирлянда / Пер. с англ. М. А. Эскиной. Самара: Издательский дом «Бахрах-М», 2001. С. 635.

[35] CFTC (Commodity Futures Trading Commission) — Комиссия по срочной биржевой торговле; SEC (Securities and Exchange Commission) — Комиссия по ценным бумагам и биржам; CME Group — Группа Чикагской товарной биржи, крупнейший североамериканский рынок ценных бумаг, созданный в результате объединения ведущих нью-йоркских и чикагских бирж.

[36] Лонгитюдное исследование (longitudinal study) — продолжительное онтогенетическое исследование одних и тех же индивидов или групп людей; научный метод, применяемый в социологии и психологии.

[37] WMAP (Wilkinson Microwave Anisotropy Probe) — космический аппарат НАСА, созданный для изучения реликтового излучения, образовавшегося в результате Большого взрыва; запущен 30.06.2001.

[38] Рассказ Айзека Азимова Runaround известен русскоязычному читателю с 1963 года как «Хоровод»; в сборнике «Я, робот» (М.: Центрполиграф, 2003) опубликован под названием «Вокруг да около».

[39] Айзек Азимов. Роботы и Империя. М.: Эксмо, 2003.

[40] Деонтологическая этика, или деонтология (от др.-греч. ???? — «должное») — учение о проблемах морали и нравственности; раздел этики.

Оглавление

Предисловие партнера

Неоконченная история о воробьях

Введение

Глава первая. Прошлые достижения и сегодняшние возможности

Модели роста и история человечества

Завышенные ожидания

Путь надежды и отчаяния

Последние достижения

Будущее искусственного интеллекта — мнение специалистов

Глава вторая. Путь к сверхразуму

Искусственный интеллект

Полная эмуляция головного мозга человека

Усовершенствование когнитивных способностей человека

Нейрокомпьютерный интерфейс

Сети и организации

Резюме

Глава третья. Типы сверхразума

Скоростной сверхразум

Коллективный сверхразум

Качественный сверхразум

Прямая и опосредованная досягаемость

Источники преимущества цифрового интеллекта

Глава четвертая. Динамика взрывного развития интеллекта

Время и скорость взлета

Сопротивляемость

Пути, не подразумевающие создания машинного интеллекта

Пути создания имитационной модели мозга и искусственного интеллекта

Сила оптимизации и взрывное развитие интеллекта

Глава пятая. Решающее стратегическое преимущество

Получит ли лидирующий проект абсолютное преимущество?

Насколько крупным будет самый перспективный проект?

Система контроля

Международное сотрудничество

От решающего преимущества — к синглтону

Глава шестая. Разумная сила, не имеющая себе равной

Функциональные возможности и непреодолимая мощь

Сценарий захвата власти сверхразумом

1. Фаза приближения к критическому моменту

2. Рекурсивная фаза самосовершенствования

3. Фаза скрытой подготовки

4. Фаза открытой реализации

Власть над природой и другими действующими силами

Глава седьмая. Намерения сверхразума

Связь между интеллектом и мотивацией

Инструментальная конвергенция

Самосохранение

Непрерывная последовательность целей

Усиление когнитивных способностей

Технологическое совершенство

Получение ресурсов

Глава восьмая. Катастрофа неизбежна?

Экзистенциальная катастрофа как неизбежное следствие взрывного развития искусственного интеллекта?

Вероломный ход

Пагубные отказы

Порочная реализация

Инфраструктурная избыточность

Преступная безнравственность

Глава девятая. Проблемы контроля

Две агентские проблемы

Методы контроля над возможностями

Изоляционные методы

Стимулирующие методы

Методы задержки развития

Методы «растяжек»

Методы выбора мотивации

Метод точной спецификации

Метод приручения

Метод косвенной нормативности

Метод приумножения

Резюме

Глава десятая. Оракулы, джинны, монархи и инструменты

Оракулы

Джинны и монархи

ИИ-инструменты

Сравнительная характеристика

Глава одиннадцатая. Сценарии многополярного мира

О лошадях и людях

Заработная плата и безработица

Капитал и социальное обеспечение

Мальтузианские условия в исторической перспективе

Рост населения и инвестиции

Жизнь в цифровом мире

Добровольное рабство, случайная смерть

В высшей степени тяжелый труд как высшая степень счастья

Аутсорсеры, лишенные сознания?

Эволюция — путь наверх или не обязательно?

А потом появится синглтон?

Второй переход

Суперорганизмы и эффект масштаба

Объединение на договорных началах

Глава двенадцатая. Выработка ценностей

Проблема загрузки системы ценностей

Естественный отбор

Обучение с подкреплением

Ассоциативная модель ценностного приращения

Строительные леса для мотивационной системы

Обучение ценностям

Вариации имитационной модели

Институциональное конструирование

Резюме

Глава тринадцатая. Выбор критериев выбора

Необходимость в косвенной нормативности

Когерентное экстраполированное волеизъявление

Некоторые комментарии

Целесообразность КЭВ

Дополнительные замечания

Модели, основанные на этических принципах

Делай то, что я имею в виду

Перечень компонентов

Описание цели

Принятие решений

Эпистемология, или Познание мира

Ратификация, или Подтверждение

Выбор правильного пути

Глава четырнадцатая. Стратегический ландшафт

Стратегия научно-технологического развития