Было бы удобно ввести количественный показатель когнитивных способностей любой интеллектуальной системы вроде знакомого нам коэффициента умственного развития (IQ) или какой-то вариации рейтинга Эло (метод расчета относительной силы людей в играх, в которых участвуют двое игроков, например в шахматах). Но эти показатели бесполезны, когда речь заходит об универсальном искусственном интеллекте, превосходящем человеческий уровень. Неужели мы будем ставить вопрос в такой плоскости: а какова вероятность, что сверхразум обыграет человека в шахматы? Теперь поговорим об IQ — в принципе, этот показатель информативен лишь постольку, поскольку у нас есть ряд представлений, как его значение коррелирует с результатами, имеющими отношение к реальной жизни5. Например, мы располагаем данными, что люди, у которых уровень IQ составляет 130 пунктов, с большей вероятностью, чем люди, у которых уровень IQ составляет 90 пунктов, будут лучше учиться и преуспевать в дисциплинах, требующих высоких умственных способностей. Но предположим, мы установили, что в будущем у какого-то ИИ IQ будет равен 6455 пунктам, — и что? У нас нет никаких соображений о том, что этот ИИ вообще собирается делать. Мы даже не можем утверждать, будет ли он превосходить обычного взрослого человека с точки зрения общего интеллектуального уровня. Может быть, этот ИИ окажется просто системой с узкоспециализированными алгоритмами, созданной ради единственной цели: с нечеловеческой точностью и скоростью обрабатывать вопросы стандартной проверки умственных способностей — и ни для чего более.
В последнее время предпринимаются попытки разработать показатели когнитивных способностей, которые можно будет применять к самым разнообразным информационным системам, включая и интеллектуальные6. Если удастся преодолеть различные технические трудности, работа в этом направлении может оказаться полезной для некоторых областей науки, в том числе при создании ИИ. Однако в контексте нашего исследования пригодность этих показателей все-таки ограниченна, поскольку мы до сих пор пребываем в неведении, с какой результативностью та или иная нечеловеческая деятельность будет добиваться тех или иных фактических результатов в нашем реальном мире.
Поэтому для наших целей лучше составить список некоторых стратегически значимых задач и охарактеризовать гипотетические когнитивные системы с точки зрения, есть ли у них соответствующие компетенции (или нет), необходимые для их решения. Список приведен в табл. 8. Система, способная преуспеть в решении любой из указанных в ней задач, соответственно будет считаться сверхмощной.
Таблица 8. Сверхмощные системы — некоторые стратегически значимые задачи и соответствующие компетенции
Задачи
Компетенции
Стратегическая значимость
1
Усиление интеллекта
Программирование ИИ, исследования в области когнитивного развития, развитие социальной эпистемологии и т. д.
Система способна саморазвиваться и самосовершенствовать свой интеллект
2
Выработка стратегии
Стратегическое планирование, прогнозирование, расстановка приоритетов, анализ вероятного достижения отдаленных целей и выбор оптимального решения
Достижение собственных долгосрочных целей. Преодоление интеллектуального противодействия
3
Социальное манипулирование
Социальное и психологическое моделирование, манипулирование, риторическое воздействие
Использование внешних ресурсов за счет поддержки со стороны людей.
«Заключенный» в компьютерный корпус ИИ склоняет своих «стражей»-операторов предоставить ему свободу — доступ в интернет.
Убеждение правительств и организаций принять тот или иной курс действий.
Лишать права пользования вычислительными ресурсами в интернете
4
Взлом систем
Поиск брешей безопасности в компьютерных системах и использование этого в своих целях
«Заключенный» ИИ может использовать бреши безопасности, чтобы убежать из кибернетического плена.
Кража финансовых ресурсов.
Взлом инфраструктуры, военных роботов и т. д.
5
Технологические разработки
Проектирование и моделирование перспективных технологий (например, биотехнологии, нанотехнологии) и пути их развития
Создание мощных вооруженных сил.
Создание систем наблюдения.
Роботизированное освоение космоса
6
Экономическая эффективность
Профессиональное умение соблюдать экономическую целесообразность при проведении интеллектуальных работ
Нажить капитал, который может быть потрачен на приобретение влияния, услуг, ресурсов (в том числе аппаратное обеспечение) и т. д.
Полностью развившийся сверхразум сможет справиться с задачами по всем шести направлениям и пустит для этого в ход весь свой сверхмощный арсенал. Пока не очень понятно, реально ли, чтобы сверхсильный, но узкоспециализированный искусственный интеллект остановился бы на отдельной предметной области и не захотел бы на долгое время утвердить свою мощь в других областях. Есть вероятность, что создание машины с каким-либо одним видом сверхмощи является ИИ-полной задачей. Хотя, например, можно представить следующие варианты: коллективный сверхразум, состоящий из довольно большого числа аналогичных человеческому биологических или электронных разумов, будет обладать, скажем, сверхсилой в области экономической эффективности, но окажется лишенным ее в области технологических разработок; другой специализированный конструкторский ИИ будет обладать сверхсилой в области технологических разработок и при этом ничем не проявит себя в других областях. Но более достоверно, что существует некая научно-техническая область, где сконцентрируется такое виртуозное мастерство, что его будет достаточно для создания самых передовых универсальных технологий, которые абсолютно подавят собой все предыдущие технологические поколения. Например, можно вообразить специализированный ИИ, виртуозно моделирующий молекулярные системы и создающий наномолекулярные структуры, открывающие широкие возможности для инноваций (скажем, в таких областях, как вычислительная техника и система вооружения с эксплуатационными характеристиками принципиально нового типа), доступных для понимания лишь интеллекту с очень высоким уровнем абстрактного мышления7.
Такой ИИ мог бы также разработать подробный проект перехода от имеющихся технологий (скажем, биотехнологий и белкового инжиниринга) к новым возможностям, благодаря которым удастся создать сверхэффективное производство на атомарном уровне точности для выпуска гораздо более широкого спектра недорогих наномеханических роботов8. Однако может оказаться, что инжиниринговый ИИ не будет способен по-настоящему овладеть сверхмощью в области технологических исследований, не имея навыков выше среднего в других областях, то есть широкого спектра интеллектуальных способностей, которые необходимы для понимания того, как интерпретировать запросы пользователей, моделировать поведение системы в реальных условиях, бороться с непредвиденными ошибками и неисправностями, как добывать материалы и исходные данные для строительства и так далее9.
Система, обладающая сверхмощью в области совершенствования интеллекта, могла бы использовать такие силы для самостоятельного повышения уровня собственных интеллектуальных способностей и для обретения сверхмощи в других областях. Но использование сверхмощи в области совершенствования интеллекта — не единственная возможность стать полноправным сверхразумом. Например, система, обладающая сверхмощью в области выработки стратегии, могла бы разработать план, способный в конечном счете обеспечить прирост ее интеллектуальных способностей (например, позиционировав себя так, что обслуживающие ее программисты и исследователи сосредоточат все свое внимание исключительно на этой проблеме).
Сценарий захвата власти сверхразумом
Таким образом, мы выяснили, что разработчики, способные контролировать сверхразум, получат доступ к источнику огромной силы. А проект, в рамках которого будет создан первый сверхразум в мире, скорее всего, получит абсолютное стратегическое превосходство. Но непосредственный источник силы находится в самой системе. Машинный сверхразум может сам по себе быть чрезвычайно влиятельной действующей силой, способной защитить себя как от проектов-конкурентов, так и от всего остального мира. Этот чрезвычайно важный момент мы обсудим подробнее.
Предположим, что появился машинный сверхразум, которому нет аналогов, и он стремится захватить власть над миром. (Пока не станем затрагивать тему, по какой причине возникает такой мотив, — это мы рассмотрим в следующей главе.) Каким образом сверхразум мог бы достичь своей цели — господства над миром?