В следующих главах мы изложим научные основы наших опасений, обсудим извращенные стимулы, действующие в современной индустрии искусственного интеллекта, и объясним, почему ситуация еще более критична, чем кажется. Мы критически разберем современное машинное обучение простым языком и опишем, как и почему текущие методы совершенно не подходят для создания ИИ, который улучшает мир, а не уничтожает его.
В первой части этой книги мы излагаем проблему, отвечая на такие вопросы, как: что такое интеллект? Как создаются современные ИИ и почему их так трудно понять? Могут ли ИИ иметь желания? Будут ли они их иметь? Если да, то чего они захотят и почему они захотят нас убить? Как они нас убьют? Мы можем в конечном итоге предсказать ИИ, которые не будут ненавидеть нас, но будут иметь странные, чуждые предпочтения, которые они будут преследовать до полного исчезновения человечества.
Во второй части мы объединяем все эти моменты, чтобы рассказать историю об искусственном интеллекте, который уничтожает мир, очень похожий на наш. Эта история не предсказание, поскольку точный путь, по которому пойдет будущее, трудно предугадать. Единственная часть рассказа, которая является предсказанием, это его финальный исход, и это предсказание сбудется лишь в том случае, если подобной истории позволят начаться.
В Части III мы оцениваем сложность вызова, стоящего перед человечеством, и рассматриваем ответные меры на сегодняшний день. Насколько хорошо компании, занимающиеся искусственным интеллектом, справляются с проблемой? Почему мир не уделяет этому больше внимания? Что общество могло бы сделать иначе, если достаточное количество из нас решит не умирать? Что потребовалось бы, чтобы Земля не создала машинный сверхразум?
Онлайн-приложение к этой книге доступно на сайте IfAnyoneBuildsIt.com. В конце каждой главы вы найдете URL-адрес, который ведет к дополнительным материалам для этой главы. Это будет выглядеть так:
IfAnyoneBuildsIt.com/intro
У людей возникают самые разные, порой противоречивые интуитивные представления об искусственном интеллекте, и за годы мы услышали множество вопросов и возражений, исходящих из самых разных предпосылок и точек зрения. В наших дополнительных материалах мы рассматриваем больше оговорок, тонкостей и часто задаваемых вопросов, а также некоторые принципиальные теоретические основы и расширенные аргументы, которые сделали бы эту книгу в несколько раз длиннее и гораздо менее
доступной. Если в конце любой главы у вас возникают возражения, мы рекомендуем продолжить чтение онлайн.
Мы начинаем многие главы притчами: историями, которые, как мы надеемся, будут помогать донести некоторые моменты проще. Также они могут добавить немного лёгкости в иначе тяжёлую тему. Это соответствует древнейшей традиции, возможно, старше человеческого вида в его нынешней форме, смеяться перед лицом смерти.
Мы признаем, что эта книга не полна хороших новостей. Но мы здесь не для того, чтобы говорить, что вы обречены. Искусственный сверхразум пока не существует.
Человечество всё ещё может решить не строить это.
В 1950-х годах многие ожидали, что между крупнейшими мировыми державами разразится ядерная война. Учитывая историю человеческих конфликтов до того момента, были основания для пессимизма. Однако на сегодняшний день ядерной войны не произошло. Не потому, что ядерные бомбы оказались чистой фантастикой, которая никогда не могла бы случиться в реальной жизни; а потому, что люди усердно работали над созданием устойчивых систем, предотвращающих начало ядерных войн. Они сделали всё это, потому что мировые лидеры знали: в случае ядерной войны и они сами, и народы их стран переживут крайне тяжёлые времена.
У них тоже был бы плохой день, если бы кто-либо в любой точке Земли создал машину сверхразума. Никто не заинтересован в том, чтобы умереть вместе со всеми своими родными и друзьями, своей страной и её детьми.
Остановить продолжающуюся эскалацию технологий искусственного интеллекта, ограничить аппаратное обеспечение, используемое для создания всё более мощных моделей ИИ, это не то, что было бы легко сделать в современном мире. Однако для прекращения дальнейшего наращивания возможностей ИИ потребовалось бы гораздо меньше усилий, чем, скажем, для ведения Второй мировой войны. Для пробуждения воли к жизни достаточно, чтобы некоторые страны, лидеры и избиратели осознали, что они находятся на трудно оцениваемом, возможно, весьма коротком расстоянии от края гибели.
Работа будет не из легких, но мы еще не сдались. Человеческое достоинство и достоинство человечества требуют, чтобы мы дали бой.
Где жизнь, там и надежда.
ЧАСТЬ I. НЕЧЕЛОВЕЧЕСКИЕ СОЗНАНИЯ
ГЛАВА 1 ОСОБАЯ СИЛА ЧЕЛОВЕЧЕСТВА
Представьте, что около двух миллионов лет назад некий загадочный обезьяно-бог взирал на свою обширную, планетарных масштабов игровую доску.
"Мне потребуется ещё несколько ходов, сказал гоминид-бог, но, думаю, эта игра у меня в кармане."
Последовало растерянное молчание, пока многие боги оглядывались.
Игровая доска пыталась разглядеть, что они упустили. Бог-скорпион сказал: «Как? У вашего семейства гоминид нет ни брони, ни когтей, ни яда».