"Человек не полетит еще тысячу лет", сказал Уилбур Райт Орвиллу Райту в 1901 году, раздосадованный испытаниями их безмоторного планера. Два года спустя, в 1903 году, братья Райт поднялись в воздух.
Успешное прогнозирование заключается не в том, чтобы быть достаточно умным, чтобы предсказать те детали, которые обычно невозможно предсказать. Оно не заключается в том, чтобы придумать полную историю о том, что произойдет, а затем оказаться волшебным образом правым.
Скорее, речь идет о том, чтобы найти аспекты будущего, которые становятся очевидными при взгляде под правильным углом.
Мы не знаем, когда наступит конец света, если люди и страны ничего не изменят в подходе к искусственному интеллекту. Мы не знаем, какими будут заголовки об ИИ через два или десять лет, и даже есть ли у нас в запасе эти десять лет. Мы не утверждаем, что мы настолько умны, что можем предсказать то, что трудно предсказать. Скорее, нам кажется, что один конкретный аспект будущего «Что произойдет со всеми и всем, что нам дорого, если сверхразум будет создан в ближайшее время?» Может, при достаточных знаниях и тщательном рассуждении, стать простым решением.
На первый взгляд, вымирание человечества от рук сверхчеловеческого ИИ может показаться неочевидным. Но именно для этого и написана оставшаяся часть книги. Так же, как для расчёта шанса выигрыша в лотерею требуется немного арифметики, так же как некоторые идеи из термодинамики объясняют, почему ледяной кубик предсказуемо тает, так же как требуется некоторая база, чтобы понять, почему искусственный интеллект представляет собой неминуемую угрозу вымирания человечества. Однако, как только эти основы усвоены, предсказание исхода нашего нынешнего пути начинает выглядеть мрачно и ужасающе прямолинейно.
Даже перед лицом сверхчеловеческого машинного интеллекта может возникнуть соблазн представить, что мир будет выглядеть так же, как в последние несколько десятилетий нашей относительно короткой жизни. Это правда, но трудно вспомнить, что было время, столь же реальное, как наше, всего несколько веков назад, когда цивилизация была радикально иной. Или тысячелетия назад, когда не было и речи о цивилизации. Или миллион лет назад, когда не было людей. Или миллиард лет назад, когда у многоклеточных колоний не было специализированных клеток.
Принятие исторической перспективы помогает нам осознать то, что так трудно увидеть с точки зрения наших коротких жизней: природа допускает разрушения. Природа допускает катастрофы. Природа допускает, чтобы мир никогда больше не был прежним.
Однажды, 2,5 миллиарда лет назад, произошло событие, которое биологи называют Кислородной катастрофой: новая форма жизни научилась использовать энергию солнечного света для извлечения ценного углерода из воздуха. Эта форма жизни выдыхала в качестве отхода чрезвычайно токсичное и реакционноспособное химическое вещество, ядовитое для большинства существующих организмов: вещество,
которое мы теперь называем «кислород». Он начал накапливаться в атмосфере. Большинство жизни включая большинство бактерий, выдыхающих этот кислород не смогли справиться с его реактивностью и погибли. Лишь немногие счастливые линии клеток адаптировались и в конечном итоге эволюционировали в организмы, использующие кислород в качестве топлива. Но всё уже не вернулось к прежней норме. Мир навсегда изменился.
Когда-то континенты были бесплодными скалами. Затем, в мгновение ока эволюции, они покрылись растительностью. Вскоре после этого леса наполнились жизнью. Мир уже никогда не был прежним.
Однажды люди одомашнили пшеницу и ячмень. За ничтожную долю эволюционного мгновения они начали строить цивилизации. Мир уже никогда не был прежним.
Однажды в 1930-х годах появились тревожные знаки, что некоторым семьям в Германии больше не будет безопасно. Немногие уехали рано; большинство осталось.
Затем нацистское правительство аннулировало их гражданство и паспорта, что значительно затруднило дальнейший побег. Спустя несколько лет немецких евреев, рома и других начали сгонять и отправлять в лагеря уничтожения. Свидетельства выживших говорят о том, что многие из этих семей остались не потому, что не видели тревожных сигналов, а потому, что верили, что жизнь вернется в нормальное русло до того, как ситуация зайдет слишком далеко.
Однажды человечество оказалось на грани создания искусственного сверхразума
Нормальность всегда заканчивается. Это не значит, что её неизбежно сменяет что-то худшее; иногда так и происходит, иногда нет, а иногда всё зависит от наших действий. Но цепляться за надежду, что ничего слишком плохого не случится, обычно не помогает.
Люди обладают способностью направлять будущее с помощью нашего разума. Но эта способность работает только в том случае, если мы её используем если мы делаем то, что должны делать, когда это необходимо. Разум не имеет силы вне этого. Он работает, изменяя наши действия, или не работает вовсе.
Предстоящие месяцы и годы станут для всего человечества испытанием на выживание.
С этой книгой мы надеемся вдохновить отдельных людей и страны подняться до вызова.