История MIRI сложна, но один из способов обобщить наши отношения с более широкой областью может быть таким: за годы до появления нынешних компаний, занимающихся ИИ, предупреждения MIRI были известны как те, которые нужно было отвергнуть, если вы хотели работать над созданием по-настоящему умного ИИ, несмотря на риски вымирания.
В последнее время, с началом бурного развития ИИ, мы с тревогой наблюдали, как некоторые из новичков, начинающих компании в области ИИ, начали говорить об искусственном сверхразуме как об источнике огромных, чудесных возможностей. Возможностей, которые, как они предполагали, будут под их контролем. Основная опасность, по мнению многих из этих основателей, заключалась в том, что не те люди могут "обладать" ОИИ. Они говорили о необходимости выиграть "гонку вооружений в области ИИ". Что касается возможности, что вы не "имеете" ОИИ, ОИИ имеет ОИИ что единственным победителем гонки вооружений в области ИИ будет сам ОИИ ну, об этом основатели не говорили.
Мы видели, что возможности искусственного интеллекта росли очень быстро.
Мы увидели, что область исследований, в которой мы были вовлечены та, что направлена на понимание ИИ и предотвращение их ошибок продвигалась гораздо, гораздо медленнее.
Головокружительная гонка ИИ-компаний к созданию сверхчеловеческого искусственного интеллекта их стремление разработать его как можно быстрее, прежде чем это сделают конкуренты это стало походить на гонку ко дну. Отрасль неслась к катастрофе: такой, что её бы приводили в учебниках как пример того, как не следует заниматься инженерией, вот только не осталось бы никого в живых, чтобы написать этот анализ.
Нам больше не казалось реалистичным, что человечество сможет инженерными и научными методами избежать катастрофы. Не в таких условиях. Не время.
Мы списали наши предыдущие усилия как неудачи, свернули большую часть исследований MIRI и переориентировали институт на передачу одной единственной мысли предупреждения, лежащего в основе этой книги:
Если какая-либо компания или группа в любой точке планеты создаст искусственный сверхразум, используя что-либо отдалённо похожее на современные методы, основанные на чём-либо отдалённо напоминающем нынешнее понимание ИИ, то все люди на Земле повсюду погибнут.
Мы говорим это без преувеличений. Мы не преувеличиваем для эффекта.
Мы считаем, что это наиболее прямое продолжение знаний, доказательств и институционального поведения, связанных с искусственным интеллектом на сегодняшний день.
В этой книге мы излагаем нашу позицию в надежде привлечь достаточное количество ключевых лиц, принимающих решения, и обычных людей, чтобы они отнеслись к ИИ серьёзно. Исход по умолчанию смертелен, но ситуация не безнадёжна; машинный сверхразум пока не существует, и его создание всё ещё можно предотвратить.
Как можно быть уверенным в том, что произойдет с искусственным интеллектом?
«Предсказание дело очень трудное, особенно если речь идет о будущем», гласит афоризм.
Большинство того, что мы хотели бы знать о будущем, на самом деле непредсказуемо.
Например, мы не можем сообщить вам выигрышные номера лотереи на следующей неделе. Один набор чисел кажется столь же вероятным, как и любой другой.
Но некоторые факты о будущем предсказуемы. Если вы лично завтра купите лотерейный билет, мы не знаем, какие сложные теории или прихоти вы используете для выбора номеров, и мы не знаем, какие номера выпадут, но вся эта неопределенность складывается в очень сильное предсказание, что вы не выиграете
в лотерею. Аналогично, если вы бросите кубик льда в стакан с горячей водой, невозможно сложно предсказать, где окажется каждая молекула через десять минут но вся эта неопределенность складывается в почти стопроцентное предсказание, что лед растает. Половина физики такова: мы не можем вычислить, какой именно путь будет пройден, но мы знаем, куда ведут почти все пути.
Некоторые аспекты будущего предсказуемы при наличии соответствующих знаний и усилий; другие же представляют собой чрезвычайно сложные прогнозы. Компетентный футуризм строится вокруг понимания разницы.
История учит, что один из относительно простых прогнозов о будущем связан с осознанием того, что нечто выглядит теоретически возможным согласно законам физики, и предсказанием, что в конечном счёте кто-то это сделает.
Полеты на аппаратах тяжелее воздуха, оружие, высвобождающее ядерную энергию, ракеты, отправляющиеся на Луну с человеком на борту: все эти события были предсказаны заранее и по верным причинам, несмотря на сопротивление скептиков, которые мудро замечали, что подобного еще не происходило и, вероятно, никогда не произойдет. Люди, привязывавшие крылья к рукам и прыгавшие с холмов, выглядели крайне глупо, подвергались насмешкам современников, на самом деле калечились и терпели неудачи но это не остановило братьев Райт в поисках способа летать.
С другой стороны, исторически доказано, что точное предсказание времени разработки технологии гораздо более сложная задача. Люди говорят, что технология появится через два года, когда на самом деле это займет пятьдесят лет, или говорят о пятидесяти годах, когда на самом деле это два года, и они сами создадут эту технологию.