Введение: Сложные и простые решения
В начале 2023 года сотни специалистов по искусственному интеллекту подписали открытое письмо, состоявшее из одного предложения. Среди подписавшихся были некоторые из самых титулованных исследователей в этой области, включая нобелевского лауреата Джеффри Хинтона и Йошуа Бенджио, получивших премию Тьюринга за изобретение глубокого обучения.
Мы Элиезер Юдковски и Нейт Соарес также подписали письмо, хотя считали его сильным преуменьшением.
Нас, как и других подписантов, беспокоили не ИИ 2023 года. Не беспокоят нас и те ИИ, которые существуют сейчас, в начале 2025 года.
Современные ИИ всё ещё кажутся поверхностными, в каком-то глубоком смысле, который трудно описать.
У них есть ограничения, например, неспособность формировать новые долговременные воспоминания. Эти недостатки достаточно серьёзны, чтобы помешать таким ИИ проводить значимые научные исследования или заменять значительное количество рабочих мест, занимаемых людьми.
Наша озабоченность связана с тем, что будет дальше: машинный интеллект, который по-настоящему умен, умнее любого живого человека, умнее человечества в целом. Мы обеспокоены ИИ, который превосходит человеческую способность мыслить, обобщать опыт, решать научные загадки и изобретать новые технологии, планировать, разрабатывать стратегии и замыслы, а также размышлять и совершенствовать себя. Такой ИИ мы можем назвать «искусственным сверхразумом» (ИСР), когда он превзойдет каждого человека практически в каждой умственной задаче.
ИИ еще не достиг совершенства. Но сегодня ИИ умнее, чем в 2023 году, и намного умнее, чем в 2019. Исследования в области ИИ привели к скачкам за скачками в возможностях ИИ в 2012[В 2012 году AlexNet проломил проблему распознавания объектов на изображениях.], 2016[Альфаго победила лучшего игрока в го среди людей в 2016 году.], 2020[(Чисто предсказательная) языковая модель GPT-3 была выпущена в 2020 году.] и 2022[Широко полезный ChatGPT появился в 2022 году.].
И 2024 [В 2024 году модели рассуждений начали решать математические, кодировочные и визуальные головоломки.] Мы не знаем, иссякнет ли прогресс, что приведёт к временной остановке этих скачков до изобретения новых методов и технологий.
Мы не знаем, сколько шагов осталось до того, как ИИ станет угрозой вымирания, о которой предупреждали подписанты письма. Но история раз за разом показывает, что исследователи ИИ изобретают новые методы и преодолевают старые препятствия. Прогресс часто оказывается удивительно быстрым. Большинство компьютерных учёных в 2015 году сказали бы вам, что искусственный разговор на уровне ChatGPT будет недостижим ещё тридцать или пятьдесят лет.
Мы не знали, когда появится искусственный сверхразум, но согласились, что это должно быть глобальным приоритетом. Фактически, мы считаем, что открытое письмо сильно недооценивает проблему.
Нас пригласили подписать это одностройное открытое письмо в нашем качестве сопредседателей Института исследования машинного интеллекта (MIRI), некоммерческой организации. MIRI занимался вопросами, связанными со сверхразумом машин, с 2001 года, задолго до того, как эти проблемы получили широкую огласку или финансирование. Упрощенно говоря: среди немногих, кто следил за этой темой десятилетиями, MIRI признан как организация, работающая над ней дольше всех. Один из нас, Юдковски, является основателем MIRI; другой, Соарес, его нынешний президент.
MIRI была первой организованной группой, которая заявила: «Сверхразумный ИИ неизбежно будет разработан в какой-то момент, и это кажется чрезвычайно важным событием. Может оказаться технически сложным сформировать сверхразум так, чтобы он помогал человечеству, а не вредил нам. Неужели кто-то не должен начать работу над этой задачей прямо сейчас, вместо того чтобы ждать, пока всё превратится в масштабную чрезвычайную ситуацию позже?»
Мы не начинали с этого. Юдковский изначально пытался создать сверхразумные машины в 2000 году. Но в 2001 году он осознал, что они не обязательно окажутся дружелюбными. А в 2003 году он понял, что эта проблема будет сложной.
В течение первых двух десятилетий MIRI был техническим исследовательским институтом с минимальным вовлечением в политику. Организация в основном проводила семинары для заинтересованных учёных и предоставляла площадку
для нескольких перспективных исследователей.
Мы пытались разобраться в математике для понимания и формирования сверхчеловеческого машинного интеллекта, а также для прогнозирования того, как он может пойти не так.
MIRI также оказал некоторые побочные эффекты, к которым мы сейчас относимся с неоднозначностью или сожалением. На организованной нами конференции мы познакомили Демиса Хассабиса и Шейна Легга, основателей того, что впоследствии стало Google DeepMind, с их первым крупным инвестором. А Сэм Альтман, генеральный директор OpenAI, однажды заявил, что Юдковски «заинтересовал многих из нас в ОИИ»[AGI означает Искусственный общий интеллект термин, используемый для обозначения ИИ, который «по-настоящему умные» в отличие от узкоспециализированных ИИ прошлого. Мы избегаем этого термина в книге, поскольку после появления таких ИИ, как ChatGPT, люди сильно расходятся во мнениях о том, что он означает.] и «был решающим в решении о создании OpenAI.» [Если это правда, то несмотря на возражения Юдковского, что OpenAI была ужасной, ужасной идеей.]