Элиезер Юдковский - Если кто-то это построит, все умрут стр 6.

Шрифт
Фон

В отличие от этого, чтобы измерить, успешно ли кто-то управлял, мы должны привнести некоторое представление о том, куда они пытались направиться.

Машина человека, оказавшаяся у супермаркета, отличная новость, если он хотел купить продукты. Это провал, если он пытался добраться до отделения скорой помощи в больнице.

По мере того как два жителя одного города становятся умнее, можно ожидать, что они будут всё больше сходиться во мнениях по вопросам прогнозирования например, о том, бывают ли пробки на Второй улице в 17:00 по будням. Но не стоит ожидать, что они начнут

направляться в одни и те же места: один человек может предпочитать посещать парк, а другой театр.

Или, иными словами, разумные умы могут направляться к разным конечным целям, и это не является недостатком их интеллекта.

Предсказание и управление не уникальные функции биологических разумов; машины тоже могут это делать. Но на сегодняшний день люди остаются лучшими на планете в

Что именно? Люди больше не являются чемпионами мира по шахматам.

Люди больше не являются единственными на планете пользователями языка. Люди больше не уникальны в способности читать медицинскую карту или диагностировать опухоль.

Люди по-прежнему остаются чемпионами в чём-то более глубоком но теперь это особенное "что-то" требует больше усилий для описания, чем раньше.

Нам кажется, что у людей всё ещё есть преимущество в том, что можно назвать «универсальностью». Что именно это означает? Мы бы сказали: интеллект более универсален, когда он способен предсказывать и управлять в более широком спектре областей.

Люди не обязательно лучшие во всем; возможно, мозг осьминога лучше справляется с управлением восемью щупальцами. Но в более широком смысле кажется очевидным, что люди более универсальные мыслители, чем осьминоги. У нас есть более широкие области, в которых мы можем успешно предсказывать и управлять.

Некоторые ИИ превосходят нас в узких областях. В 1997 году суперкомпьютер IBM Deep Blue стал первой машиной, победившей человека чемпиона мира в шахматном матче. Deep Blue был очень искусен в предсказании и управлении, когда дело касалось шахмат. Но Deep Blue не мог предсказать, как добраться до продуктового магазина и купить молоко, не говоря уже о том, чтобы управлять туда автомобилем. Разум может быть более или менее искусным в различных областях предсказания и управления.

Новые ИИ обладают гораздо более широкими способностями. Вы можете спросить у модели OpenAI под названием «o1», какой была бы температура на Земле, если бы солнечный свет изменился на инфракрасный, и o1 вычислит ответ, проводя физические расчёты. Затем вы можете спросить, сможет ли человечество выращивать пищу в этом новом мире, и o1 ответит, основываясь на своих знаниях в области биологии растений.

Он не переключается между двумя различными базами данных под капотом; он просто знает и физику, и биологию.

OpenAI o1 знает, что существует целый мир и способен рассуждать о нём. Deep Blue не имел об этом представления. Потребовались десятилетия, чтобы ИИ достиг такого уровня.

Тем не менее, в некотором смысле, общие способности к рассуждению o1 не соответствуют человеческим стандартам. Люди по-прежнему лидируют в области технологий и науки; крупные прорывы создаются исследователями-людьми, а не ИИ (пока что). Более того, по крайней мере для нас, авторов, всё ещё кажется, что o1 менее умен, чем даже те люди, которые не совершают крупных научных прорывов. Все сложнее точно определить, чего именно ему не хватает, но тем не менее у нас есть ощущение, что, хотя o1 знает и помнит больше, чем любой отдельный человек, он все же в каком-то важном смысле остается «поверхностным».

По сравнению с двенадцатилетним ребёнком.

Это не останется правдой навсегда. Трудно предсказать, как быстро будет развиваться ИИ, и трудно предсказать, какой путь он выберет, но конечный результат очевиден, потому что в рамках технологических ограничений у машин есть множество преимуществ перед биологическими мозгами.

Вот несколько примеров:

Чистая скорость. Транзисторы, базовые строительные блоки всех компьютеров, могут включаться и выключаться миллиарды раз в секунду; в отличие от них, необычно быстрые нейроны срабатывают всего сто раз в секунду.

Даже если бы потребовалось 1 000 транзисторных операций для выполнения работы одного нейронного импульса, и даже если бы искусственный интеллект был ограничен.

Для современного оборудования это означает, что мышление человеческого уровня можно эмулировать в 10 000 раз быстрее на машине не говоря уже о том, что ИИ сможет делать с улучшенными алгоритмами и усовершенствованным "железом". Для разума, который предсказывает и управляет миром как минимум в 10 000 раз быстрее, чем любой человек, люди будут казаться не более чем статуями, действующими так медленно, что произносят примерно одно слово в час.

Способность копировать и вставлять. В современном мире требуется двадцать или более лет, чтобы вырастить одного нового человека и передать ему крошечную долю всех человеческих знаний. И даже тогда мы не можем передавать успешные навыки мышления целиком между человеческими

Ваша оценка очень важна

0
Шрифт
Фон

Помогите Вашим друзьям узнать о библиотеке