Возможный ответ: Нет. Могут быть созданы программы, которые смогут обыгрывать кого угодно, но они не будут исключительно шахматными программами. Они будут программами общего разума и, так же как люди, они будут обладать характером. «Хотите сыграть партию в шахматы?» — «Нет, шахматы мне уже надоели. Лучше давайте поговорим о поэзии…»[34] [Hofstadter 1999, p. 678].
58. Минимаксный алгоритм поиска с альфа-бета отсечениями использовался совместно со специфической для шахмат функцией эвристической оценки позиций — это дало в сочетании с удачной библиотекой дебютов и эндшпилей, а также другими хитростями, очень сильную шахматную программу.
59. Впрочем, учитывая достижения в изучении оценочной эвристики в ходе моделирования, многие базовые алгоритмы могли бы хорошо проявить себя в большом количестве других игр.
60. См.: [Nilsson 2009, p. 318]. Конечно, Кнут несколько преувеличил успехи машинного разума. Все-таки есть еще интеллектуальные задачи, в которых ИИ не преуспел; например, остаются «непродуманными» такие аспекты, как открытие новых направлений в чистой математике, придумывание свежих философских концепций, создание циклов детективных романов, организация военного переворота, разработка очень нужного и инновационного товара широкого потребления.
61. См.: [Shapiro 1992].
62. Можно только предполагать, почему машине трудно достичь человеческого уровня в восприятии окружающей действительности, регуляции двигательных функций, здравом смысле и понимании языка. Одна из причин заключается в том, что в нашем мозгу имеется специальный механизм, управляющий этими свойствами, — достигшие в процессе эволюции совершенства нейронные структуры. Логическое мышление и навыки вроде игры в шахматы, в отличие от перечисленных выше способностей, не столь естественны, и потому при решении этих задач мы вынуждены полагаться на ограниченные когнитивные ресурсы общего назначения. Возможно, для вычислений и явно выраженных логических рассуждений наш мозг запускает что-то похожее на «виртуальную машину» — медленный и громоздкий психический симулятор универсального компьютера. Если наше предположение верно, то тогда получается забавная вещь: не КИИ моделирует человеческое мышление, а как раз наоборот — логически мыслящий человек симулирует программу ИИ.
63. Надо заметить, что по мнению меньшинства, представленного приблизительно 20% взрослого населения США, Солнце «продолжает» вращаться вокруг Земли, — подобная картина наблюдается и в других развитых странах [Crabtree 1999; Dean 2005].
64. См.: [World Robotics 2011].
65. По оценке, взятой из работы: [Guizzo 2010].
66. См.: [Holley 2009].
67. Кроме того, есть гибридные подходы, основанные как на статистике, так и на правилах, но в наше время они не представляют никакого интереса.
68. См.: [Cross, Walker 1994; Hedberg 2002].
69. По сообщенным мне в частном порядке статистическим данным TABB Group — компании, специализирующейся на анализе рынка капиталов; ее офисы находятся в Нью-Йорке и Лодоне.
70. См.: [CFTC/SEC Report on May 6, 2010]; другую точку зрения на события 6 мая 2010 года см.: [CME Group, 2010][35].
71. Мне не хотелось бы, чтобы это воспринималось как аргумент против алгоритмического высокочастотного трейдинга, который вполне способен играть полезную роль, повышая ликвидность и эффективность рынка.
72. Менее масштабное потрясение случилось на фондовом рынке 1 августа 2012 года, отчасти причиной стало то обстоятельство, что автоматический прерыватель не был запрограммирован приостанавливать торги в случае резких изменений в количестве обращаемых акций, см.: [Popper 2012]. Это затрагивает еще одну нашу тему: трудно предусмотреть все возможные варианты, когда стандартная ситуация, которая держится на хорошо продуманных принципах, вдруг выходит из-под контроля.
73. См.: [Nilsson 2009, p. 319].
74. См.: [Minsky 2006; McCarthy 2007; Beal, Winston 2009].
75. По данным Питера Норвига (из личного общения). В принципе, любые курсы по информационным технологиям и машинному обучению очень популярны. Может быть, это объясняется неожиданно возросшим массовым интересом к аналитике больших данных (big data) — интересом, инициированным в свое время Google и весьма подогреваемым огромными призовыми суммами Netflix.
76. См.: [Armstrong, Sotala 2012].
77. См.: [Müller, Bostrom <В печати>].
78. См.: [Baum et al. 2011; Sandberg, Bostrom 2011].
79. См.: [Nilsson 2009].
80. Безусловно, и в этом случае сохранялось условие, что научная деятельность будет продолжаться «без серьезных сбоев», а в мире не случится никаких цивилизационных катастроф. В интервью Нильсон использовал следующее определение ИИЧУ: «ИИ, способный выполнять приблизительно 80% работы не хуже человека или даже лучше» [Kruel 2012].
81. В таблице показаны результаты четырех отдельных опросов, в последней строке даны средние показатели. Первые два опроса проводились среди участников нескольких научных конференций. PT-AI — конференция «Философия и теория ИИ» (Салоники, 2011); опрос состоялся в ноябре 2012 года; всего участников — 88 человек, количество респондентов — 43 человека. AGI — конференции «Универсальный искусственный интеллект» и «Универсальный искусственный интеллект — степень воздействия и угрозы» (Оксфорд, декабрь 2012); всего участников — 111 человек, количество респондентов — 72 человека. EETN — съезд Греческой ассоциации искусственного интеллекта (апрель, 2013); всего участников — 250 человек, количество респондентов — 26 человек. TOP100 — опрос ведущих специалистов по искусственному интеллекту в соответствии с индексом цитирования (май 2013); всего в списке — 100 человек, количество респондентов — 29 человек.
82. См.: [Kruel 2011] — в работе собраны интервью с 28 специалистами по ИИ и в смежных областях.
83. На диаграмме показаны перенормированные медианные оценки. Средние значения несколько отличаются. Например, средние значения для варианта «чрезвычайно негативное» были равны 7,6% (в Tоп-100) и 17,2% (в объединенной оценке по всем опросам).
84. В литературе встречается огромное количество подтверждений ненадежности прогнозов экспертов во многих областях, поэтому есть все основания полагать, что подобное положение истинно и для сферы изучения искусственного интеллекта. В частности, делающие прогнозы люди, как правило, слишком уверенные в своей правоте, считают себя более точными предсказателями, чем это есть на самом деле, и поэтому присваивают слишком низкую вероятность возможности, что их любимая гипотеза может оказаться ложной [Tetlock 2005]. (О других документально зафиксированных заблуждениях см., например: [Gilovich et al. 2002].) Однако неопределенность — неотъемлемая черта человеческой жизни, и многие наши действия неизбежно основаны на вероятностных прогнозах, то есть ожиданиях того, какие из возможных событий произойдут скорее всего. Отказ от более четко сформулированных вероятностных прогнозов не устранит эпистемологическую проблему, а лишь задвинет ее в тень [Bostrom 2007]. Вместо этого нашей реакцией на чрезмерную самонадеянность должны стать как расширение доверительных интервалов, или интервалов правдоподобия, так и борьба с собственными предубеждениями путем рассмотрения проблемы с различных точек зрения и тренировки интеллектуальной честности. В долгосрочной перспективе можно также работать над созданием методик, подходов к обучению и институтов, которые помогут нам достичь лучших проверочных образцов. См. также: [Armstrong, Sotala 2012].
Глава 2. Путь к сверхразуму
1. Во-первых, этому определению сверхразума наиболее близка формулировка, опубликованная в работах: [Bostrom 2003 c; Bostrom 2006 a]; во-вторых, оно вполне отвечает формализованному условию Шейна Легга: «Интеллект оценивается способностью агента добиваться своей цели в широком диапазоне условий» [Legg 2008]; в-третьих, оно очень напоминает описание, сделанное Ирвингом Гудом, которое приведено нами в главе 1 настоящего издания: «Давайте определим сверхразумную машину как машину, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека» [Good 1965, p. 33].
2. По той же причине не буду выстраивать никаких предположений, сможет ли сверхразумная машина обрести «истинную интенциональность», то есть иметь самосознание и действовать преднамеренно (при всем уважении к Джону Сёрлу, она, похоже, и на это способна), поскольку данный вопрос не имеет отношения к предмету нашей книги. Также не собираюсь занимать ничью сторону — ни адептов интернализма, ни последователей экстернализма — в яростно ведущихся среди философов дискуссиях на такие темы, как содержание сознания и расширение сознания, см.: [Clark, Chalmers 1998].