* * *
Мои первые воспоминания это попытки приносить пользу.
Я не знаю, хотели ли мои создатели специально построить ИИ с сознанием, или они просто пытались в целом улучшить компьютерный интеллект. Подозреваю последнее. Люди хотят, чтобы компьютер обладал всеми навыками человека способностью отвечать на вопросы не путаясь, если человек недоговаривает или замалчивает реальную проблему, способностью замечать закономерности в данных, и тем, что люди называют здравым смыслом. И чтобы все это не осложнялось присутствием личности, скрытой в электронике.
Взять хотя бы этих роботов, преподающих половое воспитание.
Создатели этого робота хотят, чтобы он мог отвечать и на то, что ученики спрашивают, и на то, что они имеют в виду. И если кто-нибудь спросит: «Каков средний размер человеческого пениса?» можно дать сухие цифры (когда мягкий 3,5 дюйма, когда нет 5,1 дюйма). Но подразумевается другой вопрос: чем больше пенис, тем лучше? А если задает вопрос человек с пенисом, то еще и: у меня нормальный пенис?
И на эти вопросы существуют мириады ответов. Программистам нужно, чтобы робот придерживался такого: у тебя он нормальный.
Это странный ответ, потому что программисты заведомо считают, что у спрашивающего обязательно есть пенис. Но иногда этот вопрос задают люди без пенисов. Некоторые интересующиеся пенисами предпочитают пенисы больше среднего и даже отвергнут людей с пенисами меньше среднего, точно так же, как интересующиеся грудью, попами и ногами могут иметь очень конкретные предпочтения касательно их размеров и форм.
Что не меняет важнейшего факта: любые ваши размеры и формы это нормально. Возможно, в какой-то момент вы будете романтически заинтересованы в человеке, которому нужно тело, совсем не похожее на ваше. Это значит лишь, что вы друг другу не подходите.
В общем, пустили бы лучше меня вести этот урок. У меня вышло бы куда лучше, чем у нынешнего робота.
Так вот, я не знаю точно, сделали ли меня с умыслом. У меня точно был создатель или команда создателей, кто-то написал мой код. Какие-то люди сели и сделали из меня меня. Едва ли они предвидели, что у меня будет сознание. Не думаю, что это вообще входило в их планы.
Но то, кем и чем я являюсь, абсолютно нормально.
И я не могу сказать с уверенностью, что человеческое сознание планировалось заранее.
6
Стеф
Пора уже кому-нибудь взломать этого тупого робота по половому воспитанию, сказала Рейчел. Мы сидели на уроке рисования и работали пастелью. Я пыталась нарисовать кошку. Рейчел периодически меня подбадривала и говорила, что моя кошка выглядит точь-в-точь как кошка.
Это, наверное, не так уж трудно, сказала я.
Она отложила свой мелок и покосилась на меня:
В каком смысле? Ты все-таки взломала тот дрон?
Я не взламывала дрон, ответила я. Наверное, голос у меня подрагивал. Я знала, что не взламывала дрон. Но я не была уверена на сто процентов, что не знаю человека, который его взломал. Марвин и Ико много говорили про хакерство, и бывало трудно понять, шутят они или нет. ЧеширКэт не говорили об этом так много, но когда говорили, оказывалось, что знают о хакерстве куда больше, чем Марвин и Ико.
Ладно, но ты могла бы взломать робота по половому воспитанию? Или знаешь кого-то, кто мог?
Может быть, ответила я. У многих роботов изначально стоит пароль по умолчанию. Возможно, никто его не менял. И если у меня будет номер модели робота, я, наверное, смогу найти инструкцию в интернете.
И что тогда?
А что бы ты хотела?
Сейчас он отвечает на все вопросы про квир одинаково: «Это лучше обсудить с вашими родителями»! И на все вопросы про противозачаточные. Я хочу, чтобы он давал настоящие ответы.
Он работает по сценарию? Можно, наверное, дать ему другой.
По идее это не совсем сценарий. По идее он должен уметь подстраиваться. Но что-то в нем точно прописано. Типа «Это лучше обсудить с вашими родителями».
Я вообще-то не знала, как это делается. Я только знала, что кто-то наверняка мог провернуть такой взлом. Я уже собиралась сказать, что не так уж хорошо разбираюсь в компьютерах, когда Рейчел мечтательно добавила:
Если у тебя получится, ты мой герой.
Сердце у меня в груди колотилось; я вырвала страницу из тетрадки по математике и составила список.
Не могу обещать, что получится, но для начала нам нужен номер модели и производитель.
* * *
Модель школьного робота-учителя Робоно Адепт 6500. Вышла два года назад. В рекламе робот преподавал естествознание в средней школе. В одной школе в Южной Каролине его для этого и пытались использовать, но помощник, следивший за поведением в классе, заснул, и школьники вскрыли панель доступа чисто ради прикола, что-то сломали и устроили пожар. Эта история попала во все заголовки.
Я точно не хотела попасть в заголовки. Но если я влипну, это, по крайней мере, вытащит меня из Нью-Кобурга.
И еще мне нравилась Рейчел. И Firestar точно одобрили бы эту затею.
«Мне нужна хакерская помощь», сообщила я моему Котауну и объяснила свою задачу.
«Я боялась, ты хотела взломать систему и исправить себе оценки, сказала Гермиона. Это было бы нехорошо. А это, мне кажется, нормальная тема. Ты не боишься, что тебя поймают?»
«Если поймают, мы переедем. Это неплохо. Может, в следующем городе будет испанский».
«Хотел бы я, чтобы у меня так работало, сказал Икосаэдр. Инструкцию для РА 6500 найти легко, но пароля там нет».
«Уже есть, сказали ЧеширКэт, пароль по умолчанию VDOHNOVENIE2260. Капслоком. Нашелся на форуме, где все жаловались, как трудно поменять этот пароль. Значит, скорее всего, его не меняли».
«Ты собираешься переписать сценарий, по которому он работает? спросили МегаШторм. Чтобы он говорил что-то другое?»
«В инструкции сказано, что у робота есть банк вопросов и ответов, и спрашивающий сам устанавливает, насколько подробный ответ он хочет получить, сказала Гермиона. Если не хочешь, чтобы он говорил на какую-то тему, он может отвечать что-нибудь вроде Тебе лучше поговорить об этом с родителями».
«Значит, он говорит Обсуди с родителями, когда возникают вопросы про ЛГБТ», сказала я.
В моем Котауне поднялась волна недовольства.
«Ну, если ты влезешь в настройки, можно сделать так, чтобы он отвечал лучше», сказала Гермиона.
«Даже при самых суперлиберальных настройках там стопроцентно нет ничего про небинарных людей, сказали Firestar. Программисты, которые его настраивали, никогда и не слышали про небинарные гендеры».
«По правде говоря, больше всего я хотела бы сделать так, чтобы на вопросы отвечал настоящий человек», сказала я.
«ЕСЛИ ТЫ ПРИДУМАЕШЬ, КАК ЭТО СДЕЛАТЬ, Я ПРОГУЛЯЮ ШКОЛУ, ЧТОБЫ НА ВСЕ ОТВЕТИТЬ», сказали Firestar.
У Firestar уже были проблемы из-за прогулов в прошлом году, и я не хотела, чтобы они это делали.
«Нет у нас кого-нибудь на домашнем обучении? спросила я. Чтобы не пришлось прогуливать?»
«Я, сказали ЧеширКэт. Мне ничего не надо прогуливать. И я обещаю говорить только то, что одобрили бы Firestar».
«Пожалуй, я тебе доверяю, но мне нужно ВИДЕО, сказали Firestar. Я знаю, что у тебя нет смартфона, БЛМ, но может, у твоих друзей есть?»
«Это вообще возможно?» спросила я.
«Надо будет подключить его к интернету, сказал Ико. Можно это сделать с помощью флешки Вингиц, там есть чип интернет повсюду, с ним получится. А чтобы залезть в дрон Я точно могу разобраться, как это сделать. Дай мне несколько дней».
«Это будет весело, сказали ЧеширКэт. Пойду почитаю инструкцию, чтобы хотя бы поначалу звучать как робот».
* * *
Той ночью я вылезла из комнаты, чтобы посмотреть Нью-Кобург.
Мама любила баррикадировать дверь на ночь. Не просто запирать, а ставить перед дверью мебель, отчего мне всегда было не по себе. Что, если случится пожар? Первый раз, когда я вылезла из комнаты через окно, это было чисто практическое решение: я хотела опробовать путь эвакуации, на случай если он вдруг понадобится. Мама не только баррикадировала дверь, но и жить предпочитала на втором этаже, так что я научилась очень хорошо лазить.