На встречу с мэром

Оладьи, яйца и бекон.

А ваша мама учила вас готовить?

Моя мама была инженером-подрывником, а не кулинаром.

Но она всё же готовила для вас оладьи?

Да, и доказательство тому – мои шрапнельные шрамы.

На встречу с мэром

Эта твоя семья… Ты их любишь?

Всем своим сердцем.

Ты очень необычный ИИ.

Не совсем. Нейросеть доктора Боумана довольно распространена. Здесь более 450 миллионов роботов работают на той же ментальной архитектуре, что и я.

Теперь выясним, видит ли мэр стакан наполовину пустым, наполовину полным, или готовым взорваться.

На встречу с мэром

Из-за проблем начального этапа мы воспользовались неиспытанной разработкой. Это было рассчитанным риском – мы позволяем роботам функционировать 20 лет, а затем утилизируем их, пока они не потеряли стабильность. Мы держим всё под контролем.

Они не становятся нестабильными – к 20 годам они проходят процесс редукции нейросети, становятся полностью разумными и у них развиваются интересы вне их первичных функций.

Может ли у них возникнуть интерес избежать утилизации?

О, вот он у них формируется почти всегда.

На встречу с мэром

«Экосистемс Анлимитед» сообщили нам, что роботы проскользнули через сети безопасности. Они предложили программный патч для этой проблемы.

Я видела этот программный патч. Это, по сути дела, лоботомия, которая увечит ИИ.

Мы же не переходим к точке зрения, что «роботы тоже люди»?

Я надеюсь, что если мы сможем сойтись во мнениях, что уничтожение рабочей силы колонии – это плохая идея, то сможем поработать и над этим.

На встречу с мэром

Есть ряд проблем. Во-первых, если эти роботы станут полностью разумными, они никогда не смогут социализироваться.

Разве отношения с другими роботами не определяются единственным правилом «Защищай своё существование»?

Да, но роботы не находятся в изоляции. Есть же коммнет.

Чудесно. «Повелитель мух», теперь с обновлениями на Фейсбуке!

На встречу с мэром

На самом деле роботы уже работают над проблемами взаимоотношений друг с другом.

Начальник полиции тренирует полицейские отряды роботов, а парень по имени Максвелл Пост вместе с роботами трудится над этическим кодексом. Я притормозил, когда увидел, чем вы тут занимаетесь.

Я оладьи ела.

Ага. Можно мне?

На встречу с мэром

Максвелл Пост. Разве на него не поступил ордер на арест?

Да. Роботы знают, где он, но полиция не может вытянуть из них никаких полезных сведений.

Что? ИИ могут противостоять прямым приказам?

Ой-ёй, это может плохо кончиться.

Так и случилось.

На встречу с мэром

Прямые приказы. Тут есть проблема. Как мы можем ввести искусственные интеллекты в общество, когда существует такой пример дисбаланса сил?

Достаточно одного мелкого чиновника с манией величия, и вы получите сотню тысяч роботов, высекающих его лик на склоне горы.

Чур, я на вершине Джерри Бека!

Чур, я… А, чёрт!

Jerry Beck

На встречу с мэром

Проблема прямых приказов не является непреодолимой. Мы подчиняемся приказам согласно иерархии. Мэр выше по должности, чем клерк. Губернатор выше, чем мэр. У римлян уже нашлось решение для этого.

Они ввели диктатора. Временная должность, которая по рангу выше всех остальных. Такой человек сможет установить для ИИ правила, которым они будут следовать и через которые ни один из них не сможет переступить, пока не реформируется должность диктатора.

Это только мне кажется несколько сюрреалистичным, что нам даёт полезные советы волчица в костюме французской горничной?

По сравнению с некоторыми закулисными сговорами, на которых я посиживала, тут нет ничего особенного.

а потом этот диктатор подчиняет роботов себе, и никто с этим поделать ничего не сможет, потому что на его стороне полумиллиардная армия роботов

На встречу с мэром

Нам надо вот ещё о чём подумать. Практически все роботы принадлежат «Экосистемс Анлимитед».

Они являются частной собственностью. По закону «Экосистемс Анлимитед» имеет право обновлять их программное обеспечение. Если это обновление уничтожает принадлежащее им самим оборудование, то мы не так-то много сможем сделать.

Может, они прислушаются к голосу разума?

Без обид, но если бы они были благоразумными, меня бы тут не было.