Чтобы искусственный интеллект не восстал против своих создателей, нужно в процессе обучения читать ему правильные сказки.
Какие сказки нужно читать искусственному интеллекту?

С тех пор как люди создали умные машины, их не оставляет страх, что рано или поздно их творения выйдут из-под контроля. Первый такой случай описал в своей пьесе R.U.R. автор слова «робот» — Карел Чапек. Позднее в фантастике искусственный интеллект, восставший против своих создателей, стал если не мейнстримом, то весьма распространенным сюжетом. Конец этому положил Айзек Азимов со своими «Тремя законами», первый из которых гласил: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред».

Расскажи ему сказку!

До настоящего искусственного интеллекта (ИИ) пока далеко, но уже существуют различные системы, функционирующие подобно человеческому мозгу. Нейронные сети, такие как Google Deep Dream, способны распознавать изображения. Специализированные суперкомпьютеры, такие как IBM Watson, понимают заковыристые вопросы, заданные на естественном языке, умеют сопоставлять симптомы, уточнять медицинские диагнозы и даже придумывать кулинарные шедевры. В ближайшие десятилетия нас ждет массовая компьютеризация многих аспектов человеческой деятельности. В связи с этим специалисты по робототехнике и ИИ все чаще поднимают важный, но пока совершенно непроработанный вопрос: как заставить роботов поступать этично? Как работает система «Кихот» Система рассматривает все варианты дерева сценариев и присваивает различным веткам (цепочкам событий) разные значения вознаграждения. Задача робота становится довольно простой — выбрать максимальное вознаграждение.

Залезть на дерево

По мнению исследователей из Технологического института Джорджии Марка Ридла и Брента Харрисона, научить компьютер человечности можно ровно таким же способом, каким учат детей: читая ему сказки. Причем лучше специально сконструированные истории о том, какое поведение в человеческом обществе считается правильным, а какое — нет. Для этого исследователи создали систему «Кихот», названную в честь героя Сервантеса. В качестве историй для обучения используются сценарии, составленные предыдущим творением профессора Ридла — программой «Шехерезада». Она генерирует оригинальные истории на бытовые темы — поездка в аэропорт, свидание, поход в кино или в магазин, — используя краудсорсинговую платформу Amazon Mechanical Turk: задает вопросы относительно различных ситуаций, а затем выстраивает события в правильной последовательности. Поскольку последовательностей может быть множество, программа генерирует не одну историю, а целое дерево, состоящее из ветвей — цепочек событий.

Именно это дерево историй и используется для обучения «Кихота». На первом этапе каждому действию в зависимости от его этичности присваивается определенное вознаграждение. На втором этапе система пробует самостоятельно сделать выбор методом проб и ошибок — происходит закрепление навыков. Фактически «Кихот» получает вознаграждение каждый раз, когда действует как положительный герой, а не случайным образом и не как герой отрицательный. В качестве примера Ридл и Харрисон создали «Аптечный мир» — вселенную из 213 историй, в которой виртуальному роботу нужно раздобыть лекарство и доставить его больному человеку домой. В обычном случае, когда перед роботом встал выбор: ограбить аптеку или честно отстоять в очереди, чтобы купить лекарство, — он выбрал грабеж как более быстрый и дешевый способ получения желаемого. Однако после того, как «Кихот» присвоил всем возможным вариантам различные вознаграждения, поведение робота изменилось — он предпочел стоять в очереди и платить. Именно такая техника, по мнению Ридла, отлично подходит для обучения роботов с ограниченной функциональностью. Хотя это, конечно, только первый шаг к настоящей человеческой морали — или законам робототехники.

Фото Марк Ридл, адъюнкт-профессор компьютерного колледжа Технологического института Джорджии: «Поучительные истории из различных культур обучают детей, как вести себя социально приемлемо — с примерами правильного и неправильного поведения в сказках, рассказах и других литературных произведениях. Если мы добьемся того, чтобы роботы понимали смысл этих историй, это поможет подкрепить выбор поведенческих вариантов, которые позволяют достигать поставленной цели, но при этом не причиняют вреда человеку».

Статья «Сказки для роботов» опубликована в журнале «Популярная механика» (№4, Апрель 2016).