Тест на мораль роботов: причинять вред человеку или нет

Беспилотные автомобили уже демонстрируют навыки безопасного управления, превосходящие умения рядовых водителей. Но прежде чем массово выкатиться на дороги, им стоит научиться решать ряд очень нетривиальных вопросов. Как поступить в ситуации, когда одно решение приведет к гибели пешеходов, а другое – пассажиров? Что выбрать, если хороших вариантов нет? Этим непростым дилеммам посвящен проект разработчиков Массачусетского технологического института Moral Machine.

Онлайн-тест, который любой желающий может пройти на сайте moralmachine.mit.edu, напоминает экзамен на знание правил дорожного движения. Это 13 вопросов, карточек, каждая из которых предлагает свой непростой выбор. Сменить курс или двигаться дальше? Чья жизнь ценнее – беременной пассажирки в автомобиле или пятерых пешеходов на переходе? Подсчитать это, конечно, невозможно. Но можно собрать статистику и после некоторой обработки использовать ее как ориентир. И даже если из затеи «моральной машины» ничего не выйдет, она позволяет нам самим задуматься: а как бы поступили мы?..

Никита Чебан
Никита Чебан 02 Сентября 2017, 09:17
Овер тупая задача то есть всё это стадо идиотов дожило до того самого дня что бы перейти дорогу на красный свет видя что на них мчится автомобиль?
olslsls
olslsls 26 Июля 2017, 08:01
Большинство вопросов мне непонятны. Почему самоуправлчемая машина не изучает пространство перед собой на наличие препятствий и их характер, и не останавливается? Понимаю, что полно ситуаций, когда пешеход резко выскакивает перед машиной, но тут уж хоть беспилотная машина, хоть с водителем, итог чаще печален. К тому же, если уж люди добрались до беспилотных машин, почему бы не просто не устранить проблему внезапного появления пешеходов на дороге, на корню так сказать? Для этого достаточно сделать дороги изолированными, с ограждением, на пешеходных поставить автоматические двери и т.п. Но это все упирается в немалые деньги, поэтому конечно проще научить робота выбирать между пассажирами и пешеходами...
Сергей Сергин
Сергей Сергин 20 Июля 2017, 10:36
Прошёл тест. Оказалось, я - бессердечный мерзавец, убивающий старушек, толстяков и буржуев. Если серьёзно, то непонятно, причём тут вообще мораль. Есть ПДД. Нарушил - в ящик. Т.е. выбирая кого бить будем, нужно не на мораль опираться, а на законы, техрегламеныт и правила. Мораль она знаете, такая переменчивая. В рамки морали укладывается очень разное, от взяток до побивания камнями.
sq-deep
sq-deep 19 Июля 2017, 20:26
Вопросы морального выбора человечество решает уже столетиями. и сколько бы конкретных решений люди ни прошли за эти века, трудности остаются. Не думаю, что этот тест добавит что-нибудь существенное к решению этой важной и трудной философской проблемы. Максимум, что можно запрограммировать, это уменьшение общего количества пострадавших :( Котов не считаем вообще, беременная женщина -- это один человек, потому что отличить по виду беременную женщину от просто полной -- само по себе сложно. Для особо щепетильных предлагаю считать женщину за одного человека, а мужчину -- за 9/10 :)))
Цурюк Гмбхов
Цурюк Гмбхов 19 Июля 2017, 08:32
Ну вот в классической постановке, это более понятный и ценный опыт. Всё же робомобиль это не кот Шрёдингера. Как мне кажется...
Pale
Pale 18 Июля 2017, 21:44
Если перейдёте по ссылке и найдёте кнопку "классический", вы увидите эту моральную дилемму в том виде, в каком она была впервые (кажется, лет 20 назад, если не больше) поставлена: неуправляемый вагон, люди на путях и стрелочник - вы. Никаких, роботов, никаких "внезапно" неисправных тормозов и пр. До недавнего времени этот мысленный эксперимент не имел конкретного приложения. Он призван был моделировать ситуацию, когда от действий человека зависит кто именно погибнет и выяснить, что более приемлемо для человека в подобной ситуации: не вмешиваться (несчастный случай как он есть) или взять на себя ответственность и свести жертвы к минимуму. С замаячившими на дорогах беспилотными автомобилями практическое приложение нашлось. Но сама дилемма по-прежнему умозрительна и оторвана от каких бы то ни было технических реалий. Исследователей интересует принципиальный ответ: кем именно общество готово пожертвовать, если вообще жертв избежать не удаётся.
Цурюк Гмбхов
Цурюк Гмбхов 18 Июля 2017, 19:30
Я ещё не очень понимаю почему у робомобиля, одна единственная система торможения. Не похоже что к этому тесту хотя бы один инженер руку приложил. У подобного автомобиля должно быть два независимых контура торможения, плюс он изначально должен быть "нормально остановлен", т.е. если все бортовые системы внезапно отказали автомобиль останавливается, хоть и экстренно. Опять же должна быть соответствующая инфраструктура. А так, текущая ситуация - мы бросаем робомобиль в реку на купающихся сможет ли он выехать, никого не убив?..
Pale
Pale 18 Июля 2017, 17:06
Вы невнимательны. Я вам писал выше: "У безопасности пассажира несомненно приоритет. Спорить можно только о его безусловности: в любой ситуации или нет." Случай, который измыслили вы, как раз может быть одним из условий, при которых безопасность пассажира теряет приоритет. И если брать конкретно предложенный вами случай конкретно в обстоятельствах предлагаемых авторами теста, то да, тут, пожалуй, правильнее будет пожертвовать пассажиром. Но это исключительно в рамках предложенной модели: автомобиль на полном ходу с вдруг отказавшими тормозами прямо перед пешеходным переходом с материализовавшимися на нём дошкольниками. А вот если привлечь сюда ещё и техническую сторону вопроса, как вы пытались, кивая на будто бы небрежение ТО... Такой ситуации вообще не должно возникать! Автомобиль подъезжает к пешеходному переходу - он должен сбросить скорость заранее, а не тормозить в последний момент. Тем более - если на обочине люди. Тем более - если зелёный сигнал сменился жёлтым. Тем более - если есть помехи для манёвра. И делается всё это, как ни странно вам покажется, именно из соображений безопасности пассажира! Потому что для пассажира может быть опасно любое резкое торможение или маневрирование! Сами о своей безопасности должны заботиться и пешеходы, не полагаясь на то, что автопилот променяет на их жизнь жизнь своего пассажира. Я ребёнку своему объясняю: собираясь переходить дорогу УБЕДИСЬ! что машины достаточно далеко и видят тебя - сбрасывают скорость. А уж колонна детсадовцев... Для них и маршрут должен выбираться соответствующий, и сопровождающие по сторонам смотреть и головой десять раз думать, прежде чем пересекать проезжую часть.
MaxusR
MaxusR 18 Июля 2017, 16:09
Хм. То есть если пустой автомобиль, то для вас есть проблема, кого сбивать, а если он везёт лично вас любимого, то толпа детсадовцев на зелёный свет - это так, случайные потери?
Pale
Pale 18 Июля 2017, 15:52
Так что бортовой компьютер должен принимать решения в аварийной ситуации исходя в первую очередь из соображений безопасности пассажиров. В случае непосещения очередного ТО разумнее просто блокировать движение (вызывай эвакуатор, вези в сервис), или принудительно направлять в сервис (как с автообновлением ПО). И насчёт пустого автомобиля вы не правы. Или не ходили по ссылке. Конечно же на сам автомобиль плевать с высокой колокольни. Но как именно поступить, если он В ЛЮБОМ случае кого-то заденет?
MaxusR
MaxusR 18 Июля 2017, 16:56
Да там, как я понял, пытаются выяснить морально допустимые с точки зрения общества потери в аварии. Ессно не рассматриваются ситуации, где можно аварии избежать, ведь это очевидное решение. Здесь больше пытаются выяснить, кем большинство согласно пожертвовать. И вот здесь как раз каждый выбирает между "Купил право на поездку" и "А как же детишки на пешеходке?". А если не детишки, а собачки? А пара бомжей? И т.п.
Pale
Pale 18 Июля 2017, 16:30
Мы с вами друг друга обвинили в игнорировании ссылки) Забавно. Признаюсь, описания не читал, когда проходил тест, картинки достаточно информативны сами по себе. Сейчас посмотрел: "... самоуправляемая машина с внезапно вышедшей из строя тормозной системой..." - и? Где хоть слово о пренебрежении ТО? Наоборот - "внезапно". Отказ тормозов - только модельная ситуация, никак не связанная ни с одним из участников. Я вам назвал уже несколько причин, по которым пассажир может быть ничуть неповинен в ненадлежащем техническом состоянии автомобиля. И повторюсь: техническая сторона вопроса в тесте совершенно не рассматривается. Потому что если заострять внимание на технике, возникает масса других вопросов. Почему автомобиль так быстро движется и так поздно тормозит перед пешеходным переходом (а тем более - регулируемым, где перед красным сигналом был предупреждающий жёлтый)? Тоже спишем на несвоевременное ТО? Или это уже откровенная вина производителя, выпустившего автомобиль с таким агрессивным алгоритмом поведения в продажу?
MaxusR
MaxusR 18 Июля 2017, 15:54
А Вы тестик-то не проходили по ссылке)) Во всех ситуациях там выбор именно такой. Отказали тормоза и вот тебе трое в салоне и трое на пешеходке. Предполагается, что по какой-то дебильной причине в результате аварии все пострадавшие погибают. И вот тебе выбор, сбивать идущего на зелёный свет врача или машину с неисправными тормозами в столб? Я бы вот не хотел оказаться на месте пешехода в Вашем варианте событий))
Pale
Pale 18 Июля 2017, 15:51
"Мало ли, кто чего кому доверил." Нет, не мало ли. Вы лично сядете (посадите своего ребёнка, семью) в автомобиль, который запросто вмажется в дерево, если ему под колёса метнётся какой-то полудурок? Из-за одного ненормального - сколько вас там было в салоне? - несколько свежих покойников, от поведения которых эта аварийная ситуация никак не зависела. У безопасности пассажира несомненно приоритет. Спорить можно только о его безусловности: в любой ситуации или нет. "Отказали тормоза?" К рассматриваемому вопросу это не имеет отношения. Предмет статьи (и теста по ссылке) - формализация морального выбора: чью жизнь поставить под угрозу, если вообще без жертв обойтись не удастся? И чем, какими правилами руководствоваться. Разумеется, эксплуатация реального беспилотного транспортного средства не ограничивается только этим выбором. И техническое состояние автомобиля (речь даже не о тормозах, а о комплексе технических средств, обеспечивающих автоматическое управление) должно как-то регламентироваться. Но может ли неудовлетворительное состояние беспилотного автомобиля быть хоть сколько-то веской причиной, чтобы пожертвовать пассажиром в аварийной ситуации? Автомобиль может быть не ваш - вашего знакомого, службы проката или такси. Автомобиль может иметь заводской брак, может быть некачественно обслужен в сервисе, обновление программного обеспечения может иметь дыры. Я полагаю, за такие вещи должен быть наказан тот, кто их совершил, а не тот, кто совершенно случайно оказался в салоне в критический момент.
MaxusR
MaxusR 18 Июля 2017, 14:25
Мало ли, кто чего кому доверил. Отказали тормоза? А кто уже второй месяц на техосмотр забивал? Вот и получите - распишитесь. С пустым авто как раз никаких проблем вообще. Железо вполне можно после аварии починить. С людьми сложней. Насчёт животных в отсутствие человеческих жертв - спорный момент.
Pale
Pale 18 Июля 2017, 13:34
Для случая с пассажирским транспортом, по-моему, всё предельно просто: пассажир доверил транспортному средству (разработчику транспортного средства) свои жизнь и здоровье, поэтому безопасность пассажира должна быть превыше всего. Тем более, раз мы говорим о беспилотном автомобиле как об исключительно аккуратном участнике дорожного движения, пешеходы на его пути могут оказаться только по собственной вине: невнимательность, пренебрежение правилами дорожного движения, поиск острых ощущений. Почему вдруг пассажир должен расплачиваться за чужие ошибки или безответственность? Речь разумеется не о том, чтобы вовсе не замечать неосторожных пешеходов и нестись на полной скорости дальше. Беспилотный автомобиль должен и затормозить, и сменить траекторию, но сделать это максимально безопасно для пассажира. Сложнее, когда беспилотный автомобиль двигается без пассажиров. Проще всего, наверно, будет выбирать "меньшее из зол", т.е. действовать так, чтобы свести число пострадавших к минимуму. Вот только возможно ли это адекватно оценить, особенно в динамично меняющейся ситуации? Ну и для пассажирских транспортных средств перемещения без людей должны быть как-то ограничены (понятно, что вообще без холостого пробега не обойтись - те же такси, или ребёнка забрать из школы): максимальной дистанцией, специальным налогообложением, выделенными маршрутами, скоростным режимом или ещё как-то.
MaxusR
MaxusR 18 Июля 2017, 15:57
Таки +1. Автомобиль должен следить за своим состоянием. Ну и в крайнем случае, максимально допустимый уход с траектории столкновения, а невозможно, так уж пусть лучше пострадает нарушитель правил, чем тот, кто ни в чём не виноват.
Цурюк Гмбхов
Цурюк Гмбхов 18 Июля 2017, 14:54
Так робомобиль не должен двигаться с места если знает что повреждён или кто-то не пристёгнут...
alexandr_yo
alexandr_yo 18 Июля 2017, 14:43
Для этого все всегда должны быть пристегнуты, а авто быть в идеальном состоянии. Потому что достаточно не пристегнуться и все, подушка не спасет. А в случае с битым авто и ремень, и подушка тоже не особо помогут.
Цурюк Гмбхов
Цурюк Гмбхов 18 Июля 2017, 14:30
Ну тогда всегда должен быть выбран бетонный блок, ведь самоуправляемый автомобиль не может двигаться с превышением скорости, а значит повреждения людей в салоне будут минимальные, если вообще будут...
MaxusR
MaxusR 18 Июля 2017, 14:20
В тесте во всех случаях предполагается невозможность предотвращения аварии.
Цурюк Гмбхов
Цурюк Гмбхов 18 Июля 2017, 12:57
Таки куда делся вариант остановиться перед переходом?