Серьезное предупреждение о потенциальной опасности сформулировано в официальном , который был подготовлен и выпущен американских ВМС. В нем рассматриваются самые разные возможные сценарии развития событий, вплоть до будущего в духе «Терминатора», с полным порабощением всей человеческой расы.
Доклад предрекает приближение эры, когда роботы станут достаточно умными для того, чтобы принимать на поле боя самостоятельные решения. «В какой-то момент, — замечается в тексте, — они начнут и в этом демонстрировать явные преимущества в сравнении с солдатами-людьми».
Авторы исследования продолжают: «Весьма распространено заблуждение, что роботы будут делать только то, что заложено в их программу. К сожалению, это мнение давно устарело, относится оно еще к тем временам, когда даже самую сложную программу мог написать и понять один человек. Реальность же сегодняшнего дня такова, что даже текст современных программ составляет миллионы строк кода, написанных большими командами программистов — и ни один из них не представляет всю программу полностью и целиком». Соответственно, никто не может со стопроцентной вероятностью и предсказать, как поведет себя управляемый такой программой робот в условиях реального боя. Для этого понадобятся, как минимум, самые широкие и всесторонние полевые испытания — а против них могут выступить компании-производители, стремящиеся, естественно, как можно скорей выпустить продукт на рынок.
От себя добавим, что если робот должен действительно уметь принимать решения даже в условиях боя, то в такую систему заранее ввести все возможные комбинации и варианты событий попросту нереально. Алгоритмы его работы должны обязательно включать элементы самообучения — а уж чему научится робот в этих условиях, сказать еще сложнее. Да и вряд ли чему-то хорошему.
Решение, предлагаемое авторами доклада, состоит в составлении особых «воинских кодексов» для роботов, выполнение которых «намертво» будет вшито в их железные мозги. Это не столь изящно, как предложение их коллег создать для роботов своего рода систему эмоций («Робот на доверии»), зато и намного проще.
Авторы также рассмотрели и другие этические, юридические, социальные и политические аспекты военной робототехники. В частности, они впервые подняли вопросы защиты таких боевых систем от взлома и использования хакерами, от ошибок в программном обеспечении. Поднят и такой интересный вопрос, как ответственность — кто будет виноват, если боевой робот «обезумеет» и пойдет крушить все направо и налево? Не стоит ли снабдить их универсальной «кнопкой самоубийства»?
Все эти проблемы не просто своевременны, но и совершенно насущны, ведь, по плану американских военных, уже к 2010 г. треть всей дальней авиации США будет состоять из беспилотных устройств, а к 2015 г. автоматической будет треть всей наземной бронетехники. Да и инциденты уже случались — мы уже рассказывали о трагедии, случившейся с боевой пулеметной системой («Косильщик»).
«Стремление разработчиков как можно скорее выйти на рынок с реальными предложениями, — говорится в докладе, — отбрасывая необходимую проработку этических моментов использования боевых автономных систем, дает мало надежды на то, что первые поколения таких систем и роботов не совершат ошибок, которые могут стоить многих людских жизней».
Для начало дело за малым — составлением «воинского кодекса» роботов, который сочетал бы достаточно агрессивное поведение с гуманным отношением… Не хотите ли высказать свои предложения? За основу можно взять классику — , сформулированные в 1950-х Айзеком Азимовым:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму законам.
По публикации