Выключатель для «Скайнета»: убийца искусственного интеллекта от Google
Опубликованный по этому случаю документ — это плод совместных усилий команды DeepMind и Института будущего человечества, мультидисциплинарной научной организации Оксфордского университета. Ее основатель и директор Ник Бостром предупреждает об опасностях искусственного интеллекта уже несколько десятилетий и написал по этому поводу несколько книг, одна из которых переведена на русский.
Статья под названием «Безопасные средства для отключения» посвящена тому, как отключить искусственный интеллект, если тот станет совершать действия, которые могут повредить людям. На 99% это математический анализ, описывающий методы для построения того, что в тексте называется «большой красной кнопкой» для ИИ.
Главный вопрос статьи заключается в том, как сделать обучающийся механизм искусственного интеллекта так, чтобы тот не смог воспротивиться команде на отключение или же обойти ее. Таким образом, предохранитель против возможного бунта роботов, возможно, будет встроен уже на уровне программной архитектуры будущего ИИ. Это может показаться несколько преждевременным, так как самый мощный ИИ, который существует сейчас, может максимум хорошо играть в разные настольные игры (хотя некоторые уже работают адвокатами, психотерапевтами и помогают диагностировать рак), но по теории Бострома все может произойти довольно быстро. Стоит только создать искусственный разум человеческого уровня, и тогда роботы начнут развиваться по экспоненте. Позитивный цикл обратной связи даст толчок к еще большему развитию, ИскИны будут помогать конструировать более лучших ИскИнов, процесс будет развиваться во многом помимо человека и так далее. Так что, по мысли исследователей, лучше озаботиться о системе безопасности прямо сейчас.