Интеллект, иммунитет и другие изобретения информационной безопасности
В прошлой статье мы уже рассказывали о косяках машинного обучения – и о том, что такая ситуация загоняет искусственный интеллект в развлекательные сферы, где можно ошибаться без последствий. А теперь давайте пофантазируем в обратную сторону: где мы могли бы увидеть наиболее сложные модели искусственного интеллекта, работающие с минимумом ошибок?
Удивительно, но многие адепты ИИ игнорируют тот факт, что интеллект человека – это результат жестокой битвы за выживание, поэтому и продвинутый искусственный интеллект нужно искать там, где идёт настоящая борьба: например, в противостоянии вредоносных программ и систем безопасности. Наверное, это не такая уж очевидная истина. Вот и сообщения СМИ о достижениях ИИ обычно прилетают из других областей: одна программа сгенерировала «осмысленный рассказ», другая научилась распознавать улыбки...
Но в каждой такой новости речь идёт про систему, которая получает данные в одном формате и не спеша решает одну задачу. И это, пожалуй, фундаментальное отличие машинного интеллекта от человеческого. Наш мозг одновременно собирает данные со множества разных сенсоров и обрабатывает их множеством разных «разумов» – тут и древние инстинкты, и условные рефлексы, и эмоциональный/социальный интеллект, и куча методов рационального мышления, и совсем уж загадочная интуиция. Причём эти разные «разумы» как-то уживаются в одной голове, совместно решая очень разнообразные задачи при довольно ограниченных ресурсах.
Ближайшие цифровые аналоги такого «смешанного интеллекта» эволюционируют именно в безопасности, где высока цена ошибки, где мало времени и идёт постоянная гонка вооружений. Простой антивирус распознавал компьютерного червя по уникальной сигнатуре, но полиморфные черви стали на лету менять свой код – и в ответ на это системы безопасности стали выявлять более общие признаки вредоносов, используя эвристики и гибкие свёртки на основе машинного обучения. Хакеры стали обходить простую гигиену «белых списков», применяя легитимные инструменты – в ответ появился более сложный поведенческий анализ, корреляция событий для выявления цепочек атак во времени. Ну а кто в академических теориях ИИ строил интеллект, работающий с концепцией времени? Или такой вид интеллекта, который у людей называется «самокопание»? А в безопасности он есть: это сканнеры уязвимостей, которые имитируют атаку на свою систему, и автоматически закрывают найденные дыры ещё до появления сторонних атакующих.
Несколько лет назад, описывая подобное разнообразие методов мышления внутри одной системы безопасности, я пошутил, что до полной аналогии с человеческим мозгом осталось добавить сверху ещё один вид интеллекта, который будет сообщать об атаках приятным женским голосом. И действительно, ещё через год ИБ-вендоры стали добавлять к своим продуктам чат-ботов и голосовых ассистентов.
Но отложим пока интеллект. Раз уж ИБ-индустрия так часто склоняет вирусы, логично задаться вопросом, может ли она принести новые модели в эпидемиологию. Старую-то модель из XIX века все знают с детства. Вот больной чихнул на здоровых, они тоже заразились, стали чихать дальше – на таких механизмах до сих пор строятся эпидемические страшилки. Лишь несколько лет назад стали появляться научно-популярные книги («Виролюция» Фрэнка Райана, «Многоликий вирус» Виктора Зуева), которые рассказывают о более сложных отношениях людей и вирусов. В частности, о вирусной персистенции: это такое сожительство вируса с носителем, которое может никак не проявляться долгие годы. А потом чик! — вирус просыпается и становится вредоносным то ли при похолодании, то ли при избытке ультрафиолета (привет вспышкам на Солнце).
Такой механизм портит привычную картину, когда во всём виноват приезжий грешник, чихнувший в автобусе. И немногие врачи поддержат вас, если вы начнёте рассказывать про вспышки на Солнце – могут даже обозвать астрологом. А вот в кибербезопасности давным-давно применяются модели персистентной угрозы, которая приходит не со стороны, а буквально изнутри. Есть целая ИБ-отрасль по выявлению «недокументированных возможностей» в приложениях и устройствах, и здесь постоянно делаются интересные открытия – например, некоторые исследователи подозревают о «закладках» в самых популярных процессорах (Intel ME и AMD PSP). Давно известны и защитные решения, с помощью которых можно заранее блокировать такие спящие угрозы.
А ещё с развитием Интернета безопасники наблюдают эволюцию условно-вредоносных программ (adware, spyware и так далее). Это когда вы ставите себе на смартфон приложение-будильник, а оно куда-то передаёт ваши GPS-координаты. А чтобы написать пару строчек другу, вы ставите бесплатный мессенджер, который весит полгигабайта (100 копий «Войны и мира») и делает вообще неизвестно что. Это и есть персистентные вирусы, и кибербезопасность постоянно спорит с их производителями, когда они пытаются представить свои технологии как совершенно белые и пушистые. В итоге вырабатываются более сложные отношения с вирусом, чем просто «вредный/безвредный», и это может быть хорошим наглядным пособием для понимания тех симбиозов, которые описаны в книгах вирусологов Райана и Зуева, упомянутых выше.
Ну и наконец – самая злободневная модель. В статье про атаки на машинное обучение мы рассказывали о таком методе взлома, как «искажение обучающей выборки». Это когда хакер подсовывает системе очень нестандартные объекты, которые ухудшают работу прогностической модели. Например, ваша система должна отличать людей от деревьев и животных. Но если при обучении этой системы много раз показывать ей клоунов в костюмах кошек на трёхметровых ходулях, система станет хуже распознавать обычных людей, будет путать их с кошками и рябинами.
А теперь представьте, что система распознавания – это ваш иммунитет. Обучившись на множестве вирусов, он умеет отличать безвредные (аденовирус) от опасных (covid-19). Но вот кто-то показывает вашей иммунной системе необычную химеру-подделку: мирный аденовирус, к которому приделали S-белок от опасного коронавируса. Допустим, такой взлом иммунитета с помощью вакцины «Спутник» привёл к желаемому результату, ваш организм среагировал на подделку как на угрозу – и активировал защиту. Но вот вопрос: не испортится ли после этого распознавание настоящих аденовирусов и коронавирусов, как в том примере с клоунами на ходулях?
Из-за подобных вопросов осторожные вирусологи не рекомендуют вакцинироваться тем, кто уже переболел «короной» и приобрёл настоящий иммунитет, хорошо защищающий от повторной болезни (см. исследования в Lancet и Nature). Однако голос этих людей не заметен в массе сторонников поголовной вакцинации. На чьей стороне правда мы если и сможем узнать, то лишь спустя время.
Конечно, критически настроенный читатель может сказать, что описанные модели – лишь сомнительные аналогии, далёкие от биологии и медицины. Но если присмотреться, наши представления о работе человеческого организма в значительной степени построены на сомнительных инженерных аналогиях. Диетологи до сих пор подсчитывают «калории», словно в желудке у человека стоит двигатель внутреннего сгорания («калориями» измеряют количество выделившейся теплоты при сгорании массовой единицы вещества). В описаниях работы мозга фигурируют «электрические потенциалы» и «волны», словно речь идёт про радиоприёмник. А с появлением компьютеров внезапно оказалось, что память человека бывает «оперативной» и «долгосрочной», и что наши убеждения можно легко поменять с помощью «нейролингвистического программирования». На этом фоне будет совсем неудивительно, если модели из информационной безопасности окажутся ближе к реальности, чем предыдущие модели из школьного кабинета физики.
Алексей Андреев, эксперт «Лаборатории Касперского»
