Американский программист Кайл Макдональд научил нейронную сеть, разработанную специалистами из Стэнфордского университета (США) и компании Google, описывать происходящие события.

В качестве аппаратной платформы американец взял ноутбук MacBook Pro с установленной программой обработки видеопотока.

Для обработки кадров использована программа NeuralTalk с открытым кодом, которая способна описывать происходящее на фотографиях.

Используя нейронную сеть, Макдональд научил программный алгоритм распознавать объекты на кадрах видеопотока с камеры, а затем комментирует всё происходящее на видео в реальном времени.

Чтобы проверить работоспособность алгоритма, программист вышел на улицы Амстердама, держа ноутбук перед собой. Программа оказалась способна довольно точно описывать события, хотя и с некоторыми забавными ошибками.

Для обучения нейронной сети использовался набор из 150 тысяч снимков, описанных вручную.