Улучшить графику в игре помогли данные с видеорегистраторов, которые исследователи взяли на сайте Cityscapes

В процессе рендеринга игровые движки создают промежуточные буферы, известные как «G-буферы». Эти «G-буферы» обычно включают данные о расстоянии между объектами в игре и камерой, а также данные об освещении, геометрии и текстурах. Основное нововведение алгоритма Intel в сравнении с другими в том, что исследователи использовали эти промежуточные данные для обучения ИИ и улучшения выходных изображений.

Исследователи также использовали фотографии немецких улиц, собранные из видеорегистраторов автомобилей для системы Cityscapes (аналог Google Maps). На них обучалась нейросеть.

Предыдущие попытки совместить реальные изображения с методами машинного обучения для улучшения графики часто приводили к таким проблемам, как генерация дополнительных нежелательных изображений (например, предметы, зависающие в воздухе) и снижение скорости работы самой игры. Использование «G-буферов» решило эти проблемы.

«Вместо того, чтобы пытаться синтезировать изображения, наш подход улучшает уже существующие изображения, интегрирует информацию о сцене для создания геометрически и семантически согласованных изображений и не требует аннотации реальных данных», – поясняют исследователи.

Игра выглядит настолько реалистично, что на мгновение создается впечатление, что это не GTA V, а видео с реальных городских улиц.