Новая разработка Google при поддержке ученых Массачусетского технологического института (МТИ) позволит смартфонам ретушировать изображения в реальном времени — до самой съемки.
Смартфоны научатся обрабатывать фотографии в реальном времени
MIT
Фотография до и после обработки новым алгоритмом

На этой неделе на выставке SIGGRAPH специалисты из Google и МТИ представят новую систему, которая сможет автоматически ретушировать изображения в стиле профессионального фотографа. При этом разработка настолько эргономична, что может использоваться и в смартфоне; она также достаточно быстрая и может отображать картинки в реальном времени: так фотограф будет видеть финальную версию изображения, только готовясь сделать снимок. Об этом говорится на сайте МТИ.

Ученые использовали технологию машинного обучения, тренируя нейросети на 5 000 изображений, созданных Adobe и МТИ. Каждая картинка в этом наборе ретушировалась пятью разными фотографами; алгоритмы Google и МТИ использовали данные, чтобы узнать, что нужно поправить в каждом из изображений: например, где-то повысить яркость, где-то снизить насыщенность и т. д.

MIT
До обработки новым алгоритмом

MIT
После обработки

Машинное обучение использовалось в коррекции фотографий и раньше. Однако Google и МТИ смогли настолько эффективно уменьшить технологию, что теперь она способна работать без каких-либо лагов в пользовательских смартфонах.

Нейросети можно натренировать на новых наборах фотографий. И даже научить их подстраиваться под стиль отдельного фотографа. Разумеется, и ранее камеры могли отображать картинку в реальном времени, однако новая технология работает более искусно и быстро — отвечая требованиям конкретных изображений, а не применяя общие правила.

Видео пользователя Michael Gharbi

Чтобы уменьшить алгоритмы, ученые использовали несколько различных техник. Например, превращение изменений, примененных к каждой фотографии, в определенную формулу. Таким образом, информация о том, как ретушировать изображение, может быть выражена математически.

По словам Джон Бэррона (Jon Barron), специалиста компании Google, до сих пор машинное обучение в фотосъемке оставалось захватывающей перспективой, ограниченной при этом техническими возможностями смартфонов. Новая же разработка, считает ученый, позволит преодолеть прошлые ограничения: так, съемка в реальном времени не будет сопряжена с быстро разряжающимся аккумулятором или же постоянными лагами.