Смартфоны научатся обрабатывать фотографии в реальном времени
На этой неделе на выставке SIGGRAPH специалисты из Google и МТИ представят новую систему, которая сможет автоматически ретушировать изображения в стиле профессионального фотографа. При этом разработка настолько эргономична, что может использоваться и в смартфоне; она также достаточно быстрая и может отображать картинки в реальном времени: так фотограф будет видеть финальную версию изображения, только готовясь сделать снимок. Об этом говорится на сайте МТИ.
Ученые использовали технологию машинного обучения, тренируя нейросети на 5 000 изображений, созданных Adobe и МТИ. Каждая картинка в этом наборе ретушировалась пятью разными фотографами; алгоритмы Google и МТИ использовали данные, чтобы узнать, что нужно поправить в каждом из изображений: например, где-то повысить яркость, где-то снизить насыщенность и т. д.
Машинное обучение использовалось в коррекции фотографий и раньше. Однако Google и МТИ смогли настолько эффективно уменьшить технологию, что теперь она способна работать без каких-либо лагов в пользовательских смартфонах.
Нейросети можно натренировать на новых наборах фотографий. И даже научить их подстраиваться под стиль отдельного фотографа. Разумеется, и ранее камеры могли отображать картинку в реальном времени, однако новая технология работает более искусно и быстро – отвечая требованиям конкретных изображений, а не применяя общие правила.
Чтобы уменьшить алгоритмы, ученые использовали несколько различных техник. Например, превращение изменений, примененных к каждой фотографии, в определенную формулу. Таким образом, информация о том, как ретушировать изображение, может быть выражена математически.
По словам Джон Бэррона (Jon Barron), специалиста компании Google, до сих пор машинное обучение в фотосъемке оставалось захватывающей перспективой, ограниченной при этом техническими возможностями смартфонов. Новая же разработка, считает ученый, позволит преодолеть прошлые ограничения: так, съемка в реальном времени не будет сопряжена с быстро разряжающимся аккумулятором или же постоянными лагами.