Соединив камеру iPhone с платформой машинного обучения CoreML, программист Крис Грининг «научил» смартфон распознавать вещи, попадавшие под прицел камеры. Весь процесс создания приложения он расписал в своем блоге, чтобы любой желающий мог его повторить.
iPhone «научился» мгновенно распознавать объекты

Ваш смартфон знает разницу между молотком, бутылкой вина и хот-догом? Возможно, пока нет, но с помощью несложно кода он справится с этой задачей. Программист Крис Грининг смог «научить» свой Iphone распознавать вещи, попадающие под прицел камеры, за считанные секунды.

Разработчик подключил камеру своего iPhone к CoreML — открытой платформе машинного обучения Apple, которая работает по технологии Vision Kit и используется для таких приложений, как камера и Siri.

Грининг описал поэтапный процесс создания кода в своем блоге. Чтобы повторить его эксперимент, вам понадобится смартфон с операционной системой iOS11 (которая все еще находится на стадии бета-тестирования) и бета-версия программы xCode от Apple.

На видео можно заметить, что в большинстве случаев приложение правильно распознает предметы: оно узнало линейку, отвертку и бутылку вина. Интересно, что программа распознает iPhone как устройство Apple, но она на 90% уверена, что это iPod. Среди других предлагаемых вариантов: мобильный телефон, модем и динамик.

Пользователи сети отмечают, что для приложения, которое выполняет всю обработку на смартфоне без отправки данных на сервер, это очень хороший результат. Программа Грининга работает с помощью нейронной сети ResNet50, разработанной исследователями Microsoft. Она включает в себя 1000 категорий, среди которых деревья, животные, транспортные средства, продукты питания и люди.