Затем студенты взялись за создание софта. Компьютерное зрение использует алгоритм, который распознаёт палец по цвету, характерному для человеческой кожи, определяет размеры пальца по верхнему (отражение в экране) и нижнему (реальный палец, снятый камерой) его контуру, затем определяет среднюю линию между ними, которую считает за точку касания экрана. Кроме того, по расстоянию между контурами пальца система различает касание дисплея и зависание над ним.
Используя принципы гомографии, после первоначальной калибровки системы (пользователю предлагается коснуться определённых точек на экране) камера и софт способны с помощью метода RANSAC адекватно оценивать расстояние от пальца до дисплея и распознавать координаты точки касания экрана.
В своём рабочем прототипе авторы Project Sistine конвертируют касания и движения пальца в команды компьютерной мыши, что позволяет использовать тачскрин в любых приложениях для MacBook. Если разработчики будут адаптировать свои программы для тачскрина, то там система сможет использовать и другие данные вроде высоты наведения и силы нажатия пальца, а более высокое разрешение веб-камеры (в прототипе использована камера на 480p) также расширит функционал системы.
Что касается названия Project Sistine, то оно не несёт за собой никакого глубокого значения. Комплект для превращения экрана ноутбука в тачскрин разработчики назвали так лишь потому, что использовали в процессе тестов изображение фрески Микеланджело с потолка Сикстинской капеллы.