Проект Watchmen был задуман и создан совместно с компанией DANNIE, которая отвечала за хардверную часть решения, а команда Doubletapp написала программную начинку девайса.

Как это выглядит? Это девайс с двумя камерами, который устанавливается на лобовое стекло. Он находится в салоне, одна камера смотрит внутрь салона, а другая — наружу; устройство работает под управлением Android.

Одним из требований заказчика была работа непосредственно на устройстве, так как стриминг видеопотока со множества машин является затратным, а обработка потребовала бы увеличения серверных мощностей. Эта задача была решена — все тяжелые вычисления выполняются прямо на устройстве, в духе подхода Edge AI.

Watchmen имеет следующую функциональность:

• Детекция лиц в салоне автомобиля.
• Принятие решения о том, кто является водителем.
• Сопоставление лица водителя с фото, которое загрузил пользователь каршериногового сервиса.
• С помощью компьютерного зрения (не требует никаких дополнительных датчиков, кроме камеры) детектируется курение в салоне.
• Передача видео с камеры на сервер, когда нужно проверить корректность работы системы.
• Веб-интерфейс для деморежима — для продвижения решения каршеринговым сервисам. В нем в реальном времени идет стрим с камеры девайса, и также в реальном времени детектируется курение и подмена водителя.
• Бэкенд и административная панель для работы с данными водителей.
• Все описанные задачи детекции и распознавания решаются в офлайне на девайсе.

В плане разработки наиболее интересной задачей была реализация детекции сигарет. Для этого нами был собран датасет из тысяч фотографий людей, курящих в автомобиле, а также делающих похожие на курение действия, например, чешущих нос или кашляющих в кулак. Даже сотрудники компании внесли свой вклад, снимая на видео, как они курят в своих машинах. На основании этого датасета была обучена нейронная сеть, впоследствии портированная на устройство для работы в офлайне.