Базы данных видео действий людей

Данные для обучения и тестирования программы крайне важны, так как качество полученного программного продукта полностью зависит от качества данных для обучения. Тема данной работы накладывает следующее требование на существующие базы данных — наличие видеозаписи (последовательности изображений с временными метками) с датчика глубины. Рассмотрим три существующие базы данных: MHAD, MIVIA и UTKinect. Все три базы предоставляют доступ к записанным действиям человека с видеокамеры Kinect вместе с данными с датчика глубины.

a) MHAD.

MHAD (Multimodal Human Action Database) — база данных университета Беркли [40], созданная специально для распознавания действий человека. База предоставляет большой объем разных данных с различных датчиков. В состав базы входят записи 11 различных действий. В записи каждого из них принимали участие 12 человек разного пола и комплекции. Так же, каждое действие с каждым участником записано 5 раз. Во время записи человек повторяет заданное действие несколько раз (от двух до пяти).

База данных предоставляет записи не только с обычных камер, но и с нательных датчиков, микрофона, двух камер Kinect (направленных друг против друга и синхронизированных по времени между собой). Данные с датчика глубины сенсора Kinect имеют формат PGM с разрешением 640×480 и отдельными текстовыми файлами с покадровыми временными метками. Стоит отметить удобство использование сайтом, который предоставляет возможность отдельно выбирать действие, субъект, количество повторов, источники данных.

b) MIVIA.

MIVIA база данных предоставляет записи семи различных действий, записанных с участием 14 человек (7 мужчин и 7 женщин) [43]. Каждое действие записано по два раза. Так же, как и в MHAD базе данных, действия представляются в виде последовательности изображений глубины. Доступ к материалам выдаётся только по запросу.

c) UTKinect.

UTKinect база данных создана специально для исследований в области определения действий человека из последовательности изображений глубины [48]. Создатели базы данных записали 10 действий, совершенных 10 субъектами. Каждый субъект совершает действие на записи дважды. База предоставляет данные с датчика глубины, RGB изображение и данные о покадровом нахождении шарниров скелета (skeleton joint locations). Формат данных изображений глубины представляет собой сохраненные при помощи библиотеки OpenCV изображения в разрешении 320×240 в формате XML.

В данной работе выделение особенностей в видеопотоке будет происходить в виде вычисления MHI, так как данный подход прост в реализации и хорошо комбинируется со способностями свёрточной нейронной сети. Для этого будет использована официальная библиотека Kinect SDK.

Свёрточная нейронная сеть будет использоваться в роли классификатора в силу своих свойств (некоторая инвариантность к положению, масштабированию входных данных) и скорости обучения.

Для обучения модели искусственной нейронной сети будет использоваться база данных MHAD, так как она предоставляет большой выбор данных, собранных при помощи сенсоров Kinect, для составления обучающей и тестирующей выборки.