Применение модулей видеоаналитики и обработки изображения

Программное обеспечение IVISET позволяет решать большинство актуальных задач видеоаналитики благодаря наличию интеллектуального детектора движения, который обеспечивает автоматическое обнаружение движущихся объектов в поточном видео.

Метаданные, генерируемые детектором, могут использоваться в качестве индекса для оперативного поиска событий в видеоархиве. В этом случае значительно экономится время оператора — отпадает необходимость изнурительного просмотра многодневной видеозаписи.

На основе данного детектора был реализован ряд модулей, многократно повышающих продуктивность работы сотрудников безопасности и уменьшающих время реакции.

Детектор движений

Модуль детектора движений позволяет обнаружить движущийся объект, попавший в поле зрения камеры, и в этот момент активировать функцию видеозаписи события или отправить сигнал на пульт охраны. Таким образом, экономится свободное пространство хранилищ данных — жесткого диска, карты памяти или флешки. В системах охраны периметра экономия дискового пространства и сетевого трафика составляет десятки-тысячи раз в зависимости от оживленности контролируемых участков.

Одновременно с этим реализована функция сопровождения движущейся области, которая является связующим звеном цепочки кадров. Благодаря этому действию модуль видеоаналитики знает, что движение производит один и тот же объект, а также прослеживается история и характер движения объектов.

Детектор вторжений и детектор пересечений

Детектор пересечения линии представляет собой датчик, который срабатывает при пересечении объектом виртуальной линии, находящейся в поле зрения видеокамеры.

Такой модуль полезен не только для осуществления контроля работоспособности системы, но и позволяет в несколько раз снизить нагрузку на оператора. Например, один сотрудник вполне может справиться с контролем периметра более 10 км, занимаясь при этом другими делами до тех пор, пока не сработает сигнал тревоги.

Программный модуль IVISET производит определение факта и подсчет пересечения линии движущейся областью. Для точности определения факта пересечения используется трекинг распознанного объекта (сопровождение движущейся области. Является связующим звеном цепочки кадров. Благодаря этому действию модуль видеоаналитики знает, что движение производит один и тот же объект. Также позволяет понять историю и характер движения объекта). Такой алгоритм является наиболее производительным и быстрым вариантом систем подсчета объектов.

Аналогично работает детектор вторжений: программа определяет вхождение движущегося объекта в контролируемую область.

Детектор краж, драк и праздношатаний

Данный модуль построен на основе рекурентных сверточных нейронных сетей и является детектером по распознаванию действия.

Сфера применения достаточно широка: магазины, реализующие дорогостоящий товар (меховые салоны, магазины электронной и бытовой техники и т.д.), места общественного пользования, различные развлекательные заведения, места массового скопления людей и др.

Детектор праздношатаний может быть использован при обнаружении таких ситуаций как:

• человек задерживается перед подъездом или внутри подъезда;
• человек устанавливает взрывное устройство на железнодорожном полотне;
• человек делает надписи/граффити на стене;
• человек проводит несанкционированную фото- или видеосъемку.

Детектор оставленных и унесенных предметов

Детектор оставленных предметов предназначен для распознавания ситуаций, связанных с появлением в зоне наблюдения предметов, потенциально угрожающих безопасности, например, взрывного устройства.

Детектор унесенных предметов предназначен для своевременного обнаружения исчезновения объекта из зоны наблюдения (для предотвращения краж).

В обоих случаях тревожный сигнал формируется на основе трех составляющих:

1. человек появляется в зоне наблюдения;
2. рядом с человеком появляется неподвижный объект / предмет исчезает из наблюдаемой зоны;
3. человек выходит из зоны наблюдения.

В программном обеспечении IVISET данный алгоритм реализуется на основе адаптивного вычитания фона в комбинации с технологиями распознавания.

Детектор саботажа

Данный тип детектора разработан для информирования служб охраны о неполадках с изображением. Модуль автоматически выявляет случаи расфокусировки камеры, закрытия объектива или засветки, изменение поля зрения, потерю сигнала или обрыва связи. Существует возможность настроить реакцию на инцидент, например: привлечь внимание оператора звуковым сигналом или сообщением, включить сирену и др.

DEFOG — удаление тумана

Зачастую изображение перед камерой может быть скрыто туманом. Из-за этого движущиеся объекты становятся менее контрастными, на них теряется много деталей, и разобрать их можно только по форме. Чтобы обеспечить точность распознавания объектов, в таких случаях применяется функция удаления тумана (задымленности).

Специальный фильтр увеличивает контрастность и улучшает цветопередачу входного видеоизображения. Это достигается путем построения и выравнивания гистограммы.

Устранение сферических искажений

У некоторых видов камер существует проблема сферических искажений, вызванная работой объектива. Изображение с такой камеры сильно искажено, что приводит к неверной оценке размеров предметов, попавших в зону видимости камеры, и расстояний до них.

По краям кадра появляются закругления, что, соответственно, искажает изображение. Эти искажения мешают работе детекторов распознавания и слежения. Искаженная форма объекта — основная причина ошибок распознавания объектов.

В качестве решения данной проблемы применяется модуль устранения сферических искажений: искаженные края кадра выставляются по верхней и нижней границе кадра, тем самым выравнивая изображение. Края кадра, которые оказались за границей выравнивая — обрезаются.

Модуль устранения теней

Тени отбрасывают все движущиеся объекты, и если при нахождении под источником освещения тень имеет малые геометрические размеры, то при боковом освещении размер тени может превышать размеры самого объекта.

В процессе движения объекта тень также движется, тем самым увеличивая область движения. В случае использования в модуле видеоаналитики распознавания движущегося объекта, тень лишь увеличивает область движения и замедляет поиск объекта в зоне движения (из-за увеличения площади движения), тем самым не оказывая никакого влияния на точность распознавания.

Однако, если движущийся объект не распознается модулем видеоаналитики (например, подсчет посетителей по площади области движения), то возникает огромная проблема.

В таких случаях отличным решением является модуль устранения теней, который позволяет однозначно определить, где заканчиваются границы объекта и начинается его тень.

Подсчет посетителей

Модуль подсчета посетителей, как правило, используется в магазинах, супермаркетах и торговых центрах. С помощью данной функции можно оценивать эффективность работы торгового здания, определять максимально выгодные зоны площадки, выявлять слабых арендаторов и увеличивать эффективность рекламных кампаний. С помощью данного модуля станет проще отслеживать общий трафик посещаемости, вести подсчет покупателей, оценивать удобство расположения торговой точки и учитывать изменение покупательского спроса.

Реализация модуля происходит следующим образом: ПО производит определение факта и подсчет пересечения линии движущимися объектами классов «лицо» или «человек». Для точности определения факта пересечения используется трекинг распознанного объекта.

Тепловая карта

Главное назначение модуля теплового анализа изображения — обеспечение должного уровня безопасности. Существует два метода определения активности: динамический и статический.

В первом случае на видео накладывается цветовая шкала, и каждый движущийся объект оставляет за собой «шлейф», который приобретает более холодные оттенки с течением времени. Наличие «горячих» зон означает, что в заданной области недавно была совершена активность, что позволяет обнаружить движущийся объект, даже если он уже покинул поле обзора камеры.

Второй способ обнаружения по тепловой карте — накапливание «тепловых показателей» в отдельных частях изображения.

Помимо обеспечения безопасности анализ «холодных» и «горячих» зон позволяет оптимизировать раскладку товаров в магазине, наиболее удачно расставить экспонаты на выставке, выявить популярные области объекта и т. д.

В программном обеспечении IVISET механизм работы тепловой карты реализовывается на основе разности кадров.

Детектор лиц

Модуль распознавания лиц, как правило, используется в задачах контроля и управления доступом. При этом распознавание может производиться как на основе нейронной сети, так и на основе метода Виолы.Джонса. Первый дает более высокую точность, а второй — более высокую скорость распознавания.

Детектор лиц работает следующим образом: через равные промежутки времени датчик сканирует область движения лица. Для плавности отображения в заданных интервалах производится трекинг лица.

В совокупности с детектором лиц работает модуль идентификации лиц: через равные интервалы времени осуществляется распознавание объекта «лицо». После распознавания производится идентификация лица и прикрепление к нему метки характеристики (ФИО).

Основные сферы применения: автоматизация проходных (модуль сравнивает фотографию, хранящуюся в базе данных с изображением, полученным от детектора, и самостоятельно принимает решение, разрешать или запрещать доступ), автоматизация фейс-контроля, обеспечение безопасности в местах массового скопления людей (метрополитен, вокзалы, аэропорты, спорткомплексы и проч.), в правоохранительных органах (при расследовании правонарушений и поиске пропавших людей), в службах пограничного и паспортного контроля, в сфере развлечений и гостиничном бизнесе и др.

Определение пола и возраста

Модуль определяет демографический и возрастной состав аудитории, находящейся на объекте. Данный алгоритм основывается на глубоком распознавании на основе сверточных сетей.

Основная сфера применения — места массового скопления людей: вокзалы, аэропорты, метро, больницы, стадионы, концертные залы и др. При этом определяется процент мужчин и женщин среди аудитории, возрастной состав, время посещения преимущественно молодежи или пожилых людей.

Направление внимания

Данный модуль также основывается на сверточных сетях (глубокое обучение) и предназначен для определения статистики просмотра рекламных материалов в торговых сетях.

Определение длины очереди

Детектор определения длины очереди предназначен для оценки загруженности точек обслуживания клиентов. Обладая информацией о размерах очередей, руководство компании может принимать решения об оптимизации графика работы персонала, перепланировке помещений, увеличении или уменьшении количества точек обслуживания.

При этом в качестве вспомогательных функций используется детектор лица, фигуры, головы.

Детектор толпы

Модуль подсчета людей в скоплениях в местах общественного пользования (на улицах, вокзалах, площадях) выступает важным инструментом обеспечения безопасности и порядка. В системе задается пороговое значение, при превышении которого появляется предупреждение о скоплении людей в данной области кадра.

При определении скопления людей задействуется трекинг и счетчик.

Преобразование изображений, полученных с камер Fisheye

Широкий угол обзора (180°) позволяет обойтись одной камерой вместо нескольких, направленных в разные стороны. Изображение с такой камеры имеет форму круга, в центре которого искажения изображения минимальны, но чем дальше от центра — тем они сильнее.

Отображение на небольшом экране изображения с большим углом обзора приводит к мелкому размеру важных деталей, что, естественно, отрицательно сказывается на работе детекторов движения, системы распознавания объектов, лиц и др., а также оператор теряет пространственный ориентир (в случае, если такая камера установлена на потолке) и не может корректно идентифицировать конкретного человека или событие.

Изображение с такой камеры, в зависимости от варианта её установки, подается на специальный фильтр, который проецирует его на цилиндр. Проецирование происходит с выравниванием пропорций всех объектов. Результирующее изображение становится пространственно ориентированным.

Распознавание автомобильных номеров

Данный модуль может быть использован для определения номеров транспортных средств, нарушающих правила дорожного движения. Система в автоматическом режиме способна фиксировать и распознавать регистрационные знаки автомобилей, нарушающих скоростной режим, правила стоянки, правила движения или находящихся в угоне.

Кроме того, в совокупности с системами контроля доступом модуль может автоматизировать работу шлагбаумов, въездных/выездных ворот, пропускной системы и контроля времени погрузки/разгрузки товаров и т. д.

Программное обеспечение IVISET производит обнаружение объекта «номер автомобиля» и преобразует результатирующее изображение в текст, при этом фиксируется история обнаружений. Программа использует трекер, чтобы исключить повторные срабатывания в пределах одного движения.

Распознавание может производиться как в области движения, так и в пределах объекта «автомобиль».

Подсчет транспорта

Модуль подсчета транспорта производит определение факта и подсчет пересечения линии движущимися объектами классов «автомобиль» или «номер автомобиля». Для точности определения факта пересечения используется трекинг распознанного объекта.

Полезен для сбора и анализа дорожной статистики, определение пробок, заторов, ДТП.

Определение скорости движения

Данный модуль производит определение скорости движения объектов классов «автомобиль» или «автомобильный номер» (в зависимости от настроек). При этом фиксируется история измерений.

Полезен при выявлении заторов или превышения максимально разрешенной скорости.

Распознавание номеров вагонов

Модуль производит обнаружение объекта «номер вагона» и преобразует результатирующее изображение в текст. Фиксирует историю обнаружений. Использует трекер, чтобы исключить повторные срабатывания в пределах одного движения.

Функции, выполняемые модулем:

• распознавание номеров в режиме реального времени, вывод результатов на монитор;
• подсчет количества вагонов в составе и определение его типа;
• контроль передвижения или розыск составов/вагонов по протоколу событий;
• поиск и сверка полученной информации с данными базы;
• настройка реакции системы на обнаружение тревожных событий;
• формирование архива событий в виде видеофрагментов или стоп-кадров;
• формирование базы данных номеров вагонов, направления движения, даты и времени проезда и др.;
• передача данный во внешние базы и системы.

Распознавание денежных знаков и штрихкодов

Алгоритм работает следующим образом: производится обнаружение объекта «штрихкод»/ «деньги» и результирующее изображение преобразуется в текст/номинал и количество. Фиксируется история обнаружений. Используется трекер, чтобы исключить повторные срабатывания в пределах одного движения.