Северный (Арктический) федеральный университет им. М.В. Ломоносова
Опубликован: 23.10.2013 | Доступ: свободный | Студентов: 1765 / 617 | Длительность: 09:26:00
Специальности: Программист
Лекция 6:

Модуль отслеживания 2D/3D объектов Intel Perceptual Computing SDK

D'Fusion Computer Vision SDK. Что такое D'Fusion Computer Vision от компании Total Immersion?

D'Fusion Computer Vision (иначе D'FusionCV) представляет собой пакет программного обеспечения, основанного на запатентованной инновационной технологии, разработанной для получения "естественной" информации, предоставляемой различными реальными объектами, распознанными в изображении или видео потоке. Собрав данные, объект может быть идентифицирован и отслежен через последовательные изображения из видео потока в режиме реального времени. Эксперты обычно называют эту технологии "безмаркерный трекинг".

D'Fusion Computer Vision была разработана для достижения следующих задач:

  • Захват видеопотоков с видеокамер и из видео файлов. Модуль захвата поддерживает практически все камеры устройства (HD/SD камер и веб-камеры).
  • Калибровка камеры для оценки внутренних параметров камеры (фокальная точка, оптический центр и т.д.).
  • Отслеживание естественных 2D/3D объектов в поле видимости камеры и в видеопотоке. Эти объекту могут представлять различные формы и различные текстуры (игральные карты, листовки, щиты, или более сложные объекты, такие как коробки, автомобили, природные ландшафты, лица и т.д.).
  • Отслеживания нескольких объектов в одном видеопотоке (Multiple tracking).
  • Классификация объектов в видеопотоке (Object recognition).
  • Обнаружение простого взаимодействия между пользователем и реальным отслеживаемым объекта (Pointing Detection).
  • Реализация основных функций обработки изображений, такие как обнаружение жестов, выделение объектов переднего и заднего плана или распознавание лиц.
  • Отправка информацию о положении и ориентации объекта через сеть или с помощью SDK.
  • Создания сценариев отслеживания объекта помощью графического интерфейса пользователя за считанные минуты.

Распознавание и отслеживание объектов

1. Установка и запуск пакета

Пакет D'Fusion Studio CV по умолчанию устанавливается на компьютер совместно с Intel Perceptual Computing SDK. Запустить пакет можно из "Intel Perceptual Computing SDK 2013 -> Tools -> D'Fusion Studio CV - Intel PCSDK". (или C:\Program Files (x86)\Intel\PCSDK\contrib\Total Immersion\StudioCV)

2. Создание сценария

Для того чтобы использовать функционал отслеживания безмаркерных объектов, Вы должны сперва создать настроить свой сценарий, используя D>Fusion Studio CV. В большинстве случаев сценарий предполагает создание следующих элементов:

  • XML файл конфигурации, содержащий настройки сценария (обычно "tracker.xml");
  • XML файл конфигурации, содержащий результаты калибровки камеры (обычно "cameraCalib.xml");
  • XML файл конфигурации, содержащий настройки захвата изображения (обычно "cameraConfig.xml");
  • Изображения, соответствующие отслеживаемому объекту;
  • Двоичные файлы, которые могут быть использованы для хранения объектов статистических структур (для поддержания процесса распознавания).

3. Процесс отслеживания безмаркерных объектов

Процесс отслеживания безмаркерных объектов состоит из нескольких шагов:

Распознавание. Может быть произведено распознавание одного или группы объектов. Данный шаг позволяет определить, какой объект присутствует на текущем изображении.

Автоматическая инициализация. Данный шаг позволяет пользователю приступить к полностью автоматическому отслеживанию без ссылки на конкретный объект.

Автоматическая инициализация отслеживания лица. На данном шаге D'Fusion Computer Vision может распознавать лица автоматически, а затем отслеживать их в видеопотоке.

Инициализация. Во время процесса инициализации в видео потоке требуемый объект обнаруживается на основе одного или набора ключевых кадров.

Отслеживание. Объект отслеживается в видеопотоке на основании ключевого кадра и информации о предыдущей позиции объекта.

Механизм распознавания и отслеживания

увеличить изображение
Механизм распознавания и отслеживания

4. Ключевой кадр

Ключевой кадр является важным понятием для понимания работы технологии отслеживания безмаркерных объектов. Данное понятие включает следующие компоненты:

  • 6 степеней свободы;
  • изображение, содержащее информацию об объекте;
  • соответствующие настройки калибровки камеры;

5. Работа в D'Fusion Studio CV

Следующий параграф описывает графический интерфейс пакета D'Fusion Studio CV, его функционал и способы создания своего сценария отслеживания.

Запустите пакет из "Intel Perceptual Computing SDK 2013 -> Tools -> D'Fusion Studio CV - Intel PCSDK".

(или C:\Program Files (x86)\Intel\PCSDK\contrib\Total Immersion\StudioCV)

1. Панель меню

Панель меню позволяет выполнять следующие операции:

  • "File > New": начать новый проект
  • "File > Load", "File > Recent Scenario": загрузить существующий проект
  • "File > Save", "File > Save As ...": сохранить текущий проект
  • "File > Exit": выход из приложения
  • "View > Log Window": вызвать лог
  • "? > Online Community": открыть веб сайт Total Immersion™ Community
  • "? > About D'Fusion Studio CV Pro": вызвать информацию о продукте
  • "? > D'Fusion CV - Reference Manual": открыть справку (на английском языке)
2. Рабочие панели

С помощью следующих панелей можно создать свой сценарий:

  • "Video Manager": определяет настройки захвата изображения
  • "Camera Calibration": определяет функции калибровки камеры
  • "Video Preprocessing": определяет настройки видео потока
  • "Scenario Manager": определение настроек отслеживаемого объекта
  • "Tracking Manager": просмотр результата отслеживания
3. Панель Video Manager

В зависимости от характеристик камеры вам придется задать настройки захвата.

  • "Type": задать тип захвата (directShow, Video UEye, Video for Windows).
  • "Video File": задать видео файл в качестве потока.
  • "Device List": выбрать камеру.
  • "Num. Driver": выбрать драйвер устройства захвата.
  • "Width, Height": установить разрешение видео потока.
  • "Pixel Format": доступны следующие форматы: RGB24, BGR24, RGB32, UYVY422, GRAY8, RGB565, ARGB32 (формат должен соответствовать возможностям камеры).
  • "Rate": задать количество кадров в секунду.
  • "Interlaced": задать параметры интерлейсинга.

(Интерлейсинг (или черезстрочная развёртка) – это приём, благодаря которому видео-изображение передаётся с частотой не 25 кадров в секунду, а 50, причём каждый кадр по-вертикали в два раза меньше самого видео. Чтобы получить исходный размер кадра по-вертикали, чётный и нечётный кадр "складываются" через строчку сверху вниз. Таким образом, если просматривать интерлейсное видео на компьютере без дополнительной обработки, мы будем видеть два соседних кадра как один)

  • "Inverted": вращение изображения.
  • "Delay": установить задержку захвата изображения.
  • "NbFrameBuffers": задать размер буфера для записи видеопотока.
  • "Priority": задать приоритетность видео потока.
  • "CPU": задать приоритетность обработки процессором.
  • "Import": загрузить ранее созданный ".xml" файл с настройками камеры.
  • "Close": Прекратить захват.
  • "Open": Подтвердить текущую конфигурацию и начать захват.
4. Панель Camera Calibration

На панели "Camera Calibration" можно откалибровать камеру, рассчитав фокусное расстояние, оптический центр и т.д.

5. Панель Video Preprocessing

Панель "Video Preprocessing" позволяет вручную задать параметры калибровки камеры.

6. Панель Scenario Manager

На этой панель вы можете определить параметры захватываемого объекта (геометрию и статические параметры).

Создание нового объекта

  • "Create": добавить новый объект в список отслеживаемых объектов.
  • "Import": загрузить существующую конфигурацию объекта.
  • "Remove": удалить выбранный объект.
  • "Max Simultaneous Targets": задать количество одновременно отслеживаемых объектов.

Параметры объекта

  • "Object Type": Определить тип отслеживаемого объекта. ("Plane", "Face AutoInit", "Object 3D", "Plane Black Box".
  • "Load model": загрузить 3D модель (".obj" или ".pts") отслеживаемого объекта. Доступно в "Face AutoInit" или "Object 3D" режиме.
  • "Plane Size": Задать плоский объект.

Ключевой кадр

Цель создания ключевого кадра заключается в обнаружении сходства между заданной моделью отслеживаемого объекта и объекта реального мира. Создать ключевой кадр можно вручную или загрузив .bmp или .jpg файл.

Панель "keyframe" содержит следующие элементы:

Кнопки "Up/down" : изменить порядок ключевых кадров.

Кнопки "Freeze/Unfreeze video" : "заморозить" видео для позиционирования виртуальной модели.

"Freeze Delay" : задержка "заморозки".

Кнопка "Create" : создать новый ключевой кадр.

"Import ..." : загрузить ключевой кадр из предыдущего сценария.

"Image ..." : загрузить .bmp или .jpg файл.

"Remove" : удалить выбранный ключевой кадр.

"Display" : отобразить ключевой кадр вместо видео потока.

7. Панель Tracking Manager

Эта панель служит для проверки созданного сценария и для изменения параметров с целью повышения качества отслеживания.

Гульзия Калымова
Гульзия Калымова
Александр Радченко
Александр Радченко