Северный (Арктический) федеральный университет им. М.В. Ломоносова
Опубликован: 23.08.2014 | Доступ: свободный | Студентов: 312 / 55 | Длительность: 11:13:00
Лекция 7:

Управление встраиваемыми системами с использованием возможностей Intel Perceptual Computing SDK

7.6. Система Умный дом

Рассмотрим структуру и компоненты встраиваемых систем управления на примере Умного дома. Умный дом (англ. Smart House) - жилой дом современного типа, организованный для удобства проживания людей при помощи высокотехнологичных устройств. Электронные бытовые приборы в умном доме могут быть объединены в домашнюю Universal Plug'n'Play - сеть с возможностью выхода в сети общего пользования. Под "умным домом" следует понимать систему, которая должна уметь распознавать конкретные ситуации, происходящие в здании, и соответствующим образом на них реагировать: одна из систем может управлять поведением других по заранее выработанным алгоритмам [45].

В системе Умный дом возможна автоматизация управления:

  • Оборудованием отопления, вентиляции и кондиционирования
  • Светильниками и их группами
  • Жалюзи и автоматическими воротами
  • Оборудованием, обеспечивающим безопасность
  • Бытовыми приборами, аудио- и видеотехникой и другим комфортность увеличивающим оснащением
Инфраструктура и компоненты Умного дома

увеличить изображение
Рис. 7.4. Инфраструктура и компоненты Умного дома

7.7. Примеры использования естественно-интуитивных интерфейсов для управления Умным домом

Итак, типичная система Умный дом имеет такие характеристики, как центральное управление цифровыми устройства и бытовой техникой, объединенными в единую сеть, и осуществление взаимодействия с пользователями через интеллектуальные интерфейсы.

Когда в 60-х годах 19 века Кристофер Шоулс изобрел макет QWERTY раскладки клавиатуры, мало кто мог себе представить, что его изобретение станет доминирующим устройством ввода 20-го века. В первые годы 21-го века применение клавиатуры остается доминирующей, несмотря на многие, возможно, более совершенные устройства ввода. Давайте рассмотрим альтернативы, в частности самые естественные методы человеческой коммуникации - разговорный язык и жесты.

Разговорный язык является не только естественным, но во многих случаях более эффективным способом ввода, чем клавиатура и мышь, и доступен в то время и в тех местах, где данные устройства по некоторым причинам не могут быть применены. В частности, с растущим проникновением встроенных компьютеров, Умный дом может быть объектом внедрения систем голосового управления. Фактически большая часть базовой технологии уже существует - многие цифровые устройства и электроприборы, информационно-развлекательные системы, датчики и так далее достаточно "умны", чтобы быть объединены в сеть. Домашние беспроводные сети также широко распространены, технологии синтеза речи совершенствуются, микрофоны и динамики встроены в карманные устройства, компьютеры и встроенные системы производительны и относительно недороги и уже проникли почти во все части современного дома. Однако узким местом в реализации домашних интеллектуальных систем остается автоматическое распознавание речи и аспекты понимания естественного языка.

В [46] авторы представляют систему голосового управления домашней автоматизации низкой мощность на основе ZigBee. В данном методе ZigBee приемник получает голосовую команду в качестве входных данных, а затем пересылает эти данные на ARM9 контроллер, который преобразует входные данные в требуемый формат. После преобразования ARM9 контроллер отправляет данные в микроконтроллер через ZigBee, к которому присоединены управляемые устройства. В предлагаемой системе голосовые команды преобразуются в цифровые данные и отправляются последовательно в виде пакета двоичных данных. В приемнике цифровые данные снова конвертируются в голос и передаются на компьютер через звуковую карту. Microsoft Speech API используется для распознавания голоса. После распознавания голоса, система генерирует управляющие символы, которые используемые включения и выключения приборов.

[47] представляют клиент-серверную систему голосового управления бытовыми приборами по беспроводному интерфейсу. Клиент используется для захвата голосовых команд и отправки данных на сервер по Wi-Fi. Серверная часть оснащена системой распознавания речи с использованием Microsoft Speech (SAPI). Сервер преобразует входящие голосовые команды в форму, которая может использоваться для управления бытовыми приборами. Результаты показали, что производительность системы в значительной степени зависит от зоны покрытия беспроводной сети, расстояния до воспринимающих устройств, типа голосового ввода и т.д.

Система голосового управления и мониторинга на базе мобильных устройств представлена в [48]. Нейронная сеть использовалась для выделения и распознавания определенных слов. Авторы разработали алгоритм, который преобразует устную речь в текстовом сообщении после извлечения некоторых специальных коэффициентов. Результаты показали, что точность предложенной системы составляла 84%.

Беспроводная система автоматизации дома (Wireless Home Automation System - WHAS), представленная в [49], является интегрированной системой домашней автоматизации для престарелых и инвалидов, в которой управление осуществляется на основе речевых команд. Система построена таким образом, что может быть легко установлена, настроена, запущена и поддерживаться.

Функциональная блок-схема WHAS (A - аналоговые, D - цифровые)

Рис. 7.5. Функциональная блок-схема WHAS (A - аналоговые, D - цифровые)

Рисунок 7.5 отображает последовательность работы WHAS. Голос захватывается с помощью микрофона, сэмплируется, фильтруется и преобразуется в цифровой вид при помощи аналого-цифрового преобразователя. Затем данные сжимаются и последовательно отправляются в виде пакетов двоичных данных. В центральном модуле управления двоичные данные преобразуются в аналоговый вид, фильтруются и поступают на компьютер через звуковую карту. Программная часть использует библиотеку Microsoft Speech API и распознает голос. После распознания голосовой команды, управляющие символы отправляются по беспроводной сети на адрес управляемого устройства для его включения или отключения.

Люди не задумываясь используют жесты для общения. Было доказано, что дети используют жесты для общения, прежде чем начать говорить. Жест, выполненный какой-либо частью тела, используется в сочетании с вербальной коммуникацией или вместо нее. Используя жесты, человек способен взаимодействовать с машиной без каких-либо механических устройств. Таким образом, наши естественные и интуитивные движения тела и жесты могут быть использованы в качестве команды или интерфейса для управления приборами, бытовой техники, подсистемами умного дома и т.д.

Техники захвата жестов могут включать в себя использование инфракрасных лучей, цифровые или не цифровые перчатки, видео камеры высокого разрешения, датчики движения и т.д.

Однако необходимо учитывать следующие ограничения жестового взаимодействия. Во-первых, набор жестов для управления системами должен быть легко запоминающимся, а во-вторых жест должен быть простым и его выполнение не должно требовать особых усилий. Данные ограничения особенно важны в случае пожилых людей и людей с когнитивными нарушениями, когда запоминание жестов затруднительно или жест сложен для исполнения.

В [50] предлагается система жестового трекинга для управления мультимедийной системой интуитивно понятным способом. Разработчики проекта поставили перед собой задачу заставить бытовую технику предугадывать намерения пользователя. [51] предложили систему контроля домашними приборами, такими как освещение и жалюзи, при помощи жестов тела. Система одновременно сегментировала и распознавала жесты с высокой точностью.

7.8. Возможности Intel PerC для управления встраиваемыми системами

Что будет если стандартные кнопочные интерфейсы заменить новыми высокотехнологичными жестовыми и голосовыми интерфейсами? Взмахните рукой, и соответствующая команда выполнится автоматически. Произнесите фразу, и автоматические двери откроются. Управление освещением, работой аудио и видео техники и многое другое все это может происходить интуитивно с помощью жестов и голоса. Такой подход уже сегодня может быть внедрен в систему домашней автоматизации.

Однако создание комплексной системы использующей в качестве контроллера жесты и голосовое управление, выполняющей команды с высокой точностью, это не простая задача. Одной альтернативой реализации подобной системы может служить комбинация возможностей модулей Intel Perceptual Computing SDK (модуля распознавания жестов, модуля распознавания лица и модуля голосового управления) и технических особенностей Creative Interactive Gesture Cam. Установив камеры со встроенными микрофонами в соответствующих местах, подключив их к единой системе программного управления, написанной с использованием библиотек Intel PerC, мы сможем контролировать домашнюю среду в реальном времени, отслеживать присутствие человека в помещении и адекватно реагировать на его команды. Под управлением подобной системы могу происходить ранее описанные действия, такие как включение и отключение бытовых приборов, регулировка освещения, громкости аудио и видео системы, работа систем безопасности и т.д.

Если говорить более детально о проектировании подобной системы автоматизации, то необходимо начать с разработки сценариев использования ее возможностей, т.е. заранее определить команду и соответствующее действие системы. В таблице 7.2 приведен пример одного из возможных сценариев домашней автоматизации.

Таблица 7.2. Сценарий
Команда Действие
Диммирование освещения
Ответить на звонок по громкой связи
Включить/выключить аудио систему
Swipe up/down Открыть/Закрыть жалюзи
Wave Включить/выключить систему кондиционирования
Circle Начать разогрев еды в СВЧ печи
Dictation "TV ON"/"TV OFF" "LIGHT ON"/"LIGHT OFF" "EMERGENCY CALL"
Face recognition Автоматическое открытие дверей

Заключение

В данной лекции мы определились, что из себя представляют встраиваемые системы, каковы их особенности, из каких компонентов могут состоять эти системы. Помимо этого, мы разобрали проводные и беспроводные стандарты связи для объединения компонентов встраиваемых систем. Также на примерах были разобраны основные характеристики системы Умный дом, и мы предположили, как могут быть использованы возможности модулей, входящих в состав Intel PerC SDK, для управления подсистемами Умного дома на более интуитивный для человека манер.

Контрольные вопросы

  1. Расскажите про особенности архитектуры встраиваемых систем.
  2. Приведите примеры компьютеров на базе одной платы и примеры их использования.
  3. Какие вы знаете беспроводные и проводные протоколы связи? В чем их особенности?
  4. Что такое система Умный дом?
  5. Из каких компонент состоит система Умный дом?
  6. Какие модули Intel Perceptual Computing SDK могут быть использованы для управления встраиваемыми системами домашней автоматизации.
  7. Придумайте сценарий использования возможностей Intel Perceptual Computing SDK для управления встраиваемыми системами управления домашней автоматизации.
  8. Где еще, помимо Умного дома, могу быть применены возможности Intel Perceptual Computing SDK для естественно-интуитивного управления?
Дмитрий Юнушкин
Дмитрий Юнушкин

В лабораторной работе №2 (идентификация лица) сказано:

в FaceTracking.cs: удалим или закомментируем функцию SimplePipelineкласс MyUtilMPipeline и изменим функцию AdvancedPipeline...

Класса MyUtilMPipeline  нет в проекте вообще;

Функции AdvancedPipeline так же нет. Материалов к лабораторной  №2 в начале работы (по ссылке открывается та же страница) тоже нет.Это ошибки или используется другая версия примера?