Спонсор: Intel
Опубликован: 23.08.2014 | Уровень: для всех | Доступ: платный | ВУЗ: Северный (Арктический) федеральный университет им. М.В. Ломоносова
Лекция 3:

Возможности использования Intel Perceptual Computing SDK в образовании

Аннотация: В данной лекции предполагается рассмотреть процесс образования с нескольких сторон, обратить внимание на влияние современных технологий на образование, а также увидеть возможности использования идей естественно-интуитивного взаимодействия человека с компьютером (perceptual computing) для повышения эффективности средств обучения.

Презентацию к лекции можно скачать здесь.

3.1. Введение

Под образованием понимается целенаправленный процесс и достигнутый результат воспитания и обучения в интересах человека, общества, государства, сопровождающийся констатацией достижения гражданином (обучающимся) установленных государством образовательных уровней (образовательных цензов) [10]. Такая формулировка присутствует в законе РФ "Об образовании", в ней образование определяется, как процесс и результат.

В данной лекции предполагается рассматривать образование, как целенаправленный процесс, ориентированный на приобщение человека к миру культуры, развитие личностных качеств, приобретение жизненно важных знаний и умений. В настоящее время неотъемлемой частью образовательного процесса являются информационные и телекоммуникационные технологии, позволяющие значительно повысить его эффективность.

Использование современных технологий, в основе которых лежит компьютер, позволяет обеспечить наглядность, интерактивность, вовлеченность обучающихся в процесс обучения, предоставляет учащимся возможности поиска и систематизации информации, а также возможности самоконтроля. Разумеется, это не полный перечень возможностей, предоставляемых современными технологиями. При этом важно понимать, что современные технологии это всего лишь инструмент, поэтому необходимо, чтобы этот инструмент был удобен в использовании и требовал минимум времени и сил на его освоение. В этом случае напрашиваются мысли о способностях вычислительных устройств понимать человека через физический контакт, словесные команды, мимику и жесты. Приложения с элементами такого взаимодействия могут дать пользователям ощущение присутствия и погружения. Добавить в приложение элементы такого взаимодействия позволяет комплект разработки Intel Perceptual Computing SDK и камера Creative* Senz3D.

В данной лекции постараемся рассмотреть процесс образования с нескольких сторон, обратить внимание на влияние современных технологий на образование, а также увидеть возможности использования идей естественно-интуитивного взаимодействия человека с компьютером (perceptual computing) для повышения эффективности средств обучения.

3.2. Влияние современных технологий на образование

В настоящее время, под современными технологиями в первую очередь понимаются информационные и телекоммуникационные технологии. Можно отметить, что эти технологии являются средством усиления интеллектуальной деятельности человека, а также являются базовыми технологиями общества, в котором главным капиталом являются знания и умения эти знания использовать. В таких условиях очевидна необходимость постоянного и непрерывного образования для большинства людей в течение всей жизни.

Не секрет, что развитие современных технологий повышает требования к уровню образования в обществе, с другой стороны правильное использование современных технологий позволяет сделать процесс получения новых знаний и умений более доступным, интенсивным и эффективным. Подчеркивая исключительную важность развития информационных и телекоммуникационных технологий в образовании, Международная комиссия по вопросам образования, науки и культуры при ООН сформулировала два базовых принципа их использования: "образование для всех" и "образование через всю жизнь" [12].

Первый принцип декларирует возможность получения образования для всех категорий граждан, но в первую очередь требует обратить особое внимание на возможность получения образования для групп людей, которые по каким-то причинам не могут участвовать в традиционном образовательном процессе, например, жители удаленных территорий или люди с ограниченными возможностями. Пожалуй, наиболее подходящим способом реализации принципа "образование для всех" является организация системы дистанционного образования, ориентированного на удовлетворение образовательных потребностей населения. Дистанционное образование позволяет сделать активными географически распределенные информационные ресурсы.

3.2.1. Современные технологии в дистанционном образовании

Дистанционное образование можно рассматривать, как систему реализации процесса обучения, основывающуюся на использовании современных технических средств, информационных и телекоммуникационных технологий, позволяющую учащимся не зависеть от расположения в пространстве и во времени. Дистанционное образование предполагает создание информационно-образовательной среды, включающей в себя средства передачи данных, информационные ресурсы, протоколы взаимодействия, аппаратно-программное и организационно-методическое обеспечение [13].

Можно отметить, что попытки организовать дистанционное образование предпринимались еще в конце XIX века, но интенсивно развиваться системы дистанционного образования начали примерно с середины 60-х годов XX века, вызвано это было возрастающим и всесторонним воздействием научно-технического прогресса на жизнедеятельность общества, в связи с чем существенно выросли требования к уровню образования работающих людей.

Одной из форм дистанционного образования является заочное образование, ориентированное на концентрированную выдачу материала преподавателем и серьезную самостоятельную работу студентов. При этом взаимодействие участников процесса обычно крайне ограничено: преподаватель выдает материал, снабжает студента специальными пособиями и заданиями, студент высылает выполненные задания на проверку и при удачном стечении обстоятельств проходит итоговый контроль знаний (зачет или экзамен).

Современный уровень развития коммуникационных технологий позволяет снизить ограничения на взаимодействие студентов и преподавателей. При этом можно рассматривать три уровня коммуникаций в процессе дистанционного образования [14]:

  • широковещательный, данный уровень является наиболее характерным для традиционного массового обучения, при этом общение направлено от одного преподавателя ко многим учащимся;
  • транзакционный, данный уровень используется при индивидуальном обучении, общение обычно происходит в паре учитель-ученик;
  • групповой, данный уровень появляется в процессе группового взаимообучения, в этом случае общение происходит между всеми участниками процесса.

Большинство существующих образовательных ресурсов для дистанционного обучения используют широковещательный уровень коммуникаций, при этом многими ресурсами поддерживается обратная связь с преподавателем и возможность для обучающихся обсуждать свои вопросы между собой. Наиболее известным образовательным ресурсом для дистанционного обучения в нашей стране, пожалуй, является Национальный Открытый Университет "ИНТУИТ": http://www.intuit.ru/. Среди зарубежных ресурсов можно выделить Coursera: https://www.coursera.org/, очевидно, что ресурсов для онлайн-обучения в мире достаточно много, в статье http://habrahabr.ru/post/156241/ собраны ресурсы, представляющие интерес преимущественно для программистов. Некоторые университеты предоставляют возможность получения полнообъемного образования дистанционно, т. е. обеспечивают полное выполнение учебного плана по определенному направлению. Краткое описание общей стратегии мировой академической среды в деле образования можно найти в статье: http://habrahabr.ru/company/lektorium/blog/162793/.

Кроме широковещательного уровня коммуникаций, многие программы дистанционного обучения предоставляют учащимся возможность индивидуальных консультаций с преподавателем, обычно это организуется с помощью Skype или похожих приложений. В настоящее время все чаще используются технологии телеконференций: аудио-конференции, видеоконференции, компьютерные конференции, которые позволяют организовать взаимодействие преподавателей и учеников, а также взаимодействие учеников между собой. Для организации коммуникации учащихся и преподавателей также довольно часто используются форумы, блоги, группы в социальных сетях.

В настоящее время активно развивается использование виртуальных классов, как новой организационной формы образования. Несомненным плюсом такой модели является возможность организации взаимодействия преподавателей и учащихся на всех коммуникационных уровнях. Виртуальные классы могут использоваться, как самодостаточный инструмент передачи информации и обучения студентов, они позволяют проводить индивидуальные и групповые занятия, а также организовывать выступления на большую аудиторию слушателей. Возможно за виртуальными классами и университетами будущее дистанционного образования. Ознакомиться с существующими решениями, позволяющими организовать виртуальный класс, и получить краткую информацию по инструментам можно в следующих обзорах платформ: обзор 1 и обзор 2.

Современные технологии позволяют внести в дистанционное обучение эффект присутствия, который может помочь повысить эффективность и насыщенность дистанционного обучения. Особенно полезен эффект присутствия при удаленном выполнении лабораторных работ на сложном научном оборудовании и экспериментальных установках. Примеры организации дистанционных лабораторных практикумов: КГТУ им. А. Н. Туполева и МГТУ им. Н. Э. Баумана.

Другой вариант использования эффекта присутствия состоит в организации виртуального мира, где каждый участник может быть представлен своим аватаром, способным отображать поведение участника: движения, мимику, жесты и речь. Возможности использования виртуальных миров в обучении и не только рассмотрены в следующих статьях: статья 1 и статья 2.

Активное развитие дистанционного образования требует стандартизации организации учебного материала и всей системы дистанционного обучения, что позволит обеспечить совместимость компонентов учебного материала и возможность их многократного использования. С этой целью создан стандарт SCORM (Sharable Content Object Reference Model), как первый шаг на пути развития концепции ADL (Advanced Distributed Learning). SCORM помогает определять технические основы сетевой образовательной среды и является моделью взаимосвязанных технических стандартов, спецификаций и основных принципов.

SCORM определяет ряд требований ко всем системам, которые будут разрабатываться в соответствии с этим стандартом [20, 21]:

  • доступность: возможность найти необходимые учебные компоненты и получить к ним доступ;
  • адаптируемость: возможность адаптировать учебную программу согласно потребностям отдельных пользователей или организаций;
  • эффективность: возможность повысить производительность, сокращая время и затраты на доставку инструкций;
  • долговечность: возможность соответствовать новым технологиям без дополнительной и дорогостоящей доработки;
  • интероперабельность: возможность использовать учебные материалы вне зависимости от платформы, на которой они созданы;
  • возможность многократного использования материалов в разных приложениях и контекстах.

Описание стандарта SCORM и его применения: http://cccp.ifmo.ru/scorm/index.html.

Для разработки собственной системы дистанционного обучения имеет смысл использовать системы управления обучением или LMS (Learning management system). Наиболее известные свободно распространяемые системы управления обучением, совместимые со стандартом SCORM: Moodle (https://moodle.org/), ILIAS (http://www.ilias.de/), Sakai (http://sakaiproject.org/).

3.2.2. Современные технологии и "образование через всю жизнь"

Вспомним о втором продекларированном ООН принципе использования информационных и телекоммуникационных технологий в образовании: "образование через всю жизнь". Очевидно, что все ранее рассмотренные возможности дистанционного образования могут помочь в реализации и этого принципа: человек наученный учиться может заниматься самообразованием всю жизнь, а современные технологии обеспечивают доступ к информационным и образовательным ресурсам.

На самом деле современные технологии способны проявить себя не только в деле организации дистанционного обучения. Возможно наибольший энтузиазм у специалистов, работающих в сфере образования, вызывается возможностями глобальной визуализации учебного материала. Современные технологии позволяют в процесс образования включать учебные видеоматериалы; использовать мультимедиа технологии, реализуемые на основе специально структурированных баз данных и знаний, электронных пособий и учебников, а также интерактивные мультимедиа презентации.

Вернемся к принципу "образование через всю жизнь", очевидно, что начинается процесс образования в самом раннем возрасте. В дошкольном детстве ребенок может получать новые знания и формировать новые умения, в этом возрасте главное заинтересовать ребенка и помочь ему в познании мира. В образовании дошкольников можно использовать современные технологии: короткие презентации, познавательные мультфильмы и кинофильмы, развивающие компьютерные игры и видеоуроки. Разумеется, необходимо учитывать возрастные особенности: во-первых, следить, чтобы весь учебный материал и его подача соответствовали возрасту, а, во-вторых, строго следить за продолжительностью занятий и развивающих игр. Примеры:

Разумное использование учебных материалов, опирающихся на современные технологии, дает положительные результаты в нелегком деле формирования у дошкольников "вкуса" к образованию, как процессу.

В школьном образовании грамотно организованное использование современных технологий позволяет повысить интерес ученика к предмету, активизировать его познавательную и мыслительную деятельность, повысить мотивацию к учению. При этом имеет смысл использовать рационально составленные учебные программы или целые электронные образовательные комплексы, учитывающие специфику содержательной информации, психолого-педагогические и возрастные особенности усвоения этой информации.

На каждом этапе обучения возможно эффективное использование современных технологий:

  • на этапе предъявления учебной информации полезно использовать обучающие видеоматериалы, мультимедийные презентации, демонстрации динамики реальных процессов и принципов действия различных технических средств и механизмов;
  • на этапе усвоения учебного материала полезно использовать компьютеры, дополнительное оборудование и учебное ПО для организации лабораторных работ, семинарских занятий;
  • на этапе повторения и закрепления усвоенных знаний, умений и навыков могут быть полезны тренажеры соответствующих умений и навыков с обращениями к усвоенным знаниям;
  • на этапе контроля и самоконтроля достигнутых результатов обучения применимы системы, способные проверить правильность выполнения контрольных заданий, а также представить результаты с учетом ошибок и затраченного времени и сравнить показатели различных студентов по решению одних и тех же задач. В этом деле важно не свести весь контроль к механическому тестированию.

Примеры общеобразовательных ресурсов:

http://live-st.ru/items.asp?id=13 - электронный образовательный комплекс;
http://www.edu.ru/db/portal/sites/res_page.htm - федеральный портал, на котором собраны федеральные образовательные ресурсы для общего образования;
http://www.alleng.ru/edu/educ.htm - Российские общеобразовательные порталы и сайты.

Продолжением школьного образования обычно является профессиональное образование, как в средних, так и в высших учебных заведениях. Использование современных технологий на этом этапе образования не сильно отличается от рассмотренного для средней школы, при этом многие учебные заведения поддерживают собственные образовательные порталы.

Отличием может являться использование виртуальных лабораторий, оснащенных компьютерным оборудованием и программным обеспечением, имитирующим процессы, протекающие в изучаемых реальных объектах, в меньшей степени такие лаборатории могут использоваться и в школьном образовании. В виртуальных лабораториях характерно использование программ моделирования процессов в изучаемых или проектируемых объектах, а также часто используются математические пакеты, программы оптимизации и другие компоненты программного и информационного обеспечения.

Виртуальная лаборатория представляет собой программно-аппаратный комплекс, позволяющий проводить опыты без непосредственного контакта с реальной установкой или при полном отсутствии таковой. В первом случае мы имеем дело с так называемой лабораторной установкой с удаленным доступом, в состав которой входит реальная лаборатория, программно-аппаратное обеспечение для управления установкой и оцифровки полученных данных, а также средства коммуникации. Во втором случае все процессы моделируются при помощи компьютера [22]. Примеры виртуальных лабораторий: http://www.virtulab.net/; http://star.mit.edu/cluster/index.html - разработка MIT (Massachusetts Institute of Technology). Обзор виртуальных лабораторий: http://kpfu.ru/docs/F324157708/Virtualnye.laboratorii.pdf.

Типичными примерами программного обеспечения для расчетов и анализа процессов в исследуемых системах могут служить математические пакеты: MathCAD, MATLAB; программы анализа электронных схем PSpice; программы анализа механических устройств Adams; программы анализа систем с механическими, гидравлическими, электрическими и электронными элементами типа ПА9; программы анализа логических схем на основе языка VHDL; программы моделирования полей физических величин по методу конечных элементов типа Ansys; системы имитационного моделирования AnyLogic, Simulink; симуляторы; программы геометрического моделирования и др.

После получения профессионального образования человек обычно уже умеет учиться, искать новую информацию и получать новые знания, а также формировать новые умения и навыки. В этом случае современные технологии могут быть полезны, если они позволяют получить доступ к удаленным источникам информации, дистанционным курсам и, возможно, виртуальным лабораториям и симуляторам.

3.2.3. Необходимость аккуратного использования современных технологий в образовании

В конце этого раздела хочется обратить внимание на опасность бездумного и повального использования вычислительной техники и информационных технологий в образовательном процессе, особенно на начальных его стадиях. Важно помнить, что все современные технологии являются лишь одним из инструментов обучения, поэтому необходимы корректные, ориентированные на желаемый результат, целесообразные процедуры их применения. Процедуры, в свою очередь, предполагают наличие умения применять инструмент и желание его применять [12]. Внедрение в образовательную среду компьютерных технологий требует осторожности, поскольку может принести существенный вред при кажущейся полезности. При этом использование современных технологий не означает полный уход от классических форм обучения, а предполагает разумное сочетание разных технологий образования.

Компьютер с программным обеспечением, ориентированным на решение определенной учебной задачи, представляет собой искусственный интеллект некоторого уровня сложности. Этот искусственный интеллект призван облегчить решение рутинных задач, при этом он может препятствовать развитию мышления учащегося, если его мышление в этой предметной области менее сложно, чем искусственный интеллект [12]. Таким образом применение искусственного интеллекта полезно для специалиста и вредно для учащегося. Поэтому, например, учащимся начальной школы не рекомендуется пользоваться калькуляторами до тех пор, пока они не приобретут навык самостоятельных вычислений.

3.3. Возможности использования идей естественно-интуитивного взаимодействия человека с компьютером в образовании

Напомним в чем состоят идеи естественно-интуитивного взаимодействия человека с компьютером (perceptual computing). Такое взаимодействие предполагает способность вычислительных устройств понимать человека через физический контакт, словесные команды, мимику и жесты. Использование новых идей при разработке приложений позволяет добавить во взаимодействие с приложением ощущение присутствия и погружения. Добавлять элементы естественно-интуитивного взаимодействия в приложения позволяет набор инструментов Intel® Perceptual Computing SDK, для полноценной работы таких приложений необходима камера Creative* Senz3D.

В 2014 году компания Intel выпускает Intel® RealSense™ SDK, работающий с камерой Intel® RealSense™ 3D Camera, которую планируется встраивать в ноутбуки, планшеты и, возможно, другие мобильные устройства. Данный продукт продолжает развивать идеи естественно-интуитивного взаимодействия с компьютером. Подробности: https://software.intel.com/en-us/realsense/integrated-camera-and-supported-systems.

В данной лекции будем ориентироваться на работу с Intel® Perceptual Computing SDK. Вспомним, что этот набор инструментов имеет модульную структуру и его основные модули:

  • модуль распознавания жестов содержит реализации алгоритмов для отслеживания позиций пальцев на руке, распознавания стандартных жестов;
  • модуль распознавания лиц содержит реализации алгоритмов для распознавания лиц и получения некоторой аналитической информации о распознанном лице, такой как, возрастная группа, пол, подмигивание, улыбка;
  • модуль голосового управления содержит алгоритмы распознавания и синтеза речи;
  • модуль отслеживания двумерных и трехмерных объектов.

В связи с этим SDK позволяет создавать приложения нового поколения, способные различать лица, распознавать мимику и жесты, понимать голосовые команды; умеющие распознавать устную речь и наоборот синтезировать речь по печатному тексту, а также отслеживать перемещения 2D/3D объектов. Остаток данной лекции посвятим рассмотрению возможностей использования в образовании перечисленных элементов естественно-интуитивного взаимодействия с компьютером.

3.3.1. Идеи естественно-интуитивного взаимодействия в дистанционном образовании

В предыдущем разделе мы рассмотрели, насколько полезными могут быть современные технологии в организации дистанционного образования. Идеи естественно-интуитивного взаимодействия в этом случае могут добавить легкости и непринужденности в общение, обязательное для комфортного обучения. Существуют решения, создающие виртуальные классы, в которых каждый участник представлен своим аватаром в этом случае использование камеры и модулей распознавания мимики и жестов позволит сделать аватар намного более реалистичным, чем любой смоделированный в 3D. Если учесть, что камера Creative* Senz3D работает на небольших расстояниях (от 15 см до 1 м), можно предположить, что для создания аватара с помощью Intel® Perceptual Computing SDK в большей степени потребуется модуль распознавания лиц. Как это может выглядеть:

http://youtu.be/-U-pPJsQiMA - реализация аватара с использованием камеры Kinect;
http://youtu.be/2lGNrGoGWgU - реализация аватара с использованием Intel® RealSense.

Интересная новость про создание эффекта присутствия: http://www.computerra.ru/99250/tri-kinect-i-odin-oculus-rift-perenosyat-polzovatelya-v-virtualnyiy-ofis-budushhego/.

Идеи естественно-интуитивного взаимодействия с компьютером могут оказаться полезными для людей с ограниченными возможностями. Если ограничения связаны с возможностью слышать, в этом случае может быть использована система распознавания речи для текстового сопровождения речи преподавателя в реальном времени. А если пойти дальше, то возможна разработка системы компьютерного сурдоперевода, в обе стороны, в этом случае потребуется задействовать модули распознавания речи и распознавания жестов, возможно, в какой-то мере модуль распознавания лиц. В данном случае речь идет о решении коммуникативных задач в образовании.

3.3.2. Идеи естественно-интуитивного взаимодействия в дошкольном образовании

Рассмотрим возможности применения идей естественно-интуитивного взаимодействия с компьютером в образовании детей дошкольного возраста. Например, в дошкольном возрасте можно и нужно развивать алгоритмический стиль мышления. Под алгоритмом можно понимать план деятельности, оформленный в некоторой формальной системе обозначений, понятной для исполнителя. При этом для исполнения алгоритма необязательно использовать компьютер. При наличии компьютеров с соответствующим программным обеспечением развивать алгоритмический стиль мышления получается интереснее и эффективнее, однако компьютер остается лишь средством обучения [11].

Особые сложности появляются при выборе средств обучения, подходящих для дошкольников. В этом возрасте большинство детей еще с трудом читают и пишут, или же, не умеют вовсе, поэтому необходимо использовать исполнительные среды, в которых инструкции исполнителя понятны и для ребенка. В настоящее время существуют средства обучения дошкольников основам алгоритмики, например, исполнительная среда ПиктоМир (http://piktomir.ru/), в которой для составления программ используются не текстовые команды, а пиктограммы.

Можно выделить несколько путей использования возможностей Intel Perceptual Computing SDK в образовании дошкольников. Один из путей состоит в использовании среды, аналогичной ПиктоМиру, с добавленными возможностями жестового управления пиктограммами, а можно и вовсе обойтись без пиктограмм, определив набор жестов и задав для каждого жеста определенную команду исполнителя. Оба варианта позволяют избавить ребенка от необходимости сидеть перед компьютером и внести в процесс обучения элементы физкультуры.

На самом деле высказанные идеи подходят не только для развития алгоритмического стиля мышления, можно использовать жестовое управление в развивающих и обучающих играх в любой области знаний: лото, пазлы, интерактивные карты и список можно продолжать.

В процессе обучения очень полезна возможность визуализации сложных объектов. Например, приложение Molecual позволяет, используя жестовое управление, манипулировать молекулой ДНК, изображенной на экране. Манипуляции включают возможность захвата молекулы, поворота и увеличения (https://www.youtube.com/watch?v=EYhZAsKDHb8&list=PLT8Rgp51PBmx3reOk8mFnsqUEtdKddRd_). Можно пойти дальше и реализовать жестовую сборку сложных объектов из составных частей.

3.3.3. Идеи естественно-интуитивного взаимодействия и сохранение здоровья обучающихся

В организации образования с использованием компьютерных технологий имеет смысл обратить особое внимание на сохранение здоровья учащихся, чаще всего стоит опасаться нарушений осанки и зрения. Intel Perceptual Computing SDK позволяет разрабатывать приложения, отслеживающие положение человека перед камерой и расстояние до нее, в случае отклонения от заданных, как оптимальные, положения и расстояния выдать предупреждение. С другой стороны взаимодействие с компьютером, не требующее стандартных устройств: клавиатуры и мыши, позволяет избежать необходимости сидеть за компьютером. В этом случае ребенок взаимодействует с камерой, а экран может находиться довольно далеко, что дополнительно позволяет снизить нагрузку на глаза.

Кроме осанки и зрения имеет смысл обращать внимание на эмоциональное состояние обучающихся, модуль распознавания лиц Intel Perceptual Computing SDK позволяет анализировать лицо и выявлять некоторые эмоции, что могло бы дать возможность во время занятий собирать информацию для последующего анализа, а также, в случае появления негативных эмоций, предложить педагогу сменить деятельность обучающихся.

В свое время на уроках были популярны небольшие упражнения для глаз и пальцев, идеи естественно-интуитивного взаимодействия могли бы сделать такие упражнения более интересными. Например, можно создать приложение герой, которого реагировал бы на подмигивания, улыбку и другие мимические жесты, использовать при этом модуль распознавания лиц. А с помощью модуля распознавания жестов можно создать приложения, которые позволили бы сделать выполнение пальчиковой гимнастики более увлекательным занятием. Пальчиковая гимнастика - прекрасное средство для развития мелкой моторики, а также при выполнении упражнений стимулируется область мозга, отвечающая за речь.

3.3.4. Идеи естественно-интуитивного взаимодействия в создании виртуальных лабораторий

При изучении некоторых вопросов, особенно в предметах естественно-научного цикла, часто для наилучшего понимания и усвоения требуется провести опыт. Не все опыты можно воспроизвести в условиях школы или в домашних условиях, для этого существуют виртуальные лаборатории, в которых выполняется моделирование реальных процессов с помощью компьютеров и специального ПО. Идеи естественно-интуитивного взаимодействия могут добавить реалистичности в проведение опытов, например, с помощью модуля распознавания жестов можно реализовать захват приборов или материалов, используемых в опыте и изображенных на экране, и необходимые манипуляции с ними. Можно пойти другим путем, иметь под рукой некие объекты, которые могут быть предъявлены системе, как необходимые приборы и материалы. Используя модуль отслеживания двумерных и трехмерных объектов, можно запомнить какой объект, какую роль играет в опыте и изображать выполнение действий, запускающих эксперимент, в реальности, а компьютер будет моделировать процесс и результаты опыта.

Все чаще появляются попытки использовать такое явление, как дополненная реальность (AR, Augmented Reality) в образовании. Дополненная реальность представляет собой взаимопроникающее объединение реального мира и компьютерной или виртуальной реальности. Часто дополненная реальность реализуется дополнением реального мира некоторыми виртуальными объектами, которые отображаются на настоящее пространство с помощью проектора или же на экране вычислительного устройства. Основная идея дополненной реальности в том, что она позволяет стереть границы между материальными предметами и цифровыми объектами.

В качестве примера интерактивного инструмента для обучения детей можно привести песочницу дополненной реальности, которая позволяет детям создавать своими руками ландшафты из песка, получать при этом горы, ущелья, вулканы, долины и реки. Проект построен с использованием камеры Microsoft Kinect, работающей в связке с топографическим ПО и 3D-проектором. Подробности: http://habrahabr.ru/post/220239/, http://habrahabr.ru/sandbox/81701/.

Модуль отслеживания двумерных и трехмерных объектов позволяет создавать дополненную реальность, которая может быть использована в образовании. Например, с помощью меток можно давать ответы на вопросы на этапе контроля усвоения знаний, а также можно демонстрировать визуальное отображение каких-либо реальных объектов. Примеры использования дополненной реальности в образовании: https://www.youtube.com/watch?v=7G3H3ImCWlE; http://didaktor.ru/novye-primery-dopolnennoj-realnosti-v-obuchenii/; http://arnext.ru/articles/20-ar-eksperimentov-v-obrazovanii-2353.

3.3.5. Интересные возможности использования идей естественно-интуитивного взаимодействия в образовании

В конце лекции рассмотрим несколько вопросов, которые кажутся интересными с точки зрения применения идей естественно-интуитивного взаимодействия в образовании.

Во-первых, в нашей лекции об использовании современных технологий в образовании нельзя пройти мимо такого средства обучения, как интерактивная доска. Интерактивная доска (Interactive whiteboard) представляет собой большой сенсорный экран, присоединенный к компьютеру, информация с которого проецируется на доску с помощью проектора. Доской можно управлять как с помощью специального маркера, так и с помощью прикосновений пальцем. Интерактивная доска может использоваться в качестве инструмента, значительно ускоряющего доступ к необходимой информации, облегчающего ее восприятие, способствующего формированию творческой атмосферы в коллективе обучающихся. Объединяя интерактивную доску, камеру Creative* Senz3D (или Intel® RealSense™ 3D Camera) и Intel® Perceptual Computing SDK (или Intel® RealSense™ SDK), можно получить крайне интересные решения.

В качестве примеров реализации похожих идей можно предложить следующие разработки: https://www.youtube.com/watch?v=WV9K_z4l_J8, https://www.youtube.com/watch?v=aLLv2zHE7qk.

Во-вторых, хочется обратить внимание на образовательную программу Biophilia, которая разработана, чтобы вдохновить детей на использование собственных творческих способностей для изучения музыки и наук посредством новых технологий. Biohpilia является междисциплинарной программой, которая основывается на концепции исландской певицы Bjork и использует набор мобильных приложений, помогающих связать вместе различные области знаний, игровое творчество и интерактивную сущность сенсорного экрана. Программа развивалась Bj?rk в сотрудничестве с учеными из университета Исландии, а также учителями из городской школы Рейкьявика. Эта образовательная программа хорошо подходит и разрабатывалась для детей с синдромом дефицита внимания и гиперактивности, дислексией и другими трудностями обучения. С подробностями проекта можно познакомиться на странице http://biophiliaeducational.org/about/. Данный проект может служить примером и дать несколько вдохновляющих идей для разработки аналогичных приложений с использованием идей естественно-интуитивного взаимодействия и пакета Intel® Perceptual Computing SDK (или Intel® RealSense™ SDK).

В-третьих, можно обратить внимание на использование идей естественно-интуитивного взаимодействия в приложениях, позволяющих "играть" на музыкальных инструментах, чаще всего с помощью жестов. Существует приложение Drummer, которое позволяет почувствовать себя ударником, автор приложения Stefan Sadchikov является призером конкурса Intel Perceptual Computing Challenge (https://www.youtube.com/watch?v=1r9F4SscrpI).

Еще одна реализация приложения имитирующего игру на ударных инструментах: (https://www.youtube.com/watch?v=XJsHkrYeds4).

Здесь же можно упомянуть такой интересный музыкальный инструмент, как терменвокс (http://en.wikipedia.org/wiki/Theremin, https://www.youtube.com/watch?v=qHBPjNZhMk8). Приложение Virtual Theremin (https://www.youtube.com/watch?v=veNBKPqJe7Y)

Было бы очень интересно попробовать реализовать приложение с использованием пакета Intel® Perceptual Computing SDK (или Intel® RealSense™ SDK), позволяющее сформировать начальные навыки игры на различных музыкальных инструментах.

В заключение хочется сказать, что данный в лекции обзор возможных применений идей естественно-интуитивного взаимодействия с компьютером в образовании не претендует на полноту, всегда можно найти много идей вокруг себя. Однако есть надежда, что удалось задать некоторое направление для поиска идей по использованию возможностей естественно-интуитивного взаимодействия человека с компьютером в образовании.

Дмитрий Юнушкин
Дмитрий Юнушкин

В лабораторной работе №2 (идентификация лица) сказано:

в FaceTracking.cs: удалим или закомментируем функцию SimplePipelineкласс MyUtilMPipeline и изменим функцию AdvancedPipeline...

Класса MyUtilMPipeline  нет в проекте вообще;

Функции AdvancedPipeline так же нет. Материалов к лабораторной  №2 в начале работы (по ссылке открывается та же страница) тоже нет.Это ошибки или используется другая версия примера?

Анатолий Федоров
Анатолий Федоров
Россия, Москва, Московский государственный университет им. М. В. Ломоносова, 1989
Дмитрий Юнушкин
Дмитрий Юнушкин
Россия, г. Пенза