Модели и программные средства интерактивного взаимодействия с подвижным информационно-навигационным комплексом самообслуживания тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Прищепа, Мария Викторовна

• Прищепа, Мария Викторовна
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Прищепа, Мария Викторовна

Содержание

Введение

Положения, выносимые на защиту

Глава 1. Анализ проблем разработки многомодальных подвижных комплексов самообслуживания и подходов к их решению

1.1 Анализ основных проблем построения пользовательских интерфейсов к подвижным комплексам самообслуживания

1.2 Обзор современных методов проектирования речевых и многомодальных пользовательских интерфейсов

1.3 Обзор существующих исследовательских подвижных комплексов самообслуживанияЗ

1.4 Методики тестирования информационных подвижных комплексов

1.5 Выводы по главе 1

Глава 2. Модельно-алгоритмическое обеспечение функционирования подвижных информационно-навигационных комплексов

2.1 Структурная модель подвижного информационно-навигационного комплекса

2.2 Сценарии поведения комплекса в различных режимах функционирования

2.3 Логическая модель выбора режимов работы информационно-навигационного комплекса

2.4 Модели персонифицированного интерактивного взаимодействия с подвижным комплексом

2.5 Выводы по главе 2

Глава 3. Модельно-алгоритмическое обеспечение интерактивного взаимодействия с подвижным информационно-навигационным комплексом

3.1 Особенности проектирования диалоговых моделей

3.2 Диалоговая модель информационно-навигационного обслуживания пользователя

3.3 Пример диалоговой модели и схема обработки речевых запросов пользователя

3.4 Выводы по главе 3

Глава 4. Комплекс программных средств управления многомодальным подвижным автоматом информационно-навигационного самообслуживания

4.1 Структура классов комплекса программных средств управления многомодальным подвижным автоматом

4.2. Экспериментальный образец подвижного информационно-навигационного комплекса с многомодальным интерфейсом

4.3 Рекомендации по внедрению предложенного модельно-алгоритмического обеспечения

4.4 Выводы по главе 4

Заключение

Литература

Приложение А. Копии актов внедрения результатов диссертационной работы

Введение диссертации (часть автореферата) на тему «Модели и программные средства интерактивного взаимодействия с подвижным информационно-навигационным комплексом самообслуживания»

Введение

Актуальность темы диссертации. Стационарные системы самообслуживания и оказания услуг информационно-справочного характера населению, в том числе банкоматы, терминалы оплаты услуг, информационные киоски, оснащенные средствами обработки и вывода аудиовизуальной информации, широко распространены в торгово-развлекательных комплексах, банках, транспортных узлах и других местах одновременного нахождения большого количества людей. Основным требованием, предъявляемым к пользовательскому интерфейсу таких систем, является доступность для людей с различными навыками и возможностями. То есть интерфейс человеко-машинного взаимодействия должен быть простым и удобным настолько, чтобы пользователь смог управлять устройством интуитивно без предварительной подготовки и обучения.

В то же время на основе активно развивающейся в последнее время концепции окружающего интеллектуального пространства, анализирующего поведение пользователя на основе бесконтактных сенсоров, разрабатываются информационно-справочные сервисы, предоставляемые повсеместно. Однако пока существуют лишь отдельные прототипы подобных интеллектуальных пространств: зал совещаний, лекционная аудитория, больничная палата, комната отдыха.

Другим вариантом информационно-справочных систем самообслуживания является применение мобильных персональных устройств. В частности, широкое распространение получили персональные мобильные гиды в музеях, предоставляющие пользователю контекстно-зависимую информацию на основе технологий радиочастотной идентификации. Такие решения достаточно просты в реализации и не требуют больших экономических затрат. Тем не менее оптимальный выбор размера экрана, веса и других эргономических характеристик играют важную роль при разработке мобильных персональных систем.

Одним из перспективных направлений развития информационно-справочных систем самообслуживания в настоящее время является разработка подвижных комплексов, предоставляющих услуги справочного характера пользователям в заданной зоне обслуживания. За счет своей мобильности такие системы способны обслуживать большее количество пользователей, чем стационарные системы. Кроме того, подвижные комплексы не настолько ограничены в размерах как персональные мобильные гиды, поэтому ресурсы, необходимые для оснащения пользовательского интерфейса, могут быть увеличены. Вместе с тем, при создании подвижных комплексов самообслуживания возникает ряд новых неизученных аспектов человеко-машинного взаимодействия, связанных с безопасностью движения, выбором положения комплекса по отношению к пользователю в ходе предоставления услуг и реализацией пользовательского интерфейса, учитывающего как мобильность пользователя, так и самой системы.

Цель работы и задачи исследования. Основной целью диссертационной работы является разработка модельно-алгоритмического обеспечения автономных подвижных комплексов, обеспечивающих предоставление пользователям информационно-навигационных услуг на обслуживаемой ими территории. Для достижения поставленной цели в работе решены следующие задачи:

1. Анализ современных методов проектирования речевых и многомодальных пользовательских интерфейсов и существующих исследовательских подвижных систем самообслуживания.

2. Разработка структурной модели подвижного комплекса, предоставляющего пользователям информационно-навигационные услуги по объектам на заданной территории.

3. Разработка диалоговой модели подвижного комплекса, применяющейся при определении пользователя и взаимодействии с ним в стационарном положении и в ходе сопровождения до интересуемого объекта.

4. Программная реализация предложенных моделей в прототипе многомодального подвижного комплекса ииформационно-навигационного самообслуживания.

Методы исследования. Для решения поставленных задач в работе используются методы цифровой обработки сигналов, теории множеств, распознавания образов, проектирования диалоговых моделей. Компьютерная реализация разработанных алгоритмов производилась на основе объектно-ориентированного подхода.

Научная новизна работы состоит в следующем:

1. Разработана структурная модель подвижного информационно-навигационного комплекса, построенная на основе совместной работы двух систем: 1) подвижной платформы, выполняющей слежение за появлением препятствий на маршруте комплекса, его перемещение; 2) информационной стойки, отвечающей за реализацию многомодального интерфейса; отличающаяся тем, что обеспечивает в статическом и динамическом режимах обслуживание пользователей с применением многомодального интерфейса.

2. Предложена логическая модель выбора режима функционирования информационно-навигационного комплекса, отличающаяся анализом параметров бортовых устройств подвижной платформы, расположения и времени нахождения пользователя в зоне взаимодействия, а также поступающих сообщений от системы, отвечающей за реализацию многомодального интерфейса, позволяющая генерировать команды к исполнительным устройствам комплекса для реализации информационного обслуживания пользователей.

3. Разработана диалоговая модель интерактивного взаимодействия с подвижным информационно-навигационным комплексом в режимах информирования и сопровождения пользователя, отличающаяся применением системы распознавания ключевых элементов с заданными специализированными словарями для каждого режима функционирования и смешанной стратегией диалога.

4. Разработан комплекс программных средств управления многомодальным подвижным автоматом информационного самообслуживания, отличающийся применением комбинации модулей бесконтактного анализа поведения пользователей и определения препятствий при движении комплекса, обеспечивающий предоставление справочных услуг и сопровождение пользователей на заданной территории обслуживания.

Обоснованность и достоверность научных положений, основных выводов и результатов диссертации обеспечивается за счет анализа состояния исследований в данной области, согласованности теоретических выводов с результатами экспериментальной проверки моделей, а также апробацией основных теоретических положений диссертации в печатных трудах и докладах на международных научных конференциях.

Практическая ценность работы. Предложенные модели взаимодействия пользователей с подвижными информационными комплексами и их программная реализация в многомодальном подвижном автомате информационного самообслуживания являются прототипом широкого спектра информационно-справочных систем самообслуживания, функционирующих в бизнес-центрах, отелях, аэропортах, выставочных комплексах, ВУЗах, медицинских центрах, торговых центрах, музеях, спортивных клубах и других общественно-транспортных центрах. Разработка средств проектирования человеко-машинного диалога на основе естественно-языковых запросов и автоматического предоставления справочной информации позволяет уменьшить объем работ обслуживающего персонала.

Реализация результатов работы. Исследования, отраженные в диссертации, проведены в рамках научно-исследовательских работ: Министерства образования и науки РФ «Разработка математического и программного обеспечения ассистивного многомодального интеллектуального пространства», ГК № 11.519.11.4025, 2011-2013 гг. в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-

2013 годы»; «Разработка принципов и инновационных информационных технологий для взаимодействия пользователей с интеллектуальным пространством», ГК №14.740.11.0357, 2010-2012 гг.; «Разработка методов человеко-машинного взаимодействия и многомодальных пользовательских интерфейсов для интеллектуальных информационных систем», ГК№ П2360, 2011-2013 гг. «Разработка моделей, методов и инструментальных средств интеллектуального управления мобильным информационно-справочным роботом», ГК №П876, 2010-2012 в рамках федеральной целевой программы «Научные и научно-педагогические кадры инновационной России на 2009-2013 гг.»; грант РФФИ № 12-07-31201-МОЛ а «Разработка методов и программных средств адаптивного диалогового интерфейса мобильного информационного робота», 2012-2013. Разработанные модели, алгоритмы, программное обеспечение, а также технические решения были использованы также в рамках учебных курсов на кафедрах Санкт-Петербургского государственного университета аэрокосмического приборостроения, Санкт-Петербургского государственного электротехнического университета.

Апробация результатов работы. Результаты диссертационного исследования представлялись на 8 международной конференции по интеллектуальным пространствам 1Е'12, Гуанохуато, Мексика, 20 - 28 июня 2012, международной научно-технической конференции «Открытые семантические технологии проектирования интеллектуальных систем» 08Т18 (Минск, 2011), международной конференции «Р1ШСТ» (Лаппеенранта, Финляндия, 2010), международной конференции по интеллектуальным пространствам «ги8МА11Т» (Санкт-Петербург, 2010), международном семинаре по многомодальным интерфейсам «еМТЕЯЕАСЕ» (Амстердам, Нидерланды, 2010; Пльзень, Чехия, 2011), 13 международной конференции «Текст, Речь и Диалог» ТБЭ'Н (Пльзень, Чехия, 2011), международной конференции «Региональная информатика» (Санкт-Петербург, 2010, 2011, 2012).

Публикации. По материалам диссертации опубликовано 20 печатных работ, включая 5 публикаций в научных журналах, рекомендованных ВАК:

«Информационно-управляющие системы», «Известия вузов.

Приборостроение», «Труды СПИИРАН», «Automation and Remote Control», «Pattern Recognition and Image Analysis» и 1 учебное пособие; получен 1 патент на полезную модель в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам.

Структура и объем работы. Диссертация объемом 148 машинописных страниц содержит введение, четыре главы и заключение, список литературы (122 наименования), 12 таблиц, 29 рисунков, одно приложение с копиями актов внедрения.

Основное содержание работы

Первая глава посвящена анализу проблем проектирования средств интерактивного взаимодействия информационных подвижных комплексов, проанализированы современные методы и программно-аппаратное обеспечение интеллектуальных информационных систем, применяемых в сфере образования, медицины и развлечений.

Во второй главе описывается предложенная структурная модель подвижного информационно-навигационного комплекса, включающая модули, отвечающие за передвижение комплекса и реализацию пользовательского интерфейса. Рассматривается ряд факторов, влияющих на функционирование информационно-навигационного комплекса. Выделяются четыре режима работы комплекса, отличающиеся сценариями взаимодействия с пользователями.

В третьей главе приводится описание разработанного моделыю-алгоритмического обеспечения проектирования моделей взаимодействия пользователя с подвижным информационно-навигационным комплексом. Рассмотрена диалоговая модель, реализованная в виде графа поддиалогов, упрощающих ее редактирование и настройку под новую предметную область. При обработке речевых запросов пользователя была использована система распознавания речи с заданным набором шаблонов ключевых элементов. Предложена оригинальная структура шаблона речевых запросов пользователя,

использующаяся комплексом в режиме информирования. Приведены примеры баз данных системы распознавания речи, необходимых для построения диалоговой модели интерактивного взаимодействия с подвижным информационно-навигационным комплексом.

Четвертая глава описывает комплекс программных средств управления многомодальным подвижным автоматом информационного самообслуживания, в котором были апробированы предложенные модели и алгоритмы. Разработанный комплекс выполняет выбор режима функционирования информационно-навигационного автомата и реализует интерактивное взаимодействие с пользователем. Приведены результаты экспериментальной проверки и опроса потенциальных пользователей многомодального подвижного автомата информационного самообслуживания.

Положения, выносимые на защиту

1. Структурная модель подвижного информационно-навигационного комплекса, построенная на основе совместной работы систем, отвечающих за перемещение и реализацию многомодального интерфейса, обеспечивает естественный диалог и вывод мультимедиа данных об интересующих пользователя объектах в процессе самообслуживания.

2. Логическая модель выбора режима функционирования комплекса, учитывающая положение пользователей и состояние бортовых устройств на основе показаний бесконтактных датчиков и систем анализа поведения пользователя, настраивает параметры функционирования подвижной и информационной части комплекса.

3. Диалоговая модель интерактивного взаимодействия с подвижным информационно-навигационным комплексом, использующая систему распознавания ключевых элементов и смешанную стратегию диалога, обеспечивает информирование и сопровождение пользователей до интересующего объекта.

4. Комплекс программных средств управления многомодальным подвижным автоматом информационного самообслуживания, отличающийся возможностью настройки пользовательского интерфейса с учетом параметров объектов заданной территории обслуживания, ориентирован для предоставления справочных и навигационных услуг.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Прищепа, Мария Викторовна

Основные результаты исследования соответствуют п.7 «Человеко-машинные интерфейсы, модели, методы, алгоритмы и программные средства машинной графики, визуализации, обработки изображений, систем виртуальной реальности, мультимедийного общения», п.8 «Модели и методы создания программ и программных средств для параллельной и распределенной обработки данных, языки и инструментальные средства параллельного программирования» паспорта специальности 05.13.11 - «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей».

Заключение

Совокупность предложенных моделей, алгоритмов и их программная реализация в экспериментальном образце подвижного информационно-навигационного комплекса с многомодальным интерфейсом представляют собой решение актуальной научно-технической задачи создания подвижных сервисных средств самообслуживания, внедрение которых вносит значительный вклад в развитие страны. В ходе решения данной задачи были получены следующие научные результаты:

1. Структурная модель подвижного информационно-навигационного комплекса, построенная на основе совместной работы двух систем, отвечающих за движение комплекса с анализом появления препятствий на маршруте, а также за реализацию многомодального интерфейса, обеспечивающего естественный диалог с пользователем и вывод мультимедиа данных об интересующих его объектах.

2. Логическая модель выбора режима функционирования комплекса, учитывающая расположение пользователей и состояние бортовых модулей и реализующая несколько вариантов предоставления пользовательских сервисов, включающих выдачу информации об объекте, расположенного на территории обслуживания, и/или сопровождение до этого объекта.

3. Диалоговая модель взаимодействия подвижного информационно-навигационного комплекса с посетителями, включающая режимы речевого диалога с целыо информирования об определенном объекте и сопровождения до интересующего объекта, использующая систему распознавания ключевых элементов для определения цели голосового запроса и отличающаяся применением смешанной стратегии диалога и структуры поддиалогов для каждого режима функционирования.

4. Комплекс программных средств управления многомодальным подвижным автоматом информационного самообслуживания, позволяющий изменять режим функционирования на основе анализа ситуации и отличающийся возможностью настройки пользовательского интерфейса с учетом параметров объектов заданной территории обслуживания.

Список литературы диссертационного исследования кандидат технических наук Прищепа, Мария Викторовна, 2013 год

Литература

1. Абрамов, М. А., Ф. В. Матасов / Патент RU № 71180 U1 МПК G 07F 11/00, 2007.

2. Альтман, Я.А. Инерционные процессы в слуховой системе при локализации движущихся источников звука // Журнал высшей нервной деятельности им. И.П. Павлова. Т. 58. № 3. 2008. - С. 309318.

3. Багаева, Н. В. Патент RU № 56026 U1, МПК G 06F 17/00, 2006.

4. Баранников, В.А. Пакет программ построения систем распознавания речи / В.А. Баранников, A.A. Кибкало // Труды III Всероссийской конференции «Теория и практика речевых исследований» АРСО-2003. Москва, МГУ им. М.В. Ломоносова, Сентябрь 2003. - С.7-12.

5. Баранов, К.Ю. Алгоритм адаптивного управления подвижной платформой на основе бесконтактного определения препятствий / К.Ю. Баранов, М.В. Прищепа // Завалишинские чтения: Сборник докладов / ГУАП, СПб, 2011. - С. 65-71.

6. Билик, Р.В. Анализ речевого интерфейса в интерактивных сервисных системах II / Р.В. Билик, В.А. Жожикашвили, Н.В. Петухова, М.П. Фархадов // Автоматика и телемеханика. №3. 2009. - С. 97-113.

7. Билик, Р.В. Принципы построения интерактивных систем самообслуживания с речевыми технологиями / Р.В. Билик, З.П. Мясоедова, Н.В. Петухова, М.П. Фархадов, А.Ю. Трощенко // М.: МАКС Пресс, 2008. - 142 с.

8. Будков, В.Ю. Диалоговая модель управления мобильным информационным роботом/ В.Ю. Будков, М.В. Прищепа // Искусственный интеллект, Донецк: ГУИИИ, № 4, 2010. - С. 78-81.

9. Винцюк, Т. К. Распознавание слов устной речи методами динамического программирования. - М.: Кибернетика, 1968. - №1. -С. 15-22.

10. Граф, X. Т., К. Контор, М. Харти, Б. Джоунз / Патент RU № 2312811 С2 МПК В 65I I 3/06, 2007.

11. Григжи, Ш., К. Тыороси, Г. Фоклер, Х.Т. Грэф, Д. Крафг, Д. Шеффлер, Р. Канса, Д.А. Ковач, 3. Утц, П. Тула, М. Ваймер, М. Дугласе, Р.К. Льют, Д. Бут, Д. Истмен, У.Д. Бескигг, Р. Дженкинс, У.Дж. Шабат, Р. Млечива, Ц.Ю. Ван, Д.Х. Вайшнав, Д. Юн, Д. Фэлт, Д. Холлифилд, П.Д. Мэджи, Д.А. Баркер, Р.В. Барнетт, Т. Ватсон, Т. Бауэр / Патент RU № 2310235 С2 МПК G 07F 19/00, G 06Q 90/00, 2007.

12. Джелинек, Ф. Распознавание непрерывной речи статистическими методами // ТИИЭР. Т. 64. № 4. 1976. - С. 131-160.

13. Иванов, В.В. Движения глаз детей в процессе чтения текстов различной степени сложности / В.В. Иванов, М.М. Безруких, A.A. Демидов // Труды 4 международной конференции по когнитивной науке, 2010. - С. 294-295.

14. Каплан, А.Я. Интерактивные когнитивные технологии на основе гибридных интерфейсов мозг-глаз-компьютер // Труды 4 международной конференции по когнитивной науке, 2010. - С. 294295.

15. Карпов, А. Разработка бимодальной системы аудиовизуального распознавания русской речи / А. Карпов, А. Ронжин, Б. Лобанов, Л. Цирульник, М. Железны // Информационно-измерительные и управляющие системы, Москва, № 10, Т. 6, 2008. - С. 58-62.

16. Карпов, A.A. ICanDo: Интеллектуальный помощник для пользователей с ограниченными физическими возможностями // Вестник компьютерных и информационных технологий, №7, ISSN 1810-7206, 2007.-С. 32-41.

17. Карпов, A.A. Многомодальные интерфейсы в автоматизированных системах управления / A.A. Карпов, А.Л. Ронжин // Известия вузов. Приборостроение. Т. 48. № 7. 2005. - С. 9-14.

18. Карпов, A.A. Разработка компьютерной системы "говорящая голова" для аудиовизуального синтеза русской речи по тексту / A.A. Карпов, Л.И. Цирульник, М. Железны // Информационные технологии. - М.: Новые Технологии, № 8, т. 9, 2010. - С. 13-18.

19. Карпов, A.A. Речевые технологии в многомодальных интерфейсах/ A.A. Карпов, А.Л. Ронжин, И.В. Ли, А.Ю. Шалин // Труды СПИИРАН. Вып. 2, т.1. СПб: СПИИРАН, 2004. - С. 183-193.

20. Като, Я. Система распознавания связной речи фирмы NEC // Зарубежная радиоэлектроника. № 4. 1980. - С. 108-120.

21. Кипяткова, И.С. Автоматическая обработка разговорной русской речи/ И.С. Кипяткова, А.Л. Ронжин, А.А.Карпов // СПб.: ГУАП, 2013.-314 с.

22. Ковалев, А. Э. Патент RU № 82898 U1, МПК G 06F 17/50, 2008.

23. Косарев, Ю.А. Естественная форма диалога с ЭВМ. -Л.: Машиностроение, 1989. - 143 с.

24. Лебедев, Д. В. Патент RU № 83870 U1, МПК G 09F 19/00, 2009.

25. Левинсон, С.Е. Структурные методы автоматического распознавания речи.//ТИЭР. Т. 73. № 11. 1985.-С. 100-129.

26. Леонова, А.Б. Исследования человеческого фактора в современной компьютеризованной среде: новые направления развития инженерной психологии и эргономики / А.Б. Леонова, И.В. Блинникова, Б.Б. Величковский, М.С. Капица // М.: ИП РАН, 2007.

27. Лысенко, О.Н. Использование лазерных сканеров SICK AG для навигации мобильных роботов // Автоматизация в промышленности. № 8, 2006. - С. 22-24.

28. МЕГА Дыбенко, [Электронный ресурс] <http://vvww.megamall.ru/malls/peterburg/dybenko/index.wbp> (дата обращения: 06.09.2012).

29. Методы автоматического распознавания речи: в 2-х кн. / Под ред. У. Ли.-М.: Мир, 1983.-716 с.

30. Мясников, Л.Л. Объективное распознавание звуков речи // ЖТФ. № 3. 1943.-С. 109-115.

31. Объедков, А. П. Патент 1Ш № 79695 Ш, МПК в 06Б 19/00, 2008.

32. Охтилев, М.Ю. Определение и основные свойства одной из модификаций вычислительных схем алгоритмов распознавания. Программирование. № 6. 1991. - С. 52-63.

33. Парыгин, Б. Основы социально-психологической теории // М.: Мысль, 1971.-352 с.

34. Петрович, Д.Л. Когнитивно-стилевые особенности считывания приборной информации // Труды 4 международной конференции по когнитивной науке, 2010. - С. 473^475.

35. Петропавловская, Е.А. Пространственное и временное окно интеграции при движении звуковых образов / Е.А. Петропавловская, Л.Б. Шестопалова, С.Ф. Вайтулевич // Труды 4 международной конференции по когнитивной науке, 2010. - С. 475-477.

36. Полевая, С.А. Интеграция сенсорного, эмоционального и вегетативного сигналов в перцептивном сознании человека/ С.А. Полевая, С.Б. Парин // Труды 4 международной конференции по когнитивной науке, 2010. - С. 482^483.

37. Помыкаев, И.И. Навигационные приборы и системы / И.И. Помыкаев, В.П. Селезнев, Л.А. Дмитроченко // М.: Машиностроение, 1983.

38. Потапова, Р.К. Речевое управление роботом. - М.: Радио и связь, 1989. -248 с.

39. Потапова, Р.К. Речь: коммуникация, информация, кибернетика. 2003. -568 с.

40. Прищепа, М. В. Онтологическая модель взаимодействия пользователей с мобильным информационным роботом / М.В. Прищепа, В.Ю. Будков. А.Л. Ронжин // Материалы Международной научно-технической конференции «Открытые семантические

технологии проектирования интеллектуальных систем» (OSTIS-2011), Минск, Беларусь, 2011. - С. 305-310.

41. Прищепа, М.В. Особенности разработки пользовательского интерфейса мобильного информационного робота / М.В. Прищепа, К.Ю. Баранов // Известия вузов. Приборостроение, СПб.: ИТМО, Т. 55, № 11, 2012.-С. 46-51.

42. Прищепа, М.В. Разработка профиля пользователя с учетом психологических аспектов взаимодействия человека с информационным мобильным роботом // Труды СПИИРАН. Вып. 21. 2012.-С. 56-70.

43. Прищепа, М.В. Система интеллектуального управления мобильным информационно-справочным роботом / М.В. Прищепа, В.Ю. Будков,

A.JT. Ронжин // Информационно-управляющие системы, № 6, 2010. -С. 2-6.

44. Распознавание слуховых образов / Под ред. Загоруйко Н.Г. -Новосибирск: «Наука», 1970. - 340 с.

45. Ронжин, А.Л. Исследование многомодального человеко-машинного взаимодействия на базе информационно-справочного киоска/ А.Л. Ронжин, A.A. Карпов // Информационно-измерительные и управляющие системы, Москва, № 4, Т. 7, 2009. -С. 22-26.

46. Ронжин, А.Л. Методы и средства интеллектуального управления мобильным информационным роботом / А.Л. Ронжин, М.В. Прищепа,

B.Ю. Будков//Учеб. пособие / СПб.: ГУАП. СПб., 2012. - 64 с.

47. Ронжин, А.Л. Особенности дистанционной записи и обработки речи в автоматах самообслуживания / А.Л. Ронжин, A.A. Карпов, И.А. Кагиров // Информационно-управляющие системы. № 5. 2009. -

C. 32-38.

48. Ронжин, А.Л. Разработка многомодального информационного киоска / А.Л. Ронжин, A.A. Карпов, Ан.Б. Леонтьева, Б.Е. Костюченко // Труды СПИИРАН. Вып. 5, т. 1. СПб.: Наука, 2007. - С. 227-245.

49. Ронжин, A.JI. Речевой и многомодальный интерфейсы / A.JI. Ронжин,

A.A. Карпов, И.В. Ли // - М.: Наука, (Информатика: неограниченные возможности и возможные ограничения). 2006. - 173 с.

50. Ронжин, А.Л. Свидетельство о регистрации ПрЭВМ №2008611032 Федеральной службы по интеллектуальной собственности, патентам и товарным знакам от 26 февраля 2008г. / А.Л. Ронжин, Ан.Б. Леонтьева, И.А. Кагиров, A.A. Карпов // Декодер русской слитной речи на базе двухуровневого морфофонемного префиксного графа (SIRIUS).

51. Ронжин, А.Л. Топологические особенности морфофонемного способа представления словаря для распознавания русской речи // Вестник компьютерных и информационных технологий, № 9, 2008. - С. 12-19.

52. Сапожков, М.А. Речевой сигнал в кибернетике и связи. - М.: Связьиздат, 1963.-452 с.

53. Станкевич, Л.А. Интеллектуальные роботы и системы управления. Кн. 20. Сборник статей под ред. A.A. Харламова 144 е., - М.: Радиотехника, 2006. - С. 44-66.

54. Станкевич, Л.А. Распознавание последовательных образов на нейрологических сетях / Л.А.Станкевич, В.А.Ефремов // Нейрокомпьютеры: разработка, применение. № 2. 2010. - С. 52-58.

55. Станкевич, Л.А. Распознавание трехмерных объектов с использованием их структурного описания / Л.А.Станкевич,

B.В.Тихомиров, Д.В.Троцкий // Нейрокомпьютеры: разработка, применение. № 6. 2006. - С. 70-79.

56. Тимофеев, A.B. Интеллектуальные и нейросетевые технологии управления роботами и робототехническими системами. - Материалы 4-й Всероссийской мульти-конференции по проблемам управления МКПУ-2011. т. 1,2011.-С. 194-196.

57. Тимофеев, A.B. Принципы построения интегрированных систем мульти-агентной навигации и интеллектуального управления

мехатронными роботами / A.B. Тимофеев, P.M. Юсупов // International Journal "Information Technologies & Knowledge" vol. 5, n. 3, 2011. - P. 237-244.

58. Фрайден, Дж. Современные датчики. Справочник. // М: Техносфера 2006.-587 с.

59. Ходанович, М.Ю. Дифференциальные пороги восприятия длительности слуховых и зрительных стимулов на осознанном и автоматическом уровне обработки информации / М.Ю. Ходанович, О.В. Пивовар, A.B. Микрюкова, К.А. Среднякова, Ю.В. Гуляева // Труды 4 международной конференции по когнитивной науке, 2010. -С. 562-563.

60. Чекалина, А.И. Влияние гибкости/ригидности познавательного контроля на эффективность решения сенсорных задач с разным уровнем информационной нагрузки / А.И. Чекалина, А.Н. Гусев // Вестник Московского государственного областного университета. Серия «Психологические науки». № 4. 2008. - С. 3-10.

61. Чупов, М.В. Патент RU № 2009103232 А, МПК G 06Q 30/00, 2010.

62. Шивринский, В.Н. Бортовые вычислительные комплексы навигации и самолётовождения: конспект лекций / Ульяновск: УлГТУ, 2010. -148 с.

63. Шурыгин, И. В. Патент RU № 67751 U1 МПК G 07F 19/00, 2007.

64. Юревич, Е.И. Основы робототехники. 2-е изд., - СПБ.: БХВ-Петербург, 2005.

65. Юсупов P.M., Тимофеев A.B. Развитие теории интеллектуальных систем управления движением и мультиагентной навигации в экстремальной робототехнике / P.M. Юсупов, A.B. Тимофеев // Труды международной научно-практической конференции «Экстремальная робототехника» 2011. - С. 48-55.

66. Anoop, K. S. SUEDE: Iterative, Informal Prototyping for Speech Interfaces / K.S. Anoop, R. K.Scott, J.Chen, J. A. Landay, C.Chen // Video poster in Extended Abstracts of Human Factors in Computing Systems: CHI 2001, Seattle, WA, March 31-April 5, 2001. - P. 203- 204.

67. Barnard, P.J. Cognitive Resources and the Learning of Human-Computer Dialogs, Interfacing Thought, Cognitive Aspects of Human-Computer Interaction // J.M. Carroll Ed., MIT Press Publ., 1987. - P.l 12-158.

68. Benoit, C. Audiovisual and multimodal speech systems / C. Benoit, J.C. Martin, C. Pelachaud, L. Schomaker, B. Suhm // In D. Gibbon (Ed.), Handbook of Standards and Resources for Spoken Language Systems, Supplement Volume. Dordrecht: Kluwer Academic Publishers, 2000.

69. Bernsen, N.O. Multimodal Usability: Human-Computer Interaction Series / N.O. Bernsen, L. Dybkjsr // Springer 2010, 2010. - 431 p.

70. Bosch, L. Survey of spontaneous speech phenomena in a multimodal dialogue system and some implications for ASR/ L. Bosch, L. Boves // Proc. ICSLP, South Korea, 2004.

71. Breazeal, C. Ilumanoid robots as cooperative partners for people / C. Breazeal, A. Brooks, J. Gray, G. Hoffman, C. Kidd, H. Lee, J. Lieberman, A. Lockerd, D. Mulanda // International Journal of Humanoid Robots. Vol. 1. N 2. 2004. - P. 1-34.

72. Breazeal, C.L. Designing Sociable Robots. MIT Press, 2002. 263 p.

73. Budkov, V. Dialog Model Development of a Mobile Information and Reference Robot/ V. Budkov, M. Prischepa, A. Ronzhin // Pattern Recognition and Image Analysis, Pleiades Publishing, Vol. 21, No. 3, 2011.-P. 458-461.

74. Cantrell, R. Robust Spoken Instruction Understanding for HRI / R. Cantrell, M. Scheutz, P. Schermerhorn, X. Wu // HRI 2010. - P. 275-282.

75. Carrera, G. Robust feature descriptors for efficient vision-based tracking / G. Carrera, J. Savage, W. Mayol-Cuevas // In Proceedings of the Congress on pattern recognition 12th Iberoamerican conference on Progress in

pattern recognition, image analysis and applications (CIARP'07), Luis Rueda, Domingo Mery, and Josef Kittler (Eds.). Springer-Verlag, Berlin, Heidelberg, 2007. - P. 251-260.

76. Cohen, P.R. Quickset: Multimodal interaction for distributed applications / P.R. Cohen, M. Johnston, D. McGee, S. Oviatt, J. Pittman, I. Smith, L. Chen, J. Clow // Proceedings of the Fifth ACM International Multimedia Conference, New York: ACM Press, 1997. - P. 31-40.

77. Communication Robot PaPeRo, [Электронный ресурс] <http://www.nec.co.jp/products/robot/en/specifications/index.html> (дата обращения: 15.10.2012).

78. DaSa Robot, [Электронный ресурс] <http://int.dasarobot.com/ucp/pages/product/information-robots/frida/> (дата обращения: 20.10.2012)

79. Datta, С. A pilot study to understand requirements of a shopping mall robot/ C. Datta, A. Kapuria, R. Vijay // In: Proceedings of HRI'2011. 2011.-P. 127-128.

80. Dybkjar, H. DialogDesigner - a tool for rapid system design and evaluation / H. Dybkjar, L. Dybkjar // In: Proc. 6th SIGdial Workshop on Discourse and Dialogue, Lisbon, Portugal, 2005. - P. 227-231.

81. Fong, T. A survey of socially interactive robots // Robotics and Autonomous Systems / T. Fong, I. Nourbakhsh, K. Dautenhahn // Vol. 42. 2003.-P. 143-166.

82. Foster, M.E. Comparing Objective and Subjective Measures of Usability in a Human-Robot Dialogue System / M.E. Foster, M. Giuliani, A. Knoll // In: Proceedings of the 47th Annual Meeting of the ACL and the 4th IJCNLP of the AFNLP, 2009. - P. 879-887.

83. Fritsch, J. Multi-modal anchoring for human-robot-interaction / J. Fritsch, M. Kleinehagenbrock, S. Lang, T. Plotz, G. Fink, G. Sagerer // Robotics and Autonomous Systems. Vol. 43. 2003. - P. 133-147.

84. Glassmire, J. Cooperative manipulation between humans and teleoperated agents / J. Glassmire, M. O'Malley, et al. // Proceedings - 12th International Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, HAPTICS 2004, Mar 27-28, Chicago, IL, United States, IEEE Computer Society, Los Alamitos; Massey University, Palmerston, United States;New Zealand. 2004.

85. Green, S. Human-robot collaboration: A literature review and augmented reality approach in design / S. Green, X. Billinghurst, M. Chen, G. Chase // International Journal of Advanced Robotic Systems. Vol. 5. N 1. 2008. -P. 1-18.

86. Haddadin, S. Requirements for Safe Robots: Measurements, Analysis & New Insights / S. Haddadin, A. Albu-Schaffer, G. I lirzinger // International Journal on Robotics Research, Vol. 28, No. 11-12, 2009. - P. 1507-1527.

87. Huttenrauch, II. Involving users in the design of a mobile office robot/ H. Huttenrauch, A. Green, et al. // IEEE Transactions on Systems, Man and Cybernetics, Part C 34(2). 2004. - P. 113-124.

88. Iossifidis, I. Anthropomorphism as a pervasive design concept for a robotic assistant/ I. Iossifidis, C. Theis, et al. // 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems, Oct 27-31, Las Vegas, NV, United States, Institute of Electrical and Electronics Engineers Inc. 2003.

89. Johnston, M. MATCHkiosk: A Multimodal Interactive City Guide/ M. Johnston, S. Bangalore // In Proc. of Association of Computational Linguistics (ACL-2004), Barcelona, Spain, 2004. - P. 223-226.

90. Kanda, T. An Affective Guide Robot in a Shopping Mall / T. Kanda, M. Shiomi, Z. Miyashita, II. Ishiguro, N. Hagita // Proc. of Conference on Human-Robot Interaction 2009. 2009. - P. 173-180.

91. Knapp, C. H. The generalized correlation method for estimation of time delay / C. II. Knapp, G.C. Carter // IEEE Trans. Acoustics Speech Signal Proc., Vol. 24, 1979. - P. 320-327.

92. Kollar, T. Toward Understanding Natural Language Directions / T. Kollar, S. Tellex, D. Roy, N. Roy // I IRI 2010. - P. 259-266.

93. Kriz, S. Robot-Directed Speech: Using Language to Assess First-Time Users' Conceptualizations of a Robot / S. Kriz, G. Anderson, J. G. Trafton // HRI 2010. - P. 267-274.

94. Lambert, D. Body Language. Harper Collins, London, 2004.

95. Lee, M.K. How Do People Talk with a Robot? An Analysis of HumanRobot Dialogues in the Real World / M.K. Lee, M. Makatchev // In: Proceedings of CHI'2009, 2009. - P. 3769-3774.

96. Lee, J.K. Human Social Response Toward Humanoid Robot's Head and Facial Features/ J.K.Lee, C. Breazeal // In: Proceedings of CHI'2010, 2010.-P. 4237-4242.

97. Lin, Y. ROUGE: A Package For Automatic Evaluation Of Summaries // In Proceedings of the ACL 2004 Workshop On Text Summarization. ACL Antology, 2004.-P. 74-81.

98. Makatchev, M. Roboception-IST's. Dialogue Patterns of an Arabic Robot Receptionist / M. Makatchev, I. Fanaswala, A. Abdulsalam, B. Browning, W. Ghazzawi , M. Sakr, R. Simmons // Carnegie Mellon University in Qatar, HRI 2010. - P. 167-168.

99. Mead, R. Proxemic feature recognition for interactive robots: automating metrics from social sciences / R. Mead, A. Atrash, M. J. Mataric // In: Proceedings of ICSR 2011, Springer Verlag Berlin Heidelberg 2011, 2011. -P. 52-61.

100. Miller, G.A. The Magical Number Seven, Plus or Minus Two. // The Psychological Review, vol. 63, 1956. - P. 81-97.

101. Moller, S. Predicting the quality and usability of spoken dialogue systems / S. Moller, K.-P. Engelbrecht, R. Schileicher // Speech Communication 2008, 2008. - P. 730-744.

102. Multimodal User Interfaces: From Signals to Interaction / Ed. Tzovaras D. Springer, Heidelberg, 2008.

103. Nass, C. Computers are social actors/ C.Nass, J. Steuer, et al. // Proceedings of the CHI'94 Conference on Human Factors in Computing Systems, Apr 24-28, Boston, MA, USA, Publ by ACM, New York, NY, USA. 1994.

104. Nieuwenhuisen, M. Intuitive Multimodal Interaction for Service Robots/ M. Nieuwenhuisen, J. Stuckler, S. Behnke // HRI 2010. - P. 177-178.

105. Nourbakhsh, I. R. Affective mobile robot educator with a full-time job / I. R. Nourbakhsh, J. Bobenage, et al. // Artificial Intelligence 114(1-2), 1999. -P. 95-124.

106. Oviatt, S. L. Multimodal interactive maps: Designing for human performance. Human-Computer Interaction. Special issue on Multimodal Interfaces, 12, 1997. - P. 93-129.

107. Papineni, K. BLEU: A Method For Automatic Evaluation Of Machine Translation / K. Papineni, S. Roukos, T. Ward, W.-J. Zhu // In Proceedings of ACL 2002, ACL Antology, 2002. - P. 311 -318.

108. Powers, A. The advisor robot: tracing people's mental model from a robot's physical attributes/ A. Powers, S. Kiesle // Proc. of the 1st ACM SIGCIII/SIGART conference on Human-robot interaction, ACM 2006, 2006.-P. 218-225.

109. Prischepa, M.V. Hierarchical Dialogue System for Guide Robot in Shopping Mall Environments / M.V. Prischepa, V.Yu. Budkov // SpringerVerlag Berlin Heidelberg, I. Habernal and V. Matous sek (Eds.): TSD 2011,LNAI 6836, 2011.-P. 163-170.

110. Ramirez-Hernandez, A.C. Detection and Interpretation of Human Walking Gestures for Human-Robot Interaction/ A.C. Ramirez-Hernandez, J.A. Rivera-Bautista, A. Marin-IIernandez, V.A. Garcia-Vega // In Proceedings of the 2009 Eighth Mexican International Conference on Artificial Intelligence (MICAI '09). IEEE Computer Society, Washington, DC, USA, 2009.-P. 41-46.

111. RoboCup 2012, [Электронный ресурс] <http://wvvvv.robocup2012.org> (дата обращения: 13.11.2012).

112. Ronzhin, A. Development of Means for Support of Comfortable Conditions for Human-Robot Interaction in Domestic Environments / A. Ronzhin, M. Prischepa, V. Budkov // Workshop Proceedings of the 8th International Conference on Intelligent Environments. J.A. Botia et al. (Eds.), IOS Press, 2012.-P. 221-230.

113. Sidner, C. L. Robots as laboratory hosts / C.L. Sidner, C. Lee // Interactions 12(2), 2005.-P. 24-26.

114. Stuckler, J. Improving People Awareness Of Service Robots by Semantic Scene Knowledge / J. Stuckler, S. Behnke // In: Proceedings of RoboCup 2010, Springer Verlag Berlin Heidelberg 2011, 2011. - P.l 57-168.

115. Sutton, S. Universal speech tools: the CSLU toolkit / S. Sutton, R. Cole, J. de Villiers, J. Schalkwyk, P. Vermeulen, M. Macon, Y. Yan, E. Kaiser, B. Rundle, K. Shobaki, et al., // In: Proc. Internat. Conf. on Spoken Language Processing (ICSLP), 1998. - P. 3221-3224.

116. Tenorio-González, A.C. Teaching a robot to perform tasks with voice commands / A.C. Tenorio-González, E.F. Morales, L. Villasenor-Pineda // In Proceedings of the 9th Mexican international conference on Advances in artificial intelligence: Part I (М1САГ10), Grigori Sidorov, Arturo Hernandez Aguirre, Carlos Alberto Reyes Garcia (Eds.). Springer-Verlag, Berlin, Heidelberg, 2010. - P. 105-116.

117. Thrun, S. Probabilistic Algorithms and the Interactive Museum Tour-Guide Robot Minerva / S. Thrun, M. Beetz, M. Bennewitz, W. Burgard, A.B. Cremers, F. Dellaert, D. Foxl, D. Hahnel, C.Rosenberg, N.Roy, J. Schulte, D. Schulz // Journal of Robotics Research. 2000.

118. Togami, M. Automatic Specch Recognition of Human-Symbiotic Robot EMIEW / M. Togami, Y. Obuchi, A. Amano // Human-Robot Interaction, Book edited by Nilanjan Sarkar, 2007. - P. 395-404.

119. VoiceXML 3.0, [Электронный ресурс] <http://www.w3.org/TR/voicexml30/> (дата обращения: 08.09.2012)

120. VoiceXML, [Электронный ресурс] <http://www.w3.org/TR/voicexml/> (дата обращения: 07.09.2012).

121. Walker, A. PARADISE: A framework for evaluating spoken dialogue

agents / A. Walker, DJ. Litman, C.A. Kamm, A. Abella // In: Proceedings of ACL/EACL'1997 ACL Antology, 1997. - P. 271-280.

122. Wickelgren, W. A. The long and the short of memory // D. Deutsch, J. A. Deutsch (eds.) Short-term memory. -N.Y., 1975.

Приложение А. Копии актов внедрения результатов диссертационной работы

Об нсиольшйшш» рсчул I, i а г он диссертационной раСм> i ы иа сонскяии«учсиай сгсмсни кандидага чемшческнх наук !Гришины Марин Внкюровиы иа icmv «Модели и iipoi рамчнмс средсша jim сраьп иншно m;iH\i<uiiici вкя с подвижным инф0рмаш1«шш)-11»н111я1ш(11шмм комплексом с а ч о ш> с л у *жи п а н ия >•

CociaH.icn комиссией неоешне.

Председатель: ш,млав,кафедрой Анючашшрошшимх cucie« оораосики информации и упраиленнм (ЛСОИУ) но учебной рабокч к'л.н. ироф Муоафин II.Г Члены комиссии: k.j.ii. доц. Сииваконский A.M.. к.г.п. доц.Алсксеев Д.Д.

Иаеюшний Лкг составлен н тч, чю результаты лиссер!анионной работ 11рищсш.1 Мария Викторовны, а именно:

- анализ методой описания реченмь им гсрфсПсои в сисюча.х информационною обслуживания:

- исследования качества рсчакно диалог, включая распознавание голосоных ■танросо»;

использую 1ся кафедрой Атома! тированных с!1поч обработки информации и управления Санкт-Нспербургскою ккударе шейного члекцкмехническш-о университета » лабораторном практикуме но дисциплине «Цифровая обрайо!ка еншалов» учебного плана нодншшки бакалакрол но иаараашшго "Информационные сис1еми и ¡ехлологии»

Нрсдседакии.:

Чам. зш)сдующс1 о кафедрой ЛСОИУ

кл.и.» ироф. Члены комиссии; ктл.,доиеиг кл.н., доцент

Мустафии И. Г,

Спивакове кий Л.М.

тексееа АЛ.

РОССИЙСКАЯ АКАДЕМИЯ НАУК

Федеральное государственное бюджетное учреждение науки

Санкт-Пстсрбургскин институт информатики и автоматизации Российской академии наук (СПИИРАН)

199178, Санкт-Петербург, 14 линия, 39 Телефон: [phone]

Факс: [phone] E-mail: spiiranffiiiaispb.su http://www.spnras.iw.ru ОКНО 04683303, OJTH 1027800514411 ИНН/КПП 7801003920/78010100 ]

« -i-f » " О 3

УТВЕРЖДАЮ доктор СПИИРАН :спондент РАН

JP^TlOcynoB 2013 г.

АКТ

об использовании результатов диссертационной работы Прищепа Марии Викторовны «Модели и программные средства интерактивного взаимодействия с подвижным информационно-навигационным комплексом самообслуживания» в НИР СПИИРАН по доювору с федеральным государственным бюджетным учреждением "Российский фонд фундаментальных исследований" (РФФИ)

№ 12-07-31201X12 от 25.09.2012 г.

Комиссия в составе: председателя д.т.н., проф. Б.В. Соколова, членов комиссии: д.т.н., проф.

В.А. Зеленцова и к.т.н., доцента Д.В. Бакурадзе, рассмотрев представленные материалы:

1. Автореферат и диссертационную работу Прищепа Марии Викторовны

2. Отчетную документацию по первому этапу НИР, выполняемых по договору с РФФИ № 12-07-3120Ш2 от 25.09.2012 «Разработка методов и программных средств адаптивного диалогового интерфейса мобильного информационного робота».

установила, что:

1, Основные положения диссертационной работы Прищепа Марии Викторовны были использованы при проведении НИР, выполняемых по договору с РФФИ Ха 12-07-31201М2 от 25.09.2012 «Разработка методов и программных средств адаптивного диалогового интерфейса мобильного информационного робота».

2. Разработанная в ходе НИР диалоговая система с речевым интерфейсом, использующаяся в модели мобильного информационного робота, разработана на основе предложенной в диссертационной работе диалоговой модели интерактивного взаимодействия с подвижным информационно-навигационным комплексом самообслуживания.

Председатель комиссии

Заместитель директора по научной работе,

д.т.н. профессор

Члены комиссии Ведущий научный сотрудник лаборатории информационных технологий в системном анализе и моделировании, Д.Т.Н., профессор

Ученый секретарь, к.т.н. доцент

Б.В. Соколов

"7

В.А.Зеленцов Д.В. Бакурадзе

УТВЕРЖДАЮ ^проректор ГУАП МЩ., профессор, Ч&'цАИ. Хименко

¿'Я ЛА1->«

2013г.

АКТ

об использовании результатов диссертационной работы младшего научного сотрудника лаборатории речевых и многомодальных интерфейсов Федерального государственного бюджетного учреждения науки Санкт-Петербургского института информатики и автоматизации Российской академии наук Прищепа Марии Викторовны в учебном процессе Санкт-Петербургского Государственного университета аэрокосмического приборостроения

Мы, нижеподписавшиеся, директор учебно-методического центра, канд. техн.наук, доцент В.А. Матьяш, директор института инновационных технологий в электромеханике и энергетике член-корреспондент РАН Л.И. Чубраева, заведующий кафедрой управления в технических системах, д-р. техн. наук, профессор В.Ф. Шишлаков составили настоящий акт в том, что результаты диссертационной работы Прищепа М.В. на тему «Модели и программные средства интерактивного взаимодействия с подвижным информационно-навигационным комплексом самообслуживания»,

представленной на соискание ученой степени кандидата технических наук, внедрены в учебный процесс университета, а именно:

- Функциональная модель подвижного информационно-навигационного комплекса, построенная на основе совместной работы двух систем, отвечающих за слежение за появлением препятствий на маршруте комплекса, его перемещение, а также

реализацию многомодального интерфейса, обеспечивающего естественный диалог с пользователем и вывод мультимедиа данных об интересующих его объектах.

- Логическая модель выбора текущего режима функционирования комплекса, учитывающая расположение пользователей и состояние встроенных модулей и реализующая способы предоставления пользовательских сервисов, включающих выдачи информации об объекте и/или сопровождение до этого объекта» расположенного на территории обслуживания.

- Диалоговая модель взаимодействия подвижного информационно-навигационного комплекса с посетителями, включающая режимы: речевого диалога с целью информирования об определенном объекте и сопровождения до интересующего объекта, использующая систему распознавания ключевых элементов для определения цели голосового запроса и отличающаяся применением смешанной стратегии диалога и структуры поддиалогов для каждого режима функционирования.

- Комплекс программных средств управления многомодальным подвижным автоматом информационного самообслуживания, позволяющий изменять режим функционировании на основе анализа текущей ситуации, и отличающийся возможностью настройки пользовательского интерфейса с учетом параметров объектов заданной территории обслуживания

Разработанные программные и технические решения, реализующие интерактивное взаимодействие с подвижным информационно-навигационным комплексом используются в учебном процессе по специальности: 220402 «Роботы и робототехнические системы» при выполнении дипломного проектирования, в лекционном материале и лабораторном практикуме учебных

курсов «Методы искусственного интеллекта», «Нейронные сети и экспертные системы», «Управление роботами и мехатроиными системами», а также включены в опубликованное учебное пособие (Прищепа М.В. Методы и средства интеллектуального управления мобильным информационным роботом / Ронжин А.Л., Прищепа М.В., Будков В.Ю. // Учеб. пособие / СПб.: ГУАП. СПб., 2012.64 е.), использующегося студентами кафедры.

Разработанный стенд многомодального управления подвижным автоматом информационного самообслуживания, использующийся в лабораторном практикуме, позволил наглядно продемонстрировать возможности естественного человеко-машинного взаимодействия и повысить интерес обучаемых к предмету.

Директор учебно- методического центра,

канд.техн.наук, доцент

Директор института инновационных технологий в электромеханике и энергетике, член-корреспондент РАН

Л.И. Чубраева

Заведующий кафедрой управления

в технических системах, д-р. техн. наук, профессор

В.Ф. Шишлаков