Моделирование и анализ человеко-компьютерного взаимодействия на основе логирования событий тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Мартынов, Пётр Николаевич

• Мартынов, Пётр Николаевич
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Мартынов, Пётр Николаевич

ОГЛАВЛЕНИЕ

список сокращений

введение

глава 1. существующие методики исследования интерфейса пользователя

1.1. Обзор существующих методик

1.2. Сравнительный анализ рассмотренных методик

1.3. Нормативное обеспечение методик исследования интерфейсов пользователя

1.4. Программное обеспечение для тестирования интерфейсов пользователя . 43 Постановка задачи исследовательской работы

глава 2. разработка методики моделирования и анализа

человеко-компьютерного взаимодействия

2.1 логирование действий пользователя

2.2. Концепция разработки новой методики

2.3. Автоматизированный анализ математической модели

2.4. Генетический алгоритм поиска эффективных и неэффективных шаблонов

взаимодействий пользователя с ПО

Выводы по главе 2

глава 3. проектирование системы логирования событий и программная реализация

3.1. Проектирование системы логирования событий

3.2. Реализация блока сбора данных исследования

3.3. Блок обработки и хранения экспериментальной информации

3.4. Реализация блока моделирования и анализа интерфейса пользователя ..105 Выводы по главе 3

глава 4. верификация методики. анализ экономической эффективности и области применения

4.1. Сравнение разработанной методики с существующими

4.2. Оценка экономической эффективности применения методики

4.3. Область применения разработанной методики и варианты модификации интерфейса пользователя

4.4. Перспективы развития методики

Выводы по главе 4

основные выводы и результаты

список использованной литературы

приложение а. акты внедрения

приложение б. свидетельство о регистрации по для эвм

приложение в. программный код классов обработки данных

исследования

приложение г. список обнаруженных ошибок юзабилити интерфейса пользователя по \vpchanger

СПИСОК СОКРАЩЕНИЙ

ГА - генетический алгоритм;

ОС - операционная система;

ПО - программное обеспечение;

СУБД - система управления базами данных;

ЦФ - целевая функция;

4KB - человеко-компьютерное взаимодействие;

ЭВМ - электронная вычислительная машина;

LSA - статистический последовательный анализ {Lag Sequential Analysis);

MRP - паттерн, повторяющийся наибольшее число раз в исходной

последовательности {Maximal Repeating Pattern).

Введение диссертации (часть автореферата) на тему «Моделирование и анализ человеко-компьютерного взаимодействия на основе логирования событий»

ВВЕДЕНИЕ

Актуальность работы. Расширение числа программно-аппаратных платформ и операционных систем приводит к появлению большого разнообразия интерфейсов, ставя, тем самым, перед пользователем проблему выбора и необходимость хранить в памяти большое количество способов человеко-компьютерного взаимодействия. В свою очередь, рост возможностей и расширение функциональности программных приложений, приводит к разнообразию и усложнению интерфейса пользователя человеко-компьютерных систем, перегруженность которого негативно сказывается на эффективности работы человека, поскольку возникает необходимость концентрации внимания не только на рабочих задачах (что нужно сделать), но и на способах их решения (как это сделать). Сложная структура интерфейса порождает значительный информационный поток между человеком и компьютерной системой, и, при таком взаимодействии, пользователь программного обеспечения (ПО) является «узким местом» системы, поскольку его возможности по оперативной обработке данных как физически, так и психологически лимитированы. В связи с этим объективной необходимостью является создание интерфейсов человеко-компьютерного взаимодействия (4KB), ориентированных на возможности и задачи конечного пользователя.

Для оценки 4KB, в структуре модели управления качеством ПО, разработанной Международной организацией по стандартизации, существует дополнительная комплексная характеристика качества - пригодность использования (юзабилити, usability), которая согласно ГОСТ Р ИСО 9241-112010, определяется как «свойство продукции, при наличии которого установленный пользователь может применить продукцию в определенных условиях использования для достижения установленных целей с необходимой результативностью, эффективностью и удовлетворенностью».

В силу широкого распространения, особый интерес представляет класс Ж/МР-интерфейсов (Window, Image, Menu, Pointing device), который

характеризуется работой пользователя в «окнах», использованием пиктограмм, графических образов, различных меню и взаимодействием пользователя с ПО посредством указывающих устройств. Для оценки и улучшения юзабилити Ж/МР-интерфейса существуют различные методики, при этом для большинства характерны следующие основные недостатки:

- практически все методики имеют ограниченное применение, в связи с чем, возникает необходимость их комбинирования, что существенно увеличивает стоимость исследований;

- преобладают методики исследований, позволяющие качественно, а не количественно оценивать юзабилити, результаты применения которых имеют субъективную интерпретацию;

- уровень автоматизации большинства методик всё ещё достаточно низкий, большая часть рутинной работы выполняется специалистами по исследованию и проектированию интерфейсов пользователя ПО.

При этом во многих практических областях применения ПО (промышленные автоматизированные системы управления, медицинские и образовательные информационные системы), наиболее важными параметрами работы человека являются скорость его реакций и производительность, в то время как существующие методики либо совсем не позволяют количественно оценить эти параметры на статистически значимой выборке пользователей, либо стоимость таких исследований очень высока и не сопоставима со стоимостью разработки ПО.

Степень разработанности проблемы. Основополагающие и наиболее популярные методики исследования и улучшения характеристик ПО с точки зрения пользователя базируются на знаниях, полученных на стыке таких научных областей, как эргономика, человеко-машинное взаимодействие, психология и социология. В течение последних десятилетий свой вклад в их создание и развитие внесли многие зарубежные (Я. Нильсен, С. Кард, Б. Шнейдерман, А. Купер, Д. Норман, Дж. Раскин, Д. Кирас и другие) и ряд

отечественных учёных (А.Н. Костин, П.И. Падерно, А.Н. Анохин и другие). Были разработаны методики когнитивного моделирования ЧКВ, различные вариации тестирований с участием пользователей ПО и экспертной оценки, а также адаптированы методики психолого-социологических исследований. В последние годы в работах молодых отечественных учёных предлагается ряд новых подходов к исследованию, проектированию и оценке интерфейса пользователя, большинство из которых имеют либо узкую направленность, либо ограниченное применение. Например, Пономаревым И.А. предложена методика формализованного анализа графического интерфейса статических экранных форм без участия пользователей. Бакаев М.А. в своей диссертационной работе предлагает систему поддержки принятия решений для проектирования интерфейсной части интернет ресурсов. Сухов A.A. в рамках своей научной работы реализует программную систему повышения качества промышленных компьютерных тренажерных систем (интерфейсы на мнемосхемах). Кораблев Д.А. предлагает критерии и методику оценки эффективности интерфейсов пользователя систем электронного документооборота.

Несмотря на большое число теоретических и практических работ и публикаций, в исследуемом научном направлении всё ещё существует ряд нерешённых задач и возможностей для инноваций. В частности, вопросы снижения стоимости исследований с участием большого числа пользователей и получения на их основе количественной оценки реального человеко-компьютерного взаимодействия.

Таким образом, актуальной задачей является разработка новой, менее трудоёмкой методики исследования интерфейса пользователя ПО, позволяющей снизить стоимость и продолжительность различных этапов тестирования с участием большого числа пользователей, с целью обеспечения объективности оценки эргономических характеристик человеко-компьютерного взаимодействия.

Объектом исследования диссертационной работы является WIMP-интерфейс пользователя ПО, предназначенного для работы на персональной ЭВМ под управлением операционной системы (ОС) Microsoft Windows (далее Windows).

Предметом исследования является модель человеко-компьютерного взаимодействия, построенная на основе аккумулирования и анализа данных, собираемых о работе пользователя с ПО или выполнения им тестовых заданий.

Область исследования. Диссертационная работа выполнена в соответствии с п. 5 «Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях; ...» и п. 6 «Разработка методов, языков и моделей человеко-машинного общения; ...» Паспорта специальностей ВАК РФ по специальности 05.13.17 - «Теоретические основы информатики» (технические науки).

Целью работы является разработка новой методики исследования интерфейса пользователя, обеспечивающей моделирование и анализ человеко-компьютерного взаимодействия на основе логирования событий, с целью повышения удобства и продуктивности работы с программным обеспечением.

Для достижения поставленной цели в работе были решены следующие научные задачи:

1. Анализ существующих методик исследования и оценки интерфейсов пользователя компьютерных систем, их аппаратно-программного, информационного и нормативного обеспечения.

2. Анализ преимуществ и недостатков существующих методик, формирование концепции исследования интерфейса пользователя, обеспечивающей упрощение его тестирования.

3. Разработка модели количественной оценки человеко-компьютерного взаимодействия на основе работы пользователя с ПО и выполнения им тестовых заданий.

4. Разработка метрик и алгоритмов для автоматизации анализа математической модели человеко-компьютерного взаимодействия.

5. Разработка исследовательского программного комплекса, обеспечивающего фиксацию взаимодействий конечного пользователя с интерфейсом ПО на основе логирования событий с последующей визуализацией и предварительным анализом данных, полученных в ходе исследований.

Методы исследования. Для решения поставленных в работе задач использовались методы системного анализа и проектирования, методы кластерного анализа, эволюционного моделирования и математической статистики, дискретной математики (теории алгоритмов, теории графов), теории реляционных баз данных, теории объектно-ориентированного моделирования и программирования.

Научная новизна диссертационной работы заключается в следующих положениях:

1. Разработана математическая модель человеко-компьютерного взаимодействия, позволяющая формировать количественную оценку основных пользовательских характеристик исследуемого Ж1МР-интерфейса программного обеспечения.

2. Разработаны метрики и алгоритмы автоматизированного анализа математической модели, а также генетический алгоритм (ГА) поиска эффективных и неэффективных путей взаимодействия пользователя с программным обеспечением с целью выработки рекомендаций по модификации интерфейса пользователя.

3. Разработана новая методика тестирования юзабилити интерфейса пользователя программного обеспечения, позволяющая снизить трудоёмкость и стоимость исследований путём автоматизации наиболее рутинных этапов сбора экспериментальных данных, их обработки и анализа.

Практическая значимость. Применение разработанной методики позволяет получить статистически значимую оценку количественных характеристик человеко-компьютерного взаимодействия при сопоставимой стоимости исследований в сравнении с существующими методиками юзабилити тестирования. Благодаря автоматизации разработанной методики обеспечивается снижение трудоёмкости исследований эргономических характеристик интерфейса пользователя при проведении тестирования в условиях ограниченных сроков разработки ПО.

Основные положения, выносимые на защиту:

1. Модель человеко-компьютерного взаимодействия, позволяющая формировать количественную оценку основных пользовательских характеристик исследуемого ЖШР-интерфейса программного обеспечения.

2. Генетический алгоритм поиска эффективных (неэффективных) путей взаимодействия пользователя с программным обеспечением.

3. Методика автоматизированного тестирования юзабилити программного обеспечения с участием пользователей.

Достоверность и обоснованность научных положений и выводов обеспечивается корректным использованием базовых методов исследования и математического аппарата. Достоверность результатов работы подтверждается результатами экспериментальных исследований и сравнением данных, полученных в ходе экспериментов, с данными, полученными ранее по рассматриваемой тематике.

Реализация результатов работы. Результаты диссертационной работы внедрены в учебный процесс ФГБОУ ВПО МГТУ «СТАНКИН» и в настоящее время используются при подготовке бакалавров по направлению 230700.62 «Прикладная информатика» (курс «Информационные системы»). Материалы диссертационной работы использованы в качестве методологической основы при разработке общеуниверситетских курсов лекций и практических занятий по

дисциплинам «Информатика», «Программирование и основы алгоритмизации», «Человеко-машинные системы управления».

Предложенная методика и разработанный на её основе программный комплекс внедрены в процесс разработки и сопровождения прикладного ПО информационных систем в научно-практических разработках малого инновационного предприятия ООО «Компьютерные системы и технологии» (г. Москва).

Результаты работы подтверждены актами внедрения, имеющимися в приложении к диссертации.

На программный комплекс «Распределённая система тестирования интерфейса пользователя программных приложений» в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам получено Свидетельство о государственной регистрации программы для ЭВМ №2013613413 от 04.04.2013 г.

Апробация работы. Основные научные и практические результаты работы докладывались и обсуждались на следующих конференциях и семинарах: Межвузовской научной конференции молодых учёных и студентов «Инновации в экономике» (Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2009, 2010, 2011); III Всероссийской студенческой научно-технической конференции «Прикладная информатика и математическое моделирование» (Москва, ФГБОУ ВПО МГУП им. Ивана Федорова, 2009); Международной научно-практической конференции «Перспективные инновации в науке, образовании, производстве и транспорте '2009» (Одесса, УКРНИИМФ, 2009); III научно-образовательной конференции «Машиностроение - традиции и инновации» (Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2010); Всероссийской молодёжной конференции «Инновационные технологии в машиностроении» (Москва, ФГБОУ ВПО МГТУ «СТАНКИН», 2011); Научно-технической международной молодёжной конференции «Системы, методы, техника и технология обработки медиаконтента» (Москва, ФГБОУ ВПО МГУП им. Ивана Федорова, 2011);

Международной конференции «New Information Technologies in Image Processing» (Тампере, Технологический университет Тампере, 2011); Международной научно-практической конференции «Инновационные информационные технологии (/27)» (Прага, Российский центр науки и культуры в Праге, 2012).

Публикации по теме работы. По теме диссертации опубликовано 17 научных работ, в том числе 4 статьи в журналах, входящих в перечень ВАК РФ. Получено Свидетельство о государственной регистрации программы для ЭВМ.

Структура и содержание диссертации. Диссертационная работа изложена на 153 страницах машинописного текста и состоит из введения, четырех глав, заключения, списка литературы и четырёх приложений. Список литературы включает 156 источников.

В диссертационной работе нумерация формул, рисунков, таблиц и листингов программного кода выполнена раздельно по главам: первое число -номер главы, второе - номер в данной главе. Библиографический список составлен в алфавитном порядке.

Заключение диссертации по теме «Теоретические основы информатики», Мартынов, Пётр Николаевич

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ

В результате проведенных исследований получены следующие научные и практические результаты:

1. Решена актуальная научная задача, заключающаяся в разработке методики моделирования и анализа человеко-компьютерного взаимодействия на основе логирования событий и имеющая существенное значение для снижения стоимости и трудоёмкости исследования интерфейсов пользователя ПО.

2. Проведён анализ существующих методик исследования и оценки интерфейсов пользователя ПО, их программно-аппаратного, информационного и нормативного обеспечения, на основе которого сформирована концепция новой методики.

3. Разработана количественная модель человеко-компьютерного взаимодействия на основе работы пользователя с ПО и выполнения им тестовых заданий, позволяющая проводить, в том числе, статистический анализ.

4. Разработаны метрики и алгоритмы анализа математической модели человеко-компьютерного взаимодействия, позволяющие перейти к автоматизированному анализу интерфейса пользователя ПО.

5. Разработан исследовательский программный комплекс, осуществляющий фиксацию взаимодействий конечного пользователя с интерфейсом ПО для платформы Microsoft Windows на основе механизма логирования событий с последующей визуализацией и предварительным анализом данных, полученных в ходе исследований.

Список литературы диссертационного исследования кандидат технических наук Мартынов, Пётр Николаевич, 2013 год

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

1. Абдулин Е.Р. Метод построения и проверки гипотез о ментальных действиях пользователя при реализации человеко-машинного взаимодействия // Журнал «Управление большими системами: сборник трудов», №30-1 - М.: ИЛУ им. В.А. Трапезникова РАН, 2010. - с. 104127.

2. Архангельский А.Я. Программирование в Delphi 7 / А.Я. Архангельский. - М.: Бином-Пресс, 2003. - 1152 с.

3. Бакаев М.А. Разработка интеллектуальной системы для поддержки проектирования человеко-компьютерного взаимодействия в веб-приложениях: автореф. дис. ... к-та техн. наук / Бакаев Максим Александрович. - Новосибирск, 2012. - 23 с.

4. Баканов A.C. Программный комплекс «Эргомастер» для эргономического сопровождения проектирования пользовательского интерфейса / A.C. Баканов, Ю.В. Бессонова, A.A. Обознов, М.А. Пирогов // Журнал «Человеческий фактор: проблемы психологии и эргономики», №4 - Тверь: «Межрегиональная эргономическая ассоциация», 2009. - с. 54-58.

5. Баранцев A.B. Генерация оптимизированных для ручного выполнения сценариев тестирования приложений с графическим интерфейсом пользователя / A.B. Баранцев, C.B. Грошев, В.А. Омельченко // Журнал «Труды Института Системного Программирования РАН», Том 17 - М.: ИСП РАН, 2009. - с. 75-92.

6. Воронцов К.В. Методы кластеризации (курс лекций) - [М.].: К.В. Воронцов, сор. 2012. - 36 с. - Режим доступа: http ://www. machine learning. ru/wiki

7. Гладков Jl.A. Эволюционный подход к решению оптимизационных задач на графах / J1.A. Гладков // Журнал «Известия Южного

федерального университета. Технические науки», Таганрог, ТИ ФГОУ ВПО «ЮФУ». - 2004. - Т. 43, № 8. - с. 86-87.

8. Гладков Л.А. Алгоритм выделения независимых подмножеств в графе на основе методов генетического поиска / Л.А. Гладков, И.А. Болоцкова // Журнал «Известия Южного федерального университета. Технические науки», Таганрог, ТИ ФГОУ ВПО «ЮФУ». - 2002. - Т. 26, № 3. - с. 7782.

9. Голиков Ю.Я. Психология автоматизации управления техникой / Ю.Я. Голиков, А.Н. Костин. - М.: Институт психологии РАН, 1996. - 160 с.

10. Головач В.В. Дизайн пользовательского интерфейса. Искусство мыть слона. - [М.].: иБеЛюэ, сор. 2005-2010. - 94 с. - Режим доступа: http://uibook2.usethics.ru/.

11. Городецкий И.Г. Эргономические основы создания человеко-машинных систем: Учебник / И.Г. Городецкий, П.С. Турзин, М.В. Найченко. Под ред. Засл. раб. высш. шк. РФ, проф. А.П. Петрова. - М.: ИЦ МАТИ, 2001.-567 с.

12. ГОСТ Р ИСО/МЭК 9126-93. Оценка программной продукции. Характеристики качества и руководства по их применению. - Введ. 01.07.94. - М.Госстандарт России: Изд-во стандартов, 1994. - II, 9 с.

13. ГОСТ Р ИСО 9241-11-2010. Эргономические требования к проведению офисных работ с использованием видеодисплейных терминалов (УГ)Т). Часть 11. Руководство по обеспечению пригодности использования. -Введ. 25.11.2010. -М.: Стандартинформ, 2011. -I, 28 с.

14. Дегтяренко И.А. Экспериментальная разработка комплексного подхода к оценке юзабилити интернет-сайтов / И.А. Дегтяренко, А.Б. Леонова // Электронный журнал «Психологические исследования». - 2012. - № 2 (22). - с. 6. - http://psystudy.ru/.

15. Дейт К.Дж. Введение в системы баз данных / К. Дж. Дейт. - М.: Вильяме, 2006. - 1328 с.

16. Дэвис М.Е. Изучаем PHP и MySQL / Мишель Е. Дэвис и Джон А. Филлипс. - М.: Символ-Плюс, 2008. - 442 с.

17. Загоруйко Н.Г. Прикладные методы анализа данных и знаний. -Новосибирск: ИМ СО РАН, 1999. - 270 с.

18. Зервас К. Web 2.0. Создание приложений на PHP / Квентин Зервас. - М.: Вильяме, 2009. - 544 с.

19. Копов С. А. Разработка метрик измерения юзабилити на основе деятельностного подхода / С.А. Копов, П.П. Макарычев, C.B. Шибанов // Труды международного симпозиума «Надежность и качество». Том 1. - Пенза: Пензенский государственный университет, 2010. - с. 504-508.

20. Кораблев Д.А. Методы проектирования эффективных экранных интерфейсов систем электронного документооборота: автореф. дис. ... к-та техн. наук / Кораблев Дмитрий Александрович. - Санкт-Петербург, 2011.-20 с.

21. Костин А.Н. Круглый стол «Юзабилити как новое направление исследований в инженерной психологии» / А.Н. Костин // Психологический журнал. - 2011. - Т. 32, № 6. - с. 113-124.

22. Костин А.Н. В чём измеряется юзабилити? [Электронный ресурс]: Сборник статей. - Электронные данные. - [М.].: ЮЗАБИЛИТИЛАБ, сор. 2008. - Режим доступа: http://usabilitylab.ru/blog/articles/anatolij-kostin-v-chem-izmeryaetsya-yuzabiliti-tochno-ne-v-popugayax/

23. Краснова А.И. Модель оценки времени выполнения задачи в зависимости от изменения напряженности деятельности оператора / А.И. Краснова, П.И. Падерно, A.A. Балхарет // Научный журнал «Информационно-управляющие системы». - СПб., 2009. - № 4. - с. 7274.

24. Круг С. Веб-Дизайн: книга Стива Круга или «не заставляйте меня думать!» / Стив Круг. - М.: Символ-Плюс, 2008. - 224 с.

25. Кузнецова О.Б., Шнманский С.А. Расчёт экономической эффективности от внедрения ИТ-проектов. Методические указания для специальности 080801.65 «Прикладная информатика (в экономике)», 080800.62 «Прикладная информатика», направления 230700.62 «Прикладная информатика». - Мурманск: Мурманский государственный технический университет, 2012.-31 с.

26. Курейчик В.В. Решение задач о коммивояжере методами эволюционного моделирования / В.В. Курейчик // Известия Таганрогского государственного радиотехнического университета. -Таганрог, 2003. - Т. 31, № 2. - С. 94-102.

27. Лежебоков A.A. Программный модуль для прототипирования пользовательских интерфейсов / A.A. Лежебоков, О.В. Коломыцева // Журнал «Известия ЮФУ. Технические науки», №7 - Таганрог: ТИ ФГОУ ВПО ЮФУ, 2012. - с. 259-263.

28. Ленгсторф Дж. PHP and jQuery для профессионалов / Джейсон Ленгсторф. -М.: Вильяме, 2011. -334 с.

29. Львов В.М. Юзабилити и эргономика / В.М. Львов, А.Г. Кармалеев // Научный журнал «Человеческий фактор: проблемы психологии и эргономики» / Издательство: Межрегиональная общественная организация «Межрегиональная эргономическая ассоциация». - 2010. -№ 3. - с. 9-13.

30. Макконнелл Дж. Основы современных алгоритмов / Дж. Макконнелл. -М.: Техносфера, 2006. - 368 с.

31. Маликов A.B. Ориентированные графы в реляционных базах данных // Сборник докладов Томского государственного университета систем управления и радиоэлектроники №2 часть 2, декабрь 2008. -Ставрополь: ТУ СУР, 2008. - Т. 2. - С. 100-104.

32. Мартынов П.Н. Автоматизация оценки эффективности взаимодействия конечного пользователя с обучающей информационной системой / Е.Е.

Ковшов, П.Н. Мартынов, Нгуен Нгок Хуэ, Фам Чунг Киен // Научно-практический журнал «Открытое образование», № 1. - М.: Издательство МЭСИ, 2010.-с. 37-43.

33. Мартынов П.Н. Исследование эргономики интерактивного взаимодействия пользователя с программным обеспечением на основе экспериментальных данных / П.Н. Мартынов, Е.В. Борисенко // Управление качеством машиностроительных технологических процессов формообразования: труды международной конференции. -М.: ИЦ МГТУ «Станкин», 2010.-е. 13-15.

34. Мартынов П.Н. Исследование интерфейсов человеко-машинных систем управления на платформе \¥т1е1 // Материалы всероссийской молодёжной конференции «Инновационные технологии в машиностроении (ИТМ-2011)». Сборник докладов. - М.: МГТУ «СТАНКИН», 2011.-е. 225-227.

35. Мартынов П.Н., Ковшов Е.Е. «Распределённая система тестирования интерфейса пользователя программных приложений»: Свидетельство о государственной регистрации программы для ЭВМ № 2013613413 // Федеральная служба по интеллектуальной собственности. - 04.04.2013.

36. Мартынов П.Н. Метод интерактивного исследования интерфейса пользователя обучающих информационных систем // Инновационные информационные технологии: Материалы международной научно-практической конференции. / Под ред., С.У. Увайсова; Отв. за вып. И.А. Иванов, Л.М. Агеева, Д.А. Дубоделова, В.Е. Еремина. - М.: МИЭМ, 2012.-е. 99-101.

37. Мартынов П.Н. Моделирование и оптимизация пользовательского интерфейса прикладного программного обеспечения промышленной АСУ // Материалы III научно-образовательной конференции «Машиностроение - традиции и инновации» (МТИ-2010). Секция

«Автоматизация и информационные технологии». Сборник докладов. -М.: МГТУ «Станкин», 2010. - с. 123-127.

38. Мартынов П.Н. Моделирование человеко-компьютерных взаимодействий как метод оценки интерфейса медицинских систем [Электронный ресурс]: Сборник тезисов научно-практической конференции «Меё8ой-Наука-2012». - Электронные данные. - [М.].: АРМИТ, сор. 2012. - Режим доступа: http://www.armit.ru/medsoft/science/data/

39. Мартынов П.Н. Оценка удобства работы в системе «человек-ЭВМ» на основе статистических моделей / П.Н. Мартынов // Прикладная информатика и математическое моделирование: межвузовский сборник научных трудов. - М.: МГУП, 2009. - С. 164-168.

40. Мартынов П.Н. Оценка эффективности интерактивного взаимодействия пользователя с компьютерной системой / Е.В. Борисенко, Е.Е. Ковшов, П.Н. Мартынов // Сборник научных трудов по материалам международной научно-практической конференции «Перспективные инновации в науке, образовании, производстве и транспорте ,2009». Том 2. Технические науки. - Одесса: Черноморье, 2009. - с. 47-50.

41. Мартынов П.Н. Представление и хранение экспериментальных данных при исследовании интерфейсов пользователя программного обеспечения // «Автоматизация и информационные технологии (АИТ-2010)». Студенческая научно-практическая конференция. Первый тур. Сборник тезисов докладов. - М.: ИЦ МГТУ «Станкин», 2010. - с. 79-82.

42. Мартынов П.Н. Применение генетического алгоритма при анализе модели взаимодействия пользователя с интерактивным программным обеспечением / Е.В. Борисенко, П.Н. Мартынов // Научно-технический журнал «Проблемы полиграфии и издательского дела / Рос. акад. наук, Ин-т всеобщ, истории ; отв. ред. Г.Г. Литаврин. - М.: МГУП, 2010. - № 5.-С. 91-97.

43. Мартынов П.Н. Разработка информационной системы для управления инновациями на основе «облачных» программных технологий / Е.Е. Ковшов, П.Н. Мартынов // Научно-методический журнал «Межотраслевая информационная служба», № 4. - М.: ФГУП «ВИМИ», 2012.-с. 37-42.

44. Мартынов П.Н. Разработка средств автоматизации тестирования интерфейсов пользователя в человеко-машинных системах управления / П.Н. Мартынов, Е.Е. Ковшов // Теоретический и прикладной научно-технический журнал «Информационные технологии», № 7. - М.: Издательство «Новые технологии», 2012. - с. 42-46.

45. Мартынов П.Н. Сокращение цикла разработки программного обеспечения путем автоматизации анализа моделей интерактивного взаимодействия // Инновации в экономике - 2011. Материалы научной конференции молодых ученых и студентов. - М: ИЦ МГТУ «Станкин», 2011.-с. 79-81

46. Мартынов П.Н. Хранение и обработка log-данных для моделирования человеко-машинного взаимодействия // Задачи системного анализа, управления и обработки информации: межвузовский сборник научных трудов. Вып. 3 / под общ. ред. Е.В. Никульчева. - М.: МГУП, 2010. - с. 80-83

47. Мартынов П.Н. Interface research automation in man-machine control systems // Научно-техническая международная молодёжная конференция «Системы, методы, техника и технология обработки медиаконтента»: Сборник тезисов. - М: РИД МГУП, 2011. - с. 4

48. Мосин В.Г. Метод игровой оценки юзабилити // Журнал «Современные наукоемкие технологии», №4 - Пенза: Издательский Дом «Академия Естествознания», 2008. - с. 6-10.

49. Муссиано Ч. HTML и XHTML. Подробное руководство / Чак Муссиано и Билл Кеннеди, 6 издание. - М.: Символ-Плюс, 2011. - 752 с.

50. Нильсен Я. Веб-дизайн. Книга Якоба Нильсена / Якоб Нильсен. - М.: Символ-Плюс, 2006. - 512 с.

51. Нильсен Я. Web-дизайн: удобство использования Web-сайтов / Я. Нильсен, X. Лоранжер. — М.: Вильяме, 2007. — С. 368.

52. Окулов С. Программирование в алгоритмах / С. Окулов. - М.: Бином. Лаборатория знаний, 2004. - 344 с.

/

53. Пономарев И.А. Математическая модель экранной формы графического пользовательского интерфейса // Объединенный научный журнал. -2006. - №8 (168). - ISSN 1729-3707. - с. 66-68.

54. Пономарев И.А. Методы и средства оценки пользовательского интерфейса прикладных программ для ЭВМ // Объединенный научный журнал. - 2005. - №4 (132). - ISSN 1729-3707. - С.59-62

55. Пономарев И.А. Методы оценки качества пользовательского интерфейса / И.А. Пономарев // Интеллектуальные технологии и системы. Сборник учебно-методических работ и статей аспирантов и студентов. Выпуск 6 / Сост. и ред. Ю.Н.Филипповича. — М.: Изд-во ООО «Эликс+», 2004. — -334 с.

56. Пономарев И.А. Разработка моделей и алгоритмов для многокритериальной оценки качества графического пользовательского интерфейса: автореф. дис. ... к-та техн. наук / Пономарев Игорь Александрович. - Москва, 2006. - 31 с.

57. Раскин Д. Интерфейс: новые направления в проектировании компьютерных систем / Джеф Раскин. - М.: Символ-Плюс, 2005. - С. 272.

58. Рутковская Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутковский. - М.: Горячая Линия - Телеком, 2006. - 383 с.

59. Седжвик Р. Фундаментальные алгоритмы на С++. Часть 5. Алго-ритмы на графах / Роберт Седжвик. - М.: ДиаСофт, 2002. - 496 с.

60. Сухов А. А. Обзор метода создания и оценки эффективности человеко-машинного интерфейса тренажеров управления опасным технологическим процессом / A.A. Сухов // Научные труды XII международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики и экономики. Информатика» -М.: МГУПИ, 2009. - С. 152-156.

61. Сухов А. А. Проблема человеко-машинного интерфейса в информационных системах. // Научно-технические ведомости СПбГПУ. №5. - СПб.: СПбГПУ, 2009. - с. 18-23

62. Сухов A.A. Программное обеспечение системы повышения качества интерфейса компьютерных тренажерных систем: автореф. дис. ... к-та техн. наук / Сухов Антон Александрович. - Москва, 2010. - 20 с.

63. Сухов А. А. Система повышения качества человеко-машинного интерфейса компьютерных тренажерных систем. // В мире научных открытий. №1. - Кр.: Научно-инновационный центр, 2010. -с. 190-193.

64. Фаронов В. Искусство создания компонентов Delphi / Валерий Фаронов. - СПб.: Питер, 2005. - 464 с.

65. Хаггарти Р. Дискретная математика для программистов / Р. Хаггарти. -М.: Техносфера, 2005. - 400 с.

66. Хуки в Win32 [Электронный ресурс]. - Электронные данные. - [М.].: RSDN, сор. 2005. - Режим доступа: http://www.rsdn.ru/article/baseserv/ winhooks.xml

67. Шкамардин И.А. Генетические алгоритмы с представлением переменной длины / И.А. Шкамардин // Известия Таганрогского государственного радиотехнического университета. - Таганрог, 2007. -Т. 73, № 1.-С. 61-64.

68. Юзабилити-тестирование по дешевке [Электронный ресурс]. -Электронные данные. - [М.].: Влад Головач, сор. 2005. - Режим доступа: http://usethics.ru/blog/lib/testing_by_the_cheap/

69. 10 Usability Heuristics for User Interface Design [Electronic resource]. -Electronic data. - Jakob Nielsen, cop. 1995. - Mode access: http://www.nngroup.com/articles/ten-usability-heuristics/

70. A Brief History of the Magic Number 5 in Usability Testing [Electronic resource]. - Electronic data. - Jeff Sauro, cop. 2010. - Mode access: http://www.measuringusability.com/blog/five-history.php

71. A Guide to GOMS Model Usability Evaluation using NGOMSL [Electronic resource]. - Electronic data. - David Kieras, cop. 1996. - Mode access: http://web.eecs.umich.edu/~kieras/docs/GOMS/ NGOMSL_Guide.pdf

72. Alexander J. AppMonitor: A tool for recording user actions in unmodified Windows applications / Jason Alexander, Andy Cockburn, and Richard Lobb // Behavior Research Methods. Vol. 40, Issue 2. - Springer-Verlag, 2008. - C. 413-421.

73. Andreasen M.S. What Happened to Remote Usability Testing? An Empirical Study of Three Methods / Morten Sieker Andreasen, Henrik Villemann Nielsen, Simon Ormholt Schroder, Jan Stage // CHI 2007 Proceedings - San Jose, CA, USA, 2007. - C. 1405-1414.

74. Badre A., Santos P. J. A knowledge-based system for capturing humancomputer interaction events: CHIME. - 1991.

75. Balbo S. EMA: Automatic analysis mechanism for the ergonomic evaluation of user interfaces. Tech. Rep. 96/44 (August) [Electronic resource]. -Electronic data. - CSIRO Division of Information Technology, S. Balbo, cop. 1996. - Mode access: http://www.cmis.csiro.au/ sandrine.balbo/Ema/ema_tr/ema-tr.doc

76. Balbo S. Software tools for evaluating the usability of user interfaces // Advances in Human Factors/Ergonomics. - 1995. - T. 20. - C. 337-342.

77. Bateman S. Interactive Usability Instrumentation / Scott Bateman, Carl Gutwin, Nathaniel Osgood, Gordon McCalla // Proceedings of the 1st ACM SIGCHI symposium on Engineering interactive computing systems (EICS '09). - ACM New York, USA, 2009. - C. 45-54.

78. Bates P. C. Debugging heterogeneous distributed systems using event-based models of behavior // ACM Transactions on Computer Systems (TOCS). -1995.-T. 13. - №. l.-C. 1-31.

79. Bevan N. Classifying and selecting UX and usability measures // International Workshop on Meaningful Measures: Valid Useful User Experience Measurement. - 2008. - C. 13-18.

80. Capturing Meaningful and Significant User Experience Metrics [Electronic resource]. - Electronic data. - UXmatters, Kim Oslob, cop. 2011. - Mode access: http://www.uxmatters.com/mt/archives/2011/05/capturing-meaningful-and-significant-user-experience-metrics.php

81. Cognitive Walkthrough [Electronic resource], - Electronic data. - Zhijun (William) Zhang, cop. 2005. - Mode access: http://www.pages.drexel.edu/~zwz22/CognWalk.htm

82. Comparison of Usability Testing Methods [Electronic resource]. - Electronic data. - Jeff Sauro, cop. 2012. - Mode access: http://www.measuringusability.com/blog/method-comparison.php

83. Comprehensive Review Of Usability And User Experience Testing Tools [Electronic resource]. - Electronic data. - Cameron Chapman, cop. 2011. -Mode access: http://uxdesign.smashingmagazine.com/2011/10/20/ comprehensive-review-usability-user-experience-testing-tools/

84. Cooper A. About Face 2.0: The Essentials of Interaction Design / Alan Cooper, Robert Reimann. - Wiley, 2003. - 504 C.

85. Cuomo D. L. Understanding the applicability of sequential data analysis techniques for analysing usability data // Behaviour & information technology. - 1994.-T. 13.-№. 1-2. - C. 171-182.

86. D3 JS API Reference [Electronic resource]. - Electronic data. - mbostock, cop. 2013. - Mode access: https://github.com/mbostock/d3/wiki/API-Reference

87. Feuerstack S. Automated Usability Evaluation during Model-Based Interactive System Development / Sebastian Feuerstack, Marco Blumendorf, Maximilian Kern, Michael Kruppa, Michael Quade, Mathias Runge, and Sahin Albayrak // Proceedings of the 2nd Conference on Human-Centered Software Engineering and 7th International Workshop on Task Models and Diagrams (HCSE-TAMODIA '08). - Springer Berlin Heidelberg, 2008. - C. 134-141.

88. First Principles of Interaction Design [Electronic resource]. - Electronic data. - Bruce Tognazzini, cop. 2013. - Mode access: http://www.asktog.com/basics/firstPrinciples.html

89. Focus Groups [Electronic resource]. - Electronic data. - U.S. Government, cop. 2012. - Mode access: http://www.usability.gov/methods/ analyze_current/learn/ focus. html

90. Gellner M. ObSys - a Tool for Visualizing Usability Evaluation Patterns with Mousemaps / Michael Gellner, Peter Forbrig // In J. Jacko & C. Stephanidis (Eds.), Human-computer interaction: Vol. 1. Theory and practice, proceedings of the 10th international conference on HCL - Mahwah, NJ: Erlbaum, 2003. - C. 469-473.

91. Gellner M., Forbrig P., Nelius M. Results of Mousemap-based Usability Evaluations-Towards Automating Analyses of Behavioral Aspects // Proceedings of the 8th ERC IM Workshop User Interfaces for All. - 2007.

92. GNOME Human Interface Guidelines 2.2.3 [Electronic resource]. -Electronic data. - The GNOME Project, cop. 2012. - Mode access: https://developer.gnome.org/hig-book/stable/

93. Guzdial M. et al. Analyzing and Visualizing Log Files: A Computational Science of Usability // Presented at HCl Consortium Workshop. - 1994.

94. Harrison B. L., Owen R., Baecker R. M. Timelines: an interactive system for the collection and visualization of temporal data // Graphics Interface. -Canadian Information Processing Society, 1994. - C. 141-141.

95. Hartman G.S. Logging Events Crossing Architectural Boundaries / Gregory S. Hartman and Len Bass // Proceedings of the 2005 IFIP TC13 international conference on Human-Computer Interaction (INTERACT'05). - Springer Berlin Heidelberg, 2005. - C. 823-834.

96. Hearst M.A. Search User Interfaces [Electronic resource]. - Electronic data. -Marti A. Hearst, cop. 2009. - Mode access: http://searchuserinterfaces.com/book/

97. Hearst M.A. The State of the Art in Automating Usability Evaluation of User Interfaces / Melody Y. Ivory and Marti A. Hearst // ACM Computing Surveys, Vol. 33, No. 4, 2001. - p. 470-516.

98. Helfrich B., Landay J.A. QUIP: Quantitative User Interface Profiling [Electronic resource]. - Electronic data. - Brian Helfrich, James A. Landay, cop. 1999. - Mode access: http://citeseerx.ist.psu.edu/viewdoc/ summary ?doi= 10.1.1.37.2367

99. Heuristic Evaluation [Electronic resource], - Electronic data. - Jakob Nielsen, cop. 2005. - Mode access: http://www.useit.com/papers/heuristic/

100. Hilbert D.M. An Approach to Large-Scale Collection of Application Usage Data Over the Internet / David M. Hilbert, David F. Redmiles // Proceedings of the 20th international conference on Software engineering (ICSE 98, Kyoto, Japan), IEEE Computer Society Press, April 19-25, 1998. -C. 136-145.

101. Hilbert D. A survey of computer-aided techniques for extracting usability information from user interface events. - Technical Report UCI-ICS-98-13, Department of Information and Computer Science, University of California at Irvine, 1998.

102. Hilbert D.M. Extracting Usability Information from User Interface Events / David M. Hilbert, David F. Redmiles // ACM Computing Surveys (CSUR). Vol. 32, Issue 4, Dec. 2000. - C. 384-421.

103. Hilbert D.M. Supporting Ongoing User Involvement in Development via Expectation-Driven Event Monitoring / David M. Hilbert, Jason E. Robbins, David F. Redmiles // Technical Report UCI-ICS-97-19, Department of Information and Computer Science, University of California, Irvine, April, 1997.- 12 C.

104. Hooks [Electronic resource]. - Electronic data. - Microsoft, cop. 2013. -Mode access: http://msdn.microsoft.com/en-us/library/windows/desktop/ ms632589(v=vs.85).aspx

105. How to Conduct a Heuristic Evaluation [Electronic resource]. -Electronic data. - Jakob Nielsen, cop. 1995. - Mode access: http://www.nngroup.com/articles/how-to-conduct-a-heuristic-evaluation/

106. Information Gathering: A Roundup of UX Applications [Electronic resource]. - Electronic data. - James Costa, cop. 2010. - Mode access: http://www.uxbooth.com/articles/information-gathering-a-roundup-of-ux-applications/

107. International standards for HCl and usability [Electronic resource]. -Electronic data. - UsabilityNet, cop. 2006. - Mode access: http://www.usabilitynet.org/tools/r_international.htm

108. ISO 9241 [Electronic resource]. - Electronic data. - Wikimedia Foundation, cop. 2012. - Mode access: http ://en. wikipedia.org/wiki/ISO_9241

109. ISO/IEC 9126 [Electronic resource]. - Electronic data. - Wikimedia Foundation, cop. 2012. - Mode access: http ://en. wikipedia.org/wiki/ISO/IEC_9126

110. jQuery Documentation [Electronic resource]. - Electronic data. - The jQuery Project, cop. 2010. - Mode access: http://docs.jquery.com/

111. Kim J. H. et al. Tracking real-time user experience (TRUE): a comprehensive instrumentation solution for complex systems // Proceedings of the SIGCHI conference on Human Factors in Computing Systems. - ACM, 2008.-C. 443-452.

112. Kukreja U. RUI - Recording User Input from Interfaces under Windows and Mac OS X / Urmila Kukreja, William E. Stevenson, and Frank E. Ritter // Behavior Research Methods, Instruments, and Computers. - Springer, 2006. -T. 38. -№ 4. -C. 656-659.

113. Lamminen J. A Quantitative Method for Localizing User Interface Problems: The D-Teo Method / Juha Lamminen, Mauri Leppanen, Risto Heikkinen, Anna Kamarainen, and Elina Jokisuu // Human Technology. An Interdisciplinary Journal on Humans in ICT Environments, Vol. 5 (2), November 2009, - C. 121-145.

114. Lecerof A., Paterno F. Automatic support for usability evaluation // Software Engineering, IEEE Transactions on. - 1998. - T. 24. - №. 10. - C. 863-888.

115. MacKenzie I.S. Motor behaviour models for human-computer interaction /1. Scott MacKenzie // In J. M. Carroll (Ed.) HCI models, theories, and frameworks: Toward a multidisciplinary science. - San Francisco: Morgan Kaufmann, 2003. - C. 27-54.

116. Macleod M. et al. The MUSiC performance measurement method // Behaviour & Information Technology. - 1997. - T. 16. - №. 4-5. - C. 279293.

117. Macleod M., Rengger R. The Development of DRUM: A Software Tool for Video-assisted Usability Evaluation // People and computers VIII: proceedings of HCI 93, Loughborough, September 1993. - C. 293-305.

118. Macleod M. Usability: practical methods for testing and improvement // Proceedings of the Norwegian Computer Society Software Conference, Sandvika, Norway. Retrieved July. - 1994. - T. 3. - C. 2005-2017.

119. Mansouri-Samani M., Sloman M. GEM: A generalized event monitoring language for distributed systems // Distributed Systems Engineering. - 1997. -T. 4. - №. 2.-C. 96.

120. McNiele A. Protocol Models of Human-Computer Interaction / Ashley McNeile, Ella Roubtsova and Gerrit van der Veer // International Conference on Enterprise Information Systems (ICEIS 2008). - p. 367-370.

121. Mental Models [Electronic resource]. - Electronic data. - Nielsen Norman Group, cop. 2010. - Mode access: http://www.nngroup.com/articles/mental-models/

122. More Definitions of Usability [Electronic resource]. - Electronic data. -User Experience Professionals Association, cop. 2013. - Mode access: http://usabilityprofessionals.org/usability_resources/about_usability/defmition s.html

123. Morgan J.H. A Design, Tests, and Considerations for Improving Keystroke and Mouse Loggers / Jonathan H. Morgan, Chen-Yang Cheng, Christopher Pike, and Frank E. Ritter // Interacting with Computers, No. 25 (3), 2013. - Oxford University Press, 2013. - p. 242-258.

124. Okada H., Asahi T. Guitester: A log-based usability testing tool for graphical user interfaces // IEICE Transactions on information and systems. -1999.-T. 82. - №. 6.-C. 1030-1041.

125. Odejobi O.A. Formalising human computer interaction modelling: a fuzzy constraint approach / Odetunji A. Odejobi and Richard J. Wallace // Fourth Irish Human Computer Interaction Conference (iHCI 2010). - Dublin City University, 2010. - p. 94-98.

126. Olson G. M., Herbsleb J. D., Rueter H. H. Characterizing the sequential structure of interactive behaviors through statistical and grammatical techniques // Human-Computer Interaction. - 1994. - T. 9. - №. 4. - C. 427472.

127. OS X Human Interface Guidelines [Electronic resource]. - Electronic data. - Apple Inc, cop. 2010. - Mode access: https://developer.apple.eom/library/mac/#documentation/UserExperience/Con ceptual/AppleHIGuidelines/Intro/Intro.html#//apple_ref/doc/uid/TP30000894 -TP6

128. Paterno F., Ballardin G. RemUSINE: a bridge between empirical and model-based evaluation when evaluators and users are distant // Interacting with computers. - 2000. - T. 13. - №. 2. - C. 229-251.

129. Questionnaire resources [Electronic resource]. - Electronic data. -UsabilityNet, cop. 2006. - Mode access: http://www.usabilitynet.org/tools/r_questionnaire.htm

130. Rauterberg M., Fjeld M. Task analysis in human-computer interaction-supporting action regulation theory by simulation // Zeitschrift Fur Arbeitswissenschaft. - 1998. -T. 52. -C. 152-161.

131. Risks of Quantitative Studies [Electronic resource]. - Electronic data. -Nielsen Norman Group, cop. 2004. - Mode access: http://www.nngroup.com/articles/risks-of-quantitative-studies/

132. Rubin J. Handbook of Usability Testing, Second Edition: How to Plan, Design, and Conduct Effective Tests / Jeffrey Rubin and Dana Chisnell. -Wiley Publishing, Inc, 2008. - 348 c.

133. Sanderson P. M., Fisher C. Exploratory sequential data analysis: Foundations // Human-Computer Interaction. - 1994. - T. 9. - №. 3-4. -c. 251-317.

134. Sauro J. Correlations among Prototypical Usability Metrics: Evidence for the Construct of Usability / Jeff Sauro, James R. Lewis // Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. - ACM, 2009. -C. 1609-1618.

135. Seffah A. Usability measurement and metrics: A consolidated model / Ahmed Seffah, Mohammad Donyaee, Rex B. Kline, Harkirat K. Padda // Software Qual J, 2006. - № 14. - C. 159-178.

136. Siochi A. C., Ehrich R. W. Computer analysis of user interfaces based on repetition in transcripts of user sessions // ACM Transactions on Information Systems (TOIS). - 1991. -T. 9. -№. 4. -C. 309-335.

137. Spyc [Electronic resource]. - Electronic data. - Vladimir Andersen, cop. 2011. - Mode access: https://github.com/mustangostang/spyc

138. Tao Y. Automated Data Collection for Usability Evaluation in Early Stages of Application Development / Yonglei Tao // 7th WSEAS International conference on Applied Computer & Applied Computational Science (ACACOS '08), Hangzhou, China, April 6-8, 2008. - p. 135-140.

139. The GOMS Family of User Interface Analysis Techniques: Comparison and Contrast [Electronic resource]. - Electronic data. - Bonnie E. John & David E. Kieras, cop. 1996. - Mode access: http://web.eecs.umich.edu/~kieras/docs/GOMS/Compare-GOMS.pdf

140. The Methods UX Professionals Use [Electronic resource]. - Electronic data. - Jeff Sauro, cop. 2011. - Mode access: http://www.measuringusability.com/blog/ux-methods.php

141. Thinking Aloud: The #1 Usability Tool [Electronic resource]. -Electronic data. - Nielsen Norman Group, cop. 2012. - Mode access: http://www.nngroup.com/articles/thinking-aloud-the-l-usability-tool/

142. Unmoderated, Remote Usability Testing: Good or Evil? [Electronic resource]. - Electronic data. - UXmatters, Kyle Soucy, cop. 2010. - Mode access: http: //www. uxmatters .com/mt/2 010/01 /unmoderated-remote-usability-testing-good-or-evil.php

143. Usability 101: Introduction to Usability [Electronic resource]. -Electronic data. - Nielsen Norman Group, cop. 2012. - Mode access: http://www.nngroup.com/articles/usability-101-introduction-to-usability/

144. Usability Guidelines Book [Electronic resource]. - Electronic data. -U.S. Department of Health & Human Services, cop. 2012. - Mode access: http://usability.gov/guidelines/guidelines_book.pdf

145. Usability Metrics [Electronic resource]. - Electronic data. - Nielsen Norman Group, cop. 2001. - Mode access: http://wvAV.nngroup.com/articles/usability-metrics/

146. Usability testing [Electronic resource]. - Electronic data. - User Experience Professionals Association, cop. 2012. - Mode access: http://www.usabilitybok.org/usability-testing

147. Usability Tests and Heuristic Reviews. Planning and Estimation Worksheets [Electronic resource]. - Electronic data. - Cognetics corp., Scott McDaniel, cop. 2003. - Mode access: http://www.stcwdc.org/PDF/Usability_Evaluation_Planner.pdf

148. User Satisfaction vs. Performance Metrics [Electronic resource]. -Electronic data. - Nielsen Norman Group, cop. 2012. - Mode access: http://www.nngroup.com/articles/satisfaction-vs-performance-metrics/

149. Using the Keystroke-Level Model to Estimate Execution Times [Electronic resource]. - Electronic data. - David Kieras, cop. 2001. - Mode access: http://web.eecs.umich.edu/~kieras/docs/GOMS/KLM.pdf

150. van Drunen A., van den Broek E. L., Heffelaar T. uLog: Towards attention aware user-system interactions measurement // Proceedings of Measuring Behavior 2008: 6th International Conference on Methods and Techniques in Behavioral Research. - Noldus Information Technology, 2008. -C. 109-110.

151. West R. Automated Summative Usability Studies: An Empirical Evaluation / Ryan West and Katherine R. Lehman // CHI 2006 Proceedings -Montréal, Québec, Canada, 2006. - p. 631-639.

152. When to Use Which User Experience Research Methods [Electronic resource]. - Electronic data. - Christian Rohrer, cop. 2008. - Mode access: http://www.nngroup.com/articles/which-ux-research-methods/

153. Windows User Experience Interaction Guidelines [Electronic resource]. - Electronic data. - Microsoft, cop. 2013. - Mode access: http://msdn2.microsofl.com/en-us/library/Aa511258.aspx

154. Wolf K., Uehling D. L. User action graphing effort (UsAGE) // Conference companion on Human factors in computing systems. - ACM, 1995.-C. 290-291.

155. YAML Ain't Markup Language (YAML™) Version 1.2 [Electronic resource]. - Electronic data. - YAML.org, cop. 2001-2009. - Mode access: http://yaml.org/spec/L2/spec.pdf

156. Zettlemoyer L. S., St Amant R., Dulberg M. S. IBOTS: Agent control through the user interface //Proceedings of the 4th international conference on Intelligent user interfaces. - ACM, 1998. - C. 31-37.