Моделирование и оценка экономической эффективности взаимодействия информационной системы с пользователем тема диссертации и автореферата по ВАК РФ 08.00.13, кандидат экономических наук Куликов, Семен Евгеньевич

• Куликов, Семен Евгеньевич
• кандидат экономических наук
• 2005

Оглавление диссертации кандидат экономических наук Куликов, Семен Евгеньевич

ВВЕДЕНИЕ.

ГЛАВА 1. ОБЗОР ТЕОРИИ И ПРАКТИКИ ИСПОЛЬЗОВАНИЯ USABILITY В ПРОЕКТАХ И МЕТОДОВ АНАЛИЗА ЭФФЕКТИВНОСТИ ИНВЕСТИЦИЙ В USABILITY.

1.1. Общие понятия usability.

1.2. Проблемы создания программных систем в условиях Новой Экономики.

1.3. Обзор современной практики проектирования программных систем с точки зрения usability.

1.4. Анализ экономической эффективности проектирования взаимодействия.

1.4.1. Прибыли, связанные с проектированием взаимодействия.

1.4.2. Проектные затраты на проектирование взаимодействия.

1.4.3. Методы оценки эффективности инвестиций в проектирование взаимодействия с пользователем.

1.4.4. Требования к методике оценки Usability ROI.

Выводы по Главе 1.

ГЛАВА 2. РАЗРАБОТКА МЕТОДИКИ ОЦЕНКИ ЭФФЕКТИВНОСТИ ИНВЕСТИЦИЙ В ПРОЕКТИРОВАНИЕ ВЗАИМОДЕЙСТВИЯ С ПОЛЬЗОВАТЕЛЕМ.

2.1. Оценка объема инвестиций в проектирование взаимодействия с пользователем.

2.2. Методика оценки возврата инвестиций в проектирование взаимодействия с пользователем.

Шаг 1. Определение ключевых типовых сценариев поведения пользователей.

Шаг 2. Определение набора ключевых показателей для каждого сценария.

Шаги 3 и 4. Определение требований и стоимости работ по каждому сценарию.

Шаг 5. Определение относительного изменения значений показателей.

Шаг 6. Вычисление показателя ROI.

Шаг 7. Анализ полученных результатов.

Выводы по главе 2.

ГЛАВА 3. ПРИМЕНЕНИЕ МЕТОДИКИ ОЦЕНКИ ЭФФЕКТИВНОСТИ

ИНВЕСТИЦИЙ В ПРОЕКТИРОВАНИЕ ВЗАИМОДЕЙСТВИЯ С ПОЛЬЗОВАТЕЛЕМ.

3.1. Апробация методики при повторном проектировании сайта pilot-sks.ru.

3.2. Негативные факторы, оказывающие влияние на эффективность применения методики.

3.3. Применение методики в проектировании и оценке систем дистанционного образования.

Выводы по главе 3.

Введение диссертации (часть автореферата) на тему «Моделирование и оценка экономической эффективности взаимодействия информационной системы с пользователем»

Интеграция информационных технологий в повседневную жизнь началась несколько десятилетий назад и с каждым годом их значимость во всех сферах возрастает. Уже сложно представить себе выполнение бытовых и рабочих задач без использования современных компьютерных систем. Производителям гораздо дешевле и эффективнее использовать компьютерное управление внутренними процессами устройств вместо старых механических методов, поэтому проникновение компьютеров во все продукты и услуги во всех сферах жизнедеятельности экономически неизбежно.

Деятельность, которая прежде выполнялась в физической среде путем взаимодействия с реальными объектами, с внедрением компьютеров получила форму виртуального отображения, где многие ручные операции автоматизировались, а сам процесс решения профессиональных задач перешел в режим диалога «человек-компьютер» [33, с. 3].

Однако взаимодействие человека с устройствами, функционирующими с помощью компьютеров или компьютерных компонентов, осложняется несоответствием моделей человеческого восприятия и внутренней логики работы компьютеров. Пользователь таких устройств, будь то микроволновая печь, банкомат или терминал информационной системы, уже не может взаимодействовать с объектами напрямую, он вынужден использовать органы управления устройствами, где сталкивается с проблемой человеко-машинного взаимодействия, которое зачастую реализовано недостаточно качественно. Наглядный пример: по статистике лишь менее двадцати процентов жителей США могут настроить видеомагнитофон на запись телепередачи по таймеру1.

Информатизация всех сфер современной жизни привела к тому, что компьютер стал одним из основных повседневных инструментов, однако,

1 По данным В. В. Головача (http://blog.exmachina.ru/archives/2003/05/05/iaeeiaieeaioe.html). эффективность его использования зачастую трудно назвать удовлетворительной. С использованием компьютерных систем сопряжено множество трудностей, возникающих у пользователей: раздражение, вызванное непонятными системными сообщениями, сложность навигации на интернет-сайтах, невозможность найти нужную информацию и т.д. Эти проблемы в большой степени связаны с качеством пользовательского интерфейса, спроектированного без учета интересов и понятийной модели пользователя, а так же базисных принципов удобства использования, что типично для современной практики создания и использования информационных систем.

Пользовательский интерфейс (ПИ) можно определить как комплекс методов и решений, обеспечивающих взаимодействие человека с системой и эффективное ее использование. «Главными задачами для пользователя являются результаты работы, т.е. достижение целей и выполнение задач. Однако все, что видит и с чем взаимодействует пользователь, - это элементы интерфейса системы. Именно пользовательский интерфейс является для него конечным продуктом» [28, с. 24]. Удобство работы, влияющее на эффективность достижения целей, самым непосредственным образом связано с качественными характеристиками этого интерфейса.

Качественная характеристика интерфейса - или, более широко, удобство использования (usability) - играет, по нашему мнению, важнейшую роль в обеспечении экономической эффективности информационных систем, в частности, проектов электронной коммерции. Неэффективная работа пользователей, общая отрицательная оценка системы и пользовательского интерфейса проявляются в упущенной прибыли, которая может выражаться в потерянных продажах, недостаточной посещаемости ресурса и других показателях.

Крайне важной проблемой является оценка эффективности средств, вложенных в проектирование пользовательского интерфейса и улучшение показателей usability. Существующие сегодня методики такой оценки не предоставляют разработчикам и руководителям проектов универсального инструментария для оценки эффективности инвестиций в проектирование качественного взаимодействия с пользователем. В связи с этим моделирование экономической эффективности пользовательского интерфейса и разработка методики проведения анализа такой эффективности является актуальной проблемой, решение которой дает эффективный инструмент управления usability-качеством проекта, повышает корпоративную культуру проектирования информационных систем и экономическую отдачу от интернет-проектов.

Выбор указанной темы определил цель, задачи, структуру и содержание диссертации.

Цель и задачи исследования. Основной целью исследования является разработка методики оценки отдачи от инвестирования средств в проектирование взаимодействия с пользователем в проектах электронной коммерции. Для ее достижения были поставлены и решены следующие задачи:

• выявление проблемных аспектов практики проектирования программных систем в условиях современной экономики с позиций usability,

• анализ современного подхода к проектированию программных систем, в частности, проектов в области электронной коммерции, с точки зрения usability-характеристик, выявление недостатков текущей практики проектирования,

• определение экономического эффекта, вызванного качественным проектированием взаимодействия с пользователем,

• оценка затрат на проектирование взаимодействия в рамках прогрессивных подходов к проектированию систем, предполагающих внимание к целям и задачам пользователей,

• анализ современных подходов к оценке эффективности инвестиций в usability,

• разработка требований к методике оценки,

• моделирование экономического эффекта на основе разработанной системы usability-показателей.

Объектом исследования является взаимодействие информационной системы с пользователем.

Предметом исследования являются работы по проектированию пользовательского интерфейса, показатели экономической эффективности интерфейса, оценка эффективности инвестиций в проектирование взаимодействия информационной системы с пользователем.

Теоретической и методологической основой исследования являются системный анализ, основные положения экономической теории, методы решения конкретных задач. Источниковую базу исследования составили работы специалистов в области проектирования взаимодействия и usability (Найджел Бивэн, Алан Купер, Якоб Нильсен, Джеф Раскин и другие), исследования в области эффективности маркетинговых мероприятий, оценки эффективности инвестиций, использования информационных технологий в образовании (Солдаткин В.И., Титарев Л.Г., Тихомиров В.П. и другие). Usability - новое направление в науке о проектировании систем, относительно недавно возникшее за рубежом, поэтому работ и публикаций по данной тематике на русском языке практически нет. При решении конкретных задач применялись методы теории вероятностей и математической статистики, методы экспертных оценок.

В ходе диссертационного исследования автором получены и выносятся на защиту следующие теоретические и практические результаты:

• выявлено, что в современной практике проектирования программных систем, в частности, российской, почти не уделяется внимания вопросам качества взаимодействия с пользователем, что приводит к снижению эффективности их работы;

• обосновано, что качественно спроектированное взаимодействие с пользователем влечет положительный экономический эффект, разработана структура этого эффекта, позволившая в дальнейшем спроектировать систему показателей, адекватно отражающую качество пользовательского интерфейса информационной системы с точки зрения экономической эффективности;

• разработана методика оценки объема затрат на каждом этапе проектирования взаимодействия и в целом для проекта;

• выработаны рекомендации по проведению usability-работ в проекте, заключающиеся в анализе деятельности на каждом этапе, а так же акцентировании на качественной проработке пользовательских сценариев, обеспечивающих экономическую эффективность проекта;

• разработана методика анализа экономической эффективности инвестирования средств в проектирование взаимодействия с пользователем, основанная на оценке экономического эффекта, вызванного улучшением показателей usability с использованием математических методов.

Научная новизна заключается: в разработке методики оценки, интегрированной в процесс проектирования, основанный на концепции человеко-ориентированного проектирования (User-Centred Design, UCD); применении математического и маркетингового инструментария для экономической оценки usability-показателей проекта и эффективности вложенных средств; обосновании эффективности применения подобной методики в современной практике создания систем электронной коммерции.

Диссертационное исследование соответствует пунктам 1.4, 2.6 паспорта специальности 08.00.13 - «Математические и инструментальные методы экономики».

Достоверность полученных результатов. Анализ и выводы диссертационного исследования опираются на работы отечественных и зарубежных авторов, материалы российских и международных конференций по проблемам usability и создания практичного программного обеспечения. Достоверность полученных результатов обеспечивается надежностью методологической и источниковой базы, использованных методов исследования, практическим внедрением и применением разработанной методики.

Теоретическое и практическое значение. Основные положения работы представляют собой определенный вклад в теорию проектирования пользовательских интерфейсов информационных систем, дополняют методологическую базу экономического раздела науки о usability.

Применение разработанной методики при управлении проектами по созданию и поддержке информационных систем позволяет более достоверно оценивать экономический эффект, вызванный мерами по улучшению usability, осуществлять более качественное проектирование, влечет повышение внимания к usability-показателям и интеграцию проектирования взаимодействия с пользователем в корпоративную культуру проектирования. Методика может быть применена к широкому классу интерактивных информационных систем, в которых взаимодействие с пользователем играет важную роль при эксплуатации.

Апробация и внедрение результатов исследования, публикации. Основные положения исследования нашли отражение в докладе и получили одобрительную оценку на международной научно-практической конференции «Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями», прошедшей в Московском Государственном Университете Экономики, Статистики и Информатики (МЭСИ) 9-10.06.2005.

Результаты, полученные в исследовании, нашли практическое применение в телекоммуникационной компании «ООО Пилот-СКС» при решении задач оптимизации взаимодействия с пользователем на интернет-сайте компании и повышении его экономической эффективности, а также в РОО Красносельского района г. Санкт-Петербурга при проектировании образовательного портала.

Основные положения представляемой работы опубликованы в 4 статьях автора [17-20] общим объемом 1,7 п.л. (все авторские).

Работа состоит из введения, трех глав, заключения, списка литературы и содержит 6 рисунков, 16 таблиц. Список литературы включает 70 наименований.

Заключение диссертации по теме «Математические и инструментальные методы экономики», Куликов, Семен Евгеньевич

Выводы по главе 3.

Разработанная методика прошла апробацию при оценке эффективности работ по улучшению usability в проекте pilot-sks.ru (промо-сайт «ООО Пилот-СКС», http://pilot-sks.ru). В качестве исходной информации использовалась статистика функционирования проекта как до, так и после проведения работ по улучшению usability.

Фактическое изменение показателей по двум сценариям превысило прогнозные значения, а по третьему прогноз оказался несколько завышенным. Прогноз позволил оценить увеличение качества работы ресурса как в целом, так и в свете выполнения пользователями ключевых задач. Фактический прирост месячной прибыли составил 75000 руб.

В целом, применение методики на практике показало ее эффективность и гибкость. Итоговый показатель ROIu позволил сделать вывод о безусловной эффективности работ по улучшению взаимодействия с пользователем в проекте pilot-sks.ru.

В процессе апробации методики были выявлены и описаны факторы, негативно влияющие на применение разработанной методики:

• влияние на процесс разработки личных пристрастий руководителей,

• отсутствие четкого разделения полномочий в проекте,

• смежные меры, направленные на поиск клиентов и бизнес-партнеров, не связанные с функционированием оцениваемой системы,

• маркетинговое продвижение сайта (раскрутка),

• привлечение сторонних usability-специалистов в проект.

Также в третьей главе была обоснована необходимость применения разработанной методики при проектировании и оценке систем дистанционного образования (СДО) и представлены рекомендации по практическому применению.

Использование настоящей методики в приложении к оценке СДО имеет конечной целью выявить влияние проектирования взаимодействия на изменение ключевых показателей, оценив тем самым относительное значение сценариев поведения пользователя, а также важность проектирования usability для подобных систем. Были выведены типовые сценарии действий пользователя в СДО, рекомендации по анализу показателей, а также по составу UCD-методов, необходимых при проектировании взаимодействия с пользователем в СДО.

Заключение

Настоящая работа посвящена вопросам важности и эффективности работ по проектированию взаимодействия с пользователем в интерактивных системах.

В ходе проведенного диссертационного исследования получены следующие основные результаты.

На основе анализа текущей практики проектирования информационных систем выявлено, что недостаточно внимания уделяется проблемам пользовательского интерфейса; этот этап недооценивается и часто носит поверхностный характер, что приводит к некачественному взаимодействию с пользователем в информационных системах.

Продемонстрировано, что качественный пользовательский интерфейс является важным фактором экономической эффективности и приносит прямую и косвенную прибыль, виды которой были систематизированы и обоснованы, а также предоставляет конкурентные преимущества в условиях современной экономики. Сформулирована проблема оценки экономической эффективности инвестиций в проектирование взаимодействия с пользователем.

Проведена оценка затрат на проектирование взаимодействия в рамках прогрессивных подходов к проектированию систем, предполагающих внимание к целям и задачам пользователей; разработаны методы и рекомендации для оценки трудозатрат на каждом этапе.

Анализ современных подходов к оценке эффективности инвестиций в usability показал, что описанные в литературе методики носят, в основном, узконаправленный характер и имеют ряд недостатков, в связи с чем были определены требования к методике подобной оценки, а также непосредственно разработана и апробирована методика, основанная на формализации usability-показателей и анализе их влияния на бизнес с помощью типовых сценариев пользовательского поведения.

Полученные результаты позволяют сделать вывод о том, что поставленные в исследовании задачи выполнены, а основная цель достигнута.

К положительным сторонам применения методики можно отнести повышение достоверности оценки экономического эффекта, вызванного мерами по улучшению usability, рост внимания к проектированию взаимодействия с пользователем в проектах по разработке информационных систем, повышение качества такого проектирования, интеграция методов UCD в корпоративную культуру.

Основные положения диссертационного исследования опубликованы в следующих работах автора:

1. Куликов С. Новая электронная коммерция // Сборник научных статей. - М.: Компания Спутник+, 2004. - с. 43-49.

2. Куликов С. Методы экономической оценки usability // Вопросы экономических наук - 2005. - №3. - с. 105-109.

3. Куликов С. Методика ориентированной на пользователя оценки возврата инвестиций в проектирование взаимодействия для проектов электронной коммерции // Тезисы к международной научно-практической конференции «Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями»: Сборник научных трудов. Моск. госуд. ун-т экономики, статистики и информатики - М., 2005. - стр. 422-426.

4. Куликов С. Юзабилити? Триста! // Компьютерра - 2005. - №22. - с. 2833.

Список литературы диссертационного исследования кандидат экономических наук Куликов, Семен Евгеньевич, 2005 год

1. Андреев А А., Солдаткин В.И. Дистанционное обучение: сущность, технология, организация. М.: Издательство МЭСИ, 1999. - 196 с.

2. Андреев В.Н. Психологические аспекты представления информации на экране дисплея в автоматизированных обучающих системах: Автореф. дисс. . канд. псих. наук. СПб.: СПбГУ, 1991.

3. Головач В.В. Дизайн пользовательского интерфейса. Электронный ресурс. Режим доступа: http://www.uibookl .ru/uidesignl .pdf, свободный. - Загл. с экрана. - Яз. рус.

4. Головач В.В. Пламя Тёмной звезды. Электронный ресурс. Режим доступа: http://ddd.exmachina.ru/ui/darksun/, свободный. - Загл. с экрана. — Яз. рус.

5. Головач В.В. Сад расходящихся посетителей. Электронный ресурс. -Режим доступа: http://ddd.exmachina.ru/web/lost/, свободный. Загл. с экрана. - Яз. рус.

6. Доклад Rambler: состояние интернета в России Электронный ресурс. Режим доступа:http://www.webplanet.rU/news/focus/20Q4/10/8/doclad.html, свободный. -Загл. с экрана. Яз. рус.

7. Долецкий А. Такая разная эргономика // Компьютерра. 2004. - №15 (539).-с. 25-32.

8. Интернет обучение: технологии педагогического дизайна / Под ред. Кандидата педагогических наук М.В. Моисеевой. — М.: Издательский дом «Камерон», 2004. 216 с.

9. Ипатов Ю., Цыгалов Ю. Экономическая эффективность инвестиций в ИТ: оптимальный метод оценки. Электронный ресурс. Режим доступа: http://www.russianenteфrisesolutions■com/reviews/04/122■html, свободный. - Загл. с экрана. - Яз. рус.

10. Кляйн Т., Саттон Д. Новая наука маркетинга. Маркетинговое управление предприятием. СПб.: Питер, 2004. - 240 с.

11. Количественные методы анализа в маркетинге / Под. ред. Данько Т.П., Скоробогатых И.И. СПб.: Питер, 2005. - 384 с.

12. Константайн Л., Локвуд Л. Разработка программного обеспечения. -СПб.: Питер, 2004. 592 с.

13. Коутс Р., Влейминк И. Интерфейс «Человек-Компьютер»: Пер. с англ.- М., Мир, 1990.-501 с.

14. Круг С. Веб-дизайн: книга Стива Круга или «не заставляйте меня думать!»: Пер. с англ. СПб.: Символ-Плюс, 2003. - 200 с.

15. Кудрин Р. Когнитивный инжиниринг // Компьютерра. 2004. - №15 (539).-с. 33 -35.

16. Куликов С. Методы экономической оценки usability // Вопросы экономических наук 2005. - №3. - с. 105-109.

17. Куликов С. Новая электронная коммерция // Сборник научных статей.- М.: Компания Спутник+, 2004. с. 43-49.

18. Куликов С. Юзабилити? Триста! // Компьютерра 2005. - №22. - с. 28-33.

19. Купер А. Психбольница в руках пациентов: Пер. с англ. СПб., Символ-Плюс, 2004. - 336 с.

20. Ленсколд Дж. Рентабельность инвестиций в маркетинг. Методы повышения прибыльности маркетинговых кампаний: Пер. с англ./ Под. ред. В. Б. Колчанова и М. А. Карлика. СПб.: Питер, 2005. - 272 с.

21. Лобачев С.Л. Учебный процесс в системе открытого образования: опыт и перспективы // Телематика-2003: Труды Всеросс. научно-методич. конф. СПб. 01.11.2003: в 2 т. СПб.: СПбГУ ИТМО, 2003. -2 т.-с. 432-433.

22. Лобачев С.Л., Солдаткин В.И. Дистанционные образовательные технологии: информационный аспект /Моск. гос. ун-т экономики, статистики и информатики. М.: МЭСИ, 1998. - 104 с.

23. Нильсен Я., Плохое юзабилити погубило е-коммерцию? / Пер. с англ. Электронный ресурс. Режим доступа:http://www.webmascon.com/topics/business/17a.asp, свободный. Загл. с экрана. - Яз. рус.

24. Постановление Государственного Комитета Российской Федерации по высшему образованию от 31 мая 1995 г. №6 «Концепции создания и развития единой системы дистанционного образования в России».

25. Раскин Д. Интерфейс: Новые направления в проектировании компьютерных систем: Пер. с. англ. СПб.: Символ-Плюс, 2003 - 272 с.

26. Рябов Б. Кто сказал что «Новой экономике» пришел конец? Электронный ресурс. Режим доступа:http://www.ibusiness.ru/marcet/6577/, свободный. Загл. с экрана. - Яз. рус.

27. Современный экономический словарь / Под. ред. Райзберг Б.А., Лозовский Л.Ш., Стародубцева Е.Б. М.: Инфра-М, 2004. - 496 с.

28. Солдаткин В.И. Андреев А.А., Лупанов К.Ю. Электронные учебные средства и оценка качества сетевого обучения //Телематика 2003:-Труды Всеросс. научно-методич. конф. СПб. 01.11.2003: в 2 т. СПб.: СПбГУ ИТМО, 2003. - с. 348-349.

29. Сугак Е.Е. Эргономические аспекты проектирования пользовательского интерфейса: Автореф. дисс. . канд. псих. наук. -М.: МГУ, 2005.

30. Титарев Д.Л., Титарев Л.Г., Феданов А.Н. Объектные информационные образовательные технологии и системы. Портал университета / Сб. научн. ст. "Интернет-порталы: содержание и технологии". Вып. 1. ГНИИ ИТТ "Информика". М.: Просвещение, 2003. - с. 219-234.

31. Тихомиров В. Современные образовательные технологии: мировой опыт и положение дел в России // Alma mater. М., 2002. - №1. - с. 914.

32. Тихомиров В.П., Солдаткин В.И., Лобачев С.Л. Виртуальная образовательная среда: предпосылки, принципы, организация / Международная Академия Открытого Образования. М.: Издательство МЭСИ, 1999. - 164 с.

33. Тихомиров В.П., Солдаткин В.И., Лобачев C.JI. Среда ИНТЕРНЕТ-обучения системы образования России: проект Глобального виртуального университета / Международная академия открытого образования. М.: Издательство МЭСИ, 2000. - 332 с.

34. Торрес Р. Практическое руководство по проектированию и разработке пользовательского интерфейса.: Пер. с англ. М.: Издательский дом «Вильяме», 2002. - 400 с.

35. Царев В. Оценка экономической эффективности инвестиций. СПб., Питер, 2004. - 464 с.

36. Battey J. IBM's redesign results in a kinder, simpler Web site Электронный ресурс. Режим доступа: http://www.infoworld.com/cgi-bin/displavStat.pl?/pageone/opinions/hotsites/hotextra990419.htm. свободный. - Загл. с экрана. - Яз. англ.

37. Bevan N. Cost benefit analysis. TRUMP deliverable D3.0. Электронный ресурс. Режим доступа:http://www.usability.serco.com/trump/documents/D3.0Cost benefit vl.l.doc, свободный. Загл. с экрана. - Яз. англ.

38. Bevan N. Cost benefits evidence and case studies Электронный ресурс. -Режим доступа:http://www.usability.serco.com/papers/Costbenefitsevidence.pdf, свободный. Загл. с экрана. - Яз. англ.

39. Bevan N. Getting started with user centred design Электронный ресурс. Режим доступа: http://www.usability.serco.com/trumpA свободный. -Загл. с экрана. - Яз. англ.

40. Carroll J., Rosson М. Usability Engineering: Scenario-Based Development of Human Computer Interaction. Morgan Kaufmann, 2001. - 448 p.

41. Cost-Justifying Usability / Bias R., Mayhew D. (ed.). Morgan Kaufmann, 1994.-334 p.

42. Daniel Rosenberg's Seven Myths of Usability ROI. Электронный ресурс. Режим доступа: http://www.baychi.org/calendar/20031014/. свободный. - Загл. с экрана. - Яз. англ.

43. ISO 13407: 1999. User-centred design process for interactive systems.

44. ISO 9241-11: 1998. Ergonomic requirements for office work with visual display terminals (VDTs).

45. ISO/IEC 9126. Software Engineering Product Quality. Parts 1-4.

46. ISO/TR 18529: 2000. Human-centred lifecycle process descriptions.

47. Karoulis A., Pombortsis A., Usability and learnability of web-based ODL Programs // Khosrow-Pour M. (ed.). Encyclopedia of information science and technology. Idea Group Reference, 2005. - P. 2929-2943.

48. Marcus A. AM+A. Return on Investment for Usable User-Interface Design: Examples and Statistics. California: Experience Intelligent Design, 2002. -24 p.

49. Moore G. Crossing the Chasm: Marketing and Selling Technology Products to Mainstream Customers. Rev. ed. - Collins, 2002. - 256 p.

50. Nielsen J. First Rule of Usability? Don't Listen to Users. Электронный ресурс. Режим доступа: http://www.useit.com/alertbox/20010805 .html, свободный. - Загл. с экрана. - Яз. англ.

51. Nielsen J. Scenarios in Discount Usability Engineering // In: John M. Carroll (ed.), Scenario-Based Design: Envisioning Work and Technology in System Development. -N.Y.: John Wiley and Sons, 1995. P. 59-85.

52. Nielsen J. Usability Engineering. Morgan Kaufmann, 1994. - 362 p.

53. Nielsen J. Usability for $200 Электронный ресурс. Режим доступа: http://www.useit.com/alertbox/20030602.html, свободный. - Загл. с экрана. - Яз. англ.

54. Nielsen J. Why People Shop on the Web Электронный ресурс. Режим доступа: http://www.useit.com/alertbox/990207.html, свободный. - Загл. с экрана. - Яз. англ.

55. Resources: Usability in the Real World. The ROI of Usability Электронный ресурс. Режим доступа:http://www.upassoc.org/usabilityresources/usability in the realworld/ro i ofusability.html, свободный. Загл. с экрана. - Яз. англ.

56. Scenario Design. Forrester Research report / Copyright 2000 by Forrester Research, Inc

57. Susan L. Fowler. «GUI Design Handbook». Mcgraw-Hill, 1997. - 318 p.

58. The CHAOS Report (1994) Электронный ресурс. Режим доступа: http://wwwl .standishgroup.eom//sampleresearch/chaos 1994 1 .php, свободный. - Загл. с экрана. - Яз. англ.

59. Usability Return on Investment. Nielsen Norman Group Report / Copyright 2003 by Nielsen Norman Group.

60. Web Sites Continue To Fail The Usability Test Электронный ресурс. -Режим доступа:http://forrester.eom/Research/Document/Excerpt/Q,7211,36244,OO.html, свободный. Загл. с экрана. - Яз. англ.