Разработка метода построения комплекса нагрузочного тестирования распределенной информационной системы тема диссертации и автореферата по ВАК РФ 05.13.13, кандидат технических наук Ермыкин, Алексей Александрович

• Ермыкин, Алексей Александрович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Ермыкин, Алексей Александрович

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИЗ СОСТОЯНИЯ ПРЕДМЕТНОЙ ОБЛАСТИ И ПРОБЛЕМЫ НАГРУЗОЧНОГО ТЕСТИРОВАНИЯ РАСПРЕДЕЛЕННЫХ ИНФОРМАЦИОННЫХ СИСТЕМ.

1.1. Принципы технологий распределенных компонент.

1.2. Краткий обзор технологии объекта исследования.

1.3. Сравнительный анализ технологий J2EE и .NET.

1.4. Концепции нагрузочного тестирования.

1.5. Классификация подходов к нагрузочному тестированию.

1.6. Основные достоинства и недостатки известных подходов к нагрузочному тестированию.

1.7. Выводы по главе 1.

ГЛАВА 2. РАЗРАБОТКА И ОПИСАНИЕ МЕТОДА ПОСТРОЕНИЯ КОМПЛЕКСА НАГРУЗОЧНОГО ТЕСТИРОВАНИЯ * РАСПРЕДЕЛЕННЫХ ИНФОРМАЦИОННЫХ СИСТЕМ.

2.1. Определение концепций и описание нового метода.

2.2. Формирование архитектуры КНТРИС.

2.3. Формирование метода построения КНТРИС.

2.4. Выбор и обоснование критериев эффективности для процесса проведения НТ.

2.5 Актуальность применения и сравнительный анализ подхода КНТРИС с известными подходами к нагрузочному тестированию.

2.6. Формулировка и описание модели виртуального пользователя для нагрузочного тестирования.

2.7. Выводы по главе 2.

ГЛАВА 3. ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ И РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНОГО ПРИМЕНЕНИЯ МЕТОДА ПОСТРОЕНИЯ КОМПЛЕКСА НАГРУЗОЧНОГО ТЕСТИРОВАНИЯ РАСПРЕДЕЛЕННОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ

3.1. Экспериментальное ПО и аппаратное обеспечение нагрузочного тестирования.

3.2. Пример описания проектной архитектуры клиентской части КНТРИС.

3.3. Анализ и результаты обработки данных нагрузочного тестирования.

3.4. Эксперимент на правомерность подмены условий.

3.5. Выводы по главе 3.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ.

Введение диссертации (часть автореферата) на тему «Разработка метода построения комплекса нагрузочного тестирования распределенной информационной системы»

В настоящее время совершается переход от статичной централизованной структуры информационных систем (ИС) к динамичной гибкой структуре, основанной на системах получения и обработки информации, построенных с помощью современных технологий и распределенных в вычислительных сетях компонент (РК) [2, 104]. К таким технологиям РК (ТРК) относятся, например, J2EE [24], .NET [48, 80, 123] и CORBA [58, 154, 155]. ИС - это система, получающая входные данные, осуществляющая обработку этих данных и/или изменение собственного внутреннего состояния/связей/отношений; выдачу результата, либо изменение своего внешнего состояния/связей/отношений) [45, 46, 63, 79]. Под распределенными ИС (РИС) будем понимать программные комплексы, составные части которых функционируют на разных компьютерах в вычислительной сети. На практике РИС используются все чаще и чаще [27]. Отличительной чертой большинства современных РИС является необходимость обслуживать большое количество клиентов (часто здесь речь идет уже не о сотнях, а о тысячах и десятках тысяч пользователей) [13,124,148].

Актуальность темы диссертационного исследования. В современных условиях остро необходимо разрешение проблемы практического проведения нагрузочного тестирования (НТ) РИС с использованием или имитацией большого количества (сотен, тысяч и десятков тысяч) пользователей и с максимальной возможной эффективностью НТ. Это обусловлено тем, что:

1) сейчас остается актуальным вопрос о быстрой и качественной разработке РИС [48], на которую сильно влияет эффективность НТ как одного из этапов процесса разработки;

2) желательно, чтобы РИС соответствовала аналитическим спецификациям и нефункциональным требованиям уже на ранних этапах процесса разработки (ПР) РИС, что целесообразно подтвердить с помощью НТ [94];

3)учет особенностей и основных различий в характеристиках типичных современных РИС и ТРК, а также часто встречающихся условий НТ позволяет достичь более высокой эффективности процесса НТ [104].

Ценность НТ в процессе разработки любой современной РИС сложно переоценить. НТ должно выявить и доказать конкретные значения нефункциональных свойств, которые отражаются в аналитических спецификациях и требованиях заказчика. В конечном счете, НТ ускоряет достижение конечных целей проектов разработки РИС. Поэтому исследование новых подходов к НТ для решения этой проблемы также чрезвычайно важно и актуально. Это и послужило толчком к разработке нового метода построения комплекса НТ РИС (КНТРИС). Этот оригинальный метод призван эффективно помочь в разрешении поставленной и очень актуальной проблемы. Ко всему прочему, необходимо, чтобы при применении нового метода имитация реальных условий работы была удовлетворительной [95, 97]. При использовании нового метода имеют место следующие ограничения и адекватные условия практического применения:

1) количество требуемых при НТ виртуальных пользователей (ВП) достаточно велико (несколько десятков и выше); целесообразность и эффективность применения нового метода не должны падать при увеличении количества ВП.

2) протокол уровня приложения между клиентской частью (КЧ) и серверной частью (СЧ) РИС (сервером приложений - СП; или кластером СП -КСП) является достаточно сложным и/или неизвестным и/или закрытым для сторонних разработчиков (например, ТЗ, T3S, RMIAIOP, DCOM);

3) клиентская часть РИС имеет графический пользовательский интерфейс (GUI; например, Java Swing API [148] или Windows Forms и Web Forms [124]);

4) в качестве клиентской части РИС используется "толстый" клиент [104] (например, Java или Win32 приложение);

5) имитация реальных условий работы путем использования ВП при НТ является приемлемой или сводимой к удовлетворительной ситуации;

6) желательно проведение НТ на ранних этапах процесса разработки РИС.

Такие ограничения и условия проведения НТ часто встречаются для современных РИС [13, 96, 104], что лишний раз подтверждает необходимость скорейшего решения для практики поставленных в работе задач.

Цель работы и задачи исследования. Актуальность проблемы определяет цель работы, состоящую в разработке и обосновании нового метода построения КНТРИС, помогающего решать проблему проведения НТ РИС более эффективным способом, чем при других подходах к НТ. Следствием такой разработки является повышение эффективности НТ РИС.

Для достижения данной цели в диссертационной работе были поставлены и выполнены следующие основные задачи:

1) проанализировать современное состояние и проблемы предметной области рассматриваемого вопроса и известных подходов к НТ, а также выполнить сравнительный анализ современных ТРК, с помощью которых может быть разработан объект исследования;

2) разработать и описать новый метод построения КНТРИС;

3) предложить критерий эффективности процесса НТ РИС по выбранным показателям эффективности и качества;

4) выполнить сравнительный анализ подхода к НТ с применением нового метода и других известных подходов к НТ с использованием предложенного критерия эффективности;

5) предложить модель ВП, позволяющую провести НТ РИС;

6) экспериментально доказать практическую применимость разработанного нового метода построения КНТРИС и модели ВП для реальной РИС, разработанной с помощью ТРК; проиллюстрировать анализ экспериментальных данных, полученных с помощью реализованного КНТРИС;

7) исследовать и экспериментально проверить правомерность подмены определенных реальных условий работы РИС условиями процесса НТ РИС.

Объектом исследования данной работы является РИС, разработанная по технологии распределенных компонент J2EE [14, 24, 148] и включающая в себя в качестве серверной части - кластер серверов приложений WebLogic [17, 23] и СУБД Oracle, а в качестве клиентской части - Java Swing [148] приложение.

Предмет исследования — процесс разработки КНТРИС.

Рабочей гипотезой было принято положение о том, что если выявить и учесть особенности типичных современных РИС и часто встречающиеся условия НТ, то можно разработать, описать, обосновать и использовать на практике новый метод построения КНТРИС, позволяющий применять такой подход к решению проблемы НТ РИС, который будет эффективнее, чем его аналоги при оговоренных условиях.

Методология и методы проведенного исследования. Методологической и теоретической основой диссертационной работы являются следующие специальные методы:

1) метод объектно-ориентированного (ОО) анализа и проектирования программного обеспечения (ПО);

2) методы теории вычислительных систем (ВС), теории вероятностей, математической статистики;

3) метод разработки сложных ИС (RUP [35,115,133]).

В работе были также использованы общие методы научного познания:

1) методы эмпирического исследования: наблюдение, сравнение, измерение, эксперимент;

2) методы, используемые как на эмпирическом, так и на теоретическом уровне исследования: абстрагирование, анализ, синтез;

3) методы теоретического исследования: переход от абстрактного к конкретному, моделирование.

Научная новизна исследования заключаются в следующих основных положениях, которые выносятся на защиту:

1) новый метод построения КНТРИС;

2) предложенные критерии эффективности процесса НТ РИС и результаты проведенного по ним сравнительного анализа подхода, использующего новый метод построения КНТРИС и других подходов к НТ;

3) классификация первичных и вторичных показателей и артефактов РИС, используемых при НТ;

4) модель ВП для НТ РИС.

Методы и средства тестирования РИС нужно разрабатывать с учетом специфики тех ТРК, которые лежат в основе этих систем [104]. Существующее разнообразие типов таких систем настолько велико, что разработать и применить для них универсальный метод проектирования, реализации или НТ даже в рамках одной ТРК является не простой задачей [94, 104]. К настоящему времени создано много различных подходов к тестированию, в том числе использующихся при НТ РИС и их составляющих [40-42, 74, 83, 91, 94, 104, 129, 132, 151]. В то же время, сейчас существует немного подходов к НТ РИС, разработанных для ТРК [12, 41, 61, 98, 151]. В отличие от известных подходов к НТ, в данной диссертационной работе предложен уникальный метод построения специального комплекса НТ. До настоящего времени не было предпринято попыток научно обосновать и описать такой подход к НТ РИС, который удовлетворяет перечисленным выше ограничениям, условиям применения и базируется на методе построения специальной системы, расширяющей исходную РИС и функционирующей, не используя GUI клиентской части РИС и на любой платформе, где работает РИС. В диссертационной работе сделан акцент преимущественно на разработке программной части КНТРИС.

Практическая и экономическая значимость полученных результатов. Во многих случаях разработанный в ходе работы метод построения КНТРИС позволяет применить более эффективный для решения поставленной проблемы подход, обладающий дополнительными преимуществами перед другими подходами к НТ при указанных условиях. Применение нового метода в реальном проекте позволяет достичь конечных целей НТ за более короткое время, с меньшими затратами и, в конечном счете, с лучшим значением предложенного в работе критерия эффективности при указанных условиях и ограничениях. Предложенный критерий эффективности можно использовать для оценки и сравнения разных подходов к НТ РИС. Экспериментальное использование нового метода и модели ВП являются связующим звеном между теоретическими основами, которые заложены в этом методе, и практическим применением. Для практиков анализ результатов этого эксперимента является примером того, какую информацию можно получить в результате проведения подобного НТ. Разработанный метод построения КНТРИС применим для разных ТРК и его можно рекомендовать для дальнейшего использования для конкретных РИС. Модель ВП также может быть использована на практике при НТ самого широкого спектра РИС.

Внедрение результатов. Результаты диссертационной работы были использованы компанией ООО "Нева" (Санкт-Петербург) в проекте РИС для организации торговли на Forex, при проведении НТ в следующем виде:

1) рекомендаций проведения экспериментальных исследований по сбору интересующих данных в ходе нагрузочного тестирования;

2) метода и процесса построения программной части КНТРИС;

3) высокоуровневого проектирования программной части КНТРИС;

4) модели виртуальных пользователей для имитации клиентской нагрузки;

5) экспериментальных данных по исследованию РИС.

Использование указанных результатов позволило: повысить качество и эффективность процесса НТ; провести НТ с большим количеством одновременно имитируемых пользователей (свыше 1350 ВП), чем при использовании других доступных подходов; сократить затраты на организацию и проведение регулярных экспериментальных испытаний больше, чем в 5 раз; сохранить действующую процедуру тестирования и оценки качества РИС; многократно повысить производительность труда команды тестирования при проведении НТ и сократить сроки НТ.

Структура и объем диссертационной работы. Диссертационная работа состоит из введения, трех глав, выводов, списка литературы, включающего 156 наименований, и приложений. Общий объем работы - 147 страниц. Диссертационная работа содержит 68 рисунков и 15 таблиц.

Заключение диссертации по теме «Телекоммуникационные системы и компьютерные сети», Ермыкин, Алексей Александрович

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Выполнен сравнительный анализ современных ТРК, с помощью которых может быть разработан объект исследования. С учетом современного состояния предметной области и существующих подходов к НТ, выполнен общий анализ особенностей и важных различий в характеристиках типичных современных РИС и ТРК, а также часто встречающихся условий НТ, что, в свою очередь, позволило разработать новый метод построения КНТРИС, помогающий достичь более высокой эффективности процесса НТ по сравнению с другими существующими подходами к НТ.

2. Разработан и описан новый метод построения КНТРИС, который:

• учитывает состояние и проблемы предметной области и существующих подходов к НТ, особенности и различия в характеристиках современных РИС и ТРК, а также часто встречающиеся условия НТ;

• включает процесс разработки КНТРИС;

• определяет условия применения и ограничения, при которых он актуален и эффективен.

3. Для оценки и сравнения эффективности разных подходов к НТ РИС предложены критерии эффективности для процесса НТ РИС по выбранным показателям эффективности и качества: мультипликативный критерий эффективности и аддитивный критерий эффективности с заданными экспертным путем весовыми коэффициентами.

4. На основе предложенных критериев эффективности выполнен сравнительный анализ подхода к НТ РИС, использующего новый метод построения КНТРИС, с известными подходами, в ходе которого показано, что, при использовании аддитивного критерия эффективности, подход с использованием КНТРИС при 500 виртуальных пользователях эффективнее подхода РНТ в 4,8 раза и подхода АНТ - в 1,8 раза, причем с ростом количества виртуальных пользователей эффективность подхода КНТРИС еще выше.

5. Предложен подход к построению модели виртуального пользователя, позволяющей провести эксперимент НТ РИС.

6. На примере конкретной РИС, разработанной с помощью ТРК J2EE и предназначенной для Forex рынка, экспериментально доказана практическая применимость разработанного метода построения КНТРИС и предложенной модели виртуального пользователя, в ходе чего:

• разработана аналитическая и проектная спецификация, реализован и протестирован исходный код, а также произведено множество экспериментальных запусков КНТРИС;

• получены опытные данные, выполнен и проиллюстрирован анализ экспериментальных данных, полученных с помощью разработанной и реализованной КНТРИС; выявлены нефункциональные свойства системы.

7. Исследована и экспериментально проверена правомерность подмены определенных реальных условий работы РИС условиями процесса НТ РИС.

Список литературы диссертационного исследования кандидат технических наук Ермыкин, Алексей Александрович, 2005 год

1. Аарон И. Волш. Основы программирования на Java для Word Wide Web. — Киев: Диалектика, 1996. - 512 с.

2. Ахтырченко К. В. Применение технологии CORBA при построении распределенных информационных систем // СУБД. -1998. — № 1-2.

3. Ахтырченко К. В., Леонтьев В. В. Распределенные объектные технологии в информационных системах // СУБД. 1997. - № 5-6.

4. Боб Тротт. Инструментарий .NET-программиста // Computerworld. 2001. — №5.

5. Богатырев Р. Гадание на кофейной гуще // Мир ПК. 1998. - N° 2.

6. Богатырев P. Java против .NET // Мир ПК. 2001. - № 12.

7. Брукс Ф.П. Как проектируются и создаются программные комплексы. Мифический человеко-месяц. М.: "Наука", 1979. - 150 с.

8. Буч Г. Объектно-ориентированное проектирование с примерами применения.- М.: Конкорд, 1992. 519 с.

9. Васкевич Д. Стратегии Клиент/Сервер. Киев: Диалектика, 1996. — 384 с. Ю.Вендров A.M. CASE-технологии: современные методы и средствапроектирования информационных систем. М: Финансы и статистика, 1998.- 175 с.

10. Boac Дж. Сопровождение компонентных систем // Открытые системы. -1998.- №6.

11. Волков А.А. Тесты ТРС // СУБД. 1995. - № 2.

12. Волков А.А. Про тесты измерения производительности // Computerworld. — 1996.-№5.

13. Выпущена спецификация J2EE 1.3 // Computerworld. 2001. - № 37.

14. Гейтс Б. Дорога в будущее. М.: Русская редакция, 1996. - 312 с.

15. Гома X. UML. Проектирование систем реального времени, параллельных и распределенных приложений: Пер. с англ. М.: ДМК Пресс, 2002. - 704 с.

16. Гоулд Ст. Введение в платформу Java 2, Enterprise Edition, спецификация WebLogic Server от BEA. Режим доступа: http://www.javable.com. - Загл. с экрана.

17. Дастин Э., Рашка Дж., Пол Дж. Автоматизированное тестирование программного обеспечения: Внедрение, управление и эксплуатация / изд. "Лори" / пер. Е. Молодцова, М. Павлов, 2003. 568 с.

18. Джекобсон И. По кирпичику // Computerworld. 1998. - № 42.

19. Джон Хенинг. SPEC CPU2000: определение производительности в новом тысячелетии // Открытые системы. — 2000. № 7-8.

20. Джуди Демокер. Тест TPC-D для систем поддержки принятия решений // Computerworld. 1996. -№ 28.

21. Документация по JBoss и EJB. Режим доступа: http://www.jboss.org. - Загл. с экрана.

22. Документация по WebLogic и J2EE. — Режим доступа: http://e-docs.bea.com. — Загл. с экрана.

23. Документация по J2EE, FAQ, и руководства разработчика / J2EE homepage. -Режим доступа: http://java.sun.com/j2ee/docs.html. — Загл. с экрана.

24. Дубова Н. СОМ или CORBA? Вот в чем вопрос // Открытые системы. — 1999.3.

25. Дэвид А. Марка, Клемент JI. МакГоуэн. SADT, Методология структурного анализа и проектирования: Пер. с англ. // DBMS. 1997. — № 5-6.

26. Иванова Е. Б., Вершилин М. М. Java 2, Enterprise Edition. Технологии проектирования и разработки. СПб.: БХВ-Петербург, 2003. — 1088 с.

27. Кознов Д. В. Визуальное моделирование компонентного программного обеспечения: Дисс. канд. физ-мат. наук. СПб, 2000.

28. Крачтен Филипп, Введение в Rational Unified Process. 2-е изд. / Пер. с англ. -М.: Изд. дом "Вильяме", 2002. 240 с. .

29. Куцевич Надежда. Компонентные технологии в системах промышленной автоматизации // Открытые системы. 1999. - № 4.

30. Марк Леон, Эд Скэннел. Java идет в Web-службы / Computerworld. 2001. -№25.

31. Материалы III международной конференции. Развитие и применение открытых систем. М., 1996.

32. Мэтт Бергер. JDeveloper: курсом на J2EE // Computerworld. 2001. - № 34.

33. Новые возможности Rational PurifyPlus v2002 for Windows / Interface Ltd. -Режим доступа: http://www.interface.ru. Загл. с экрана.

34. Новичков А. Средства тестирования от компании Rational // Компьютерпресс. 2001. - № 2. — Режим доступа: http://www.interface.ru. - Загл. с экрана.

35. Новичков А. Эффективная разработка программного обеспечения с использованием технологий и инструментов компании RATIONAL. — Interface Ltd. — Режим доступа: http://www.interface.ru. Загл. с экрана.

36. Парфенов В.В. Проектирование и реализация программного обеспечения встроенных систем с использованием объектно-базированного метода: Дисс. канд. физ-мат. наук. СПб, 1995.

37. Поттосин И.В. Программная инженерия: содержание, мнения и тенденции. // Программирование. 1997. -№ 4. - С. 26-37.

38. Расторгуев С. П. Философия информационной войны. — М.: Московский психолого-социальный институт, 2003. 496 с.

39. Расторгуев С. П. Информационная война. — М.: Радио и связь, 1998. — 416 с.

40. Ресурсы Microsoft Windows 2000 Server / Распределенные системы. Книга 1: Пер. с англ. М.: Русская редакция, 2001. - 864 с.

41. Рихтер Д. Программирование на платформе MS .NET Framework. -М.: Русская редакция, 2002. 486 с.

42. Рэмбо Дж. Мир усложняется, приложения тоже // Computerworld. - 1999. -№21.

43. Сайт Совета по производительности обработки транзакций. — Режим доступа: http://www.tpc.org. Загл. с экрана.

44. Сайт ВЕА — application infrastructure software company. — Режим доступа: http://e-docs.bea.com. — Загл. с экрана.

45. Сайт NotesBench Consortium. Режим доступа: http://www.notesbench.org. — Загл. с экрана.

46. Сайт Standard Performance Evaluation Corporation. Режим доступа: http://www.spec.org. - Загл. с экрана.

47. Сайт Volano LLC. Салливан Т. Серверы приложений на базе Java завоевывают рынок // Computerworld. — 2001. — № 5.

48. Салливан Т. Sun создает рынок вокруг J2EE / Computerworld. 2001. — № 4.

49. Семихатов С. Технологии WWW, Corba и Java в построении распределенных объектных систем. 1999. - Режим доступа: http://www.javapower.ru. — Загл. с экрана.

50. Соммервилл И. Инженерия программного обеспечения, 6-е издание. : Пер. с англ. — М. : Издательский дом "Вильяме", 2002. 624 с.

51. Сухомлин В. А. Методологический базис открытых систем // Открытые системы. 1996. - № 4.

52. Тестирование приложений J2EE с помощью Rational PurifyPlus (Часть 1) / Горан Бегик (Goran Begic), Rational Software Переведено БНТП по заказу Interface Ltd. — Режим доступа: http://www.interface.ru. — Загл. с экрана.

53. Технический Аудит Сети. Что такое нагрузочное тестирование? — Режим доступа: http://www.prolan.ru. — Загл. с экрана.

54. Томпсон К. Программные средства защиты информации. М., 1993. — 117 с.

55. Уон У., Рикути М. Microsoft прокладывает новый курс в обход Java. — Режим доступа: http://www.zdnet.ru. Загл. с экрана.

56. Фаулер М. Рефакторинг: улучшение существующего кода. пер. с англ. — СПб: Символ-Плюс, 2003.-432 с.

57. Французов Д. Оценка производительности вычислительных систем // Открытые системы. 1996. — № 2.

58. Хенинг Дж. SPEC CPU2000: определение производительности в новом тысячелетии // Открытые системы. — 2000. — № 7-8.

59. Хэйес Ф. Distributed Component Object Model. — Режим доступа: http://www.infocity.kiev.ua. Загл. с экрана.

60. Бизнес. М.:ЮНИТИ, 2000. - 356 с. 72.Эккерсон В. В поисках лучшей архитектуры клиент-сервер // Сети. - 1995. — №4.

61. Экстремальное тестирование. — Режим доступа: http://www.xprogramming.ru.- Загл. с экрана.

62. Электронный учебник по статистике. — М.: StatSoft, Inc., 2001. — Режим доступа: http://www.statsoft.ru. Загл. с экрана.

63. Яворски Дж., Перроун Пол Дж. Система безопасности Java. Руководство разработчика. : Пер. с англ.: Уч.пос. -М.: Вильяме, 2001. 528 с.

64. Ягер Т. Будущее ОС Windows // Computerworld. 2001. - № 15-16.

65. Ягер Т. Только не называйте это Java // Computerworld. 2002. — № 4.

66. Ярочкин В.И.,Шевцова Т.А. Словарь терминов и определений по безопасности и защите информации. — М.: Ось-98,1996. — 48 с.

67. А great thrashing of .NET. — Режим доступа: http://joel.editthispage.com. — Загл. с экрана.

68. Application Server Comparison Matrix. — Режим доступа: http://www.flashline.com. Загл. с экрана.

69. Application Server Directory. — Режим доступа: http://www.techmetrix.com. — Загл. с экрана.

70. Automated Testing: A Silver Bullet? // Rational Software, 2001. Режим доступа: http://www.therationaledge.com. — Загл. с экрана.

71. Black U. ATM: Foundation for BroadBand Networks // Prentice Hall, 1995. 4261. P

72. Booch G. Object-Oriented Analysis And Design With Application // The Benjamin, Cummings Publishing Company Inc, 2nd edition, 1994. 589 p.

73. Booch G. The Visual Modeling of Softwarte Architecture for the Enterprise. // ROSE architect, 1998. Vol. 1. № 1. P. 18-25.

74. Brett McLaughlin. Building JavaTM Enterprise Applications Volume I: Architecture // O'Reilly, 1st edition, 2002. 318 p.

75. Bruce Eckel. Thinking in Patterns with Java / President, MindView, Inc. — Режим доступа: http://www.topica.com. — Загл. с экрана.

76. Chad Vawter, Ed Roman. J2EE vs. Microsoft.NET. A comparison of building XML-based web services. Sun Microsystems, Inc., 2001. Режим доступа: http://www.theserverside.com. — Загл. с экрана.

77. Coad P., Yourdon E. Object-Oriented Analysis / Englewood Cliffs, NJ : Prentice Hall.-2nd edition, 1991.

78. Compaq строит мост между .Net и Java / Computerworld. — 2002. — № 8.

79. David A. Sykes, John D. McGregor, Practical Guide to Testing Object-Oriented Software / Addison-Wesley Longman Publishing Co., Inc., Boston, MA, 2001. 3931. P

80. DeMarco T. Structured Analysis and System Specification / Englewood Cliffs, NJ : Yourdon Press, 1979.

81. Dimitra Giannakopoulou, Gary T. Leavens, Murali Sitaraman et al. SAVCBS 2001 Proceedings Specification and Verification of Component-Based Systems / Workshop at OOPSLA 2001. Department of Computer Science, October 2001. 136 p.

82. ECperf Specification. — Режим доступа: http://java.sun.com/j2ee/ecperf/. Загл. с экрана.

83. Ed Roman. J2EE Project Management Critical measures when beginning a J2EE project. — Режим доступа: http://www.theserverside.com. — Загл. с экрана.

84. Elfriede Dustin, Jeff Rashka, John Paul, Automated Software Testing: Introduction, Management, and Performance / Addison-Wesley, 1999. 568 p.

85. Enterprise: Java Pet Store Sample Application. — Режим доступа: http://java.sun.com/blueprints/code/. — Загл. с экрана.98.eXtreme Programming (ХР). Режим доступа: http://www.extremeprogramming.org. — Загл. с экрана.

86. Farley J. Picking a Winner: .NET vs. J2EE / Software Development Magazine, March 2001.

87. Flodin A. Full power with SDL and UML. Telelogic Signals, 1998. № 2.

88. For SAS, Java Development to Remain Key, April 2002. Режим доступа: http://www.eweek.com. - Загл. с экрана.

89. Fundamentals of RMI Short Course. Режим доступа: http://developer.java.sun.com. - Загл. с экрана.

90. Gopalan Suresh Raj. Web Cornucopia. An Oasis for the parched Enterprise Component Engineer/Developer. — Режим доступа: http://www.execpc.com/~gopalan/. Загл. с экрана.

91. Guide to Building Client/Server Solutions / Digital Equipment Corporation, January 1993.

92. Jacobson I. Object-Oriented Software Engineering. ASM press, 1992. 528 p.

93. Jeri Edwards. 3-Tier Client/Server At Work / John Wiley&Sons Inc, 1997.1311. P

94. Jim Farley. Microsoft .NET vs. J2EE: How Do They Stack Up? August 2000. -Режим доступа: http://java.oreilly.com. — Загл. с экрана.

95. Jim Farley. Picking a Winner: .NET vs. J2EE, March 2001. Режим доступа: http://www.sdmagazine.com. - Загл. с экрана.

96. Kohler W., Shah, A., Raab, F. Overview of ТРС Benchmark С: The Order-Entry Benchmark, technical report / Transaction Processing Performance Council, 1991.

97. Kruchten P. The Rational Unified Process: An Introduction / Addison-Wesley, 1998. 255 p.

98. Leutenegger, S., Dias, D. A Modelling Study of the TPC-C Benchmark / Proceedings of 1993 ACM SIGMOD International Conference on Management of Data, May 1993.

99. LoadRunner Specification. Режим доступа: http://www-heva.mercuryinteractive.com. - Загл. с экрана.

100. Madhu Siddalingaiah. Perspectives on technology. An Analysis of .NET. -Режим доступа: http://java.sun.com. Загл. с экрана.

101. Mark Cade, Simon Roberts, Sun Certified Enterprise Architect for J2EE Technology Study Guide. — Режим доступа: http://java.sun.com. — Загл. с экрана.

102. Mark Johnson, A beginner's guide to Enterprise JavaBeans // JavaWorld, 1998.

103. Meyer B. .NET is Coming / IEEE Computer. Open Systems, August 2001. № 11.

104. Microsoft пытается вызвать интерес разработчиков Java-приложений к .Net., 2001. Режим доступа: http://www.osp.ru. - Загл. с экрана.

105. Microsoft. .NET / официальный сайт Microsoft. — Режим доступа: http://www.microsoft.com. Загл. с экрана.

106. Microsoft homepage / официальный сайт Microsoft. — Режим доступа: http://www.microsoft.com. Загл. с экрана.

107. Microsoft. .NET Strategy Pushes the Web Application Development Envelope. Network World. January/February 2002. Режим доступа: http://www.mercuryinteractive.ru. — Загл. с экрана.

108. Microsoft. DCOM: A Business Perspective / официальный сайт Microsoft, 1997. Режим доступа: http://www.microsoft.com. - Загл. с экрана.

109. Morgan Kaufmann. The Benchmark Handbook for Database and Transaction Processing Systems / Editor Gray J., 1991.

110. Mumtaz Ahmad, Amit Gore. Comparison between EJB and MTS. — Режим доступа: http://wiki.cs.uiuc.edu. — Загл. с экрана.

111. Nayeem Islam. Distributed Objects Methodologies for Customizing Systems Software / IEEE Computer Society Press, 1996.129.0MG Unified modeling language specification (draft). Version 1.3R, 1999. -Режим доступа: http://www.rational.com. Загл. с экрана.

112. Page-Jones М. The Practical Guide to Structured Systems Design / Englewood Cliffs, NJ : Yourdon Press. 2nd edition, 1988.

113. Philippe Collet. On Contract Monitoring for the Verification of ComponentBased Systems / Objects and Software Components Group.

114. Rational Software Corporation homepage / официальный сайт Rational. -Режим доступа: http://www.rational.com. — Загл. с экрана.

115. Richard Hoffman, Anthony Frey, Mike Lee. Growing Up: Java Servers Offer More. Test brings out the best application servers, November 1999. — Режим доступа: http://www.informationweek.com. Загл. с экрана.

116. Richard Hoffman. Award: Java Application Server. Award: Middleware Technology. Режим доступа: http://www.networkcomputing.com. - Загл. с экрана.

117. Robert Orfali, Dan Harkey, Jeri Edwards. The Essential Distributed Object / John Wiley&Sons, Inc., 1996.

118. Roger Sessions. Java 2 Enterprise Edition (J2EE) versus the .NET Platform. Two Visions for eBusiness / Object Watch, March 2001.

119. Rumbaugh J., Blaha M., W.Premerlani et al. Object-Oriented Modeling and Design / Englewood Cliffs, New Jenersy : Prentice Hall, 1991. 500 p.

120. Rumbaugh J., Jacobson I., Booch G. The Unified Modeling Language Reference Manual / Addison-Wesley, 1999.550 p.

121. Scarlet Pruitt. Gartner: don't overspend on application server tech / IDG News Service, 2001. Режим доступа: http://www.nwfusion.com. — Загл. с экрана.

122. Scott W. Ambler, Larry L. Constantine. The Unified Process Construction Phase Best Practices for Completing the Unified Process // Masters collection from Software Development. - USA, Lawrence: CMP Books, 2000. 257 p.

123. Selic В., Gullekson G., Ward P.T. Real-Time Object-Oriented Modeling. John Wiley & Sons. Inc., 1994. 525 p.

124. Seth Grimes. Object Relational Reality Check. DataBase Programming & Design OnLine / Alta Plana Corp., July 1998. Режим доступа: http://www.dbpg.com. -Загл. с экрана.

125. Shlaer S., Mellor S.J. Object-oriented systems analysis : modeling world in data / Englewood Cliffs, NJ: Yourdon Press, 1988.

126. Specification and Verification of Component-Based Systems. — Режим доступа: http://www.cs.iastate.edu/~leavens/. — Загл. с экрана.

127. Stankovic J. A.: Misconceptions About Real-Time Computing: A Serious Problem for next-generation Systems. IEEE Computer, October 1988. № 10.

128. Sun Microsystems, Enterprise JavaBeans Specification version 1.0 / официальный сайт Sun Microsystems, 1998. — Режим доступа: http://java.sun.com. Загл. с экрана.

129. Sun Microsystems homepage / официальный сайт Sun Microsystems. Режим доступа: http://java.sun.com. — Загл. с экрана.

130. Sun: Java может смешать карты Microsoft .Net. — Режим доступа: http://www.mediacenter.ru. Загл. с экрана.

131. Ted Lewis. Object-oriented application Frameworks / Manning Publications Co., 1995.

132. Test Smarter, Finish Faster. Rational Robot. Режим доступа: http://www-scf.usc.edu/~csci577/. — Загл. с экрана.

133. The SOAP specification. — Режим доступа: http://www.w3.org. — Загл. с экрана.

134. The Web Services Description Language (WSDL) 1.1 specification. Режим доступа: http://www.w3.org. - Загл. с экрана.

135. Thomas J. Mowbray, Phd Ron Zahavi. The Essential CORBA: System Integration Using Distributed Object, 1995.

136. Thomas J. Mowbray, Raphael C. Malveau CORBA Design Pattern / John Wiley&Sons Inc., 1997.

137. Windows DNA Architecture Design: A Scalable, Highly Available Business Object Architecture / официальный сайт Microsoft. — Режим доступа: http://www.microsoft.com. — Загл. с экрана.