Технико-экономическая диагностика автоматизированных информационных систем с целью разработки стратегии их обновления тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат технических наук Ишиев, Николай Львович
- Специальность ВАК РФ05.13.10
- Количество страниц 209
Оглавление диссертации кандидат технических наук Ишиев, Николай Львович
ВВЕДЕНИЕ.
1 ОБЪЕКТИВНЫЕ ОСНОВЫ ОБНОВЛЕНИЯ ИНФОРМАЦИОННЫХ СИСТЕМ
1.1 Анализ жизненного цикла информационных систем и основных проблем обновления.
1.1.1 Основные экономические причины обновления информационных систем.
1.1.2 Особенности процессов жизненного цикла информационных систем.
1.1.3 Основные проблемы процесса обновления.
1.2 Анализ критериев полезности обновления информационных систем как факторов повышения информационной продуктивности.
1.2.1 Основные критерии полезности обновления ИС.
1.2.2 Повышение персональной и корпоративной эффективности.
1.2.3 Снижение общей стоимости владения системой.
1.2.4 Расширение состава и повышение качества услуг.
1.2.5 Снижение рисков, повышение информационной безопасности.
1.2.6 Повышение стоимости информационного ресурса (информационного капитала) предприятия.
1.3 Классификация моделей для анализа показателей ИС.
1.3.1 Эмпирические модели.
1.3.2 Аналитические модели.
1.3.3 Имитационные модели.
1.3.4 Гибридные модели.
1.4 Выводы к первой главе.
2 РАЗРАБОТКА МЕТОДИКИ ДИАГНОСТИКИ ПАРАМЕТРОВ ИНФОРМАЦИОННЫХ СИСТЕМ.
2.1 Значение тестирования как основного метода диагностики параметров компонентов ИС.
2.1.1 Основные виды нагрузочных испытаний.
2.1.2 Задачи тестирования и основные подходы к их решению.
2.2 Методика диагностики показателей эффективности информационных систем
2.2.1 Особенности функционирования информационных систем оперативной обработки информации.
2.2.2 Показатели эффективности информационной системы.
2.2.3 Математические модели системы с конвейерной обработкой информации.
2.2.4 Методы численного анализа показателей эффективности.
2.2.5 Порядок подготовки и проведение тестирования.
2.3 Методы обработки и анализа данных тестирования.
2.3.1 Обработка результатов измерений.
2.3.2 Идентификация закона распределения по гистограмме.
2.3.3 Предварительная обработка многомерных данных.
2.3.4 Вторичная статистическая обработка.
2.3.5 Статистические проблемы измерений.
2.4 Проверка адекватности математических моделей автоматизированной системы банковских расчетов.
2.4.1 Проверка адекватности математической модели для анализа пропускной способности.
2.4.2 Проверка адекватности математической модели для анализа времени отклика.
2.5 Выводы ко второй главе.
3 РАЗРАБОТКА МОДЕЛИРУЮЩЕГО ПРОГРАММНОГО КОМПЛЕКСА СРЕДСТВ НАГРУЗОЧНОГО ТЕСТИРОВАНИЯ СЛОЖНЫХ ИНФОРМАЦИОННЫХ СИСТЕМ.
3.1 Общие сведения, назначение и состав комплекса.
3.1.1 Компонент Сервер статистики.
3.1.2 Компонент Исполняющая подсистема.
3.1.3 Компонент Агент измерения системной статистики.
3.2 Основные технические решения компонентов.
3.2.1 Выбор объектной модели и основных технологий.
3.2.2 Архитектура компонента Сервер статистики.
3.2.3 Архитектура компонента Исполняющая подсистема.
3.2.4 Архитектура компонента Агент системной статистики.
3.3 Апробация программного комплекса для тестирования ПК РКЦ АСБР
Эконом-Класса.
3.3.1 Цель и методы испытаний.
3.3.2 Порядок проведения испытаний.
3.3.3 Результаты тестирования.
Рекомендованный список диссертаций по специальности «Управление в социальных и экономических системах», 05.13.10 шифр ВАК
Управление обновлениями в СУБД расширенной архитектуры "клиент-сервер"2000 год, кандидат технических наук Макаров, Сергей Васильевич
Разработка моделей и методов взаимодействия интернет-ориентированных систем управления документооборотом со средствами аутентификации2011 год, кандидат технических наук Клименко, Светлана Глебовна
Управление интегрированными средствами поддержки распределенных приложений на основе анализа информационных ресурсов автоматизированной производственной среды2013 год, кандидат экономических наук Баранова, Ирина Вячеславовна
Разработка модели и программного обеспечения информационно-образовательной среды для организации дистанционного обучения с использованием сети Интернет2004 год, кандидат технических наук Карасик, Александр Аркадьевич
Разработка архитектуры, алгоритмических методов создания и моделирования распределенных программных систем2001 год, кандидат технических наук Бабкин, Эдуард Александрович
Введение диссертации (часть автореферата) на тему «Технико-экономическая диагностика автоматизированных информационных систем с целью разработки стратегии их обновления»
Технические результаты развития компьютерных информационных систем (ИС) сегодня очевидны. Повсеместное использование персональных компьютеров и сетей, развитие глобальных телекоммуникаций, появление все более совершенных программных средств — являются убедительными свидетельствами технологического прогресса. Однако экономические результаты вовлечения новых информационных технологий в бизнес не столь однозначны. Затраты, которые несут предприятия для поддержки и развития своих информационных систем постоянно возрастают и эта тенденция прослеживается практически с момента появления самой технологии управления информационными ресурсами с помощью компьютеров.
Имеет ли отдача от применения новейших технологий столь же выраженную тенденцию к росту? Существует ли положительная зависимость между объемом инвестирования в информационную технологию (ИТ) и эффективностью деятельности предприятия? К сожалению в настоящее время на эти вопросы нет однозначного ответа, обоснованность затрат на ИТ пока еще пребывает на начальном уровне.
Некоторое время назад появились данные, в которых показывается отсутствие какой либо корреляции между такими показателями, как эффективность акционированного капитала (Return of Equity, ROE) и затраты на информационные технологии, приведенные на одного работника. Наиболее известными в этой области являются статистические исследования Поля Страссмана, который в статье "The Value Of Computers, Information and Knowledge", опубликованной в 1996 г. [121], использовал данные по 468 американским, европейским и канадским компаниям. В приведенных диаграммах по оси ординат откладывался показатель эффективности акционированного капитала (ROE), по оси абсцисс — затраты на информационные технологии, приведенные на одного работника. Несмотря на достаточно представительную статистическую выборку, никакой зависимости между этими величинами выявлено не было.
Такая же картина наблюдается и в случае выборки по однородной группе компаний. В 1994 году Страссманом было проведено подобное исследование среди крупнейших банков США, и опять не было обнаружено никакой зависимости между величинами ROE и объемом инвестиций в ИТ в расчете на одного работника (рис. 1).
ROE
100 . 1000 . 10000. 100000
Величина инвестиций в ИТ в расчете на одного работника, долл.
Рис. 1. Диаграмма зависимость показателя ROE от величины удельных инвестиций в ИТ.
Поль Страссман, 1994 г.
Одним из первых сомнение в экономической эффективности применения компьютеров высказал Уильям Боуэн в статье «Недостаточная экономическая эффективность компьютеров в офисе», опубликованной в 1986 г. в журнале Fortune. Затем голоса скептиков стали звучать громче. Большое внимание привлекли работы Гэри Ловмана и Стивена Роча. В это же время родился специальный термин «парадокс продуктивности», образное определение которому дал лауреат Нобелевской премии профессор Массачусетского технологического института Роберт Солоу: «Мы можем увидеть компьютеры где угодно, но не в статистических отчетах о продуктивности их использования». Практически этот термин означает, что начиная с некоторого определенного уровня, отдача от применения информационных технологий слабо связана с объемом затрат, другими словами в большинстве случаев дополнительные затраты на технологию, развитие и совершенствование ИС являются недостаточно эффективными. Такое мнение, вероятно, имело право на жизнь в середине 80-х, однако сегодня делать подобного рода однозначные выводы нельзя. Необходимо точно осознавать, какие затраты мы несем и какого рода отдачу мы ожидаем получить.
Постепенный переход общества к постиндустриальному типу производства делает все более актуальной возможность прямого получения прибыли на основе использования информационных технологий, что далеко выходит за рамки автоматизации офисной или учетно-операционной деятельности. Данные возможности появляются на основе использования глобальной сети Internet, связывающей воедино ресурсы информационных систем предприятий по всему миру, и что более важно, связывающей в единое информационное пространство потенциальных поставщиков и потребителей продукции и услуг.
Диаграммы, полученные Страссманом, а также скепсис ряда исследователей относительно эффективности капиталовложений в информационные технологии позволяют сделать вывод о недостаточной изученности вопросов продуктивности информационных систем, процессов применения их в бизнесе, а также результатов этого применения. Пока еще нет четкой классификации конкурентных преимуществ, которые дают информационные системы в тех или иных условиях, отсутствует учет влияния, которое оказывает ИТ на методы и формы организации производства. В настоящее время для ИТ характерна способность к образованию нового качества, расширению потенциала компаний, созданию тех возможностей, которые зачастую трудно количественно измерить и которые приводят к образованию новых рынков, глобализации деятельности компаний, пересмотру ценности ресурсов и изменению принципов управления. Процесс изменения роли ИТ в организации и управлении предприятиями, вероятно, будет продолжаться в течение ближайших 10 лет. Его результатами станут значительные структурные изменения и развитие новых моделей ведения бизнеса, при этом значительное число фирм будут основывать свою деятельности на возможностях глобальной коммуникации в информационном пространстве, получать большую часть дохода на основе информационных технологий и обеспечивать управление собственными ресурсами полностью используя возможности своих информационных систем.
По этой причине нельзя признать состоятельными попытки выразить эффективность информационных систем только количественными критериями, такими как, например, эффективность ROE по отношению к величине вложенных инвестиций в расчете на одного работника. Необходимо разделять инвестиции, эффективность которых легко оценить количественно, соотнеся затраты с прибылью, и те, что дадут новое качество, отдачу от приобретения которого трудно рассчитать до тех пор, пока оно из потенциальной возможности не перейдет в разряд практического источника дохода. Роль качественной составляющей в развитии ИС чрезвычайно важна: если ее не выделить, все расчеты общей эффективности могут стать бессмысленными.
Продуктивность информационных систем нельзя рассматривать в отрыве от процессов обновления. Рынок информационных технологий развивается настолько быстро, что моральное устаревание технических решений происходит за несколько лет, а появление новых — за нескольких месяцев, что делает процесс обновления практически постоянным. Такой темп изменений вызывает в свою очередь высокую степень неопределенности, когда невозможно уверенно предсказать те возможности, которые возникнут завтра. Технологическое превосходство становится очень зыбким и изменчивым. Само по себе оно уже не гарантирует надежного конкурентного преимущества. Как производитель, так и потребитель ИТ должны адекватно реагировать на появление новых возможностей, которые могут привести как к количественным, так и к качественным изменениям в бизнесе. Принятие решения, связанного с инвестированием в новую технологию должно быть максимально взвешенным, однако сделать это становится все труднее.
Все это дает возможность сделать вывод о существовании комплексной проблемы обновления информационных систем, изучение и решение которой требует специальных исследований. Проблема обновления информационных систем еще слабо изучена, повышающийся интерес к вопросам продуктивности ИТ лишь подчеркивает это. Организация эффективного процесса обновления связано с трудностями, причинами которых являются как сложность самих информационных систем, процессов информатизации производства, так и быстрые темпы морального устаревания. Преодоление этих трудностей требует решения стратегических задач, определение политики обновления, а также непосредственного планирования процесса обновления и принятия конкретных решений в рамках общей стратегии. Поэтому актуальной является разработка средств и методов, позволяющих обеспечить получение необходимой информации о технико-экономических параметрах, как существующей информационной системы, так и имеющихся на рынке предложений, с целью выработки обоснованной стратегии по оптимизации и обновлению.
Диагностика технико-экономических показателей ИС является первым шагом на пути решения проблемы обновления ИС и повышения эффективности инвестиций в информационную технологию. Она обеспечивает наиболее важную составляющую часть стратегии обновления — управление техническими решениями в процессе жизненного цикла ИС. На основе анализа получаемых технико-экономических показателей ИС, исследовании возможностей по ее модернизации и тенденций развития информационных технологий становится возможным принять решение о дальнейшем направлении жизненного цикла системы. Возможные решения могут включать как последовательное наращивание характеристик производительности, оптимизацию технических решений, выбор альтернативной функционально эквивалентной реализации с лучшими технико-экономическими показателями, так и полную реструктуризацию сферы автоматизации с заменой (разукрупнением или слиянием) фрагмента ИС на принципиально новое решение. Возможны и другие решения, однако их принятие возможно только по результатам анализа информации о текущем состоянии системы и сравнении полученных показателей с текущими и прогнозируемыми потребностями, а также возможными альтернативными вариантами пути развития.
Решение задачи технико-экономической диагностики ИС требует разработки методики комплексного тестирования и сравнительных испытаний альтернативных реализаций программных комплексов оперативной обработки информации, а также программной реализации инструментального комплекса средств, позволяющего в качестве результата, получать ряд количественных показателей, характеризующих степень пригодности определенного программно-технического комплекса к решению конкретных прикладных задач в заданных условиях.
Цели и задачи исследования. Целью работы является разработка методического и инструментального обеспечения проведения работ по комплексному диагностическому тестированию информационных систем оперативной обработки информации, включающего в качестве основного компонента программный комплекс автоматизированного тестирования сложных информационных систем оперативной обработки информации на базе многоуровневой модели с асинхронным доступом.
Методика комплексного тестирования и сравнительных испытаний альтернативных реализаций программных комплексов оперативной обработки информации является руководством по проведению испытаний с целью получения показателей эффективности программных средств многопользовательских систем, построенных по технологии многоуровневых объектных систем с выделением серверов приложений. Данные показатели характеризуют систему в целом или различные этапы обработки информации с точки зрения производительности, экономичности использования ресурсов, стабильности характеристик, сбалансированности и согласованности различных участков обработки информации между собой. Полученные с помощью методики результаты являются основой для сравнения между собой различных функционально эквивалентных вариантов программных комплексов, проведения оптимизации характеристик эффективности или разработки дальнейшей стратегии обновления ИС.
Методика регламентирует порядок выполнения работ по испытаниям, основной целью которых является выбор наилучшей реализации программного комплекса из имеющихся альтернативных вариантов. Частным случаем данной задачи является выбор наилучшего сочетания аппаратно-программных платформ для различных компонентов комплекса, обеспечивающих наилучшую эффективность функционирования. Методика опирается на модель многоэтапных циклов обработки информации с асинхронными этапами обработки, образующими цепочки работ. Данная модель наиболее полно соответствует технологической схеме обработки информации в сложных информационных системах, она позволяет оценить степень сбалансированности между собой различных этапов обработки.
В соответствии с целью исследования необходимо решить следующие задачи:
- проанализировать основные проблемы, возникающие при обновлении ИС, особенности и закономерности процессов старения и обновления ИС, выполнить постановку задачи технико-экономической диагностики автоматизированных информационных систем;
- исследовать вопросы продуктивности информационных систем, разработать классификацию основных экономических критериев полезности и проанализировать каждый из критериев;
- определить взаимосвязь свойств ИС с уровнем затрат на обновление, разработать подходы к оценке показателей качества технических решений, влияющих на продуктивность информационных систем;
- исследовать возможные методы управления обновлением ИС, в частности — управление техническими решениями в процессе обновления;
- разработать математическую модель показателей эффективности ИС, описывающих свойства и характеристики системы в конкретных условиях применения;
- разработать методику комплексного тестирования и сравнительных испытаний альтернативных реализаций программных комплексов оперативной обработки информации, определяющую цели и порядок проведения испытаний;
- разработать программный комплекс инструментальных средств автоматизированного тестирования сложных информационных систем оперативной обработки информации, провести апробацию инструментальных средств в процессе проведения диагностики реального функционального фрагмента автоматизированной ИС;
- разработать методические рекомендации по построению корпоративной стратегии обновления информационных систем и обоснованному выбору наилучшей линии поведения предприятия в условиях изменяющегося рынка информационных технологий.
Методы исследований. В процессе решения поставленных задач в работе использованы методы теории вероятностей и математической статистики, методы экспертных оценок, системный анализ, качественные и количественные оценки, абстрактно-логический анализ, математическое моделирование.
Научная значимость и новизна. Выполнен комплексный анализ проблемы обновления информационных систем с учетом их особенностей и значения для современного бизнеса. Выделены и проанализированы основные закономерности жизненного цикла ИС, а также задачи, которые необходимо решить для обеспечения эффективного процесса обновления ИС.
В работе предложена система критериев полезности ИС, охватывающая большинство аспектов применения систем в реальном бизнесе. Классификация критериев полезности позволяет структурировать экономическую отдачу применения информационных систем и целенаправленно проводить развитие системы для улучшения важнейших свойств. В классификацию включен критерий, учитывающий информационные ресурсы предприятия и влияние информационных систем на их стоимость.
Разработана методика диагностики параметров информационных систем и принятия решения об оптимизации и обновлении, базирующаяся на моделировании реальной нагрузки на объект испытаний в условиях наиболее приближенных к условиям эксплуатации системы. Используемая в методике модель многоэтапных циклов обработки информации с асинхронным взаимодействием этапов, ранее не использовалась для получения динамических характеристик информационных систем, и ее применение является принципиально новым в организации работ по диагностике.
Разработаны архитектура, информационное и программное обеспечение автоматизированного инструментального комплекса нагрузочного тестирования, реализующего предложенную методику. В разработанный программный комплекс заложена трехзвенная модель обмена данными, которая выполняет обмен документами и запросами между сервером и клиентом не непосредственно, а через сервер доступа в асинхронном режиме. Такой режим более полно соответствует реальным системам обработки информации, в которых принято передаваемые документы накапливать в некотором узле, а затем определенными партиями передавать на дальнейшую обработку. Разработанный на базе методики комплекс автоматизированного тестирования информационных систем обеспечивает выполнение следующих новых для подобных средств возможностей:
- гибкая настройка комплекса на конкретный объект испытаний и моделирование работы ИС путем имитации нагрузки с целью получения основных показателей производительности и проведения детального анализа для объективной оценки состояния ИС;
- сбор и обработки статистических данных непосредственно в процессе тестирования (в режиме реального времени), их структурированное хранение в репозитории для построения временных рядов динамического изменения показателей производительности объекта испытаний;
- объектно-ориентированная архитектура и компонентный состав на основе использования распределенных моделей взаимодействия объектов COM/DCOM и CORBA, обеспечивающие неограниченную масштабируемость в моделировании различных нагрузок на объект испытаний;
- мониторинг показателей системной статистики объекта испытаний для контроля за использованием системных ресурсов в процессе выполнения прикладных задач;
Комплекс полностью реализован на языке программирования С++ для платформы Windows NT 4.0 и включает в свой состав пять самостоятельных компонентов, а также собственную информационную базу на основе СУБД Microsoft SqlServer 7.0. Агент измерения системной статистики дополнительно реализован на платформе SPARC/Solaris 2.6.
Практическая значимость работы. Результаты, полученные в процессе исследования, позволят предприятиям более обоснованно подходить к построению собственных корпоративных стратегий информатизации в соответствии с целями и задачами бизнеса, повысить эффективность инвестиций в ИТ, и тем самым обеспечить преимущества в конкурентной борьбе.
Применение методики диагностики параметров информационных систем в комплексе с инструментальным средством автоматизированного тестирования позволяет получить статистически обоснованную оценку эффективности автоматизированных информационных систем, провести оптимизацию параметров системы, осуществить принятие решения о возможности дальнейшей модернизации программно-технического комплекса, выбрать наилучшее техническое решение для конкретной задачи, что в конечном итоге дает возможность получить максимальную отдачу от вложенных средств и сократить риск неоправданных инвестиций в малоперспективные проекты.
Разработанное программное обеспечение обладает гибкостью и универсальностью и может быть использовано для диагностики и анализа автоматизированных информационных систем из различных предметных областей.
Данная работа может являться основой для более глубоких исследований проблем продуктивности в информационной технологии, целенаправленного процесса обновления, а также различных аспектов влияния ИТ на организационную структуру предприятий, экономику и общество.
Похожие диссертационные работы по специальности «Управление в социальных и экономических системах», 05.13.10 шифр ВАК
Методы и средства разработки компонентного управления Web - сайтом на основе динамической объектной модели2005 год, кандидат технических наук Быков, Михаил Юрьевич
Моделирование предметной области при проектировании автоматизированных систем бухгалтерского учета1998 год, доктор экономических наук Шуремов, Евгений Леонидович
Классические Интернет-технологии в распределенных иерархических АСУТП2003 год, кандидат технических наук Будников, Константин Иванович
Информационная среда администратора учебного процесса, реализуемого по дистанционной технологии2004 год, кандидат технических наук Соколова, Натэлла Юрьевна
Функциональная стандартизация протоколов информационного обмена в распределенных управляющих системах2005 год, доктор технических наук Еременко, Владимир Тарасович
Заключение диссертации по теме «Управление в социальных и экономических системах», Ишиев, Николай Львович
Выводы и рекомендации
Проведенные испытания показали, что проектные решения прототипа РКЦ и некоторые методы реализации не являются оптимальными. В процессе испытаний были выявлены существенные потери производительности на этапе отправки отверифицированных документов в УТП. В среднем скорость отправки была более чем в 4 раза меньше, чем скорость первичного ввода и верификации документов.
По существующей схеме сервер обработки документов РКЦ и автоматы отправки и приема документов в/из УТП являются абсолютно независимыми (не взаимодействующими) процессами. Передача потока документов, готовых к отправке от сервера РКЦ к автоматам производится только через таблицы БД. При этом частые обращения к БД со стороны автоматов на отправку документов и одновременная работа сервера РКЦ по вставке документов и их верификации приводит к резкой перегрузке сервера СУБД. В ходе испытаний с большим числом пользователей это выражалось в непрерывной 100%-ной загрузке процессора сервера. Также возникали частые случаи взаимной блокировки deadlock) этих операций на таблицах БД, что приводило к ошибкам ввода документов или процесса отправки в автоматах4.
Для обнаружения готовых к отправке документов автомат вынужден периодически (и достаточно интенсивно) просматривать основную таблицу документов в БД РКЦ на предмет обнаружения документов со статусом «отверифи-цирован». После обнаружения, у таких документов статус изменяется на «взят на отправку», производится повторный логический контроль и, наконец, отправка в очередь УПТ. Поиск готовых к отправке документов требует многократных обращений к БД, что вызывает значительное общее замедление работы и приводит к ошибкам. Ясно, что способ передачи данных между программными компонентами, при котором требуется непрерывное сканирование БД, нельзя назвать эффективным, что и подтверждается результатами испытаний.
Высокий уровень нагрузки на СУБД также демонстрирует и сервер обработки РКЦ при осуществлении логического контроля с использованием НСИ, что свидетельствует о недостаточной оптимальности внутренней реализации методов доступа к НСИ.
Для повышения общей производительности комплекса РКЦ рекомендуется пересмотреть роль автомата отправки документов в УТП и методы организации взаимодействия автоматов с сервером обработки документов (в рамках клиент-серверной модели обработки). Также следует оптимизировать методы взаимодействия с СУБД, направив их на снижение нагрузки на общий ресурс, каким является БД РКЦ. Следует отметить, что в зависимости от принятого варианта архитектуры (клиент-серверного или распределенного) роль автоматов и методы взаимодействия с ними могут различаться.
Данные замечания относятся к категории проектирования системной модели взаимодействия компонентов Прототипа ПК РКЦ.
4 Та же ситуация была выявлена и при нагрузочном тестировании АБС Урал. При одновременном доступе нескольких процессов к таблицам БД возникали взаимные блокировки и аварийное завершение работы.
ЗАКЛЮЧЕНИЕ
Проблема обновления информационных систем имеет множество представлений.
С определенной точки зрения — это проблема обновления всего предприятия, нахождения и поддержания наивысшей эффективности деятельности в сложившихся рыночных условиях, способность использования непрерывных изменений в обществе для развития конкурентоспособности и обеспечения прогресса. Такие сложные, стратегически значимые задачи предусматривают выработку новых, адекватных подходов к организации и управления производством, практическая реализация которых предусматривает оперирование огромными объемами информации, автоматическое выполнение многих управленческих процедур, электронные каналы коммуникаций с клиентами и партнерами, таким образом, полностью опирается на поддержку со стороны информационных систем. Практически вся деятельности современного предприятия в большинстве своем — это управление информацией.
С другой точки зрения проблемы обновления тесно связаны с технологическим прогрессом в информационных технологиях, скорость которого чрезвычайно высока. Технологический прогресс в ИТ постоянно открывает новые возможности по организации взаимодействия различных информационных объектов самой различной природы в рамках общего информационного пространства. Эти изменения оказывают непосредственное влияние как на общество вообще, изменяя представления, понятия и потребности его членов, так и на предприятия в частности, предлагая новые формы и методы управления информацией, распределения работы, обязанностей, тем самым открывая пути к повышению эффективности работы, подталкивая к необходимости реорганизации, внедрения новых подходов к управлению. Результатом этих изменений является новое понимание сущности процессов управления информацией и методов эффективной организации этих процессов на основе концепций и парадигм, выработанных в ходе развития информационных технологий.
Далеко не всегда в результате инвестиций в ИТ удается получить ожидаемый эффект. Среди множества конкретных причин, основными факторами недостаточной отдачи от применения новых технологий можно считать следующие:
- неправильный выбор технического решения — несогласованность с собственными потребностями в настоящем и будущем, несогласованность с уже существующей системой, отсутствие учета направлений и тенденций развития ИТ;
- неправильный выбор времени обновления и способа реализации запланированных измерений — возможные непроизводительные потери в ходе создания или приобретения технологий;
- непродуктивное использование возможностей ИТ — потери в ходе эксплуатации, нереализованные возможности, неэффективная автоматизация, избыточность средств, отсутствие учета направлений и тенденций в области организации управления.
Все эти факторы обусловлены отсутствием обоснованной корпоративной стратегии в области обновления, которая опиралась бы на определенном видении будущего предприятия в разрезе информационных технологий, представлении о целях развития ИС, и давала возможность сконцентрировать усилия в заданном направлении.
Немаловажное значение имеет и методы реализации какой бы то ни было стратегии — эффективное решение задач обновления, связанных с выбором технического решения, управления качеством ИС, сохранению инвестиций в ИТ — т. е. созданию управляемого процесса обновления.
Таким образом, решение проблемы обновления корпоративной ИС зависит от двух основных составляющих: управление стратегическими целями обновления (стратегическим выбором) и управление методами их достижения с учетом экономического, технического, организационного и социального аспектов.
Построение стратегии в области обновления ИС невозможно выполнить без глубокого понимания возможностей современных информационных технологий, основных составляющих сетевой вычислительной среды — кирпичиков мироздания любой ИС, сущности влияния информационных технологий на деятельность как предприятия в целом, так и его сотрудников. Необходимо знать основные закономерности жизненного цикла информационных систем, особенности современного рынка высоких технологий, характерные проблемы совместимости старых и новых технологий (проблемы унаследованных систем) и многие другие аспекты, затрагивающие сферу ИТ.
Одновременно с этим осуществление поставленных стратегических целей требует выработки практических методов в области интеграции технологий, определения и обеспечения требуемого уровня качества компонентов ИС, построения системы внутрикорпоративных требований и стандартов функциональных возможностей ИТ, проведения сравнительных испытаний для осуществления выбора технического решения, программного средства или аппаратной платформы.
В ходе проведенного в рамках данной работы исследования, были рассмотрены практически все указанные выше аспекты проблемы обновления. Таким образом, была дана развернутая постановка проблемы обновления и предложены подходы к управлению продуктивностью информационных систем, основанные на построении корпоративной стратегии обновления и развития ИС, а также включающих систему управления качеством ИС и методы обоснованного выбора технических решений с применением нагрузочных испытаний компонентов ИС.
Было выполнено решены следующие задачи:
1. Дан анализ особенностей процесса обновления ИС, основных задач, возникающих в ходе обновления, а также проблем, препятствующих эффективному процессу внедрения новых технологий. Также приведены особенности рынка технологий и отличия товара ИТ от традиционных видов товара.
2. Выполнено исследование роли информационных систем в условиях постиндустриального производства и приведены примеры влияния информационных технологий на методы управления и организационную структуру предприятия.
3. Исследованы вопросы продуктивности ИС и введено понятие критерия полезности ИС. Разработана классификация основных критериев полезности ИС, каждый из которых является источником экономической отдачи от проведения обновления ИС.
4. Рассмотрено понятие информационного капитала и его стоимости. Повышение стоимости информационного капитала введен как один из основных критериев полезности ИС. Проанализированы основные пути повышения стоимости информационного капитала.
5. Сделан вывод о необходимости построения управляемого процесса обновления и введения системы управления качеством ИС, определены основные задачи управления качеством ИС в процессе обновления.
6. Выполнено обобщение основных показателей качества компонентов ИС и проанализирована их связь с соответствующими критериями полезности. В состав показателей качества верхнего уровня выбраны функциональные возможности, надежность, эффективность, практичность, сопровождаемость, мобильность.
7. Изложены основные принципы построения системы внутрикорпоративных стандартов и требований к функциональным возможностям компонентов ИС как комплекса профилей ИС.
8. Разработана методика диагностики параметров эффективности ИС, основанная на принципах моделирования различных режимов реальной нагрузки на объект испытаний, и позволяющая оценить важнейшие параметры производительности компонентов ИС. В методике изложены система оценочных элементов, математические модели тестируемых систем и порядок работ по подготовке и проведению испытаний.
9. На основе методики испытаний и с непосредственным участием автора в Государственном испытательном сертификационном центре программных средств вычислительной техники (ГИЦ ПС ВТ, г. Тверь) было разработано и апробировано инструментальное средство для тестирования под нагрузкой больших информационных систем — программный комплекс (ПК) Сервер-Тест, версия 2.5.
В данной работе подняты вопросы, связанные с глубоким проникновением информационных технологий в современное общество, что, безусловно, оказывает серьезное влияние на все аспекты его жизнедеятельности. Огромное влияние ИТ оказывает и на бизнес, привнося с собой большое число новых возможностей и расширяя пространство стратегического выбора. Однако имеется и обратная сторона этих процессов — это и увеличение степени неопределенности в принятии решения, быстротечность изменений, и, как следствие, — все меньшая зависимость конечного результата от простого экстенсивного наращивания вычислительной мощности (бесструктурные инвестиции), возрастающая роль капитала знаний и потенциальных возможностей уже готовых к применению на предприятии.
Вероятно, одна из важнейших задач ближайшего будущего, с которой придется столкнуться предприятиям в условиях постиндустриального общества — это управление собственными потенциальными возможностями в области информационных технологий, реорганизации производства и практического менеджмента.
Список литературы диссертационного исследования кандидат технических наук Ишиев, Николай Львович, 2001 год
1. ГОСТ 27.02-89. Надежность в технике. Основные понятия, термины и определения. - М.: Госиздат, 1989. - 7с.
2. ГОСТ 28195-89. Оценка качества программных средств. М.: Изд-во стандартов, 1989. - 38 с.
3. ГОСТ Р ИСО/МЭК 9126-93. ИТ. Оценка программной продукции. Характеристики качества и руководства по их применению. М.: Изд-во стандартов, 1994. - 14 с.
4. ОСТ 115.1.10-96. Требование к проведению динамического анализа программных средств. М.: Роскоминформ, 1996. - 8 с
5. ОСТ 115.1.11-96. Технологические факторы, определяющие показатель работоспособности программных средств. М.: Роскоминформ, 1996. -62 с.
6. ОСТ 115.1.9-96. Требование к проведению статического анализа программных средств. -М.: Роскоминформ, 1996. 19 с.
7. РД 50-699-90. Надежность в технике. Общие правила классификации отказов и предельных состояний. Методические указания. М.: 1991. - 12с.
8. Dell: прибыль растет быстрее доходов. В том числе за счет Internet-технологий // PC Week / Russian Edition. 1998. -№21. - С. 52.
9. Авен О.И., Гурин Н.Н., Коган Я.А. Оценка качества и оптимизация вычислительных систем. М.: Наука, 1982. - 464 с.
10. Агранович М. Разработка и внедрение новых технологий: масштабы, цены, эффективность. -М.: ВНТИ-Центр, 1990. -66с.
11. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. М.: Статистика, 1974. - 236 с.
12. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983.-471 с.
13. Андрианов Ю.М., Лопатин М.В. Квалиметрические аспекты управления качеством новой техники. -Л.: Изд-во ЛГУ, 1983. -288 с.
14. Антопольский А.Б., Ауссем В. И., Вигурский К. В., Кристальный Б. В.
15. Учет, регистрация и сертификация баз данных // НТИ. Сер.1. - 1993.- № 7. С.30-32.
16. Б.В. Палюх, Г.М. Приткина, B.JI. Перов и др. Надежность систем управления химическими производствами. М.: Химия, 1987. - 178с.
17. Бар Р. Язык Ада в проектировании систем: Пер. с англ. / Под ред. Е.К. Масловского. -М: Мир, 1988.
18. Бирман X. младший. Планирование капиталовложений // Финансовое планирование и контроль. -М.: ИНФРА-М, 1996. -С. 131-149.
19. Буклемишев О. Новая инвестиционная теория. // Фин. Бизнес, 1996. -№1. - С. 17-21.
20. Бурдун Г.Д., Марков Б.Н. Основы меторологии. М.: Изд-во стандартов, 1986.-256 с.
21. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++, 2-е изд. / Пер. с англ. М.: «Издательство Бином», СПб.: «Невский диалект», 1999. - 560 е., ил.
22. Вайнрик Г., Хоффманн У. Планирование и анализ инвестиций: Пер. с нем. -М.: о-во «Знание» России, 1992. -70с.
23. Васкевич Д. Стратегии клиент/сервер. Руководство по выживанию для специалистов по реорганизации бизнеса. К.: «Диалектика», 1996.- 384 е., ил.
24. Гейтс Б. Дорога в будущее/Пер. с англ. М.: Издательский отдел «Русская Редакция» ТОО Channel Trading Ltd., 1996. - 312 е.: ил.
25. Герр Р. Экономическая комедия //CRN/RE 1998. - №3.
26. Гибин Ю.В. и др. Оценка соответствия автоматизированных систем требованиям «Проблемы 2000». Общие технические требования. М.: Изд. «Граница», 1999. - 32 с.
27. Глебов И.А., Дегтерев А.Я. Стратегия обновления. Новый социальный механизм. -М.: Мысль, 1990. -394 с.
28. Горбунов А. Автоматизация управления инвестициями // Рынок ценных бумаг, -1995. -№8. -С. 44-46.
29. Грек В.В., Кирин К.А. Концептуальная модель вычислительной системы как объекта измерений // Электронн. моделирование. 1988. - №5. -С. 98-100.
30. Грек В.В., Кирин К.А. Принципы построения измерительных мониторов // Электронн. моделирование. 1988. -№3. - С. 32-36.
31. Ефремов B.C. Семь граней современного менеджмента // Менеджмент, 1997, июль-август. - С. 3.
32. Захарьягцев В.А., Кузнецов С.А. Совершенствование системы оценки влияния научно-технического прогресса на экономическую эффективность производства. -Л.:ЛДНТП, 1987. -23с.
33. Изосимов А.В., Рыжко A.JI. Метрическая оценка качества программного обеспечения. М.: Изд-во МАИ, 1989. - 96 с.
34. Ишиев H.J1. Тестирование распределенных информационных систем «клиент-сервер». Научн.-практ. семинар «Проблемы сертификации в северо-западном регионе России: опыт и перспективы»: Сб. трудов / В/Ч 30895.-Сп-б, 1996.
35. Ишиев H.JL, Гибин Ю.В. Вопросы сертификации и унификации программного обеспечения: II Всероссийский форум по проблемам ЖКХ: Сб. мат. конференции / Мин. строительства. М., 2001.
36. Ишиев Н.Л., Котов С.Л., Гибин Ю.В. Нагрузочное тестирование как элемент формирования безопасных систем // Системы безопасности. 2001. -№3.
37. Ишиев Н.Л., Палюх Б.В., Котов С.Л. Нагрузочное тестирование в диагностике параметров информационных систем // Программные продукты и системы. 2001.-№1,-С. 9-12.
38. Карповский К.В., Чижов С.А. Надежность программной продукции. -К.: Тэхника, 1990,- 160с
39. Коба В.Г. Экономическая эффективность систем «человек-машина» и пути её повышения. -Киев: Выща шк., 1989. -49с.
40. Коган Б.И., Карпета М.В., Путилова И.А., Шалфеева Е.А. Экспертные системы оценки модифицируемости программ. // Программное обеспечение ЭВМ: Тез. докл. III Междунар. научн.-технич. конф., Тверь, ноябрь 1990. Тверь, 1990. - секция 2. - С. 37-40.
41. Комков В.Н., Канитула П.А. и др. Содержание и оценка экономической эффективности производства. -М.: Наука и техника, 1982.
42. Котов С.Л., Гибин Ю.В. Научно-технический отчет о выполнении ОКР «Сервер 98» / ВНТИЦ, 1999; № ГР 01.980.002899; Инв. № в нац. инф. фонде 02.990.002459
43. Котов С.Л., Гибин Ю.В. Научно-технический отчет о выполнении ОКР «Деловые процедуры Тест» / ВНТИЦ, 1997; № ГР 01.970.004230; Инв. № в нац. инф. фонде 02.980.000084
44. Котов С.Л., Гибин Ю.В. Научно-технический отчет о выполнении ОКР «Тестирование 97» / ВНТИЦ, 1997; № ГР 01.970.004229; Инв. № в нац. инф. фонде 02.980.000104
45. Котов С.Л., Гибин Ю.В. Научно-технический отчет о выполнении ОКР «Сертификация ПС 97» / ВНТИЦ, 1997; № ГР 01.970.004231; Инв. № в нац. инф. фонде 02.980.000083
46. Котов С.Л., Гибин Ю.В. Научно-технический отчет о выполнении ОКР «Тестирование 96» / ВНТИЦ, 1996; № ГР 01.960.007810; Инв. № в нац.инф. фонде 02.970.00569
47. Котов C.JL, Гибин Ю.В. Научно-технический отчет о выполнении ОКР «Нормативная база Тверь» / ВНТИЦ, 1996; № ГР 01.960.007808; Инв. № в нац. инф. фонде 02.970.000568
48. Котов C.JL, Гибин Ю.В. Научно-технический отчет о выполнении ОКР «Депозит-Фонд» / ВНТИЦ, 1996; № ГР 01.960.007809; Инв. № в нац. инф. фонде 02.970.004098
49. Кругликов А.Г. Системный анализ научно-технических нововведений. -М.: Наука, 1991.
50. Кукура С.П. Формирование организационной структуры управления вертикально интегрированной компании: Автореф. дис. . кан-та экон. наук. -М., 1996,- 17 с.
51. Кулаков А.Ф. Концепция создания и развития программно-методического комплекса системы управления качеством программной продукции на стадии разработки. // Приборы и системы управления. 1992, - № 4. - С.7-9. НИИИТ.
52. Кулаков А.Ф. Управление качеством программных средств ЭВМ. К.: Тэхшка, 1989.-216с.
53. Куракина Ю.Г. Оценка факторов риска в инвестиционных расчетах // Бух. учет, -1995. -№6. -С. 22-27.
54. Лапидус В.А. Статистический приемочный контроль качества продукции и международные стандарты ИСО. // Надежность и контроль качества. -1994, № 2. - С.43-50.
55. Липаев В.В. Отладка сложных программ. М.: Энергоатомиздат, 1993.
56. Липаев В.В. Проектирование программных средств. М.: Высшая школа, 1990.
57. Липаев В.В. Управление разработкой программных средств. Методы, стандарты, технология. М.: Финансы и статистика, 1993.
58. Липащ И.В. Финансовые ресурсы для инвестиций в реальные активы // Общество и экономика, 1996. -№6. - С. 142-159.
59. Липиц И.В., Коссов В.В. Инвестиционный проект: методы подготовки и анализа: Уч.-справ. пособие. М.: Изд-во БЕК, 1996. - 304с.
60. Львовский Е.Н. Статистические методы построения эмпирических формул. М.: Высш. шк., 1982.-224 с.
61. Максимей И.В. Имитационное моделирование на ЭВМ. М.: Радио и связь, 1988.-231 с.
62. Максимей И.В. Математическое моделирование больших систем. Мн.: Выш. шк., 1985.- 118 с.
63. Мартынов А. Оценка эффективности производственных инвестиций: основные препятствия и пути их разрешения // Инвестиции в России, 1995. -№3. - С. 33-35.
64. Методика (основные положения) определения экономической эффективности использования в народном хозяйстве новой техники, изобретений и рац. предложений / ВНИИ пат. информ. -М.: ВНИИПИ, 1986. 51с.
65. Методические документы ИСО/МЭК по сертификации продукции, оценке систем обеспечения качества продукции и аккредитации испытательных лабораторий. М.: Изд. стандартов, 1988.
66. Методы и практика определения эффективности капитальных вложений и новой техники: Сб. научн. инф. / Рос. АН; Научн. совет по проблеме экон. эффективн; Ин-т экономики. М.: Наука, 1992. - 152с.
67. Модели надежности ПО и самонастройка процессов подсчета ошибок. -1991,-С. 1-8.-Англ. РЖ.АВТ.ПО. 1993, 3B134.
68. Назаров С.В., Барсуков А.Г. Измерительные средства и оптимизация вычислительных систем. М.: Радио и связь, 1990. - 148 с.
69. Обзор 12 систем для тестирования ПО для ПК. С. 10. - Англ. РЖ.АВТ.ПО, - 1993, 5В135.
70. Оценка параметров функционирования центрального процессора на уровне состояний // В.В. Грек, К.А. Кирин, А.А. Суворов, Г.И. Точицкая // УСиМ. 1991. - №1. - С. 41-45.
71. Повышение оперативности и точности тестирования программ средствами автоматизации. -1992, С.57-64. - Англ. РЖ.АВТ.ПО. - 1993, 4В177.
72. Подходы к практическому измерению надежности ПО. 1992, - С.10-12.- Англ. РЖ.АВТ.ПО. 1993, 4В52.
73. Понков В.П. Эффективность применения СВТ в новых условиях хозяйствования. Д.: ЛДНТП, 1990. - 28с.
74. Рыженкова И.К. Рынок информации: особенность и проблемы развития // Вестник Моск. ун-та, сер. 6 Экономика, 1995. - №1. - С. 50-62.
75. Сакрицкий Э., Любарев А. О методических основах оценки рыночной стоимости машин и оборудования // Инвестиции в России, -1995. -№1112, -1996. -№1-2. -С. 28-30.
76. Сертификация продукции. Международные стандарты и руководства ИСО/МЭК в области сертификации и управления качеством. М.: Изд-во стандартов, 1990.
77. Синавина B.C. Комплексная проблема повышения качества информационных процессов в экономике: Автореф. дис. . д-ра экон. наук. М., 1996.-81 с.
78. Система сертификации Советской ассоциации качества. Сборник руководящих документов. М.: Изд. ВНИИКИ, 1992.
79. Спесивцев А. В., Вегнер В.А., Крутяков А. Ю., Серегин В. В., Сидоров В. А. Защита информации в персональных ЭВМ. -М.: Радио и связь, 1992.
80. Стонхаус Дж. Виртуальная корпорация — высшая форма сети делового сотрудничества // Менеджмент в России и за рубежом. 1997, июль-август. - С. 14.
81. Тимофеев В.Н. Экономическая эффективность машин: основные факторы, резервы повышения, управление. Харьков: Основы, 1990. - 154с.
82. Тимофеев Ю. А. Комплексный подход к защите информации: почему и как надо защищать компьютерные системы // Защита информации. 1992.- Вып.1. С.62-80.
83. Уандыков Б.К. Методы согласованного планирования в активных производственных системах с зависимыми элементами: Автореф. дис. . кан-та техн. наук. М., 1998. - 24 с.
84. Фан Бик Тхиен. Моделирование процессов модификации экономических информационных систем на предприятии: Автореф. дис. . кан-та экон.наук. -М., 1997. -22 с.
85. Феррари Д. Оценка производительности вычислительных систем. М.: Мир, 1981.-576 с.
86. Характеристики качества программного обеспечения / Б. Боэм, Дж. Браун, X. Каспар и др./ Пер. с англ. Е. К. Масловского. М.: Мир, 1981.
87. Хачатуров Т.С. Эффективность капитальных вложений. М.: Экономика, 1979.
88. Хованов Н.В. Математические основы теории шкал измерения качества. -Л.: Изд-во ЛГУ, 1982. -185 с.
89. Холлендер М., Вулф Д.А. Непараметрические методы статистики. М.: Финансы и статистика, 1983. - 518 с.
90. Хрусталев Е.Ю. Гипертекстовая технология информационного моделирования экономических систем (проблемы теории и практики внедрения): Автореф. дис. . д-ра экон. наук. М., 1994. - 38 с.
91. Цуприков С. Срез состояния автоматизации российских банков в начале 1995 года. // Computer Week-Moscow. 1995. -№ 16. - С. 1,52.
92. Шаракшанэ А.С., Шахин В.П., Халецкий А.К. Испытания программ сложных автоматизированных систем. М.: Высшая школа, 1982.
93. Щербаков А. Разрушающие программные воздействия. М.: Издательство Эдэль, 1993.-64 с.
94. Экономика сквозь призму качества / М.И.Кротов, Ф.Ф.Рыбаков, И.И.Цыганов и др.; под ред. М.И.Кротова. Л.: Изд-во ЛГУ, 1990. - 189с.
95. Электронная коммерция выравнивает игровое поле // PC Week / Russian Edition.- 1998.-№23.-С. 18.
96. Яковец Ю. Инновационное инвестирование: новые подходы // Экономист, -1995. -№1. -С. 74-80.
97. Яковец Ю. Перспективные информационные технологии // Экономист.- 1994,-№5. -С. 73-78.
98. Breitenberg М. The ABC's of the U.S. Conformity Assessment System.- NIST, Gaithersburg, MD 20899-0001, 1997. 46 p.
99. CAE Specification, X/Open DCE: Remote Procedure Call. X/Open Company Limited, Reading, Berkshire, UK (xopen.co.uk), 1994. X/Open Document Number C309. ISBN 1-85912-041-5.
100. Charett R. Software engineering risk analysis and management. N. Y.: McGraw -Hill, 1989.
101. Compain B. Issues In New Information Technology. Cambridge. 1998. P.10.
102. Computing Architecture for the 90-s. // Computer Associates International Inc-1990.
103. House D. E., Newman W.F. Testing large software products // ACM Sigsoft: Software engineering notes. 1989. -V. 14, #2. -P.71-78.
104. Knight J.C., Leveson N.G., St. Jean Lois D. A Large Scale Experiment In N-version Programming. // 15-th Annu. Int. Symp. Fault-Tolerant Comput.: FTCS 15, Ann Arbor, Mich., June 19-21, 1985. Dig. Pap. - Silver Spring, MD, 1985. -pp.135-139.
105. Lindstrom E., Horlick J. NVLAP. Electromagnetic Compatibility and Telecommunications. FCC Methods / NIST Handbook 150-11. NIST, Gaithers-burg, MD 20899-0001, 1995.
106. Martin J., McClure C. Software maintenance, the problems and its solutions. -N. Y.: Prentice-Hall, 1983.
107. Metrology for Information Technology (IT) / MEL/ITL Task Group on Metrology for Information Technology. NIST, Gaithersburg, MD 20899-0001, 1997.-28 p.
108. Model Driven Architecture: A Technical Perspective / Architecture Board MDA Drafting Team / RD# ab/2001-02-01. OMG, Needham, MA 02494 USA, 2001.
109. Musa J.D., Iannino A., Okumoto K. Software Reliability: Measurement, Prediction, Application. -N. Y.: McGraw Hill, 1987.
110. Proceedings of the 1998 DARPA/NIST Smart Spaces Workshop. NIST, Gaithersburg, MD 20899-0001, 1998. - 125 p.
111. Smith J.E., Weingarten F.W. (eds.) Research Challenges for the Next Generation Internet / Computing Research Association, 1997.
112. Soley R.M. OMG Model Driven Architecture: The Architecture of Choice for a
113. Changing World. OMG, Needham, MA 02494 USA, 2000.
114. Stradis. Product description. McDonnell Douglas Corporation, 1990.
115. Strassmann P. A. Delete Yourself. Exame. 1997. June 4. http: //www. strassmann. com/pubs/exame/eng. shtml.
116. Strassmann P. A. Facts And Fantasyes About productivity. Information Economics Press. 1997. http://www.strassmann.com/pubs/factnfantasy.shtml.
117. Strassmann P. A. The Value Of Computers, Information and Knowledge. 1996. http: / / www. strassmann. com/pubs/cik/cik-value. shtml.
118. The Common Object Request Broker: Architecture and Specification. OMG, Needham, MA 02494 USA, 1999.
119. Vincent J., Waters A., Sinclair J. Software quality assurance. Vol. II. A programmer guide. Englewood Cliffs, New Jersey: Prentice-Hall. 1988.
120. Vinken P. Information Economy, Government And Society. Alsip Proceedings. 1982. #8,-P. 334.
121. Zyda M., Sheehan J. (eds.) Modeling and Simulation: Linking Entertainment and Defense. National Academy Press, 1997, ISBN 0-309-05842-2. - 181 p.
Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.