Агентно-ориентированный подход к совершенствованию интеллектуальной системы поддержки принимаемых решений тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Вдовин, Максим Алексеевич

• Вдовин, Максим Алексеевич
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Вдовин, Максим Алексеевич

Введение.

ГЛАВА 1. Предмет исследования и постановка научной задачи.

1.1. Информационный подход к управлению.

1.1.1. Информационный подход к управлению производственными системами.

1.1.2. Анализ функциональности современных информационных систем поддержки принятия управленческих решений.

1.2. Анализ модели управления предприятием.

1.2.1. Анализ классификации моделей управления предприятием.

1.2.2. Анализ подхода к управлению предприятием основанного на концепции «модель жизнеспособной системы».

1.3. Анализ проблем предметной области и постановка задачи.

ГЛАВА 2. Реализация принципов проектирования интеллектуальных программных продуктов на основе концепции многоагентных систем.

2.1. Разработка архитектуры интеллектуального агента.

2.1.1. Анализ типовых архитектур интеллектуальных агентов

2.1.2. Разработка архитектуры интеллектуального агента на основе модели жизнеспособной системы.

2.2. Формирование блока автоматического построения сценариев.

2.2.1. Представление знаний.

2.2.2. Формализация процесса планирования.

2.2.3. Решение задачи планирования.

2.2.4. Контроль выполнения и перепланирование.

2.2.5. Реализация пользовательского интерфейса.

2.3. Разработка метода проектирования информационно-аналитической системы на основе предложенной архитектуры агента.

ГЛАВА 3. Экспериментальное подтверждение проведенных я исследований.

3.1. Формирование интеллектуального сценария проведения корреляционно-регрессионного анализа.

3.1.1. Определение функциональности системы.

3.1.2. Конструирование базы знаний.

3.1.3. Разработка прототипа пользовательского интерфейса

3.2. Построение сценария проведения корреляционно-регрессионного анализа в системе управления предприятием

ОАО «Концерн Российские защитные технологии».

3.3. Технико-экономическое обоснование разработки программного продукта.

Введение диссертации (часть автореферата) на тему «Агентно-ориентированный подход к совершенствованию интеллектуальной системы поддержки принимаемых решений»

Повышение качества управления неразрывно связано с повышением эффективности производства, увеличением прибыли и других финансово-экономических показателей, В современных условиях повышение качества управленческих базируется на оперативном получении своевременной и точной информации. Развитие информационных технологий обусловило появление целого класса программных средств, призванных помочь руководителю. Информационно-аналитические системы позволяют:

- Стандартизировать автоматизируемые процессы;

- Повысить производительность труда;

- Экономить время;

- Упростить принятие решений.

Однако, современные информационно-аналитические системы обладают рядом недостатков, основа которых сильная непрозрачность процесса разработки программного обеспечения. Роль программиста не имеет аналогов в других профессиях - ни инженеры, ни изобретатели, ни писатели не работают в условиях тесного переплетения чистого творчества, точных наук и практики. Эта проблема была сформулирована в 1986 в статье Фреда Брукса «Серебряной пули нет - существенное и случайное в разработке ПО» следующим образом: «Нет ни одного открытия ни в технологии, ни в методах управления, одно только использования которого обещало бы в течении ближайшего десятилетия на порядок повысить производительность, надежность, простоту разработки программного обеспечения». Хотя результаты разработки программного продукта по-прежнему остаются неизвестными, новейшие технологии дают все больше возможностей их исправить, привести к желательным. Таким образом, можно говорить о том, что повышение качества управленческих решений связано с повышением качества информационно-аналитических систем, качество которых, в свою очередь, определяет процесс первоначального проектирования программного продукта.

Представленная в работе технология призвана сделать процесс разработки программного обеспечения более прозрачным за счет автоматизации процесса проектирования программного продукта, более четкой постановки задач перед программистами и изменений в пользовательском интерфейсе. Это, в свою очередь, позволит сделать более качественную систему поддержки принятия решений и повысить эффективность управления предприятием.

Рисунок. Автоматизированная система поддержки принятия решений

В основу работы положена разрабатываемая система поддержки принятия решений. Сложность фундаментальных, научно-технологических и технических вопросов, решаемых в исследованиях, определяется функциональными блоками АСППР:

- Блок стратегического прогноза и оценки качества сложных систем;

- Блок поддержки решений методами, основанными на опыте и интуиции специалистов;

- Блок поддержки решений адаптивными вероятностно-статистическими методами;

- Блок автоматизированного построения имитационных моделей;

- Блок экономического анализа;

- Блок оценки влияние современной правовой базы на реализуемость программ и планов развития производственных структур.

В основу разрабатываемой системы положена теория искусственного интеллекта. История искусственного интеллекта характеризуется периодами успеха и неоправданного оптимизма, за которыми следовало снижение интереса и сокращение финансирования. Последние достижения на пути понимания теоретических основ интеллектуальности неразрывно связаны с понятием интеллектуального агента. Разработанная технология базируется на использовании однотипных интеллектуальных агентов (которые являются «кирпичиками»), объединенных в многоагентную систему («дом»).

В работе описывается модуль статистического прогноза на основе предлагаемой модели интеллектуального агента на основе жизнеспособной

I системы. Блок является автономным интеллектуальным агентом предназначенным для решения задач математической статистики. В его задачи также входит предварительная обработка и подготовка данных для других блоков автоматизированной системы поддержки принимаемых решений, построение моделей исследуемых явлений, в том числе моделей регрессионного и корреляционного анализа данных. Автоматическое проведение исследований позволит уменьшить фактор человеческой ошибки и освободит персонал от выполнения рутинных операций. Своевременный и качественный анализ статистических данных позволит оперативно представлять руководителю организации точную и актуальную информацию, что в свою очередь повысит качество управленческих решений. Отработанные на блоке статистического анализа технологии проектирования и построения сложных систем будут положены в основу других блоков автоматизированной системы поддрежки принятия решений.

Все вышесказанное позволяет говорить, что предлагаемая диссертационная работа, направленная на совершенствование методологии построения системы поддержки принятия управленческих решений в современных условиях, является актуальной.

Объект исследования Инструментальная и методологическая составляющие информационно -аналитической системы поддержки принятия решений.

Предмет исследования Предметом исследования являются методы и методика создания программного продукта на основе рекурсивной архитектуры интеллектуального агента, реализованные в блоке статистического анализа данных АСППР.

Рамки исследования В исследовании в полной мере использованы наработки как 20 летней давности, так и самые последние исследования, датированные 2006 годом. Исследования естественным образом ограничены современным пониманием процесса мышления и организации сложных систем.

Цель работы

Повышение эффективности и технологичности создания программно-инструментальной составляющей системы поддержки принятия решений. Для достижения поставленной цели в работе решены следующие задачи:

I - разработана рекурсивная архитектура интеллектуального агента на основе модели жизнеспособной системы;

- описаны принципы решения задачи планирования поведения интеллектуального агента;

- разработан интерфейс проектирования базы знаний, который в то же время выполняет задачи по проектированию многоагентной системы и является прототипом пользовательского интерфейса.

- разработан метод проектирования информационно-аналитической системы на основе предложенной архитектуры интеллектуального агента.

Область исследований

Исследование базируются на использовании: теории искусственного интеллекта, экономики, неврологии, психологии, теории управления и кибернетики.

Научная новизна:

- автор впервые адаптировал имитационную модель жизнеспособной системы к проводимым исследованиям в области теории искусственного интеллекта;

- создана методика проектирования программного продукта на основе предложенной архитектуры интеллектуального агента, отличительной особенностью которой является то, что процесс создания базы знаний интеллектуального агента также является процессом проектирования СППР и разработкой пользовательского интерфейса;

- усовершенствован аппарат научно-методического обеспечения построения широкого класса имитационных систем, отличающийся тем, что предложенная система обладает возможностью создать некоторую виртуальную среду, в которую помещается модель объекта, при этом появляется возможность отладить базу знаний и модели поведения будущего аппарата еще до его создания.

Теоретическая значимость проведенных исследований обусловлена развитием системного подхода, позволяющего осуществить структурирование информации для решения различных задач, совершенствованием методического обеспечения моделирования сложных систем, в развитии методического обеспечения для построения архитектуры системы поддержки принятия решений на основе концепции интеллектуальных агентов.

Практическое значение работы

Практическое значение работы обусловлено:

- полученными в диссертации теоретическими и практическими результатами, позволяющими существенно расширить область применения интеллектуальных систем при построении как архитектуры информационно - аналитической системы поддержки принятия решений, так и инструментальной и методологической составляющих подобных систем;

- разработкой основы для создания компонентов программного и методического обеспечения построения информационной системы структурирования информации с применением доступного аппаратного обеспечения;

- разработкой эффективной методики проектирования сложных интеллектуальных информационных систем;

- разработкой сценария проведения статистических исследований, обеспечивающего формирование прогнозных решений, необходимых для оценки экономической эффективности.

Обоснованность научных результатов и положений, сформулированных в диссертации, базируется на широко апробированных в науке теоретических положениях и применяемых в ходе исследований научных методах.

Реализация и внедрение результатов

Научные результаты проведенных исследований внедрены в учебный процесс Тверского ГТУ, Пензенского ГУ, Тверского филиала Балтийского ГТУ «ВОЕНМЕХ» им. Д.Ф. Устинова. Использование полученных результатов способствует повышению эффективности учебного процесса. Практические результаты диссертационной работы использовались при создании автоматизированной системы управления предприятием ОАО «Концерн Российские защитные технологии».

Апробация результатов исследования.

Результаты исследования докладывались на научно-технических конференциях Тверского государственного технического университета, МГТУ им. Баумана, Балтийского ГТУ "ВОЕНМЕХ" им. Д.Ф. Устинова, Санкт-Петербургского Северо-Западного Заочного Института, научных семинарах МГТУ им. Баумана, ВА ВКО, Тверского филиала Балтийского ГТУ им. Д.Ф. Устинова.

На защиту выносятся

1. Рекурсивная архитектура интеллектуального агента, основанная на концепции жизнеспособных систем и предназначенная для построения многоагентных систем.

2. Метод проектирования информационно-аналитической системы на основе предложенной архитектуры агента, а также неразрывно связанный с ним пользовательский интерфейс.

3. Интеллектуальный агент предназначенный для проведения корреляционно-регрессионного анализа данных, раскрывающий эффективность решения управленческих задач реализованной многоагентной системой.

Публикации

По результатам исследований, проведенных в процессе работы над диссертацией, опубликовано 16 работ.

Структура и объем диссертационной работы

Диссертация состоит из введения, трех глав, заключения, списка использованной литературы. Работа изложена на 160 страницах основного текста, иллюстрируется 37 рисунками и 7 таблицами. Список литературы содержит 72 источника.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Вдовин, Максим Алексеевич

ЗАКЛЮЧЕНИЕ

Опыт разработки современных программных комплексов показывает, что основные сложности связанны с первоначальным проектированием программного обеспечения. Отсутствие надежных инструментов проектирования сказывается на производительности, надежности и простоте разработки программного обеспечения. Поэтому в работе на основе использования последних достижений теории и практики создания информационно-аналитических систем, теории искусственного интеллекта, теории систем предложен подход к решению важной проблемы формирования архитектуры программного продукта и актуальной практической задачи обоснования обще методических принципов развития научно-методического и информационно-аналитического обеспечения процесса разработки программных комплексов.

В ходе теоретических исследований было установлено, что совершенствование процесса разработки программного обеспечения, в связи с высокой сложностью современных программных комплексов и процессов их создания, требует внедрение в практику новых технологий. Такой технологией, отвечающей современным требованиям является применение интеллектуальных агентов, как основы будущего программного продукта. Для системного решения задачи автором впервые предложено адаптировать имитационную модель жизнеспособной системы к проводимым исследованиям в области теории искусственного интеллекта, что привело к возможности построения принципиально нового типа интеллектуального агента. При этом в ходе исследований были выполнены поставленные в пункте 1.3 задачи:

- Упрощение процесса разработки. Предложенный конструктор интеллектуальных агентов в значительной мере автоматизирует труд проектировщика программного продукта, обладает интерфейсом позволяющим отслеживать ход работ и обеспечивающим прозрачность разрабатываемой системы;

- Гибкость структуры программного продукта обусловлена используемой базой знаний, которая обеспечивает необходимую гибкость и масштабируемость за счет использования онтологий и таксономии;

- Эффективный пользовательский интерфейс. Интерфейс, заложенный в систему обеспечивает прозрачность функционирования системы, доступность к функциям системы и данным;

- Значительная автоматизация действий обеспечивается за счет использования интеллектуальных агентов, основы предложенной системы;

- Использование интеллект-карт как основы интерфейса позволяет четко выделять основные задачи и наиболее важную информацию;

- Неразрывность процессов проектирования и написания кода определяется рекурсивной архитектурой интеллектуального агента.

Впервые системно проанализирован и апробирован подход, который позволил без потери общности выводов и заключений, на примере ограниченного числа видов работ, получить результаты широкого спектра исследований. Сущность данного подхода заключается в том, что высокая сложность математической модели, способной адекватно описывать процесс разработки программного продукта, была преодолена на основе применения иерархического подхода. Реализация данного подхода связана с построением базы знаний на основе онтологий и таксономической иерархии. Онтология предметной области была сформирована из двух частей: описание внешнего мира определятся совокупностью внешних объектов и их свойств, описание внутреннего мира определяется совокупностью агентов и действий, которые они могут выполнять. Структура интеллектуального агента определяется функциями, которые он выполняет и задачами, которые он решает. При этом предложенная архитектура интеллектуального агента, естественным свойством которой является рекурсивность, является основой предложенного подхода.

Таким образом, образованная структура программного продукта обеспечивает эффективный способ преодоления сложности математического моделирования на основе использования системных принципов. При создании программного продукта реализуются принципы последовательной детализации задачи разработки и проектирования. Разработка программного продукта разделяется на ряд подзадач создания последовательной цепочки агентов с обратными связями. Каждый последующий агент в цепочке позволяет получить детальное решение определенной фазы и обеспечивает подготовку информации, необходимой для решения задачи, связанной с последующей фазой. Процесс моделирования в такой системе обеспечивает возможность комплексного решения широкого спектра задач. Следует отметить, что корректность разработанных моделей подтверждается использованием для их построения апробированных методов.

Обоснованность и достоверность научных положений и выводов обеспечивается использованием корректного и адекватного математического аппарата при формализации и реализации метода; достаточной полнотой учитываемых факторов, выявленных в результате декомпозиции научной задачи на частные задачи исследования; и подтверждается сходимостью результатов расчетного и фактического значений прогнозируемых величин технико-экономических характеристик.

В предлагаемой работе подробно описан только четвертый уровень интеллектуального агента. Дальнейшие исследования можно вести как интенсивно, так и экстенсивно. Интенсивные исследования заключаются в разработке самостоятельного программного продукта на основе 4 уровня интеллектуального агента. В работе была описана онтология лишь двух разделов математической статистики: корреляционного и регрессионного анализа данных. Дальнейшие исследования в этом направлении могут заключаться в создании дополнительных онтологий в области анализа больших массивов данных, так не раскрытыми остались: дисперсионный анализ, работа с различными видами распределений, работа с малыми выборками, распознавание образов, проверка гипотез и многое другое. Актуальность исследований подобных систем объясняется, в первую очередь, тем, что в результате резкого оттока молодых специалистов утрачена преемственность поколений и знания ведущих специалистов оказались «невостребованными».

Однако более важным направлением дальнейших исследований будет разработка принципов функционирования 1, 2(5) и 3 уровней интеллектуального агента. Исследования первого уровня (функциональные блоки) заключаются в обосновании выбора языка программирования. Хотя в работе подразумевалось, что таким языком должен стать С++ для интеллектуальных агентов работающих на рабочих станциях или Java для интеллектуальных агентов работающих в сети, такой выбор все же не очевиден. Так значительный интерес представляют следующие языки программирования: Nemerle [68], Python [69], Ruby [70] и SmallTalk [71].

Развитие этой области теории искусственного интеллекта связано с большими трудностями, типичными для новых разделов науки и техники, появляющихся на стыке различных областей знания. В данном случае сложности заключаются в исследовании 2(5) и 3 уровней интеллектуального агента (оперативное управление / конвейер сообщений и центр управления агентом / контроллер конвейера) и создании языка обмена сообщениями между агентами. Основной задачей конвейера является координация действий агентов, которая достигается с помощью общения, т.е. получения общих знаний об осуществлении совместных действий. Агенты могут посылать друг другу сообщения, чтобы добиться определенных целей: проинформировать, предупредить, поделиться знаниями или что-то пообещать. В конечном итоге общение является способом заставить других агентов во что-то поверить или что-то сделать. Здесь наиболее перспективным представляется имитация обмена сообщениями в группах животных. Разумеется, язык обмена сообщениями между животными - не язык в привычном смысле, и разговор у животных - это совсем не то, что разговор у человека. Однако, например коммуникация в поселении дятлов сильно напоминает потоки данных в сети, где каждая птица - своего рода сервер [72].

Описывая многоагентную систему как популяцию животных можно создать простой и чрезвычайно эффективный язык обмена сообщениями. Причем, потенциально можно создать такой язык, который будет самостоятельно развиваться в ходе решения задач, так как сообществу интеллектуальных агентов будет выгодно развивать знаковую систему.

В заключении отметим, что все теоретические результаты исследований, приведенные в работе, завершаются разработкой конкретных методик, которые внедрены и реализованы в НИИ ИТ и внедрены в учебный процесс Тверского технического университета, ВА ВКО, Пензенского ГУ и Тверского филиала Балтийского государственного технического университета «ВОЕНМЕХ».

Список литературы диссертационного исследования кандидат технических наук Вдовин, Максим Алексеевич, 2006 год

1. Brooks F. P. No Silver Bullet essence and accident in software Engineering. -Proceedings of the IFIP Tenth World Computing Conference. 1986

2. Вдовин M.A., Кононов И.В. Общие вопросы внедрения новых информационных технологий в практику исследований //Серия А выпуск 3(47). М: ЦВНИ МО РФ, 2001

3. Тихомиров В.А., Громов В.А., Вдовин М.А., Кононов И.В. Внедрение информационных технологий в практику полигонных испытаний //Оборонная техника, 2000. №7-8

4. Тихомиров В.А., Вдовин М.А., Кононов И.В. Реализация блока стратегического прогноза системы поддержки принимаемых решений на основе агентно-ориентированной модели //Сборник НММ адъюнктов и соискателей №29 Тверь: ВА ВКО, 2006

5. Абдеев Р.Ф. Философия информационной цивилизации. М.: ВЛАДОС, 1994

6. Анохин П. К. Психическая форма отражения действительности //Ленинская теория отражения и действительность. София: Наука и искусство, 1973

7. Шмальгаузен И. И. Организм как целое в индивидуальном и историческом развитии. М.: Изд-во АН СССР, 1969

8. Анфилатов B.C., Емельянов А.А., Кукушкин А.А. Системный анализ в управлении. -М.: Финансы и статистика, 2002

9. Винер Н. Кибернетика и общество. М.: Изд-во иностр. лит., 1958

10. Ю.Спиркин А.Г. Философия. -М.: Гардарика, 1998

11. И.Вдовин М.А., Кононов И.В. Формирование «Единого информационного пространства» на основе телекоммуникационных и радио локационных систем //Статья. Сборник НММ адъюнктов и соискателей №28 Тверь: ВА ВКО, 2005

12. Тихомиров В.А., Вдовин М.А., Кононов И.В. Проблемные вопросы исследования сложных систем. //Сборник статей международной конференции «Надежность и качество», Пенза: ПГУ, 2004

13. Стэффорд Вир. Мозг фирмы. М.: УРСС, 2005

14. Вдовин М.А., Кононов И.В. Совершенствование информационного подхода к оценке принимаемых решений //Сборник докладов XXVII НТК в/ч 33157, 2002

15. Вдовин М.А., Кононов И.В. Информационно-вероятностная модель осуществления долгосрочного прогноза //Сборник тезисов докладов Третьей Всероссийской конференции «Необратимые процессы в природе и технике», М.: МГТУ им. Н.Э. Баумана, 2005

16. Середа С. Достоинства и недостатки современных ERP-систем. http://www.cnews.ru/reviews/free/software2005/articles/modernerp.shtml

17. А. В. Заболсева-Зотова, М. В. Набока. Применение агентно-ориентированной технологии к синтезу новых технических систем. http://www.quality21.ru/index.php ?module=subjects&func=printpage&pageid= 269&scope=all

18. Э. Салливан. Время деньги. - М.: «Русская редакция», 2002

19. Информатика. / Под ред. Макаровой Н.В. М.: Финансы и статистика, 2000

20. Г.И. Андреев, В.И. Волчихин, В.А. Тихомиров, И.В. Янчевский. Основы управления предприятием. Том 2. Методы и технологии управления предприятием в условиях неопределенности -М.: Финансы и статистика, 2005

21. Тихомиров А.В., Вдовин М.А., Кононов И.В. Разработка методов и алгоритмов стратегического прогнозирования развития сложных интегрированных структур. //Монография. -Тверь: НПО «Российские Инновационные технологии», 2005

22. Палюх Б.В., Вдовин М.А., Кононов И.В. Концептуальная модель системы поддержки принимаемых решений основанная на технологии «классной доски» //Сборник НММ адъюнктов и соискателей №28 Тверь: ВА ВКО, 2005

23. Вдовин М.А., Кононов И.В. Агентно-ориентированная модель формирования элементов системы поддержки принимаемых решений //Сборник НММ адъюнктов и соискателей №27 Тверь: ВА ВКО, 2004

24. Рассел С., Норвиг П. Искусственный интеллект: современный подход. Вильяме, 2005

25. Тьюринг A.M. Вычислительные машины и разум. // В сб.: Хофштадер Д., Деннет Д. Глаз разума. Самара: Бахрах-М, 2003

26. Тихомиров В.А., Вдовин М.А., Кононов И.В. Формулирование обобщающей цели в сложных системах. //Сборник статей международной конференции «Надежность и качество», -Пенза: ПГУ, 2004

27. Андрейчиков А.В., Андрейчикова О.Н. Интеллектуальные информационные системы. М.: Финансы и статистика, 2004

28. Вдовин М.А., Кононов И.В. Методика адаптации агентно-ориентированного подхода к созданию системы поддержки принимаемых решений //Сборник НММ адъюнктов и соискателей №28 Тверь: ВА ВКО,2005

29. Палюх Б.В., Тихомиров В.А., Вдовин М.А., Кононов И.В. Методологические аспекты создания агентно-ориентированной архитектуры системы поддержки принимаемых решений //Сборник НММ адъюнктов и соискателей №29 Тверь: ВА ВКО, 2006

30. Бьюзен Т. Супермышление. Минск: Попурри, 2003

31. Тихомиров В.А., Вдовин М.А., Кононов И.В. Модель «классная доска» -методология создания архитектуры системы поддержки принимаемых решений //Сборник НММ адъюнктов и соискателей №29 Тверь: ВА ВКО,2006

32. В.В. Головач. Дизайн пользовательского интерфейса. http://www.natahaus.ru/2006/04/03/golovachv.dizajjnpolzovatelskogointerf ejjsa.html

33. Амдилян Л. DEMO 2006: Linux. М. // Компьютерра, 2006. № 8

34. Тихомиров В.А., Вдовин М.А., Кононов И.В. Построение информационно-вероятностной модели оценки качества промышленной продукции //Сборник статей международной конференции «Надежность и качество», -Пенза: ПГУ, 2003

35. Вдовин М.А., Кононов И.В. Формализация информационно-вероятностного метода стратегической оценки принимаемых решений //Труды докладов международного симпозиума "Надежность и качество 2003" Пенза: ПГУ, 2003

36. Айвазян С.А., Мешалкин Л.Д., Енюков И.С. Прикладная статистика: Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1985.

37. Крамер Г. Математические методы статистики. М: Мир, 1975

38. Гурман В.Е. Теория вероятностей и математическая статистика. М.: Высшая школа, 1977.

39. Афифи А., Эйзен С. Статистический анализ: Подход с использованием ЭВМ. М.: Мир, 1982

40. Джонсон И., Лион Ф. Статистика и планирование эксперимента в технике и науке. Методы обработки данных. -М.: Мир, 1980.

41. Морозов И.Д. Матричные расчеты в статистике. М.: Финансы и статистика, 1981

42. Гаскаров Д.В., Шаповалов В.И. Малая выборка. М.: Финансы и статистика, 1978

43. Петрович М.Л., Давидович М.И. Статистическое оценивание и проверка гипотез на ЭВМ. М.: Финансы и статистика, 1989.

44. Мартыщенко Л.А., Клавдиев А.А. Проверка гипотез о виде закона распределения по малой выборке (метод стохастической индикации) Л.: ВАА, 1989.

45. Мартыщенко Л.А., Тихомиров В.А. Вероятностно-статистические методы праксиологического анализа разработки и оценки технических решений. -Л.: ВАА, 1991.

46. Мюллер П., Нойман П., Шторм Р. Таблицы по математической статистике. -М.: Финансы и статистика, 1982

47. Енюков И. С. Методы, алгоритмы, программы многомерного статистического анализа: пакет ППСА. М.: Финансы и статистика, 1986

48. Батунер Л. М., Позин М. Е. Математические методы в химической технике. Л.: Химия, 1968

49. Джонсон Н., Лион Ф. Статистика и планирование эксперимента в технике и науке. Методы обработки данных. М.: Мир, 1980

50. Айвазян С.А., Мешалкин Л.Д., Енюков И.С. Прикладная статистика: Исследование зависимостей. М.: Финансы и статистика, 1985.

51. Дюк В. Обработка данных на ПК в примерах. СПб.: Питер, 1997

52. Браунли К.А. Статистическая теория и методология в науке и технике. М: Наука, 1977

53. Тюрин Ю.Н., Макаров А.А. Статистический анализ данных на компьютере. М.: Инфра М, 1999

54. Выгодский М.Я. Справочник по элементарной матиматеке. М.: Гос. изд. технико-теоритической лит., 1954

55. Математический энциклопедический словарь. М.: Большая Российская Энциклопедия, 1995

56. Носач В.В. Решение задач аппроксимации с помощью персональных компьютеров. М.: МИКАП, 1994

57. Хемминг Р.В. Численные методы для научных работников и инженеров. М.: Наука, 1972

58. Кохонен Т. Ассоциативная память. М.: Мир, 1980

59. Бронштейн И.Н., Семедяев К.А. Справочник по математике. М.: 1967

60. Страупструп Б. Язык программирования Си ++. М.: Радио и связь, 1991

61. Липаев В.В. Технико-экономическое обоснование проектов сложных программных средств. М.: СИНТЕГ, 2004

62. Стандартная общественная лицензия GPL. http://www.linux.org.ru/books/GNU/licenses/gplrus.htm

63. Tim O'Reilly. What Is Web 2.0. http://www.oreillynet.com/pub/a/oreilly/tim/news/2005/09/30/what-is-web-20.html

64. Туленцев С. Чистяков В. Nemerle. // RSDN Magazine, 2006. № 1

65. Mertz D. Functional Programming in Python. http://www.gnosis.cx/publish/programming/charmingpython13.txt

66. Hibbs C. What Is Ruby on Rails. http://www.onlamp.com/pub/a/onlamp/2005/10/13/whatisrails.html?page=l

67. Smalltalk по-русски, http://ru.smalltalk.wikia.com/

68. Левкович-Маслюк Л. Большая восьмерка большого пестрого дятла. // Компьютерра, 2006. № 27-28