Оценка характеристик радиотехнических устройств с использованием экспертно-статистических методов тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Бабкин, Сергей Александрович

• Бабкин, Сергей Александрович
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Бабкин, Сергей Александрович

ВВЕДЕНИЕ.

Глава 1. СОВРЕМЕННОЕ СОСТОЯНИЕ И ПЕРСПЕКТИВЫ

РАЗВИТИЯ ЭКСПЕРТНЫХ СИСТЕМ.

§ 1.1. Исходные положения.

§ 1.2. Экспертные системы искусственного интеллекта.

§ 1.3. Экспертно-статистические методы оценивания.

§ 1.4. Цель и основные задачи исследования.

Выводы.

Глава 2. ТЕОРЕТИЧЕСКОЕ ОБОСНОВАНИЕ ЭКСПЕРТНО

СТАТИСТИЧЕСКИХ МЕТОДОВ.

§ 2.1. Экспертное пространство.

§ 2.2. Статистические свойства экспертных оценок.

§ 2.3. Критерий согласованности экспертной группы.

§ 2.4. Ортогонализация векторов оценок.

§ 2.5. Комплексный показатель качества.

Выводы.

Глава 3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ И АЛГОРИТМЫ

ЭКСПЕРТНОГО ОЦЕНИВАНИЯ.

§ 3.1. Параметрические гипотезы экспертных оценок.

§ 3.2. Регрессионный анализ комплексного показателя качества.

§ 3.3. Категоризация данных в экспертных системах.

§ 3.4. Установление однородности качества радиотехнических приборов и устройств на основе критерия знаков.

Выводы.

Глава 4. ТЕХНОЛОГИЯ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ.

§ 4.1. Основные этапы технологии экспертизы.

§ 4.2. Методика численного эксперимента.

§ 4.3. Процедура экспертного анализа.

Выводы.

Введение диссертации (часть автореферата) на тему «Оценка характеристик радиотехнических устройств с использованием экспертно-статистических методов»

Актуальность темы исследования. Рынок радиотехнических приборов и устройств в настоящее время весьма насыщен. В этой связи у организации-покупателя возникает зачастую весьма трудная проблема: какое же из предлагаемых изделий следует приобрести. При этом должен быть учтен целый ряд характеристик (показателей, признаков). Некоторые из признаков носят количественный характер и могут быть выражены числом: частоты связи, предельная дальность сообщения, помехоустойчивость, вес и т.д. Другие признаки (качественные) не могут быть выражены количественно и носят оценочный характер: страна изготовления, торговая марка, удобство эксплуатации, внешний вид и т.д.

Кроме того, очевидно, что все технические характеристики неразрывно связаны с ценой изделия. Поэтому потребитель должен выбирать приобретаемый радиотехнический прибор исходя из компромисса: качество — цена.

Научно обоснованным подходом к выбору наилучшего радиотехнического прибора является: создание группы экспертов, получение экспертных оценок, численная обработка результатов экспертизы. Иначе говоря, речь идет о создании экспертной системы — алгоритма или компьютерной программы, способных в диалоге с экспертами выполнять экспертизу и обосновывать рациональные управленческие решения, основанные на методах искусственного интеллекта и (или) математической статистики.

В теории и практике применения экспертных систем известно два основных направления: 1) системы, основанные на создании базы знаний и применении методов искусственного интеллекта [15, 28, 29, 37, 57 и др.]; 2) системы, использующие базы данных и методы математической статистики [16, 21,70, 74, 99 и др.].

Экспертные системы искусственного интеллекта имеют ряд принципиальных недостатков: 1) пространство знаний и пространство правил вывода являются неполными и незамкнутыми; 2) процессы разработки, программирования и «обучения» экспертной системы очень длительны и дорогостоящи; 3) для создания полноценной базы знаний требуется привлечение очень большого (теоретически — бесконечного) количества экспертов; 4) база знаний заполняется под конкретный класс объектов экспертизы, поэтому созданные системы имеют весьма ограниченную сферу применения.

Для оценки объектов в столь стремительно развивающихся отраслях, как электронная и радиотехническая промышленность, необходимы программы, которые создаются максимум за 1 - 2 года и требуют для своего функционирования небольшой группы экспертов. Поэтому, в подавляющем большинстве случаев практическое значение имеют именно системы статистической обработки компьютерной информации.

Вместе с тем, в теории и практике экспертных систем существует ряд нерешенных проблем, которые требуют своего исследования. Не решен один из важнейших вопросов - согласованность группы экспертов. Одним из наиболее распространенных приемов является использование так называемого коэффициента конкордации [46]. Во-первых, этот коэффициент применяется для ограниченного класса систем, в которых используются ранговые статистики, во-вторых, он не удовлетворяет обычным аксиомам метрики в многомерном пространстве. Последнее обстоятельство не позволяет использовать мощные методы функционального анализа. Нет надежной методики определения минимально достаточного количества экспертов с учетом коррелированности векторов их оценок. Практически отсутствует методика планирования экспертизы. Фактически существующие подходы к проведению экспертизы можно назвать мастерством (или даже искусством), но не научно обоснованным действием и т.д.

Необходимость разрешения этих и других вопросов теории статистических экспертных систем^ обуславливает актуальность выбранной темы.

Цель и задачи работы. Целью работы является математическое моделирование экспертно-статистических систем, разработка и исследование нового метода экспертной оценки, основанного на применении функционального анализа и математической статистики, разработка основных этапов экспертной технологии и методики численного анализа основных показателей радиотехнических устройств.

Для достижения поставленной цели необходимо решить следующие основные задачи:

1. На основе исследования современного состояния и перспектив развития экспертных систем обосновать выбор варианта экспертно-статистической системы и принципы планирования экспертного эксперимента.

2. Провести теоретическое обоснование предлагаемого экспертно-статистического метода на основе введения понятия экспертно-вероятностного пространства, понятия идеального наблюдателя, анализа статистических свойств экспертных оценок, нового критерия согласованности оценок.

3. Разработать и исследовать математические модели и алгоритмы экспертного оценивания на основе анализа параметрических гипотез, применения регрессионного анализа и алгоритмов категоризации данных, критерия знаков, критерия Вилкоксона.

4. На основе проведенных исследований сформулировать основные этапы технологии экспертного оценивания, разработать методику численного эксперимента и программное обеспечение.

Методы исследования. Для решения перечисленных задач в диссертационной работе были использованы методы теории функционального анализа, теории вероятностей, математической статистики, теории информационных систем.

Научная новизна диссертационной работы заключается в следующем:

1. Предложен и исследован новый метод статистического экспертного анализа, основой которого являются: представление мнений экспертов векторами в многомерном пространстве признаков; гипотеза о существовании идеального наблюдателя; введение комплексного показателя качества, учитывающего влияние признаков и функцию цены.

2. Введение нового критерия согласованности группы экспертов на основе принадлежности векторов их оценок «шару» в многомерном пространстве признаков и определение минимально достаточного количества экспертов на основе вычисления обобщенной дисперсии выборки.

3. Минимизация требуемого количества экспертов с учетом коррелированности их векторов оценок, использованием теоретико-информационного подхода и процедуры ортогонализация векторов оценок.

4. Исследование статистических свойств векторов оценок и их характеристик, проверки простых и сложных гипотез относительно величины оценок, применения линейной и нелинейной регрессии в установлении зависимости комплексного показателя качества от цены.

5. Обоснование целесообразности применения на этапе предварительной экспертизы исследованных алгоритмов категоризации данных, критерия знаков, критерия Вилкоксона.

6. Новый метод планирования экспертизы на базе введенного понятия «куб экспертного эксперимента», разработка технологии проведения экспертизы, методики численного эксперимента и программного обеспечения.

Практическая значимость работы определяется комплексом проведенных исследований, позволивших создать новую методику планирования экспертного эксперимента с различными вариантами усреднения: по множеству экспертов, по множеству признаков, по множеству объектов. Разработана детализированная технология проведения экспертизы, методика численного эксперимента и программное обеспечение как для простых задач экспертизы, так и для сложных и ответственных задач. В последнем случае следует использовать все возможности разработанного метода: подбор согласованной группы экспертов на основе близости векторов их оценок пространстве признаков; определение минимально достаточного с вероятностной точки зрения количества экспертов; обоснованный выбор множества весовых коэффициентов в комплексном показателе качества и др.

Результаты работы внедрены в НИР Концерна «Созвездие», в ФБУ ЦИТО УФСИН России по Воронежской области, и в учебный процесс Воронежского института ФСИН России и Воронежского института МВД России.

Апробация работы. Основные результаты работы докладывались и обсуждались: на Всероссийской научно-практической конференции «Охрана, безопасное ib и связь-2007» - Воронеж, Воронежский институт МВД России, 2007; на IX Всероссийской научно-технической конференции «Повышение эффективности средств обработки информации на базе математического моделирования» - Тамбов (27 - 28 апреля 2009 г.); на 5-ой Международной заочной научно-практической конференции «Составляющие научно-технического прогресса» - Тамбов, ТГТУ (29 - 30 апреля 2009 г.); на 7-ой Всероссийской научно-практической конференции с международным участием «Инновационные технологии и экономика в машиностроении» — Юрга, Юргинский технологический институт (филиал) Томского политехнического университета (21-22 мая 2009 г.).

Публикации. По теме диссертационного исследования опубликовано 14 печатных работ.

Содержание работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 149 наименований, одного приложения, и содержит 162 страниц машинописного текста, 23 рисунка, 13 таблиц.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Бабкин, Сергей Александрович

Выводы:

1. Предложен новый метод статистического экспертного анализа, элементами которого являются: представление мнений экспертов векторами в многомерном пространстве признаков; определение согласованности на основе принадлежности векторов «шару» в многомерном пространстве; установление минимально достаточного количества экспертов на основе вычисления обобщенной дисперсии выборки с учетом коррелированности векторов оценок; ортогонализация векторов оценок; введение комплексного показателя качества, учитывающего влияние признаков и функцию цены; регрессионный анализ комплексного показателя; планирование экспертизы на основе введенного понятия «куб экспертного эксперимента».

2. На основе сравнительного анализа двух основных направлений развития экспертных систем: так называемых систем искусственного интеллекта и систем, основанных на статистических методах оценки, установлена предпочтительность использования систем второго вида в силу серьезных методологических недостатков первых систем.

3. Для строгого математического обоснования разрабатываемого метода введено экспертно-статистическое пространство, состоящее из трех множеств (множества объектов, множества экспертов, множества экспертных оценок) и предложено использовать интеграл Стилтьеса.

4. Основой предложенного метода является сделанная гипотеза о существовании идеального наблюдателя (эксперта), который повторяет эксперимент оценки многократно. Тогда отклонения оценок в каждом испытании могут быть интерпретированы статистически, и показано, что статистические свойства таких оценок являются благоприятными.

5. В отличие от известных методов определения минимального количества экспертов предложен новый метод, основанный на обобщенной дисперсии выборки. Метод позволяет учесть взаимную корреляцию между векторами оценок, значительно уменьшить требуемое количество экспертов, а при ортогонализации векторов оценок - выявить наиболее компетентных экспертов.

6. Для простых конкурирующих гипотез при HQ,HX (например, выбор между баллами «3» или «4») экспертных оценок разработана методика определения наилучшей критической области (НКО) w.

7. Разработана методика решения экспертной задачи на основе использования регрессионного анализа. Показано, что зависимость J от наличия качественных признаков любого товара носит существенно нелинейный характер. Поэтому возникает необходимость использования нелинейной (полиномиальной) регрессии или представления экспертных данных линейной комбинацией ортогональных функций.

8. Для повышения надежности экспертизы на этапе предварительного анализа предложены и исследованы алгоритмы, основанные на использовании критериев знаков и Вилкоксона.

9. Разработаны два варианта численного эксперимента при проведении экспертизы. Первый из них предполагает использование всех возможностей предложенного метода: подбор согласованной группы экспертов; определение минимально достаточного количества экспертов; выбор множества весовых коэффициентов в комплексном показателе качества и др. Второй, упрощенный вариант предполагает оценку сравниваемых объектов в совокупности, без выделения в них различных признаков, и предназначен для решения простых задач экспертизы.

Рекомендации:

1. Для планирования статистического эксперимента предложено и обосновано новое понятие: куб экспертного эксперимента. При необходимости усреднения оценок по признакам следует использовать движение по горизонтальной грани куба, а по экспертам - по вертикальной грани.

2. Вместо известного коэффициента конкордации в качестве критерия согласованности мнений экспертов следует использовать проверку факта попадания векторов оценок в многомерный «шар» в пространстве признаков, а для уменьшения необходимого количества экспертов - процедуру ортогонализации векторов оценок экспертов.

3. В качестве меры для сравнения объектов экспертизы предлагается использовать разработанный комплексный показатель качества, учитывающий влияние как качественных (страна изготовления, удобство пользования и т.д.), так и количественных характеристик (помехоустойчивость, дальность связи и т.д.) сравниваемых объектов с учетом функции цены.

4. С учетом того, что зависимость показателя J от наличия качественных признаков и цены радиотехнического товара носит существенно нелинейный характер, для дорогостоящих устройств возникает необходимость использования нелинейной (полиномиальной) регрессии или представления экспертных данных линейной комбинацией ортогональных функций регрессии.

5. Для повышения надежности экспертизы на этапе предварительного анализа целесообразно применять алгоритмы: категоризации данных, критерия знаков, критерия Вилкоксона.

6. В процессе основной экспертизы рекомендуется следовать этапам разработанной в диссертации технологии проведения экспертизы: постановка цели и задач экспертизы; подбор группы экспертов; выделение качественных и количественных признаков объекта; выбор шкалы оценивания; формирование комплексного показателя качества; разработка плана вычислительного эксперимента; получение экспертных оценок и их статистическая обработка; формирование заключения экспертизы.

7. Разработаны два варианта программ численного анализа согласованности экспертов и обработки экспертных оценок. Для простых задач экспертизы целесообразно использовать упрощенную программу экспресс-анализа, основанную на максимизации комплексного показателя качества, или основную программу, использующую общие оценки объектов экспертизы без выделения отдельных признаков. Для сложных и ответственных задач экспертизы целесообразно использовать разработанный метод в полном объеме.

ЗАКЛЮЧЕНИЕ

В работе разработан статистический подход к экспертной оценке технико-экономических характеристик радиотехнических систем и устройств. Построена математическая модель экспертного оценивания, разработаны и проанализированы математические методы и алгоритмы, на основе которых предложена технология статистической экспертной оценки.

На основе проведенных исследований можно сделать следующие выводы и рекомендации.

Список литературы диссертационного исследования кандидат технических наук Бабкин, Сергей Александрович, 2009 год

1. Адаптивные и экспертные системы в управлении Текст. : Сб.тез. докл. 5-го ленингр. симпоз. по теории адаптив. систем, 17-19 апр. 1991 г./ ЛДНТП-Л., 1991.- 129 с.

2. Анализ и диагностика финансово-хозяйственной деятельности предприятий Текст. / Под ред. проф. В. Я. Позднякова. -М.: ИНФРА-М, 2008. -617с.

3. Бабкин, С.А. Системы статистической обработки экспертных оценок Текст. / С. А. Бабкин, В. В. Конобеевских // Современные проблемы науки : сб. материалов междунар. науч. конф. / ТГТУ. Тамбов 2009. - С. 104-106.

4. Бабкин, С. А. Общие принципы построения интерпретатора экспертной системы Текст. / С. А. Бабкин, В. В. Конобеевских // Современные проблемы науки : сб. материалов междунар. науч. конф. / ТГТУ. Тамбов 2009. - С. 103104.

5. Бабкин, С. А. Экспертные системы, основанные на статистической обработке информации Текст. / С. А. Бабкин // Охрана, безопасность и связь : сб. материалов междунар. науч. конф. / Воронежский институт МВД России. — Воронеж, 2007. Ч. 2. - С. 53-55.

6. Бабкин, С. А. Теоретико-информационный подход к экспертной оценке качества устройств и систем связи Текст. / С. А. Бабкин, С. В. Бухарин // Теория и техника радиосвязи : научно-технический сборник 2008. - Вып. 2. — С.54-57.

7. Бабкин, С. А. Теоретическое обоснование экспертно-статистических методов Текст. / С. А.Бабкин // Вестник Воронежского института МВД России. Воронеж-2008.- №3.-С. 136-141.

8. Бабкин, С. А. Статистические свойства экспертных оценок Текст. / С. А.Бабкин, В. В. Конобеевских. // Вестник Воронежского института МВД России. Воронеж - 2008. - №3. - С. 141-147.

9. Бабкин, С. А. Организация экспертизы на основе статистических методов обработки информации Текст. / С. А. Бабкин, В. В. Конобеевских. И — Вестник Воронежского института МВД России. Воронеж 2008. - № 4. — С. 123-130.

10. Бабкин, С. А. Установление однородности радиотехнических товаров (работ, услуг) на основе критерия знаков Текст. / С.А. Бабкин, С.В. Бухарин. // Вестник Воронежского института МВД России. Воронеж 2009. - № 1. - С. 115-121.

11. Бабкин, С. А. Установление цены радиотехнических товаров на основе статистического критерия Вилкоксона Текст. / С.А. Бабкин// Вестник Воронежского института МВД России. Воронеж. 2009. — № 2. - С. 155-156.

12. Бабкин, С.А. Оценка согласованности мнений экспертов Текст. / С. А. Бабкин, В. В. Конобеевских, А. С. Мальцев // инновационные технологии и экономика в машиностроении : сб. материалов, междунар. науч. конф. / ЮТИ.- Юрга, 2009. С. 459-462.

13. Басовский, Л. Е. Теория экономического анализа Текст. / JI. Е. Басовский. //- М.: ИНФРА-М, 2001.-221 с.

14. Башлыков, А. А. Экспертные системы поддержки принятия решений в энергетике Текст. / А. А. Башлыков. // М.: Изд-во МЭИ, 1994. - С. 213.

15. Бешелев, С. Д. Математико-статистические методы экспертных оценок Текст. / С. Д. Бешелев, Ф. Г. Гурвич. И — М.: Статистика, 1980.

16. Бохуа, Н. К. Экспертные системы: опыт проектирования Текст. / Н. К. Бохуа, В. А. Геловани, О. В. Ковригин // Междунар. НИИ пробл. управления, ВНИИ систем, исслед. М.: МНИИПУ, 1990. - 347 с.

17. Брусакова, И. А. Проектирование баз знаний и экспертные системыТекст. / И. А. Брусакова, Д. Д. Недосекин, С. В. Прокопчина : учеб. Пособие. Санкт-Петербург, гос. электротехн. ун-т им. В. И. Ульянова (Ленина).— Санкт-Петербург, 1993. - 57 с.

18. Бухарин, С. В. Методы и приложения теории нестационарных систем: Монография Текст. / С. В. Бухарин, В. Г. Рудалев // Изд-во Воронежского госуниверситета. Воронеж, 1992. - 119 с.

19. Бухарин, С. В. Экспертные системы в организации налогового учета: Монография Текст. / С. В. Бухарин [и др.]; Под ред. проф. С. В. Бухарина // Изд-во Липецкого государственного технического университета. — Липецк, 2003.-146 с.

20. Бухарин, С. В. Экспертные системы оценки качества и цены товаров (работ, услуг) Текст. / С. В. Бухарин, Е. С. Забияко, В.В. Конобеевских // Монография под ред. проф. С. В. Бухарина. Воронеж : АОНО «ИММФ», 2006. - 200 с.

21. Бухарин, С. В. Экспертные методы принятия решений Текст. / С. В. Бухарин, Н. Н. Рудакова, Я. В. Тарасов // Экономическое прогнозирование: модели и методы : Материалы междунар. науч.- практ. конф. ВГУ, 2006. — Воронеж.-4.2.-С. 151-156.

22. Веселов, А. И. Экспертные системы современные средства решения научных задач Текст. / А. И. Веселов.— М.: ЦНИИ атоминформ, 1989. - 27 с.

23. Виханский, О. С. Менеджмент: Учебник Текст. / О.С. Виханский, А.И. Наумов //. М.: Гардарики, 2000. - 528 с.

24. Волков, А. М. Экспертные системы: структурно-функциональный подход к извлечению передового опыта : Препринт Текст. / А. М. Волков, Ю.

25. Е. Царев, B.C. Федченко //. Моск. авиац. ин-т им. Серго Орджоникидзе. - М.: Изд-во МАИ, 1991.-56 с.

26. Воронин, Ю. А. Завтра геологоразведки: экспертные или теоретические системы Текст. / Ю. А. Воронин // ВЦ СО АН СССР, Новосибирск, 1987.-25 с.

27. Вычислительные системы. Искусственный интеллект и экспертные системы Текст. / Науч. ред. Н. Г. Загоруйко: Сб. науч. тр. // Рос. акад. наук, Сиб. отд-ние, Ин-т математики им. С. JI. Соболева. — Новосибирск: ИМ, 1997. — 216с,

28. Выявление экспертных знаний (процедуры и реализации) Текст. / О. И. Ларичев, А. И. Мечитов, Е. М. Мошкович. Е. М. Фуремс //. М.: Наука,1989,- 128 с.

29. Гаврилова, Т. А. Базы знаний интеллектуальных систем Текст. / Т. А. Гаврилова, В. Ф. Хорошевский //. СПб.: ПИТЕР, 2000. - 138с.

30. Гаврилова, Т. А. Извлечение и структурирование знаний для экспертных систем Текст. / Т. А. Гаврилова, К. Р. Червинская //. — М.: Радио и связь, 1992.-200 с.

31. Гибридные экспертные системы в задачах проектирования сложных технических объектов Текст. : Материалы краткосроч. науч.-техн. Семинара / Под ред. Ю. В. Юдина //. СПб.: СПбДНТП, 1992.—148 с.

32. Головко, А. П. Экспертные системы. Основные концепции Текст. / А. П. Головко ; М-во образования Рос. Федерации: учеб. Пособие. Курган, гос. ун-т.— Курган: Изд-во Курган, гос. ун-та, 2000. - 90 с.

33. Гуляев, В. А. Экспертные системы диагностирования электронного оборудования Текст. / В. А. Гуляев, С. А. Смыслова // ИПМЭ. Киев, 1989. -34 с.

34. Гуляев, В. А. Экспертные системы диагностирования функциональных систем воздушных судов и обеспечения безопасности полетов Текст. / В. А. Гуляев, О. А. Курганский, И. П. Михайловский //. ИПМЭ, Киев1990.-42 с.

35. Джексон, П. Введение в экспертные системы Текст. / П. Джексон; Пер. с англ. Р. 3. Пановой // 3-е изд. - М.: Вильяме, 2001. - 622 с.

36. Диалоговые системы и представление знаний Текст. / Кокорева Л.В., Перевозчикова О. Л., Ющенко Е. J1. // АН Украины. Ин-т кибернетики. К.: Наук, думка, 1992. - 448 с.

37. Ефимов, Н. Н. Основы информатики. Введение в искусственный интеллект Текст. / Н.Н. Ефимов, B.C. Фролов //. М.: Изд-во МГУ, 1991. - 98 с.

38. Игнатов, В. А. Экспертные системы технического обслуживания Текст. / В. А. Игнатов //.— Киев: о-во "Знание" УССР, 1985.—20 с.

39. Илюхин, А. А. Экспертные системы на реляционной основе Текст. / А. А. Илюхин, Л. Ю. Исмаилова, 3. И. Шаргатова // Учеб. пособие Моск. инж.-физ. ин-т, фак. кибернетики.— М.: МИФИ, 1990.— 62 с.

40. Искусственный интеллект. Базы знаний и экспертные системы: Учеб. пособие для вузов Текст. / А. М. Дворянкин, А. В. Кизим, И. Г. Жукова, М. Б. Сипливая // М-во образования Рос. Федерации, Волгогр. гос. техн. ун-т.— Волгоград: Политехник, 2003.— 139 с.

41. Искусственный интеллект. Новая информационная технология Текст. / Г. С.Поспелов //Вестник АН СССР. 1983. -№ 6. - С. 31 - 42.

42. Картавцев, Д. В. Математическое моделирование систем управления информационными структурами с использованием принципов построения дискретных систем Текст. : Автореф. . дис. канд. техн. наук / Д. В. Картавцев. Воронеж: ВИ МВД РФ, 2006. - 16 с.

43. Кендалл, М. Дж. Статистические выводы и связи Текст. / М. Дж. Кендалл, А. Стьюарт. М.: Наука, 1973. - 899 с.

44. Кендэл М. Ранговые корреляции Текст. М.: Статистика, 1975. - 220с.

45. Кожарский, J1. А. Экспертные системы интеллектуальное ядро ЭВМ "пятого поколения" Текст. / JL А. Кожарский.—М.: Знание, 1984.—64 с.

46. Конопелько, J1. А. Экспертная система для обработки данных газоаналитических измерений Текст. / J1.A. Конопелько, В.В. Растоскуев // Приборы и системы управления. 1995. -№7. - С. 30-35.

47. Крамер, Г. Математические методы статистики Текст. / Г. Крамер. М.: Мир, 1975.- 648 с.

48. Красноженов, Ю. Б. Введение в экспертные системы Текст. / Ю. Б Красноженов, П. В. Шумаков ; Моск. гос. акад. приборостроения и информатики, Каф. информ.- управляющих систем.— М.: МГАПИ, 1995.—110 с.

49. Красноженов, Ю. Б. Экспертные системы и системы продукций Текст. / Ю. Б. Красноженов, П. В.Шумаков; Моск. гос. акад. приборостроения и информатики, Каф. информ. управляющих систем.— М.: МГАПИ, 1995.— 19 с.

50. Кремер, Н. Ш. Эконометрика: Учебник для вузов Текст. / Н.Ш. Кремер, Б. А. Путко // . М.:ЮНИТИ-ДАНА, 2002. - 311 с.

51. Крылова, Е. В. Экспертные системы. Обзор советской и зарубежной литературы Текст. / Е. В. Крылова. М.: ИРЭ, 1992. -40 с.

52. Кук, Н. М. Формальная методология приобретения и представления экспертных знаний Текст. / Н.М. Кук, Дж. Макдональд // ТИИЭР. 1986. - Т. 74. - № 10.-С. 145-155.

53. Ларичев, О. И. Выявление экспертных знаний Текст. / О.И. Ларичев [и др.]. -М.: Наука, 1989. 361 с.

54. Литвак, Б. Г. Экспертная информация: методы получения и анализа Текст. — М.: Радио и связь, 1982. — 184 с.

55. Лорьер, Д. Л. Системы искусственного интеллекта Текст. / Д. Л. Лорьер. М.: Мир, 1991. - 320 с.

56. Люстерник, Л. А. Краткий курс функционального анализа Текст. / Л.А. Люстерник, В.И. Соболев // :Учебное пособие. — М.: Высшая школа, 1982. 271 с.

57. Марселлус, Д. Н. Программирование экспертных систем на Турбо Прологе Текст. М.: Финансы и статистика, 1994.

58. Методология конструирования диагностирующей экспертной системы (на базе оболочки BESS) Текст. / И.Н. Пустынникова // Вюник Донецького ушверситету. Сер1я А. Природнич1 науки. - 1998. - № 1. - С. 182- 187.

59. Методы и системы принятия решений. Экспертные системы в автоматизированном проектировании Текст.: Сб. науч. тр. / Риж. политехи, инт — Рига: РПИ, 1990.—174 с.

60. Методы и системы технической диагностики Текст.: Межвуз. сб. науч. тр.- Саратов: Изд-во Сарат. ун-та, 1980. 148 с.

61. Мешалкин, В. П. Экспертные системы в химической технологии: Основы теории, опыт разраб. и применения Текст. / В. П. Мешалкин.—М.: Химия, 1995.—366 с.

62. Минский, М. Фреймы для представления знанийТекст. М.: Энергия, 1979.

63. Михлин, Л. П. Экспертные системы в оперативном управлении промысловым флотом Текст. / Л. П. Михлин, С. В. Ольшанский, В. В. Тимофеева // : Учеб. пособие. Калининград: ВИПК Минрыбхоза СССР, 1987.— 49с.

64. Мицкевич, А. А. Базы знаний и экспертные системы Текст. / А. А. Мицкевич, Е. А. Константинова, С. Г. Мухамедвалеева //Учеб. пособие.—М.: МИУ, 1989.—79 с.

65. Мишин, В. М. Управление качеством Текст. / В.М.Мишин // : Учеб. пособие для вузов. М.:ЮНИТИ-ДАНА,2000. - 303 с.

66. Многоуровневые экспертные системы диагностирования электроэнергетического оборудованияТекст. / В. А. Гуляев, В. Ф. Скляров, С. В. Колесников, В. Б. Полищук.—Киев: ИПМЭ, 1987.-26 с.

67. Моделирование и экспертные системы: Сб. науч. тр. Текст. / Моск. ин-т радиотехники, электрон, и автоматики-М.: МИРЭА, 1989.-148 с.

68. Навоев, В. В. Экспертно-статистический метод оценки характеристикинформационно-измерительных систем Текст. : автореф. дисс. соиск.канд.техн. наук / В.В. Навоев. Воронеж: ВИ МВД РФ, 2003. - 16 с.

69. Налоговый кодекс Российской Федерации Текст. Ч. 1 и 2. М.: ОМЕГА-Л, 2005.-640 с.

70. Нейлор, К. Как построить свою экспертную систему Текст. — М.: Энергоатомиздат, 1991.- 120 с.

71. Орлов, А. И. Допустимые средние в некоторых задачах экспертных оценок и агрегирования показателей качества Текст. / А.И. Орлов. — Многомерный статистический анализ в социально-экономических исследованиях. М.: Наука, 1974. - С. 388-393.

72. Особенности решения задач экспертными системами реального масштаба времени Текст. / Сазыкин В.Г // Приборы и системы управления, 1995, №10.- С.56 -58.

73. Осуга, С. Обработка знаний / С. Осуга; Пер. с японск. В.И.

74. Этова. М, Мир. 1989. - 322 с.

75. Пахлеванян, А. Р. Экспертные системы для автоматизации процесса контроля РЭС / А. Р. Пахлеванян; Моск. авиац. ин-т.—М.: Изд-во МАИ, 1992,—85 с.

76. Петрушин, В. А. Экспертно-обучающие системы Текст. К.: Наук, думка, 1992.- 196 с.

77. Попов, В. В. Статические и динамические экспертные системы (классификация, состояние, тенденции) Текст. / В. В. Попов, И. Б.Фоминых, Е. Б. Кисель.-М.: ЦРДЗ,1995.- 157 с.

78. Попов, Э. В. Статические и динамические экспертные системы Текст. / Э. В. Попов //: Учеб. пособие. М: Финансы и статистика, 1997.—320 с.

79. Попов, Э. В. Экспертные системы решения неформализованных задач в диалоге с ЭВМ. Текст. / Э.В. Попов М.; Наука, 1987. - 288 с.

80. Портер, У. Современные основания общей теории систем Текст. / У. Портер. М.: Наука, 1971.-556 с.

81. Поспелов, Г. С. Искусственный интеллект основа новой информационной технологии Текст. - М.: Наука, 1988.

82. Поспелов, Д. А. Моделирование рассуждений Текст. М.: Радио и связь, 1989.

83. Построение экспертных систем Текст. / Д. Ленат ;Под ред. Хейеса-Рота, Д. Уотермана,. М.: Мир, 1987. - 441 с.

84. Представление знаний и экспертные системы Текст.: Сб. науч. тр. / АН СССР, Ленингр. ин-т информатики и автоматизации.— Л.: ЛИИАН, 1989.—194 с.

85. Представление и использование знаний Текст. / М. Исидзука; Под ред. X. Уэно. М.: Мир, 1989. - 220 с.

86. Пригожин, Б. В. Современные экспертные системы и перспективы их применения в черной металлургии Текст. / Б. В. Пригожин.—М.: Ин-т "Черметинформация", 1991.—32 с.

87. Проблемы математического моделирования и экспертные системы: Вопросы кибернетики Текст.: Сб. ст. / АН СССР, Науч. совет по комплекс, пробл. "Кибернетика".-М.: Науч. совет по комплекс, пробл. "Кибернетика" АН СССР.-1990.-116, с.

88. Проектирование и программная реализация экспертных систем на персональных ЭВМ Текст. / Таунсенд К. М.: Финансы и статистика, 1990. -145 с.

89. Рудакова, Г. М. Искусственный интеллект. Экспертные системы Текст. / Г. М. Рудакова; М-во образования Рос. Федерации, Сиб. гос. технол. ун-т,— Красноярск: СибГТУ, 2002.—87 с.

90. Севастьянов, Б. А. Курс теории вероятностей и математической статистики Текст. / Б.А. Севастьянов. М.: Наука, 1982. - 256 с.

91. Сафонов, В. О. Экспертные системы интеллектуальные помощники специалистов / В. О. Сафонов //; О-во "Знание" России, Санкт-Петербург, орг.— СПб.: С.-Петербург, орг. о-ва "Знание" России, 1992.—29 с.

92. Слуцкин, Л. Н. Обобщенный метод моментов Текст. / Л.Н. Слуцкин. Прикладная эконометрика. - 2007. - № 3(7). - С. 119-133.

93. Создание экспертных систем с помощью BESS Текст. / Г.А. Атанов, И.Н. Пустынникова // Знания Диалог - Решение: Сб. науч. тр. - Крым, Ялта. -1995.-С.315-323.

94. Сойер, Д. Программирование экспертных систем на Паскале Текст. / Д. Сойер, Д. В. Фостер. М.: Финансы и статистика 1990. - 136 с.

95. Соложенцев, Е. Д. Введение в интеллектуальные АРМ и экспертные системы в машиностроении Текст. / Е. Д. Соложенцев //: Учеб. пособие; Ленингр. ин-т авиац. приборостроения.— СПб.: ЛИАП, 1991.—85 с.

96. Сравнительный анализ инструментальных средств для разработки систем управления реального времени Текст. / Е. Б. Кисель //Экспертные системы реального времени: Материалы семинара. М.:ЦРДЗ, 1995. - 114 с.

97. Статистические методы анализа экспертных оценок Текст.: Сб. статей. — М.: Наука, 1977. — 320 с.

98. Сухих, Н. Н. Экспертные системы — средство информационной поддержки принятия решения экипажем самолета Текст. / Н. Н. Сухих; Ленингр. Дом науч.-техн. пропаганды.—СПб.: ЛДНТП, 1991.—19с.

99. Талдыкин, А. Т. Элементы прикладного функционального анализа Текст.: Учебное пособие / А.Т. Талдыкин. М.: Высшая школа, 1982. - 383 с.

100. Темкин, И. О. Экспертные системы в управлении Текст.: Учебное пособие/ И. О. Темкин; Моск. гос. горн. ун-т.— М.: МГГУ,1994.—46 с.

101. Тихонов, В. И. Статистическая радиотехника Текст. / В.И. Тихонов. М: Сов. радио, 1966. - 678 с.

102. Трахтенгерц, Э. А. Компьютерная поддержка принятия решений Текст. / Э.А.Трахтенгерц, К. Фохт. М.: СИНТЕГ, 1998. - 87 с.

103. Тульчин, J1. Г. Оценка качества электроизмерительных приборов Текст. / Л.Г. Тульчин, В.Д. Шаповалов//. Л.: Энергоиздат., 1982. -216 с.

104. Убейко, В. М. Экспертные системы Текст.: Учеб. пособие / В. М. Убей ко, В. В. Убейко; Моск. авиац. ин-т им. Серго Орджоникидзе.— М.: Изд-во МАИ, 1992.—82с.

105. Уилкс, С. Математическая статистика Текст.: Монография / С. Уилкс. М.: Наука, 1967.-632 с.

106. Уотермен, Д. Руководство по экспертным системам Текст. / Д. Уотермен. М.: Мир, 1989. - 388 с.

107. Фишберн, П. К. Измерение относительных ценностей Текст. В кн.: Статистическое измерение качественных характеристик. -М.: Статистика, 1972.

108. Частиков, А. П. Разработка экспертных систем. Среда CLIPS Текст. / А. П. Частиков, Т. А. Гаврилова, Д. Л. Белов. СПб.: БХВ-Петербург, 2003. -606 с.

109. Черемхин, М. К. Экспертные системы Текст.: Учеб. пособие для вузов./ М. К. Черемхин. — М.: Изд-во МГОУ, 1994.—76 с.

110. Чернышов, Е. Э. Бортовые экспертные системы авиационных комплексов: Учеб. пособие Текст. / Е. Э. Чернышов.— СПб.: Радиоавионика, 1996.—256 с.

111. Шенк, X. Теория инженерного эксперимента Текст. / X. Шенк. -М.: Мир, 1972.-381 с.

112. Экспертные системы авиационно-космического назначения Текст.: Учеб. пособие / А. В. Никитин, М. Г. Зеленский, А. П. Панков и др.; Санкт-Петербург. гос. акад. аэрокосмич. приборостроения.— СПб.: СПбГААП, 1993.—89 с.

113. Экспертные системы для персональных компьютеров: Методы, средства, реализации Текст.: Справ, пособие / В. С. Крисевич и др.—Минск: Вышэйш. шк, 1990.—190 с.

114. Экспертные системы и анализ данных Текст.: Сб. науч. тр. / Под ред. Н.Г. Загоруйко. Новосибирск. -1991. - С. 54-76.

115. Экспертные системы и инструментальные методы формализации знаний Текст.: Сб. науч. тр. / Всесоюз. заоч. политехи, ин-т; Ред. Ю. М. Хамидулин.—М.: ВЗПИ, 1989.—98 с.

116. Экспертные системы на персональных компьютерах Текст.: Матер, сем.—М.: МДНТП, 1990.—140 с.

117. Экспертные системы реального времени Текст. / Э.В. Попов //Открытые системы. 1995-№2. -С.45-49.

118. Экспертные системы экспериментального моделирования в энергетике Текст.: Метод, рекомендации / Подгот. А. В. Цукановым. Киев: О-во "Знание" УССР, 1989. - 17 с.

119. Экспертные системы: инструментальные средства разработки Текст.: Учеб. пособие / Л. А. Керов и др. СПб.: Политехника, 1996. - 218 с.

120. Экспертные системы Текст.: Матер. конф. ВНТО приборостроителей за 1988-1990 гг. / Моск. гор. правл, ВНИИ информ. и экономики "Информприбор". -М.: Ин-т "Информприбор", 1990. 115 с.

121. Экспертные системы Текст.: Материалы семинара. М.: МДНТП, 1986.- 138 с.

122. Экспертные системы: Принципы работы и примеры Текст. / А. Брукинг, П. Джонс, Ф. Кокс и др.; Под ред. Р. Форсайта; Пер. с англ. С. И. Рудаковой. М.: Радио и связь, 1987. - 220 с.

123. Экспертные системы Текст.: Сб. тез. докл./ Всесоюз. совещ., Суздаль, дек. 1990. М.: ИПУ, 1990. - 190 с.

124. Экспертные системы Текст.: Сб. тр. / Ред. Б. М. Васильев. М.: Знание, 1990.- 147 с.

125. Экспертные системы: состояние и перспективы Текст.: Сб. науч. тр. / АН СССР, Ин-т пробл. передачи информ. М.: Наука, 1989. - 150 с.

126. Элти, Д. Экспертные системы: концепции и примеры Текст. / Д. Элти, Д. Кумбс. М.: Финансы и статистика, 1987. - 221 с.

127. Эндрю, А. Искусственный интеллект Текст. М.: Мир, 1985. - 312с.

128. Эпитафия экспертным системам Текст. /Т. Давенпорт // Компьютеруик.- 1995.- №27. С.18-25.

129. Aikins J.S. Prototypical knowledge for expert systems // Artificial Intelligence.- 1983.-V. 20.- P. 163-210.

130. Atanov G., Pustynnikova I. Learning by constructing knowledge bases for expert systems // Proc. International Conf. on Computers in Education. V. 2. -Chiba, Japan. - 1999. - Pp. 555 - 558.

131. Duda, R.O. Subjective Bayesian methods for rule-based system / R.O. Duda and others. // Proceedings of the AFIPS. 1976. - V.45. - P. 1075- 1082.

132. Duda R.O., Gaschnig J.G. Knowledge-based exspert systems come of age //BYTE. 1981, V. 6. - № 9. - P. 238 - 281.

133. Duda, R,0. Expert systems Research / R.O. Duda. N.Y.: Science -1983.-261 p.

134. Erutan L.O. and others. The design and an example use of HEARSAY-III//The Seventh International Joint Conference ob Artificial Intelligence. -Vancouver: University of British Columbia, 1981.-P. 409 415.

135. Feigenbaum E. A. The art of artificial intelligence : Themes and case studies of knowledge engineering//The fifth International Joint Cortference on Artificial Intelligence. Boston: MIT, 1977. - P.1014-1029.

136. Feigenbaum E. A. Themes: and case studies of knowledge engineering//Expert system in micro electronic age, Edinburgh: Infotach Limited, 1979. - P.3-25.

137. Greiner R., Lenat D. A representation language//The first national conference on Artificial Intelligence. Stanford: Stanford University Press, 1980. - P. 165 -169.

138. Harmon P. The Market for intelligent Software Products Intelligent Software Strategies, 1992. V,8. 2. - P.5 -12.

139. Harmon Paul. G2: Gensym's Real-Time Expert System //Intelligent Software Strategies. Vol. 9. -1993. March:- No. 3.

140. Hayes-Roth F.,iJafobstein N. The State of Knowledge Based Systems// Communications of the ACM, 1994, March. V.37. - No.3.-P. 27-39.

141. Loofbourrow Т. Экспертные системы еще живы. Компьютеруик. -1995, 5 11 октября, -36(194). - 21 с.

142. Robert L. Moore. Expert Systems in Real-Time Applications Experience and Opportunities, Expert System Application in Advanced Control, Proceeding the Seventeenth Annual Advanced Control Conference West Japan. - 1999. - Pp. 555 - 558.

143. Robinson J.A. A machine-oriented logic based on resolution principle. Journal of the ACM:-,1965. V. 12.-№ l.-P. 23-41.

144. Yaghmai, N.S. Expert systems: a tutorial / N.S. Yaghmai, J.A. Maxin // J. Amer. Soc. Inform. Sci. 1984. - Vol. 35. - № 5. - P. 297-305.