Комплексный подход к оценке релевантности структурной согласованности тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Самохвалов, Роман Викторович

• Самохвалов, Роман Викторович
• кандидат технических наук
• 2002

Оглавление диссертации кандидат технических наук Самохвалов, Роман Викторович

Введение

Глава I. Проблемы диссеминации знаний

1.1. Тематический поиск и локализация знаний

1.2 Использование модели многомерной базы данных

1.3. Методы диссеминации знаний

1.4. Специфика идентификации неструктурированных документов

1.5. Тематический анализ и поиск документов с помощью модуля Russian Context Optimizer (RCO)

Глава II. Структурная согласованность данных и знаний

2.1. Дискретная модель внутреннего состояния взаимосвязанных объектов

2.2. Проблема установления сходства

2.3. Обобщенный критерий согласованности - поликонсонанс

2.4. Методы анализа и уменьшения рассогласованности

2.5. Интеллектуальный обработчик информации (система INTELLEDGER)

Глава III. Экспертный анализ диссеминации знаний

3.1. Экспертная оценка сходства документов. Описание общего подхода

3.2. Математические основы метода согласованности экспертных оценок

3.3. Модель вычислений

3.4. Программная реализация и экспериментальные результаты.

Модуль "Expert"

Глава IV. Оценка результатов диссеминации в интеллектуальных системах

4.1. Этапы реализации комплексного подхода

4.2. Пример построения текстового индекса с помощью модуля Russian Context Optimizer (RCO)

4.3. Пример использования модуля LSI в экспериментальном программно-техническом комплексе интеллектуальной обработки информации ("КИОИ")

4.4. Экспертная оценка качества кластеризации

4.5. Комплексная система диссеминации текстовой информации

Введение диссертации (часть автореферата) на тему «Комплексный подход к оценке релевантности структурной согласованности»

Тема диссертации:

Комплексный подход к оценке релевантности структурной согласованности".

Состояние проблемы. Работа экспертов в современных условиях требует новых подходов в организации их аналитической деятельности. Широкий тематический спектр решаемых задач, большие объемы доступной информации, необходимость интеграции - все это выдвигает на первый план проблему создания интеллектуальных средств поддержки их деятельности, обеспечивающих формализацию, накопление и непротиворечивость их знаний. При всем богатстве и разнообразии существующих на сегодня инструментальных средств работы с информацией, они, к сожалению, не отвечают выдвинутым требованиям и оказываются неэффективными в ситуациях, когда необходима реструктуризация базы знаний аналитика в соответствии с динамично изменяющимися условиями и характером решаемых задач. Решающее значение в этом играет диссеминация знаний (dissemination - распределение - термин," активно используемый в настоящее время в теории систем управления знаниями [26], составляющая основу одного из этапов общего процесса, с помощью которого различные эксперты, работая над решением общих или близких аналитических задач, способны обмениваться накопленными ими знаниями, используя различные методы взаимодействия друг с другом, в том числе и посредством управляющих корпоративных систем. К сегодняшнему моменту данная область исследований развивается достаточно активно, разработано множество подходов и методик, с той или иной степенью качества при различных условиях решающих данную задачу. Среди них можно отметить различные детерминированные алгоритмы диссеминации на базе сопоставления ключевых слов, появившиеся еще в конце 60-х годов, векторные методы и их расширения, такие как латентное семантическое индексирование, анализ структурной согласованности документальной базы знаний, экспертные оценки и другие.

Традиционные технологические решения по организации деятельности компаний базируются, как правило, на прогнозировании возможных условий функционирования компаний, предварительной отработке их адекватного поведения в каждом конкретном случае и соответствующем программировании этого поведения, что находило свое отражение в реализации определенных процедур в информационных или управляющих системах. Эти решения традиционно опираются на статические знания, заложенные в виде предварительно подготовленной и соответствующим образом обработанной информации, что практически исключает возможность выявления, оценки и реализации альтернативных вариантов поведения в той или иной обстановке, а внесение новых параметров в системы принятия решений исключительно трудно и требует значительных затрат, связанных с перепрограммированием отдельных процедур или подсистем. Такие системы эффективны до тех пор, пока знания, положенные в основу реализованных программ, остаются адекватными условиям функционирования всей компании. Однако в силу именно статической природы этих знаний, подобные системы не способны реагировать на изменения внешних параметров и препятствуют адаптации компаний к изменяющимся условиям своей деятельности, что сегодня является исключительно важным фактором выживаемости. Все это определяет необходимость выработки новых подходов к реализации корпоративных систем управления, где основная задача состоит не в том, чтобы правильно выполнить некоторые предопределенные действия, а в том, чтобы определить, на основе каких знаний (может быть, дополнительных) и какие именно действия необходимо предпринять в сложившихся условиях для успешного решения каждой конкретной задачи. Акцент, таким образом, делается на обработку динамических (активных) знаний и реализацию процедур накопления, обновления и поиска новых сведений, являющихся неотъемлемой частью систем управления знаниями и принятия решений.

Статическая информация, представляющая собой выходные результаты той или иной компьютерной системы, играет в процессе принятия решений пассивную роль в том смысле, что она не несет в себе практически никаких сведений об отношении человека к предпринимаемым действиям. Активную же роль в этом процессе играют знания и опыт специалистов, которые на их основе способны определенным образом интерпретировать эту информацию, разработать различные сценарии дальнейшего поведения и выбрать среди них оптимальный, опираясь на те условия, которые существуют в настоящий момент. Специалисты выступают в качестве составной и неотъемлемой части всей управляющей системы и эффективность ее реализации во многом зависит от того, насколько ее разработчикам удается добиться синтеза высокой производительности современных технологий с новаторскими и творческими способностями специалистов, вовлеченных в производственный процесс. Знания, которыми располагают эти специалисты, составляют основу интеллектуального капитала компании и умение правильно им распорядиться - залог ее успешной деятельности. Это выдвигает на первый план задачу интеграции знаний экспертов в единую корпоративную базу знаний и обеспечение эффективного доступа к ней всех участников процесса выработки решений. Реальные возможности для решения этой задачи появились с интенсивным развитием глобальной компьютерной сети Интернет. Используемые в этой сети технологические решения нашли широкое применение при создании локальных корпоративных компьютерных сетей (Интранет), что позволило объединить в единое информационное пространство различных специалистов, работающих над решением общих или смежных проблем, но отдаленных при этом друг от друга на сотни и тысячи километров. Это дало возможность реализовать системы, интегрирующие распределенную информацию в единый общедоступный банк данных, однако, практика использования таких систем очень быстро показала, что ключевым моментом здесь является задача организации тематического поиска — выбора из всего массива информационных ресурсов только тех, которые отвечают текущим потребностям на данном этапе решения той или иной аналитической задачи.

Тематический поиск, в отличие от, например, поиска в реляционных базах данных, отличается большой степенью неопределенности. В лучшем случае он формируется в виде логической комбинации ключевых терминов и не дает однозначного результата, что определяет необходимость проведения классификации данных на основе той или иной интуитивно понятной или легко узнаваемой таксономии. Такая классификация может быть проведена вручную самим экспертом на основе детального изучения им обрабатываемых данных, либо с помощью специализированных программных средств, автоматизирующих этот процесс. Несмотря на то, что качество ручной классификации, как правило, исключительно высокое, она оказывается неэффективной в условиях большой динамики данных и ограниченного времени, которым располагает эксперт для принятия решения. С другой стороны, применение автоматизированных средств классификации, базирующихся на алгоритмах теории графов, математической статистики и пр., дает значительный выигрыш во времени, однако часто характеризуется невысоким качеством результатов, что обусловлено в значительной мере слабой формализацией и структуризацией исходных данных и неопределенностью связей между различными информационными объектами. Кроме того, логика проведения автоматической классификации часто оказывается неясной для эксперта, что может вызвать у него недоверие к ним и их неприятие.

Актуальность темы. Все вышеизложенное позволяет сделать вывод о том, что в современных условиях стремление к созданию технологической схемы тематической классификации информации, которая была бы одновременно экономически выгодной и эффективной, приводит к необходимости разработки комплексного подхода к оценке релевантности структурной согласованности баз знаний, совмещающего в себе элементы экспертной и автоматической классификации. Такой метод позволил бы эксперту контролировать весь процесс классификации и вовремя вносить свои собственные коррективы. Эксперт и автоматизированная система выступают, таким образом, как партнеры, выполняющие общую задачу. Возможность эксперта влиять на ход выполнения процесса классификации означает, что в основу нее должен быть положен алгоритм, на каждом шаге которого может существовать несколько вариантов выбора следующего шага и корректировки параметров алгоритма, его реализующего. Отсутствие указанного комбинированного метода классификации данных является сегодня сдерживающим фактором в организации баз знаний экспертов в системах принятия решений и создание такого метода, сочетающего в себе достоинства экспертной и полностью автоматизированной (автономной) классификации, является, таким образом, весьма актуальным.

Цель работы состоит в создании и исследовании методов, обеспечивающих динамическое формирование экспертом согласованной базы знаний на основе информации, получаемой им в процессе диссеминации знаний в системах управления интеллектуальным капиталом. Создание таких методов предполагает формулирование и обоснование критериев структурной согласованности множества взаимосвязанных объектов и разработку способов контроля и оценки согласованности элементов на базе разработанных алгоритмов проблемно-ориентированной классификации.

Достижение поставленной цели даст возможность использовать этот комплексный подход при построении систем поддержки принятия решений на базе Интранет-сетей, повысить качество принимаемых решений и создать основу для интеграции деятельности экспертов с различным уровнем знаний в различных предметных областях при решении общих аналитических задач. Совместный поиск экспертом и автоматизированной системой наилучшего варианта обеспечит понимание экспертом логики получаемых результатов и повышение доверия к ним.

В большинстве случаев экспертные знания отличаются высокой степенью динамичности, что связано с постоянным пополнением и обновлением системы знаний в процессе их работы. В связи с этим создание интерактивного метода поддержания согласованности знаний требует, с одной стороны, соответствующего расширения возможностей контроля релевантности согласования со стороны экспертов, и, с другой стороны, наличия процедуры оценки качества самой проводимой ими экспертизы результатов диссеминации знаний.

Новизна работы. Выполненная диссертационная работа является одной из первых попыток создания комбинированного метода контролируемой диссеминации знаний для корпоративных систем на основе управления согласованностью компонентов знаний. При ее реализации автором достигнуты новые результаты, основные из которых заключаются в следующем:

• Исследована проблема диссеминации структурированных и неструктурированных знаний с целью выбора и обоснования комплексного подхода к оценке релевантности структурной согласованности системы знаний;

• Исследованы возможности диссеминации на базе поликонсонансной структуры взаимосвязанных объектов;

• Впервые предложен подход к экспертному анализу диссеминации знаний на основе квантильного метода формализации мнений экспертов в рамках байесовской формулировки, на базе которого разработан оригинальный интерактивный алгоритм генерации и корректировки экспертных оценок "EXPERT";

• Проведены теоретические исследования, результаты которых позволяют повысить надежность разработанного комбинированного метода диссеминации знаний;

• Разработаны оригинальные методики построения взаимосвязей между оценками диссеминации слабоструктурированных информационных объектов в документальных базах данных, обеспечивающие общий подход к структуризации баз знаний в среде взаимосвязанных данных;

• Предложен новый комбинированный метод построения согласованной базы знаний в системах принятия решений с привлечением экспертного анализа.

Разработанный в ходе выполнения данной работы программный комплекс КИОИ, объединяющий модули LSI, INTELLEGER и EXPERT является уникальным как по самой разработке, так и по своему назначению.

Практическая значимость. В целом диссертационная работа имеет экспериментальный характер, хотя предложенная теория и алгоритмы целиком реализованы в эксплуатируемых программных продуктах. Эти программные продукты представляют собой интеллектуальные средства, предназначенные для использования в составе программного обеспечения систем принятия решений или корпоративных систем управления знаниями. Использование предложенного в работе комбинированного метода управления диссеминацией и реализующих его программных средств позволяет выявлять и настраивать согласованную структуру на множестве информационных объектов, что ведет к повышению качества тематического поиска новых знаний и данных в корпоративных сетях. Возможность настройки параметров, определяющих взаимосвязи между информационными объектами, позволяет поддерживать согласованность знаний за счет выявления взаимосвязей между информационными объектами документальных баз данных, в том числе на CD-ROM дисках, в Интранет-сетях и т.п.

Значительная часть результатов, полученных в ходе выполнения данной работы, вошла в проект Российского фонда фундаментальных исследований № 01-01-00107 «Интеллектуальные средства поддержки согласованной деятельности аналитика в корпоративных системах». Реализующие их алгоритмы включены в демонстрационные макеты программных средств исследований экспериментального программно-технического комплекса интеллектуальной обработки информации КИОИ (http://www.iiprocessor.ru). Эти инструментальные средства использовались при создании динамической системы мониторинга в информационном агентстве «Новые Информационные Системы».

На защиту выносятся:

1. Структуризация проблемы диссеминации знаний в корпоративных системах управления интеллектуальным капиталом как основного метода его формирования и обмена знаниями между экспертами.

2. Использование модели многомерной базы данных для диссеминации, поиска и представления структурированных данных.

3. Алгоритмические методы тематического анализа и поиска документов с помощью модуля Oracle interMedia Text и (для русскоязычных текстов) опции Russian Context Optimizer (RCO).

4. Схема диссеминации на базе поликонсонансной структуры взаимосвязанных объектов, обеспечивающая интерактивное контролируемое уменьшение структурной рассогласованности множества взаимосвязанных объектов для случая поликонсонанса степени п > 2.

5. Методика экспертного анализа диссеминации знаний на основе квантильного метода формализации мнений экспертов в рамках байесовской модели, реализованная автором в оригинальном модуле генерации и корректировки экспертных оценок EXPERT.

6. Обоснование подхода, основанного на использовании метода латентных семантик LSI, и реализация автором соответствующего алгоритма для осуществления проблемно-ориентированной классификации слабоструктурированных объектов в документальных базах данных на основе использования тематической функции сходства.

7. Комплексная система диссеминации текстовой информации и методические основы организации согласованной базы знаний в рамках корпоративных систем управления интеллектуальным капиталом, базирующиеся на интерактивной проблемно-ориентированной классификации знаний с привлечением экспертного анализа.

8. Архитектура программного комплекса диссеминации текстовой информации, объединяющего модули LSI, INTELLEGER и EXPERT.

9. Результаты вычислительных экспериментов по диссеминации реальных неструктурированных информационных ресурсов сети Интернет, проведенные с помощью созданного программного комплекса (http://www.iiprocessor.ru).

Заключение диссертации по теме «Теоретические основы информатики», Самохвалов, Роман Викторович

Выводы

В четвертой главе представлены результаты вычислительных экспериментов, в которых применены рассмотренные автором в рамках данной работы методик интеллектуальной обработки текстовой информации, таких как блок тематического анализа (Oracle interMedia Text в сочетании с RCO), алгоритмы определения сходства содержимого документов (методы взвешенных ключевых слов и LSI), подходы к анализу структурной согласованности документарной базы знаний (подсистема INTELLEDGER) и методы экспертной оценки полученных результатов (модуль EXPERT). В частности, описаны следующие примеры:

• архитектура комплексной системы построения структурно согласованной базы знаний;

• построение текстового индекса с помощью модуля Russian Context Optimizer (RCO), с анализом его эффективности по сравнению с базовой системой Oracle interMedia Text с точки зрения времени построения индекса и его размера;

• использование модуля LSI в экспериментальном программно-техническом комплексе интеллектуальной обработки информации ("КИОИ");

• экспертная оценки релевантности структурной согласованности базы знаний, с применением байесовской модели учета ошибок экспертов;

• комплексная система диссеминации (фильтрации) неструктурированных текстовых документов.

Проведенные эксперименты показывают, что изложенные в данной работе методики представляют собой функциональные блоки, которые можно комбинировать для решения целого ряда задач, связанных с обработкой неструктурированной текстовой информации. Математические методы, используемые в этих блоках, достаточно универсальны и могут быть применены к различным объектам, что дает возможность формулировать и решать различные аналитические задачи, связанные с управлением интеллектуальным капиталом.

Заключение

Проведенные в работе исследования показали, что в современных условиях стремление к созданию технологической схемы тематической классификации информации, которая была бы одновременно экономически выгодной и эффективной, приводит к необходимости разработки комплексного подхода к оценке релевантности структурной согласованности, совмещающего в себе элементы экспертной и автоматической классификации. Такой метод позволил бы эксперту контролировать весь процесс классификации и вовремя вносить свои собственные коррективы. Эксперт и автоматизированная система выступают, таким образом, как партнеры, выполняющие общую задачу. Возможность эксперта влиять на ход выполнения процесса классификации означает, что в основу нее должен быть положен алгоритм, на каждом шаге которого может существовать несколько альтернативных и, в принципе, равноценных вариантов следующего шага. Отсутствие указанного комбинированного метода классификации данных является сегодня сдерживающим фактором в организации баз знаний экспертов в системах принятия решений и создание такого метода, сочетающего в себе достоинства экспертной и полностью автоматизированной классификации, является, таким образом, актуальным.

В работе реализована попытка создания и исследования методов, обеспечивающих динамическое формирование экспертом согласованной базы знаний на основе информации, получаемой им в процессе диссеминации знаний в системах управления интеллектуальным капиталом. Эта реализация потребовала формулирования и обоснования критерия структурной согласованности множества взаимосвязанных объектов и разработку способов контроля и оценки согласованности элементов на базе разработанных алгоритмов проблемно-ориентированной классификации.

Внедрение разработанного в диссертации комплекса даст возможность использовать его при построении систем поддержки принятия решений на базе Интранет-сетей, повысить качество принимаемых решений и создать основу для интеграции деятельности различных экспертов при решении общих аналитических задач. Совместный поиск эксперта и автоматизированной системы наилучшего варианта обеспечит понимание экспертом логики получаемых результатов и повышение доверия к ним.

Выполненная диссертационная работа является одной из первых попыток создания комбинированного метода контролируемой диссеминации знаний для корпоративных систем на основе управления согласованностью компонентов знаний. При ее реализации автором достигнуты новые результаты, основные из которых заключаются в следующем:

• исследована проблема диссеминации структурированных и неструктурированных знаний с целью выбора и обоснования комплексного подхода к оценке релевантности структурной согласованности системы знаний;

• исследованы возможности диссеминации на базе поликонсонансной структуры взаимосвязанных объектов;

• впервые предложен подход к экспертному анализу диссеминации знаний на основе квантильного метода формализации мнений экспертов в рамках байесовской формулировки, на базе которого разработан оригинальный интерактивный алгоритм генерации и корректировки экспертных оценок "EXPERT";

• проведены теоретические исследования, результаты которых позволяют повысить надежность разработанного комбинированного метода диссеминации знаний;

• разработаны оригинальные методики построения взаимосвязей между оценками диссеминации слабоструктурированных информационных объектов в документальных базах данных, обеспечивающие общий подход к структуризации баз знаний в среде взаимосвязанных данных;

• предложен новый комбинированный метод построения согласованной базы знаний в системах принятия решений с привлечением экспертного анализа.

Разработанный в ходе выполнения данной работы программный комплекс КИОИ, объединяющий модули LSI, INTELLEGER и EXPERT, является уникальным как по самой разработке, так и по своему назначению.

В целом диссертационная работа имеет экспериментальный характер, хотя предложенная теория и алгоритмы целиком реализованы в эксплуатируемых программных продуктах. Эти программные продукты представляют собой интеллектуальные средства, предназначенные для использования в составе программного обеспечения систем принятия решений или корпоративных систем управления знаниями. Использование предложенного в работе комбинированного метода управления диссеминадией и реализующих его программных средств позволяет выявлять и настраивать согласованную структуру на множестве информационных объектов, что ведет к повышению качества тематического поиска новых знаний и данных в корпоративных сетях. Возможность настройки параметров, определяющих взаимосвязи между информационными объектами, позволяет поддерживать согласованность знаний за счет выявления взаимосвязей между информационными объектами документальных баз данных, в том числе на CD-ROM дисках, в Интранет-сетях и т.п.

Значительная часть результатов, полученных в ходе выполнения данной работы, вошла в проект Российского фонда фундаментальных исследований № 01-01-00107 «Интеллектуальные средства поддержки согласованной деятельности аналитика в корпоративных системах». Реализующие метод программные средства включены в демонстрационные макеты программных средств исследований экспериментального программно-технического комплекса интеллектуальной обработки информации "КИОИ" (http://www.iiprocessor.ru). Эти инструментальные средства использовались при создании динамической системы мониторинга в информационном агентстве «Новые Информационные Системы», внедрении методики экспертной оценки качества диссеминации технической документации в компании «РДТЕХ — Информационные Технологии», а также при построении системы нечеткого поиска информации в документарной базе данных в компании «Технический Центр «Контраст».

1. Структуризация проблемы диссеминации знаний в корпоративных системах управления интеллектуальным капиталом как основного метода его формирования и обмена знаниями между экспертами.

2. Использование модели многомерной базы данных для диссеминации, поиска и представления структурированных данных.

3. Алгоритмические методы тематического анализа и поиска документов с помощью модуля Oracle interMedia Text и (для русскоязычных текстов) опции Russian Context Optimizer (RCO).

4. Схема диссеминации на базе поликонсонансной структуры взаимосвязанных объектов, обеспечивающая интерактивное контролируемое уменьшение структурной рассогласованности множества взаимосвязанных объектов для случая поликонсонанса степени п > 2.

Методика экспертного анализа диссеминации знаний на основе квантильного метода формализации мнений экспертов в рамках байесовской модели, реализованная автором в оригинальном модуле генерации и корректировки экспертных оценок EXPERT.

Обоснование подхода, основанного на использовании метода латентных семантик LSI, и реализация автором соответствующего алгоритма для осуществления проблемно-ориентированной классификации слабоструктурированных объектов в документальных базах данных на основе использования тематической функции сходства.

Комплексная система диссеминации текстовой информации и методические основы организации согласованной базы знаний в рамках корпоративных систем управления интеллектуальным капиталом, базирующиеся на интерактивной проблемно-ориентированной классификации знаний с привлечением экспертного анализа.

Архитектура программного комплекса диссеминации текстовой информации, объединяющего модули LSI, INTELLEDGER и EXPERT.

Результаты вычислительных экспериментов по диссеминации реальных неструктурированных информационных ресурсов сети Интернет, проведенные с помощью созданного программного комплекса (http://www.iiprocessor.ru).

Список литературы диссертационного исследования кандидат технических наук Самохвалов, Роман Викторович, 2002 год

1.Дулин С.К. Исследование сетей с диссонансами // Изв. АН СССР. Техническая кибернетика, 1982. №5.

2. Дулин С.К. Логика консонанса при изучении внутреннего состояния множества объектов // Вопросы кибернетики. Логика рассуждений и ее моделирование. Научный совет «Кибернетика» АН СССР. 1983. С. 172-179.

3. Дулин С.К. Анализ структуры рассогласованных множеств // Изв. АН СССР. Техническая кибернетика, 1985, №5.

4. Дулин С.К. Состояние системы, оцениваемое по структурному признаку. М.: ВЦ АН СССР, 1987. 22 с.

5. Дулин С.К. Об одной процедуре уменьшения структурной рассогласованности системы знаний // Изв. АН СССР. Техн. Кибернетика. 1987. № 2.

6. Дулин С.К. Согласование структур в условиях расширенного понятия консонанса // Изв. АН СССР. Техн. Кибернетика, 1989, № 5.

7. Дулин С.К. Знаковая интерпретация сходства для согласованности множества объектов // Изв. АН СССР. Техн. кибернетика, 1990. Т5. с.22-25.

8. Дулин С. К., Дулина Н. Г., Киселев И. А., "Тематический мониторинг информационных сообщений", Сообщения по прикладной математике ВЦ РАН, 2000. 83 с.

9. Дулин С.К., Дулина Н.Г., Христьяновский Д.Г. О проблемно-ориентированном динамическом управлении структурами информационных ресурсов. М.: ВЦ РАН, 1995. 23 с.

10. Ю.Дулин С.К., Киселев И.А. Управление структурной согласованностью в базе знаний // Изв. АН СССР. Техн. кибернетика, 1991. №5. с.29-39.

11. Дулин С.К., Киселев И.A. Knowledge base simulation in document databases // Изв. РАН. Теория и системы управления, 1997, №5.

12. Дулин С.К., Киселев И.А. Об одном подходе к интеграции знаний экспертов в системах принятия решений. // Международная конференция по мягким вычислениям и измерениям. Санкт-Петербург, 1998. Т2. с.207-210.

13. Дулин С.К., Киселев И.А. Об одном подходе к экспертному анализу данных в условиях Интранет. // Изв. РАН. Теория и системы управления, 1998. №5. с.123-131.

14. Дулин С.К., Киселев И.А. Структуризация знаний в системах мониторинга. // Изв. РАН. Теория и системы управления, 1999. №5.

15. Дулин С. К., Самохвалов Р. В., Об одном подходе к оценке "риска в риске"// Изв. РАН. Теория и системы управления, № 5,1996, с.51-60.

16. Дулин С. К., Самохвалов Р. В. Программная поддержка определения структуры многомерной базы данных для OLAP. М.: ВЦ РАН, 1997. 21 с.

17. Дулин С. К., Самохвалов Р. В. Оценка результатов диссеминации знаний в интеллектуальных системах. М.: ВЦ РАН, 2001. 40 с.

18. Дулин С. К., Самохвалов Р. В. Оценка эффективности экспертного анализа диссеминации неструктурированной текстовой информации // Изв. РАН. Теория и системы управления, 2002, №6. с.

19. Дулин С. К., Самохвалов Р. В. Настройка параметров информационного поиска в документарных базах данных. Труды научной сессии МИФИ "МИФИ-2002", т.З, с. 77-78.

20. Ермаков А.Е. Тематический анализ текста с выявлением сверхфразовой структуры // Информационные технологии, 2000, №11.

21. Ермаков А.Е., Плешко В.В. Ассоциативная модель порождения текста в задаче классификации // Информационные технологии, 2000, № 12.

22. Первозванский А. А., Первозванская Т. Н. Финансовый рынок: расчет и риск. М.: Инфра-М, 1994.

23. Поспелов Г.С. Искусственный интеллект основа новой информационной технологии. М.: Наука, 1988. 280 с.

24. Самохвалов Р. В. Экспертный мониторинг структурной согласованности базы знаний // Программные продукты и системы. Тверь, 2002, №2, с.

25. Уэно X. Представление и использование знания. М.: Мир, 1989.

26. Флейшман С.Б. Разбиение множества вершин графа с приложениями к задачам кластеризации. // М.: ВЦ РАН, 1993. 15 с.

27. Хофман И. Активная память. М.: Прогресс, 1986. 312 с.

28. Шапот М.Д., Рощупкина В.Д. Интеграция геоинформационных и экспертных систем. // Научная сессия МИФИ. 1999. Т7. С. 154-157.

29. Allen, R., "User models: Theory, method and practice", International Journal of Man-Machine Studies, Vol. 32, pp. 511-543 (1990).

30. R. I. Arnould, H. Grabowski, "Automobile Safety: An Analysis of Market Failure", "Bell Journal of Economics", Vol. 12, pp. 27-48 (1981).

31. Auluk F.C. "An asymptotic formula for pk(n)", J. Indian Math. Soc. (NISI), 6, pp. 113-114 (1942).

32. Averkin A.N., Dulin S.K. "Decrease of contradiction in active knowledge system" Computers and Artificial Intelligence (CSSR) V.5, № 3, pp.235-240 (1986).

33. S. Bastide, et al., "Risk Perception and Social Acceptability of Technologies", "Risk Analysis", Vol. 9, pp. 215-223 (1989).

34. Berry M.W., Drmac Z., Jessup E.R. "Matrices, vector spaces and information retrival" SIAM REVIEW, V.41, N 2, pp.335-362 (1999).

35. Bryan P. Web search strategies. MIS:Press. 1996.

36. R. J. Budnitz, "External Initiators in Probabilistic Reactor Accident Analysis — Earthquakes, Fires, Floods, Winds", "Risk Analysis", Vol. 4, pp. 323-335 (1984).

37. J. Bukowski, L. Korn, D. Wartenberd, "Correlated Inputs in Quantitative Risk Assessment: The Effects of Distribution Shape", "Risk Analysis", Vol. 15, pp. 215-219 (1995).

38. D. A. Carter, "Quantified Risk Assessment of Petrochemical Pipelines in the UK", "Risk Analysis", Vol. 11, pp. 385-388 (1991).

39. E.F. Codd, S.B. Codd, C.T. Salley, "Providing OLAP (On-Line Analytical Processing) to User-Analysts: An IT Mandate", E.F Codd & Associates, 1993.

40. V. T. Covello, "Decision Analysis and Risk Management Decision Making: Issues and Methods", "Risk Analysis", Vol. 7, pp. 131-139 (1987).

41. L. A. Cox, Jr., P. F. Ricci, "Reassessing Benzene Cancer Risks Using Internal Doses", "Risk Analysis", Vol. 12, pp. 401-410 (1992).

42. N. C. Dakley, Delphi, The RAND Corporation, P-3704, October, 1967.

43. N. Dakley, B. Brown, "Comparison of Group Judgement Techniques with Short-Range Predictions and Almanac Questions", R-578-ARPA, RAND Corporation, 1971.

44. Dennis J. Crane. How the Web is Changing the Business of Business Information. 1997 http://www.umi.com/hp/Features/DJ-HK/

45. T. Esteg, V. Hanson, C. Johnson, "Sources of Value and Risk in Common Stocks", "Journal of Portfolio Management", Summer 1983, pp. 10-23.

46. L. Evans, "Estimating Fatality Reductions from Increased Safety Belt Use", "Risk Analysis", Vol. 7, pp. 49-57 (1987).

47. J. W. Fisher, В. C. Allen, "Evaluating the Risk of Liver Cancer in Humans Exposed to Trichloroethylene Using Physiological Models", "Risk Analysis", Vol. 13, pp. 8795 (1993).

48. Foltz, P. W., Dumais, S. Т., "Personalized Information Delivery: An Analysis of Information Filtering Methods", Communications of the ACM, Vol. 35 (12), pp. 51-60 (1992).

49. L. L. George, R. W. Mensing, "Using Subjective Percentiles and Test Data for Estimating Fragility Functions", Lawrence Livermore National Laboratory, Report UCRL-84157,1981.

50. S. Geisser, "A Bayes Approach for Combining Correlated Estimates", "Journal of American Statistical Association", Vol. 60, pp. 602-607 (1965).

51. J. Goodman, "Estimating Fragility Curves Using Few Experimental Data", Proceedings of the Probabilistic Structural Analysis (ASME) PVP Conference, Vol. 93, San Antonio, Texas, June 17-21, 1984.

52. J. R. Hawley, "Assessment of Health Risk from Exposure to Containment Soil", "Risk Analysis", Vol. 5, pp. 289-302 (1985).

53. Heider F. The psychology of interpersonal relation. N.Y., 1958.

54. C. Hohenemser, R. W. Kates, P. Slovic, "The Nature of Technological Hazards", "Science", Vol. 220, pp. 328-384 (1983).

55. S. С. Hora, R. L. Iman, "Bayesian Modelling of Initiating Event Frequencies at Nuclear Power Plant", "Risk Analysis", Vol. 10, pp. 103-109 (1990).

56. Houseman, E. M., Kaskela, D. E., "State of the art of Selective Dissemination of Information", IEEE Transactions of Engineering Writing and Speech III, Vol. 2 (1970).

57. Ikujiro Nonaka & Hirotaka Takeuchi. The Knowledge Creating Company: How Japanese Companies Create the Dynamics of Innovation. Oxford University Press, 1995 (http://users.ccnet.cOm/~toml359/books.htm#knowledge)

58. S. Kaplan, "On the Method of Discrete Probability Distributions in Risk and Reliability Calculations — Applications to Seismic Risk Assessment", "Risk Analysis", Vol. l,pp. 189-196 (1981).

59. S. Kaplan, "On a "Two-Stage" Bayesian Procedure for Determining Failure Rates from Experimental Data", "IEEE Transactions of Power Apparatus and Systems", Vol. 102, pp. 195-202 (1983).

60. S. Kaplan, H. F. Perla, D. C. Bley, "A Methodology for Seismic Risk Analysis of Nuclear Power Plant", "Risk Analysis", Vol. 3, pp. 169-180 (1983).

61. Katai O., Iwai S. On the characterization of balancing process of social systems and the derivation of the minimal balancing process. IEEE Transactions on systems, man and cybernetics, V.8, № 5, (1978).

62. P. Kennedy, C. A. Cornell, R. D. Campbell, S. Kaplan, and H. F. Perla, "Probabilistic Seismic Safety Study of an Existing Nuclear Power Plant", "Nuclear Engineering and Design", Vol. 59, pp. 315-338 (1980).

63. H. Kunreuther, "Managing Hazardous Waste: Past, Present and Future", "Risk Analysis", Vol. 11, pp. 19-26 (1991).

64. J. S. Landerfeld, E. P. Seskin, "The Economic Value of Life: Linking Theory to Practice", "American Journal of Public Health", Vol. 72, pp. 555-566 (1982).

65. Lund A. K., Zador P., "Mandatory Belt Use and Driver Risk Taking", "Risk Analysis", Vol. 4, pp. 41-53 (1984).

66. Н. F. Martz, M. C. Bryson, "On Combining Data for Estimating the Frequency of Low-Probability Events with Application to Sodium Valve Failure Rates", "Nuclear Science Engineering", Vol. 83, pp. 267-280 (1983).

67. D. Menninger, "Oracle OLAP Products: Adding Value to the Data Warehouse", Oracle Press, 1993.

68. P. A. Morris, "Decision Analysis Expert Use", "Management Science", Vol. 20, pp. 1233-1241 (1974).

69. P. A. Morris, "Combining Expert Judgements: A Bayesian Approach", "Management Science", Vol. 23, pp. 679-693 (1977).

70. A. Mosleh, G. Apostolakis, "Models for the Use of Expert Opinions", Proceedings of the Workshop on Low-Probability/High-Consequence Risk Analysis, Society for Risk Analysis, Arlington, Virginia, (1982).

71. F. Noonan, "Planning Replacement of Natural Gas Distribution Systems under Constraints on Acceptable Risk from Explosions", "Risk Analysis", Vol. 11, pp. 677-682 (1991).

72. Packer, К. H., Soergel, D., "The importance of SDI for current awareness in fields with severe scatter of information", Journal of the American Society for Information Science, Vol. 30 (3), pp. 125-135 (1979).

73. M. E. Pate-Cornell, "Fire Risks in Oil Refineries: Economic Analysis of Camera Monitoring", "Risk Analysis", Vol. 5, pp. 277-288 (1985).

74. Michael Polanyi. "Personal Knowledge, Towards a Post Critical Epistemology in 1958" (http://www.sveiby.com.au/Polanyi.html).

75. J. L. Repace, A. H. Lowrey, "Risk Assessment Methodology for Passive Smoking-Induced Lung Cancer", "Risk Analysis", Vol. 10, pp. 27-38 (1990).

76. L. S. Robertson, "Automobile Safety Regulations and Death Reductions in the United States", "American Journal of Public Health", Vol. 71, pp. 818-822 (1981).

77. Salton, G., Buckley, C., "Introduction to Modern Information Retrieval", McGraw Hill, New York, 1983.

78. Р. Slovic, "Perception of Risk", "Science", Vol. 236, pp. 280-285 (1987).

79. Р. D. Smith, et al., Seismic Safety Margins Research Program, Phase I Final Report (USNRC Report NUREG/CR-2015, 1981).

80. B. A. Soby, D. J. Ball, D. P. Ives, "Safety Investment and the Value of Life and Injury", "Risk Analysis", Vol. 13, pp. 365-370 (1993).

81. P. J. M. Stallen, A. Thomas, "Public Concern about Individual Hazards", "Risk Analysis", Vol. 8, pp. 237-245 (1988).

82. T. W. Thorslund, С. C. Brown, G. Charnley, "Biologically Motivated Cancer Risk Models", "Risk Analysis", Vol. 7, pp. 109-119 (1987).94."The Trouble with SQL." Office Information Systems. The Gartner Group. File: Technology, T-240-759. 6 Aug. 1990.

83. Настоящим подтверждается, что в отделе управления проектами компании «РДТЕХ — Информационные Технологии» принята и освоена методика экспертной оценки качества эаспространения (диссеминации) технической документации среди сотрудников отдела.

84. В настоящее время методика экспертной оценки качества диссеминации находится в стадии опытно-промышленной эксплуатации.

85. Генеральный директор ЗАО «РДТЕХ»

86. Ю.М. Сайгин 15 сентября 2002 г.