Формальные методы оценки эффективности систем автоматической обработки текста тема диссертации и автореферата по ВАК РФ 10.02.21, доктор филологических наук Максименко, Ольга Ивановна

• Максименко, Ольга Ивановна
• доктор филологических наук
• 2003

Оглавление диссертации доктор филологических наук Максименко, Ольга Ивановна

Введение

ГЛАВА 1. ФОРМАЛЬНЫЕ МЕТОДЫ В СОВРЕМЕННОЙ ЛИНГВИСТИКЕ

1.1. Формальные методы в современной науке

1.2. Компьютерная лингвистика

1.3. Анализ электронных текстов

1.4. Искусственные языки

1.5. Автоматическое понимание текста

1.6. Современные зарубежные методы АОТ

1.7. Корпусная лингвистика

1.8. Формальная семантика

1.9. Семантические сети

1.9.1. Применение семантических сетей

1.9.2. Семантическая нейронная сеть

1.10. Дистрибутивно-статистический анализ лексики

1.10.1. Эксперимент для опенки алгоритма ДСА

1.11. Нечеткая логика

1.12. Решение задач с применением нечеткой логики

1.12.1. Элементы теории нечетких множеств

1.12.2. Нечеткие выводы

1.12.3. Эффективность нечетких экспертных систем

1.13. Пакеты нечеткой логики

1.13.1. Пакет Fuzzy Logic Toolbox

1. 14. Выводы к Главе

ГЛАВА 2. МЕТОДЫ ОЦЕНКИ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ

2.1. Экспертные опенки

2.2. Математические модели поведения экспертов и анализа экспертных оценок

2.3. Экспертные оценки в различных областях человеческой деятельности

2.3.1. Нечеткие выводы в задачах управления и диагностики

2.3.2. Оценка знаний в педагогике

2.3.3. Оценка информационного обеспечения

2.3.4. Оценка информационных технологий и эффективности инвестиций

2.4. Оценка лингвистических систем

2.4.1. Оценка систем машинного перевода

2.4.2. Оценка информационно-поисковых систем

2.4.3. Оценка качества интеллектуальных информационных систем (ИИС)

2.5. Оценка ИС с помощью нечетких экспертных систем

2.6. Нечеткая экспертная система для оценки ДСА

2.7. Выводы к Главе

ГЛЛВЛ 3. ФОРМАЛЬНЫЕ РЕШЕНИЯ В СИСТЕМАХ МАШИННОГО ПЕРЕВОДА

3.1. Современное состояние машинного перевода

3.2. Проблемы машинного перевода

3.3. Электронные словари и машинный перевод

3.3.1. Свойства компьютерных словарей

3.3.2. Типология электронных словарей

3.4. Некоторые современные российские системы МП

3.4.1. Технология компаний ПРОМТ и АРСЕНАЛЪ

3.4.2. Лексические функции и машинный перевод

3.4.3. Перевод восточных языков

3.4.4. Системы фразеологического машинного перевода

3.5. Система машинного перевода АСПЕРА

3.6. Методы оценки систем машинного перевода

3.7. Типологии ошибок

3.8. Оценка СМП с помощью нечетких экспертных систем

3.9. Выводы к Главе

ГЛАВА 4. ФОРМАЛЬНЫЕ РЕШЕНИЯ В ИНФОРМАЦИОННО-ПОИСКОВЫХ СИСТЕМАХ

4.1. Информация и знание

4.1.1 Автоматизированное извлечение знаний

4.1.2. Содержательный поиск в текстах

4.1.3. Оперативный анализ текстов

4.2. Автоматизированные информационно-поисковые системы

4.2.1. Методы автоматизированного индексирования, рубрицирования и аннотирования

4.2.2. Модели поиска и эффективность поиска информации

4.2.3. Поиск в сети Интернет

4.2.4. Информационно-поисковый гипертекст

4.3. Информационно-поисковая система КАСКАД 374 4.4.0ценка качества ИПС нечеткими экспертными системами 380 4.5. Выводы к Главе

Введение диссертации (часть автореферата) на тему «Формальные методы оценки эффективности систем автоматической обработки текста»

Круг проблем, связанных с необходимостью изучения внутренней структуры языка и применения результатов таких исследований на практике, к настоящему времени стал чрезвычайно широк. Вызвано это в первую очередь тем, что за последнее десятилетие существенно возросло количество и произошли качественные изменения систем автоматической обработки текста, опирающихся на глубинные структуры языка и оперирующих сложными плохо формализуемыми элементами. Подобные системы требуют серьезной экспертной оценки.

Современные экспертные оценки опираются на сложный математический аппарат, в основе которого, по большей части, лежат методы математической статистики и теории вероятностей. Такой тип экспертных оценок далеко не всегда подходит для систем автоматической обработки текста на естественном языке, который принадлежит числу плохо формализуемых систем. На первый взгляд, если преследовать сугубо конкретную цель, как, например, создание новой системы оценки и проведение собственно процесса оценки, то невозможно говорить о влиянии полученных результатов (как практических, так и теоретических) на формирование каких-либо общих теорий, имеющих ценность для языкознания в целом. Тем не менее, в прикладном языкознании действует тот же закон, что и в других науках - закон взаимного влияния сугубо прикладных исследований на теоретические и наоборот. Это подтверждается созданием прикладных моделей в разных областях лингвистики.

За последнее десятилетие XX века рост быстродействия компьютеров, объемов их оперативной и внешней памяти, пропускной способности внешних устройств и каналов связи качественно изменил ситуацию в вычислительной технике и сферах ее применения. Современная прикладная лингвистика не обходится без активного использования вычислительной техники, а компьютер превратился по сути в новое орудие труда прикладного лингвиста. Однако в наши дни наблюдается существенный разрыв между возможностями аппаратных средств компьютеров и применяемыми методами решения прикладных задач. Наиболее освоенные на сегодня методы базируются на хорошо формализованных алгоритмах, полученных в результате построения математических моделей предметных областей. Чаще всего это трудоемкие расчеты по известным формулам, либо сравнительно простые последовательности действий, приводящие после многократного повторения к желаемому результату (итерационные алгоритмы). В практической же деятельности многие актуальные задачи относятся к типу плохо формализуемых, особенно если дело касается естественного языка, для которого неизвестны аналитические зависимости или цепочки действий, приводящие к результату без интеллектуального вмешательства человека.

До последнего времени для решения плохо формализуемых лингвистических задач просто не хватало ресурсов вычислительной техники, и поэтому было бессмысленно ставить саму проблему серьезного их решения. Сегодня создание алгоритмов и прикладных программ, наиболее полно использующих ресурсы современных компьютеров для решения нечетких задач, к которым относятся и лингвистические, является весьма актуальной проблемой.

Как правило, в плохо формализуемых задачах имеется некоторый набор параметров, описывающих объекты предметной области, причем, нельзя с уверенностью сказать, что этот набор параметров наверняка полон и адекватен, а сами измеренные значения параметров также в совокупности полны, непротиворечивы и не искажены. Все это не позволяет применять для решения плохо формализуемых задач традиционные статистические методы, методы оптимизации и аппроксимации.

Методы решения плохо формализуемых задач базируются, как правило, на обработке эмпирических данных, накопленных в результате ряда измерений и экспериментов. Соответственно, одной из основных проблем является разработка способов организации хранения информации в базах данных, осуществления выборки и оценки результатов выборки данных о предметных областях в зависимости от решаемой задачи.

В связи с появлением мощных компьютеров в разных отраслях знания широко используется метод математических моделей, который применяется для решения прикладных задач в технических науках, при исследовании проблем экономики и социологии, в вопросах биологии, геологии и лингвистики, а также в тех разделах науки, которые несколько десятилетий тому назад казались недоступными для математического изучения. По мнению В.М. Глушкова, все более широкое использование компьютеров для изучения математических сторон различных научных проблем привело к тому, что математика обрела новое средство для своего развития, своеобразную форму научной практики, каким является математический эксперимент (или имитационное, численное моделирование).

Методы, основанные на нейросетевых алгоритмах, нечеткой логике, генетических алгоритмах, а также экспертные системы и ряд других направлений, составляют базу современных технологий прогнозирования на основе временных рядов данных, извлечения закономерностей из данных (data mining), создания систем поддержки принятия решений (DSS decision support system), что аккумулируется термином "интеллектуальный анализ данных".

Для решения задач, относящихся к классу статистических, применяются обучаемые методом "проб и ошибок" нейронные сети, являющиеся байесовскими классификаторами, работающими в условиях отсутствия знания функций распределения вероятности. Нечеткая логика позволяет работать с параметрами, имеющими скорее качественную природу типа: "большой - маленький", а не точное значение, выражаемое определенной цифрой. Экспертные системы служат способом привлечения знаний экспертов для решения плохо формализованных задач. Все более широкое распространение получают экспертные системы на базе нечеткой логики.

Современное общество называют информационным. Для этого есть серьезные основания: в последние десятилетия резко возросли потоки информации во всех сферах человеческой деятельности и появились мощные технические средства ее передачи и обработки, однако, общение между странами и народами по-прежнему затруднено, и одной из основных трудностей остается языковой барьер. Традиционные методы преодоления языковых барьеров - это изучение иностранных языков и переводческая деятельность. Но с ростом экономических, политических и культурных связей между странами, а также в связи с повышением интенсивности информационных потоков между ними эти методы становятся недостаточными. Поэтому, несмотря на все трудности и используя многие доступные формальные методы, продолжают развиваться интеллектуальные системы, такие как системы машинного перевода, переводческие накопители, огромные по размеру и наполнению базы знаний поисковых систем, действующие как автономно, так и в среде сети Интернет, - в этом серьезная роль и большая заслуга прикладной лингвистики, к задачам которой относится и оценка этих интеллектуальных систем.

Актуальность темы: в условиях информационного общества обилие разработанных и разрабатываемых интеллектуальных систем обработки текста, к которым относятся информационно-поисковые системы и системы машинного перевода в том числе, требует быстрой и адекватной оценки. Важно иметь представление о качестве систем как на стадии начальной разработки, так и на стадии готового продукта. Решение подобной задачи традиционными экспертными способами чрезвычайно трудоемко и, как правило, дает субъективный результат. Создание формальной методики решения этой проблемы - веление времени, тем самым тема диссертационной работы актуальна, как в теоретическом, так и практическом смысле

Научная новизна работы определяется следующими результатами:

1. Разработан новый подход к оценке эффективности систем автоматической обработки текста с применением современного математического аппарата нечеткой логики, по сути экспертная система оценки интеллектуальных систем на базе нечеткой математики.

2. Создан новый комплекс критериев оценки интеллектуальных систем.

3. Разработанный подход является универсальным: нечеткие экспертные системы позволяют оценивать качество интеллектуальных систем с единых позиций в зависимости от требуемой степени точности и сложности оценки.

4. Проведено тестирование созданной системы оценки качества на трех типах интеллектуальных систем автоматической обработки текста -автоматизированном дистрибутивно-статистическом анализе (ДСА), системе машинного перевода (СМП), информационно-поисковой системе (ИПС), в разработке которых автор принимал активное участие.

5. В работе предложена новая типологическая классификация электронных словарей и экспериментальная классификация серьезности ошибок при русско-английском машинном переводе.

Научные положения, изложенные в работе, опираются на обширные аналитические исследования имеющихся в мировой науке работ по близкой тематике. В итоге создано новое направление оценки плохо формализуемых интеллектуальных систем на базе нечеткой логики. Объект исследования: существующие на настоящий момент формальные методы оценки интеллектуальных лингвистических систем разного типа, включая системы машинного перевода и информационно-поисковые системы. Цели и задачи:

- изучение и анализ существующих современных формальных методов автоматической обработки естественного языка;

- изучение и анализ формальных методов оценки интеллектуальных систем (ИС);

- обоснование необходимости создания формального метода оценки интеллектуальных систем на базе нечеткой логики и создание универсальной системы оценки на базе этого метода;

- тестирование разработанной системы на ИС разного типа: автоматизированном варианте ДСА, СМП и ИПС.

Теоретическая значимость: системы экспертных оценок представляют собой сложный аппарат, строящийся, как правило, на статистических методах. Такие методики не слишком хороши для систем автоматической обработки текста на естественном языке, поскольку язык принадлежит числу плохо формализуемых систем. Результаты исследования и оценок автоматических систем обработки текста способны внести существенный вклад как в прикладное, так и теоретическое языкознание. Научные результаты фактически открывают повое направление создания систем оценки интеллектуальных лингвистических систем.

Практическая ценность: впервые создана универсальная система оценки автоматических систем обработки текста на базе нечеткой логики, способная оценивать эффективность разнообразных интеллектуальных систем по комплексу изменяемых критериев. Экспертная система является реально действующей в интегрированной среде МАТЬЛВ. Методы исследования: в первую очередь системный метод анализа существующих достижений в области создания автоматизированных систем и разнообразных систем оценки и определении научной целесообразности применения аппарата нечеткой логики для оценки лингвистических систем; метод моделирования при проектировании и разработке собственно экспертной системы на базе нечеткой логики; описательно-аналитический и типологический методы при сравнении полученных результатов оценки.

Материалом исследования послужили следующие автоматизированные системы обработки текста:

1) автоматизированный дистрибутивно-статический анализ, которым был обработан массив текстов объемом более 100 тыс. словоупотреблений, состоящий из текстов разных жанров (монография, научные статьи, рефераты из реферативного журнала, массив толкований терминологического словаря научно-технической терминологии по системам связи и управления);

2) система машинного перевода АСПЕРА, тестирование которой проводилось на текстах по 5 тематикам (бизнес, история философии, охрана окружающей среды, информатика, медицина) общим объемом 100 Кб;

3) информационно-поисковая система КАСКАД, содержащая около 1000 статей.

Объем исследования подтверждает достоверность полученных результатов.

Апробация: основные положения работы изложены в монографии "Формальные методы в современной прикладной лингвистике" (2002 г.) и других печатных работах автора (более 20), а также представлены в виде докладов и выступлений на межвузовских, всероссийских и международных конференциях.

Структура работы: в соответствии с поставленш»ши задачами диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы и ряда приложений.

Заключение диссертации по теме «Прикладная и математическая лингвистика», Максименко, Ольга Ивановна

4.5. Выводы к главе 4

1. Для осуществления содержательного поиска информации в текстах необходимо применение специальной технологии написания и отладки запросов к полнотекстовой поисковой системе. Эта технология может быть с той или иной степенью эффективности применена для различных поисковых систем и любого ЕЯ. При автоматическом анализе текстовой информации с использованием поисковой системы решаются задачи определения терминов, проводится поиск лексических образов абстрактных (обобщенных) понятий любого вида, систематизация собранных о предмете или предметной области (ситуациях и правилах) сведений, заключенных в множестве текстов и пр.

2. ЛИПС является формальной моделью таких сложных интеллектуальных функций, как анализ и синтез, обобщение, логический вывод, экстракция сведений и т.д. Данные процессы моделируются в АИПС посредством двух типов формализованных процедур: - преобразование потоков (массивов) сообщений -информационный поиск, в том числе текущий или ретроспективный, отбор из поискового массива множества сообщений, подчиняющихся определенным формальным условиям; - преобразование документов (сообщений) - составление поисковых образов индексов (индексирование) документов, отбор из текста документа или вспомогательных лексических коллекций определенных терминов или других лексических единиц для концентрированного отображения содержания сообщения. Для оценки степени их соответствия формулируется критерий смыслового соответствия, который представляет из себя пару, состоящую из меры формальной релевантности (меры близости) поисковых образов документа и запроса и порогового значения меры близости, при превышении которого документ признается формально релевантным соответствующему запросу Однако истинно релевантным запросу следует считать документ, смысловое содержание которого соответствует запросу. Для оценки количества истинно релевантных документов в ответе на запрос используются критерии полноты и точности, которые можно считать частными критериями оценки эффективности ИПС. Используя эту пару критериев, можно разработать нечеткую экспертную систему оценки качества ИПС.

3. Наибольшее распространение в настоящее время получил линейный (или векторный) метод поиска информации по ключевым словам, который используют большинство распределенных ИПС сети Интернет. Использование для поиска высокочастотных терминов текста ведет к увеличению полноты поиска, т.к. увеличивается вероятность их совпадения с терминами запроса. Совпадение редких терминов запроса и документа свидетельствует о релевантности документа, т.е. использование редких терминов повышает точность поиска.

4. 4. Эксперимент по тестированию нечеткой экспертной системы оценки эффективности следующего типа ИС проводился на ИПС КАСКАД, представляющей собой поисковую систему, предназначенную для обеспечения информацией пользователей об отечественных программных продуктах (со элементами встроенной СМП), по предложенной в разделе 2.5 методике. Для количественной оценки качества поиска АИПС необходимо использовать одновременно два частных критерия: критерий полноты и критерий точности поиска. Другим вариантом является использование интегральных критериев, которые представляют собой числовые оценки качества работы ИПС.

При использовании частных критериев могут возникать проблемы, когда, например, у одной выдачи критерий полноты больше, чем критерий точности, а у другой, наоборот, критерий точности больше, чем критерий полноты. В этом случае совместное использование критериев приводит к противоречивой ситуации, когда невозможно отдать предпочтение одной из выдач. Решить указанную проблему позволяет нечеткая экспертная система, входными переменными которой являются критерии полноты и точности поиска, а выходной -уровень качества поиска тестируемой ЛИПС. В зависимости от предпочтений эксперта, составлявшего базу правил логического вывода системы, всегда будет сделан однозначный вывод о качестве конкретного поиска. Рассматриваемый вариант системы использует одновременно два критерия оценки качества: критерий полноты поиска и критерий точности поиска. Эксперимент показал, что разработанный подход к оценке интеллектуальных систем на базе нечеткой логики подтверждает свою эффективность и при оценке такого типа ИС как информационно-поисковые системы.

ЗАКЛЮЧЕНИЕ

Одной из современных задач прикладной лингвистики является разработка интеллектуальных лингвистических систем, в частности систем машинного перевода, информационно-поисковых систем и других многочисленных систем автоматической обработки текста. Оценка эффективности таких систем, а также сравнительный анализ их функционирования представляют собой актуальную и сложную задачу. Ситуация на данный момент такова, что развитие интеллектуальных лингвистических систем существенно опережает развитие систем оценки их эффективности. К настоящему моменту существуют разрозненные, часто субъективные подходы к оценке качества, как, например, подход, основанный на ранжировании заданий тестируемой системе по уровням сложности, при котором для обработки плохо формализуемых объектов задается некоторый набор параметров, описывающих элементы предметной области, причем, нельзя с уверенностью сказать, что этот набор параметров наверняка полон и адекватен, а сами измеренные значения параметров также в совокупности полны, непротиворечивы и не искажены. Все это не позволяет применять для решения плохо формализованных задач традиционные статистические методы, методы оптимизации и аппроксимации. Универсального метода оценки интеллектуальных систем разного типа - систем машинного перевода, информационно-поисковых систем, других методов обработки текстов на естественном языке - не существовало.

В данной диссертационной работе впервые предложено использовать теорию нечетких множеств для создания нового подхода к проведению оценки лингвистических интеллектуальных систем на базе нечеткой логики. Подход претендует на универсальность, т.к. с его помощью можно оценить эффективность ИС разного тина. Это подтвердил проведенный эксперимент, в результате которого были созданы действующие модели систем оценки качества СМИ, ИГ1С и систем обработки текстов с помощью ДСА. Основные положения предлагаемого подхода таковы: в ряде естественных и гуманитарных наук применяются нечеткие экспертные системы, использующие композиционное правило вывода для получения тех или иных заключений на основе определенного набора входных параметров. Принцип работы таких систем состоит в том, что существует определенный набор предпосылок и определенный набор заключений, связанных друг с другом с помощью так называемой базы правил вывода. Нечеткое правило вывода - это нечеткое отношение предпосылки и заключения. При конкретных значениях входных параметров степень влияния каждой предпосылки на каждое заключение различна, т.к. для математического описания предпосылок (и заключений) используются нечеткие множества. Степень истинности предпосылок модифицирует функции принадлежности заключений правил вывода, осуществляя тем самым операцию, называемую в теории нечеткой логики нечеткой импликацией. Существуют различные алгоритмы нечеткой импликации. Все модифицированные функции принадлежности одного и того же заключения объединяются, таким образом осуществляется второй этап алгоритма нечеткого вывода - композиция. Получаемое выходное нечеткое множество приводится к четкости тем или иным способом, что дает конкретное значение выходной переменной.

Чтобы создать нечеткую экспертную систему оценки качества ИС, необходимо: 1) формализовать понятие качества системы, 2) определить критерии качества, 3) формализовать эти критерии, 4) разработать базу правил вывода, связывающую предпосылки (формализованные критерии оценки) и заключение (оценку качества ИС). Формализация входных и выходного параметров осуществляется в предлагаемом подходе с помощью введения соответствующих лингвистических переменных, значениями которых служат нечеткие переменные. Их формальное описание осуществляется с помощью нечетких множеств. Критерии качества являются входными переменными экспертной системы. Оценка качества служит выходной переменной. Ядром системы является база правил вывода. Разработка базы правил вывода - наиболее сложная часть создания экспертной системы, которая является основной задачей эксперта-лингвиста, создающего нечеткую оценивающую систему.

Преимуществами предлагаемого подхода являются:

1) универсальность, включающая в себя единое понятие качества для всех ИС, а также независимость от типа конкретной ИС, что позволяет производить сравнительную оценку эффективности однотипных ИС на одинаковой стадии разработки и функционирования.

2) открытость, подразумевающая возможность учета любых критериев (факторов), влияющих на оценку качества ИС, не обязательно количественных, а таких, как, например, удобство использования и др., которые могут быть формализованы с помощью введения нечетких множеств. Нечеткая логика позволяет количественно описать такие понятия как плохой, хороший, много, мало и т.д.

3) простота, что выражается в возможности достаточно быстрой реализации предлагаемых экспертных систем в современных математических пакетах, таких как МАТЬАВ, содержащих элементы нечеткой логики.

4) наглядность, т.е. формальное описание таких оценок как "качество системы хорошее, если она допускает мало ошибок" и т.д.

В диссертационной работе описана идеология созданных действующих моделей экспертных систем оценки качества интеллектуальных систем разного типа, разработаны критерии оценки и базы правил вывода для всех систем. Тестирование предложенных систем оценки на базе нечеткой логики проводилось на трех типах интеллектуальных систем автоматизированной обработки текста.

1. Система, позволяющая определять оптимальный дистрибутивный порог и уровень доверительной вероятности при проведении автоматизированного ДСА текста. Такая система используется, в частности, для жанровой атрибуции текстов в большом информационном потоке. Для этого проводится процедура автоматизированного дистрибутивно-статистического анализа при некотором дистрибутивном пороге, далее в соответствии с выбранными критериями производится оценка качества ДСА с помощью разработанной нечеткой экспертной системы. Если качество не удовлетворяет требованию эксперта, то производится коррекция порогового значения и процедура ДСА повторяется с новым значением порога. Итерационный процесс повторяется до тех пор, пока не будет достигнута приемлемая оценка. Тем самым разработан итерационный алгоритм определения оптимального значения дистрибутивного порога и уровня доверительной вероятности при проведении ДСА текстов, основной частью алгоритма является динамическая нечеткая экспертная система оценки качества ДСА. Построена базовая модель системы, проведена формализация критериев оценки. Эксперимент с действующей моделью нечеткой системы показал эффективность предлагаемого алгоритма для жанровой атрибуции текстов;

2. Система оценки качества СМП. Для тестирования СМП были разработаны различные критерии оценки качества: количество ошибок перевода, степень серьезности ошибок перевода, а также пример объединения двух этих критериев, в результате была получена универсальная экспертная система оценки качества СМИ. Для формализации ряда критериев требуются специальные шкалы. Так, для определения степени серьезности ошибок перевода потребовалось создание варианта "шкалы серьезности ошибок". Рабочая модель оценочной экспертной системы была протестирована на СМИ ЛСПЕРА, т.к. автор диссертации принимала непосредственное участие в разработке и создании этой СМИ. Результаты оказались весьма обнадеживающими и показали работоспособность предлагаемых экспертных систем. 3. Система оценки эффективности поиска ИПС. Выбрав соответствующий критерий эффективности, можно построить нечеткую экспертную систему и получить количественную оценку качества ИПС. В проведенном эксперименте за основу были для простоты выбраны известные критерии полноты и точности поиска ИПС. Построенная на базе этих критериев нечеткая экспертная система оценки качества была протестирована на ИПС КАСКАД, в создании которой автор также принимала непосредственное участие. Результаты показали возможность и перспективность создания подобных систем оценки.

Впервые в интегрированной среде MATLAB Fuzzy Logic Toolbox разработаны действующие модели нечетких экспертных систем оценки качества СМП, ИПС и ДСА на основе композиционного правила вывода. Результаты исследования и оценок автоматических систем способны внести определенный вклад как в прикладное, так и теоретическое языкознание.

Проведенные эксперименты подтвердили эффективность предлагаемого подхода, позволяющего создавать универсальные оценивающие нечеткие экспертные системы для любого типа НС при любом количестве критериев оценки качества. Тем самым, идея использовать нечеткие экспертные системы для оценки эффективности НС открывает новое направление в компьютерной лингвистике: создание универсальных систем оценки качества интеллектуальных лингвистических систем.

Список литературы диссертационного исследования доктор филологических наук Максименко, Ольга Ивановна, 2003 год

1. Лверкин А.Н., Батыршин И.З. и др. Нечеткие множества в моделяхуправления и искусственного интеллекта. Под ред. Поспелова Д.Л., М., Наука, 1986,311 с.

2. Лгеев В.Н., Узилевский Г.Я. Человеко-компыотерное взаимодействие: концепции, процессы, модели. М., Мир книги, 1995, 352 с.

3. Аграев В.А., Казакевич Б.Л., Кобрин Р.Ю. Первый частотный словарь индексирования (рецензия) //НТИ. Сер.2., 1976. N 4, с.36-38.

4. Алексеев П.М. Статистическая лексикография (типология, составление и применение частотных словарей). JI., ЛГПИ им. А.И. Герцена, 1975.

5. Анализ нечисловой информации в социологических исследованиях. М., Наука, 1985,221 с.

6. Анализ нечисловых данных в системных исследованиях. Сборник трудов, вып. 10. М., ВНИИСИ, 1982, 155 с.

7. Аношкина Ж.Г. Подготовка частотных словарей и конкордансов на компьютере. М., 1995.

8. Апресян Ю.Д., Богуславский и др. Лингвистический процессор для сложных информационных систем. М., Наука, 1992, 256 с.

9. Апресян Ю.Д. и др. Лингвистическое обеспечение системы ЭТАП-2. М., Наука, 1989, 295 с.

10. Апресян Ю.Д. Отечественная теоретическая семантика в конце XX столетия // Изв. АН, сер. лит. и яз. 1999. № 4, с. 39-53.

11. Баранов А.Н. Автоматизация лингвистических исследований: корпус текстов как лингвистическая проблема // Русистика сегодня. Москва, 1998. - N.1-2, с. 179-191.

12. Баранов А.Н. Введение в прикладную лингвистику. М., УРСС, 2001, 358 с.

13. Баталин A.B., Дударь З.В. и др. О лингвистической алгебре. //

14. Радиоэлектроника и информатика. X., Изд-во ХТУРЭ, 1998, вып. 4, с. 101-109.

15. Белоногов Г.Г., Зеленков Ю.Г. и др. Системы фразеологическогомашинного перевода технология XXI века. Междунар. конф. НТИ-97. //Материалы конф., М., ВИНИТИ, 1997.

16. Белоногов Г.Г., Кузнецов Б.А. Языковые средства автоматизированных информационных систем. М., Наука, 1983.

17. Берштейн Л.С., Целых А.Н. Гибридная экспертная система свычислительным модулем для прогноза экологических ситуаций. //Труды междунар. симпозиума "Интеллектуальные системы". ИнСис-96, М., 1996.

18. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М., Наука, 1973, 79 с.

19. Богуславский И.М., Иомдин Л.Л. Семантика быстроты // Вопросы языкознания. 1999. №6. С. 13-30.

20. Болдырев B.C. Введение в теорию оценки недвижимости. М., Центр менеджмента, оценки и Ко., 1998, 330 с.

21. Большев JI.H., Смирнов Н.В. Таблицы математической статистики. М., Наука, 1983 (3-е изд.) 416 с.

22. Бондаренко М.Ф., Осыка А.Ф. Автоматическая обработка информации на естественном языке. К., УМК ВО, 1991, 140 с.

23. Бурков В.И. Большие системы: моделирование организационных механизмов. М., Наука, 1989, 354 с.

24. Бутенко H.A. Стандартизованные интервью и новые технологии. Социологические исследования, М., 1997, с. 100-107.

25. Винокуров A.A. Метод оценки качества машинного перевода., М., 2000.

26. Винокуров A.A., Чуканов В.О. Новый метод оценки машинного перевода. Информационные технологии и системы. Hardware Software Security. //Тенденции и перспективы. Сб. Статей. М., Международная академия информатизации, 1997.

27. Вишневский Р.В., Грачева М.В., Использование аппарата нечеткой математики в задаче оценки эффективности инвестиций. М., МГУ, 2000.

28. Войскунский В.Г. Некоторые замечания об использовании усредненных значений поисковых характеристик. //НТИ, сер. 2, 1994, № 5, с. 8-13.

29. Выготский J1.C. Развитие высших психических функций. Изнеопубликованных трудов. М., Академия педагогических наук, РСФСР, 1960.

30. Гаврилова Т.А. Состояние и перспективы разработки баз знанийинтеллектуальных систем. //Новости искусственного интеллекта, 1996, № 1, с. 5-43.

31. Гареев А.Ф. Решение проблемы размерности словаря при использовании вероятностной нейронной сети для задач информационного поиска. // Нейрокомпьютеры: разработка, применение. 2000, № 1, с. 60 63.

32. Гличев A.B. Прикладные вопросы квалиметрии. М., Изд-во стандартов, 1983,212 с.

33. Городецкий Б.Ю. Теоретические основы прикладной семантики. Автореф. док. дисс. М., 1978., с.ЗО

34. Городецкий Б.Ю. Актуальные проблемы прикладной лингвистики // Новое в зарубежной лингвистике. Вып. XII. М., 1983.

35. Городецкий Б.Ю. Компьютерная лингвистика: моделирование языкового общения // Новое в зарубежной лингвистике. Вып. XXIV. Компьютерная лингвистика. М., 1989.

36. Григорьев В.А. Оценка качества "интеллектуального извлечения" сетевой информации. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-97. Ясная Поляна. М., 1997, с. 77-82.

37. Григорьев В.А. Экспертное тестирование и оценка качества работы системы Michel. //НТИ, сер. 2, 1997, № 7, с. 12-18.

38. Григорьев В.А. Оценка качества интеллектуальных систем, оперирующих неформальными понятиями. //Информационные технологии, 1997, № 6, с. 7-10.

39. Григорьев В.А. Фундаментальное и конструктивное качество интеллектуальных систем. //НТИ, сер. 2, 1998, № 2, с. 12-21.

40. Григорьев В.А. Стереотипы и фантазия в интеллектуальных системах. Часть I. //НТИ, сер. 2, 1999, № 7, с. 10-27.

41. Григорьев В.А. Стереотипы и фантазия в интеллектуальных системах. Часть II. //НТИ, сер. 2, 2000, № 1, с. 12-20.

42. Григорьев Н.В. Восходящий алгоритм построения дерева зависимостей для системы ЭТАП-3 // Труды Международного семинара Диалог'99, с. 28-33, 1999.

43. Гринбаум О.Н. и др. Проект "ЛИНДА" автоматизированная система обработки лингвостатистических данных. //Прикладная лингвистика и автоматический анализ текста. Тарту, Изд-во ТГУ, 1988, с. 31-33.

44. Денисов П.Н. Лексика русского словаря и принципы ее описания. М., 1977, с.280

45. Дударь З.В., Шуклин Д.Е. Семантическая нейронная сеть, как формальный язык описания и обработки смысла текстов на естественном языке. //Радиоэлектроника и информатика. X., Изд-во ХТУРЭ, 2000, № 3, с. 72-76.

46. Дюбуа Д., Прад А. Теория возможностей. Приложения к представлению знаний в информатике. Пер. с франц. М., Радио и связь, 1990, 288 с.

47. Емельянов C.B., Ларичев О.И. Многокритериальные методы принятия решений. М., Мысль, 1985.

48. Ермаков А.Е., Плешко В.В. Ассоциативная модель порождения текста в задаче классификации. // Информационные технологии. 2000. - N 12.

49. Жигалов В.А. Поиск в Интернет: от словарного индексирования к распределенной сети знаний. //Труды междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-98. Таруса, 1998, с. 47-56.

50. Жигалов В.А., Романов Л.Г. Двухатрибутная модель оценки соответствия ЕЯ-запроса предметной области. //Труды РосНИИ Искусственного Интеллекта, М., 1999.

51. Загорулько Ю., Кононенко И., Попов И. Экспериментальная системапонимания метеорологических телеграмм. //Труды междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-99. Таруса, 1999, том 2, с. 57-66.

52. Заде Л.А. Основы нового подхода к анализу сложных систем и процессов принятия решений. //Математика сегодня, 1974, с. 5-49.

53. Звегинцев В.А. Язык как фактор компьютерной революции. //ИТИ Сер.2 -1985, N9.-с. 1-7.

54. Зубов А.В. и др. Статистический анализ текста с помощью ЭВМ //Энтропия языка и статистика речи. Минск., 1966, с.118-166.

55. Зубов А.В. Проблемы порождения текста. Ч. 1 Теория и алгоритмы. Минск., МГПИИЯб 1987, 78 с.

56. Ивакин Я.А. Модель оценки совокупности характеристик баз знанийэкспертных систем. //Радиоэлектроника и связь, 1995, № 2(10), с. 42-46.

57. Иомдин JI., Штрайтер О. Обучение на корпусах параллельных текстов: эксперименты по машинному переводу. //Dialogue-99: Computational Linguistics and its Applications, Int. Workshop, Tarusa, 1999, vol. 2, p. 7988

58. Иомдин JI.JI., Цинман JI.JI. Лексические функции и машинный перевод. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям. Диалог-97. Ясная Поляна, М., 1997, с. 291-297.

59. Искусственный интеллект: В 3 кн. Кн. 1. Системы общения и экспертные системы. Справочник. Под ред. Э.В.Попова. М., Радио и связь, 1990.

60. Казакевич О.А. Исследование текстовых баз данных в лингвистических исследованиях: обзор зарубежных работ. //ИТИ, сер. 2, 1988, № 6, с. 917.

61. Казиев Г.З., Кузнецов Н.А., Кульба В.В. Модели, методы и средства анализа и синтеза модульных ИУС. //Автоматика и телемеханика, М., 1993.

62. Калеватых А.В., Павлов Б.А. Обзор современных методов автоматизированного анализа изображений. //Автоматика и телемеханика, 1995, № 9, с. 3-21.

63. Канович М.И., Шаляпина З.М. Русский морфологический и морфолого-синтаксический синтез по неполной и/или неточной входной информации. В кн.: Русский язык как иностранный: лингвистические проблемы. М., "ИКАР", 1997, с.37-147.

64. Карпова Н.А. Разработка нейросетевого классификатора для тестирования систем: Автореферат диссертации на соискание ученой степени к.т.н. Пенза, ПТУ, 1999, 18 с.

65. Карпова Н.А. Построение информационной модели процесса оценивания знаний. Пенза, ПТУ, 1999.

66. Карри Х.Б. Основания математической логики. М., Мир, 1969.

67. Кофман А. Введение в теорию нечетких множеств, пер. с франц., М., Радио и связь, 1982, 432 с.

68. Кемени Дж., Снелл Дж. Кибернетическое моделирование: некоторые приложения. М., Советское радио, 1972, 192 с.

69. Кибрик А.Е. Очерки по общим и прикладным вопросам языкознания. М., УРСС, 1992,332 с.

70. Кибрик Л.Е., Нариньяни A.C. (ред.) Моделирование языковойдеятельности в интеллектуальных системах. М., Наука, 1987, 279 с.

71. Киселев А.Н. Элементы теории и практики переводных соответствий. //НТИ, сер. 2. М., 1993, №8, с. 16-21.

72. Киселев H.H. Алгоритмическое и программное обеспечение прикладного статистического анализа. М., Наука, 1980, с. 111-123.

73. Комиссаров В.Н. Слово о переводе. М., ИМО, 1973, 237 с.

74. Кононенко И.С. Экспериментальная система понимания коротких текстов. //Труды IV национальной конференции ИИ-94. Рыбинск, 1994, с. 395398

75. Кононенко И.С. Типологические особенности текста и моделирование процесса понимания. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-95, Казань, 1995.

76. Кормышев В.М., Щербатский В.Б. и др. Определение компетентности эксперта с помощью математической модели, УГТУ, 2000

77. Корнеев В.В. и др. Базы данных. Интеллектуальная обработка информации. М., Нолидж, 2000, 351 с.

78. Королев Э.И. Применение дистрибутивно-статистического метода в лингвистическом обеспечении автоматизированных информационных систем.//НТИ. Сер. 2. 1977. -N1, с. 3-10.

79. Королев Э.И., Поликарпов A.A. и др. Словарь ассоциативных отношений: автоматическая обработка связей. //Тезисы Всесоюзной конференции "Основные направления развития и совершенствования работ по стандартизации НТТ. М., 1983., с. 80-82.

80. Королев Э.И., Максименко О.И., Поликарпов A.A. Системаавтоматической классификации текстовой информации. //Техника средств связи. М., 1989. № 3, с.28-40.

81. Королев Э.И. Промышленные системы машинного перевода. М., ВЦП, 1991, 104 с.

82. Котов Р.Г. и др. Прикладная лингвистика и информационная технология. М., Наука, 1987, 163 с.

83. Круглое В.В., Дли М.И., Годунов Р.Ю. Нечеткая логика и искусственные нейронные сети. М., Физматлит, 2001., 224 с.

84. Кузнецов В.П., Мацкевич А.Г. Автоматическое выявление из документов значимой информации с помощью шаблонных слов и контекста. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям Диапог-98. Таруса, 1998, том 2.

85. Кузнецов И.П. Методы обработки сводок с выделением особенностей фигурантов и происшествий. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям Диапог-99. Таруса, 1999, том 2.

86. Кузнецов И.П. Семантические представления. М., Наука, 1986, 290 с.

87. Кузнецов C.B., Титов В.В. Классификация: системно-морфологический подход. М., Инвента, 1998.

88. Кузьмин В.Б., Орлов А.И. Статистические методы анализа экспертных оценок. М., Наука, 1977, с. 220-227.

89. Куршев Е.П., Осипов Г.С., Рябков О.В. и др. Интеллектуальная метапоисковая система. //Труды международного семинара Диалог'2002 по компьютерной лингвистике и ее приложением. Том 2. www.dialog-21 .ru/http ://

90. Ларичев О.И. Объективные модели и субъективные решения. М., Наука, 1987, 143 с.

91. Лахути Д. Г., Чернявский С.Л. О проблеме оценки поисковых систем. Ч. 1. //НТИ, сер. 2, 1970, № 1, с. 24-34.

92. Лингвистический энциклопедический словарь. М., Советская энциклопедия, 1990, 683 с.

93. Лукашевич Н.В. Автоматическое рубрицирование потоков текстов по общественно-политической тематике. // НТИ. Серия 2. Информационные процессы и системы. 1996, № 10, с. 22 30.

94. Любченко В.И., Шаляпина З.М. и др. Система ИРИС иероглифический редактор и справочник по японской графике и лексике. //V-я Междунар. конференция по языкам Дальнего Востока, Юго-Восточной Азии и Западной Африки. СПб., 1999, с. 52-58.

95. Максименко О.И. Лингвистические проблемы примененияавтоматизированной ДС методики для анализа НТТ по системам связи и управления. Автореферат канд. диссертации. М., 1989., 17 с.

96. Максименко О.И. Особенности применения автоматизированного ДСМ для анализа НТТ по системам связи и управления. М., МГУ, 1989, Деп. ИНИОН АН СССР, № 37622.

97. Максименко О.И. Проблемы снятия полисемии и омонимии терминов и ядерной лексики в системах машинного перевода. //Материалы научно-методического симпозиума "Язык в действии". МАГГРЯЛ, ТГУ, 1997.

98. Максименко О.И Использование систем машинного перевода приразработке автоматизированных обучающих систем. //Компьютерная лингвистика и обучение языкам. Сборник научных статей. Минск, МГЛУ, 2000.

99. Максименко О.И. Некоторые вопросы использования формальных методов в преподавании языков. //Материалы научно-практической конференции. М., МГИМО, 2002.

100. Максименко О.И. Некоторые формальные методы в лингвистике. //Филологические науки. Сборник научных трудов № 3(18). М., МГИМО, 2000.

101. Максименко О.И. Новые перспективы автоматизации обучения языкам. //Филологические науки. Сборник научных трудов № 5(19). М., МГИМО, 2000.

102. Максименко О.И. Формальные методы в современной лингвистике. // Материалы научно-практической конференции МПУ. М., 2001.

103. Максименко О.И. Некоторые вопросы использования формальных методов в преподавании языков. //Материалы научно-практической конференции МГИМО, М., 2002 г.

104. Максименко О.И. Формальные методы в современной прикладной лингвистике. Народный учитель, МГОУ, М., 2002 г. 256 с.

105. Максименко О.И. Методы оценки эффективности интеллектуальных систем. //Филологические науки. Сборник научных трудов № 13 (28). М., МГИМО, 2003, с.123-138.

106. Максименко О.И. Нечеткая логика в лингвистике. //Филологические науки. Сборник научных трудов № 12 (27)., М., МГИМО, 2003. с. 5465

107. Максименко О.И. Экспертные оценки в гуманитарных науках. //Сборник научных трудов N1., МГОУ, М., 2003. с. 153-161.

108. Мартьянов С.А. Математическая модель оценки эффективности функционирования системы управления силами РСЧС. М., 2001.

109. Марусенко М.В. Атрибуция анонимных и псевдонимных литературных текстов методами прикладной лингвистики. //Прикладная лингвистика. СПб., 1996.

110. Марчук IO.I I. Проблемы машинного перевода. М., Наука, 1983, 201 с.

111. Марчук IO.I I. Методы моделирования перевода. М., Наука, 1985, 203 с.

112. Марчук Ю.Н. Модель "текст-текст" и переводные соответствия в теории машинного перевода. //Проблемы компьютерной лингвистики. Минск, МГЛУ, 1997, с. 21-29.

113. Марчук Ю.Н. Теория и практика машинного перевода. Русскийфилологический вестник, 1996, том 81. М., Московский лицей, с. 123135.

114. Марчук Ю.Н. Компьютерная лингвистика и ее приложения. Научно-аналитический обзор. М., ИНИОН РАН, 1998, 125 с.

115. Марчук Ю.Н. Основы компьютерной лингвистики. МПУ., М., 2000, 226 с.

116. Масалович А.И. Прогноз дает компьютер. //Софтмаркет, № 23, 1996, с. 6.

117. Масалович А.И. Этот нечеткий, нечеткий, нечеткий мир. //PC Week, № 16, 1995.

118. Мелихова O.A. Логический вывод на основе нечеткой мета- импликации. М., 1998.

119. Мельчук И.А. Опыт теории лингвистических моделей "Смысл <-> Текст". Наука, 1974,314 с.

120. Методы анализа данных, оценивания и выбора в системныхисследованиях. Сборник трудов, вып. 14. М., ВНИИСИ, 1986, 124с.

121. Мидоу Ч. Анализ информационных систем. Пер. с англ. М., Прогресс, 1977-400 с.

122. Модина Л.С., Шаляпина З.М. Межъязыковые операции в модели японско-русского автоматического перевода ЯРАП. Электронные библиотеки и базы данных по истории Евразии в средние века, вып. 7. М., ИВ РАН, 1999, с. 172-231.

123. Моисеев H.H. Неформальные процедуры и автоматизация проектирования. М., Знание, 1979, 64 с.

124. Мухин В.И. Исследование систем управления. М., АГЗ, 1998.

125. Нариньяни A.C. Проблема понимания ЕЯ-запросов к базам данныхрешена. //Труды междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-95. Казань, 1995.

126. Нелюбин Л.Л. Компьютерная лингвистика и машинный перевод. М., ВЦП, 1991, 151 с.

127. Нелюбин Л.Л. Инженерно-лингвистическое моделирование икомпьютерная лингвистика. //Проблемы компьютерной лингвистики. Минск, МГЛУ, 1997, с 18-21.

128. Нелюбин Л. Л. Толковый переводоведчсский словарь. М., Флинта: Наука, 2003.

129. Нелюбин Л.Л., Хухуни Г.Т. История и теория перевода в России. М., МПУ, Издательство Сигнал, 1999, 151 с.

130. Новиков А.И. Семантика текста и ее формализация. М. 1983

131. Новиков А.И., Нестерова E.H. Реферативный перевод. М., 1984.

132. Новиков А.И., Нестерова K.M. Реферативный перевод научно-технических текстов. М., Институт языкознания АН СССР, 1991

133. Новиков А.И. Смысл: семь дихотомических признаков.// Материалы научной конференции "Теория и практика речевых исследований. М., 1999

134. Новиков А.И. Ярославцева Е.И., Тезаурус грамматических категорий и явлений // Человек в зеркале языка. М., Институт языкознания, - 2002.

135. Новиков А.И. Доминантность как механизм смыслообразования.

136. Международная научная конференция "Изменяющийся языковой мир. Пермский госуниверситет, Ноябрь, 2001.

137. Орлов А.И. Многомерный статистический анализ в социально-экономических моделях. М., Наука, 1974, с. 388-393.

138. Орлов А.И. Математическое моделирование в психологии. //Вопросы кибернетики, вып. 50. М., Научный совет АН СССР по комплексной проблеме "Кибернетика", 1979, с. 35-45.

139. Орлов А.И. Задачи оптимизации и нечеткие переменные. М., Знание, 1980, 64 с.

140. Орлов А.И. Экспертные оценки в задачах управления. //Сборник трудов. М., Институт проблем управления, 1982, с. 58-66.

141. Орлов А.И. Анализ нечисловой информации в социологических исследованиях. М., Наука, 1985, с. 58-92.

142. Орлов А.И. Статистические методы оценивания и проверки гипотез.// Межвузовский сборник научных трудов. Пермь, Изд-во Пермского государственного университета, 1993, с. 86-97.

143. Орлов А.И. Вероятностные модели конкретных видов объектовнечисловой природы (Обзор). //Заводская лаборатория, 1995, том 65, № 3.

144. Осипов Г.С. Информационные технологии, основанные на знаниях.// Новости искусственного интеллекта, 1993, № 1, с. 7-41.

145. Панкова Л.А., Петровский A.M., Шнейдерман М.В. Организацияэкспертиз и анализ экспертной информации. М., Наука, 1984, 120 с.

146. Первое Всесоюзное совещание по статистическому и дискретному анализу нечисловой информации, экспертным оценкам и дискретной оптимизации. //Тезисы докладов. М., Ллма-Ата, ВИНИТИ, 1981, 439 с.

147. Пиотровский Р.Г. Бектаев К.Б. и др. Математическая лингвистика. М., Высшая школа., 1977, 324 с.

148. Пиотровский Р.Г. Инженерная лингвистика и теория языка. J1., Наука, 1979, III с.

149. Пиотровский Р.Г. Лингвистический автомат и его речемыслительное обоснование. Минск, МГЛУ, 1999, 196 с.

150. Пиотровский Р.Г. новые горизонты машинного перевода.//НТИ Сер.2. N1, 2002, с. 17-29.

151. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. М., Наука, 1982, 254 с.

152. Поликарпов A.A. Закон Ципфа-Мандельброта и единицы разных уровней организации текста. //Квантитативная лингвистика и автоматический анализ текста. Тарту, Изд-во ТГУ, 1984, с. 35-61.

153. Поликарпов A.A. Логическое пространство единиц лексической подсистемы языка и квантитативные отношения между ними. //Прикладная лингвистика и автоматический анализ текста. Тарту, Изд-во ТГУ, 1988. с. 67-70.

154. Поликарпов A.A. Циклические процессы в становлении лексической системы языка: моделирование и эксперимент, М., 2001

155. Поликарпов A.A. Закономерности жизненного цикла слова и эволюция языка. Теория и эксперимент. // Русский филологический вестник Vol. 80., N.l, М., Московский лицей, 1995. стр. 77-92.

156. Поликарпов A.A. Анализ становления терминоведения как научной проблемы. //Русский филологический вестник. Vol.81., N.l. М., Московский лицей, 1996., стр. 105-113.

157. Поликарпов A.A., Колодяжная Л.И. Системно-квантитативноеисследование русской синонимии. // Альманах "Говор" 4.1, Сыктывкар, СГУ, 1997.

158. Поляков В.Н. Синтез формальных моделей языка и смысла как проблема семантической обработки естественного языка. //Новости искусственного интеллекта, 1997, № 1, с. 6-63.

159. Поспелов Д.А. Ситуационное управление. Теория и практика. М., Наука, 1986, 284 с.

160. Потапова Р.К. Речь: коммуникация, информация, кибернетика. М., Радио и связь, 2001,527 с.

161. Потапова Р.К. Новые информационные технологии и лингвистика. М., МГЛУ, серия "Библиотека лингвиста", 2002, 560 с.

162. Проблемы прикладной лингвистики 2001. Ред. Новиков А.И. РАН, Институт языкознания. Сб. статей. М., Азбуковник, 2001, 360с.

163. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. М., Экономика, 1974, 151с.

164. Раушенбах Г.В., Филиппов О.В. Экспертные оценки в медицине. Научный обзор. М., ВНИИММТИ Минздрава СССР, 1983, 80 с.

165. Рузавин Г.И. О природе математического знания (Очерки по методологии математики). М., Мысль, 1968, 318 с.

166. Сахарный JT.B. Частотный словарь индексирования. Пермь. 1972. с.7.

167. Сидельников Ю.В. Теория и организация экспертного прогнозирования. М., ИМЭМО АН СССР, 1990, 196 с.

168. Скларевич А.Н. Возможное обоснование частотных закономерностей. М., 1992.

169. Скурко Е.В. Эффективность информационного обеспечениязаконодательной деятельности: метод оценки. //НТИ, сер. 1, № 3, 2001.

170. Сокирко A.B. Обзор зарубежных систем автоматической обработки текста, использующих поверхностно-семантическое представление, и машинных семантических словарей. //НТИ, сер. 2, 2000, № 2, с. 1-14.

171. Солтон Дж. Динамические библиотечные информационные системы. М., 1979, 532 с.

172. Статистические методы анализа экспертных оценок. М.,Наука, 1977, 384 с.

173. Столл P.P. Множества. Логика. Аксиоматические теории. М., Просвещение, 1968.

174. Стройк Д.Я. Краткий очерк истории математики. М., Наука, Гл. ред. Физ.-мат. лит., 1984.

175. Сухотин Б.В. Оптимизационные методы исследования языка. М., Наука, 1984, 96 с.

176. Тарасов Е.В., Балык В.М., Лещенко A.B. Выбор информационнопоисковой системы и оценка ее адаптации. //НТИ, сер. 2, 1987, № 2, с. 12-16.

177. Тихомиров Б.Д. СПРИНТ семейство коммерческих систем машинного перевода. М., ВЦП, 1991.

178. Тулдава Ю. Проблемы и методы квантитативно-системного исследования лексики. Таллин, Валгус, 1987, 204 с.

179. Тюрин Ю.Н. и др. Анализ нечисловой информации. Препринт. М., Научный совет АН СССР по комплексной проблеме "Кибернетика", 1981,80 с.

180. Успенский В.А. Семь размышлений на темы философии математики. //В кн. Закономерности развития современной математики. М., Наука, 1987, с. 106-155.

181. Фаин B.C. Машинное понимание естественного языка в рамках концепции реагирования. //В кн. Интеллектуальные процессы и их моделирование. Под ред. Е.П. Велихова, A.B. Чернавского. М., Наука, 1987, с. 375-392.

182. Фсклистов Л. Метод нечетких обобщений для систем поддержки принятия решений. //Информатизащя та HoBai технологи, 1996, № 2, с. 6-44.

183. Харламов A.A., Ермаков А.Е., Кузнецов Д.М. TextAnalyst комплексный нейросетевой анализатор текстовой информации. //Вестник МГУ, сер. приборостроение, 1998, № 1,с. 101-129.

184. Хмелёв Д.В. Распознавание автора текста с использованием цепей A.A. Маркова. //Вестник МГУ, сер. филология, 2000, № 2, с.115-126.

185. Хроменков П.Н. Оценка систем машинного перевода. Авторефератдиссертации на соискание уч. степени канд. филологических наук, М., 2000, 16 с.

186. Ципман Л.Л., Сизов В.Г. и др. Система Этап: процедуры ослабления синтаксических правил и их использование. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-99. Таруса, 1999, с. 321-325.

187. Чурсин H.H. Популярная информатика. К., Техника, 1982.

188. Шабанов-Кушнаренко Ю.П. Теория интеллекта. Математические средства. X., Вища школа, 1984, 143 с.

189. Шайкевич А.Я. Дистрибутивно-статистический анализ текстов. Автореферат док. дисс. М., 1979., с.35.

190. Шайкевич А.Я. Дифференциальные частотные словари и исследование языка Достоевского (на материале романа "Идиот"). Слово Достоевского. М., Институт русского языка Российской академии наук, 1996, с. 195-253.

191. Шаляпина З.М. Средства компьютерной обработки японских текстов, разрабатываемые в ИВ РАН.// Бюллетень Общества востоковедов РАН, 2000, №4, с. 104-118

192. Шингарева Е.А. Опыт использования фреймов для распознавания смыслового образа текста. //НТИ, сер. 2, 1978, № 10, с. 20-28.

193. Шокин Ю.И. Интервальный анализ. Новосибирск, Наука, Сибирск. отделение, 1981,112 с.

194. Шошитайшвили И.А. Оценка качества машинного перевода. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-97. Ясная Поляна, 1997, с. 309-310.

195. Штайке С. Будущее Novell и не только. IILAN журнал сетевых решений, 1996, том 2, № 3, с. 60-66.

196. Штофф В.А. Проблемы методологии научного познания. М., Высш. школа, 1978.

197. Щетинин В.Г. Многослойная самоорганизация нейронных сетейоптимальной сложности. //Автоматика и вычислительная техника. Рига, 1998, №4, с. 30-37.

198. Экспертные оценки. Вопросы кибернетики, вып. 58. М., Научный совет АН СССР по комплексной проблеме "Кибернетика", 1979, 200 с.

199. Abney S. Statistical methods and linguistics. In J.L. Klavans and P.Resnik, editors, The Balancing Act, Combining Symbolic and Statistical Approaches to Language. CUP, 1996.

200. Arnold D. Expert system tools optimizing help desks. Software magazine, 1993, vol.13, № l,p. 56-64.

201. Arnold D. World Wide Web access to Corpora. Corpus-Based Research in English Language and Linguistics, Monograph Issue of Cuadernos de Filología Inglesa de la Universidad de Murcia, vol 9.1, p. 125-145, 2000.

202. Arnold D. Why translation is difficult for computers. H.L., 2000

203. Arnold D., Aarts В., Buckley J., Berglund Y., Nelson G., Rondell M. Corpora and grammars on the Web: The W3Corpora-IGE Project. Final Report, JTAP-2/247, 1999.

204. Arnold D., Balkan L., Humphreys R.L., Meijer S., Sadler L. Machine

205. Translation: An Introductory Guide. Oxford: NCC and Oxford Blackwell,1994.

206. Beale St. Hunter-Gatherer: Applying Constraint Satisfaction, Branch-and-Bound and Solution Synthesis to Natural Language Semantics NMSU CRL Technical Report. MCCCS-96-292.

207. Brandow R., Mitz K., Rau L.F. Automatic condensation of electronicpublications by sentence selection. Information processing and management,1995, vol.31, № 5, p. 675-685.

208. Brill Eric, Magerman David, Marcus Mitchell P., Santorini Beatrice. Deducing Linguistic Structure From the Statistics of Large Corpora. In Proceedings of the DARPA Speech and Natural Language Workshop, 1990, pp. 275 282.

209. Brown D.R. Example-based machine translation in the Pangloss System.

210. COLING-96. The 16th Int. Conf. on Computational Linguistics. Proc., 1996.

211. Brown D.R., Frederking, R. Applying statistical English language modelling to symbolic Machine Translation. Theoretical and Methodological Issues in Machine Translation, 1995.

212. Carl M. A constructivist approach to Machine Translation. Proc. of NeMLaP3/CoNLL-98. Sydney, p. 247-256.

213. Carl M., Hansen S. Linking translation memories with example-based Machine Translation. In Proc. of the MT-Summit'99, Singapore, 1999.

214. Carl M., Iomdin L., Pease C., Streiter O. Towards a dynamic linkage of example-based and rule-based Machine Translation. MT Journal, 2000.

215. Carl M., Iomdin L., Streiter O. Towards dynamic linkage of example-based and rule-based machine translation. ESSLLI'98 Machine Translation Workshop, Saarbrucken, 1998.

216. Carl M., Schaible J., Pease C. Enhancing Translation Memory technologies with linguistic intelligence. MULTI-DOC Deliverable D4.1. Commission of the European Communities, Luxembourg, 1998.

217. Centre national de la recherche scientifique. Laboratoire d'informatique pour la mecanique et les sciences de l'ingenieur. Scientific report, Orsay, 1995.

218. Charniak E. Ree-bank grammars. In 13th National Conf. on Artificial Intelligence, AAAI-96.

219. Choi, Sung-Kwon, Jung, Han-Min et al. Hybrid approaches to improvement of translation quality in web-based English-Korean machine translation. COLING-ACL-98. The 17th Int. Conf. on Computational Linguistics. Proc.,1998.

220. Cohen W. Text categorization and relational learning. Proc. of the Int. Machine Learning Conf. (ICML-95), Lake Tahoe, CA, 1995, p. 124-132.

221. Cushing B.E., Barry E., Romney M.B., Marshall B. Accounting information systems and business organizations. 4 ed., Adison-Wesley, 1987, vol. XVII, 906 p.

222. Daelemans W. et al. Memory-based shallow parsing. In Proc. of CoNLL-99, Bergen, Norway, 1999.

223. Daelemans W. et al. Forgetting exceptions is harmful in language learning. Machine Learning, special issue on Natural Language Learning (34): 11-43,1999.

224. Deboeck G.J. Advanced technology: Impact on financial industry and financial markets. Proc. of Int. Joint Conf. "Neural Networks", IJCNN'93, Nagoya, 1993, vol. l,p. 1045-1050.

225. Encyclopedia of Artificial Intelligence. Vol. 1., N.Y., Wiley Interscience Publication, 1990. p. 420.

226. FASTUS: a cascaded finite-state trasducer for extracting information from natural-language text. AIC, SRI Int., Menlo Park, California, 1996.

227. Feldman R., Dagan I. Knowledge discovery in textual databases (KDT). Proc. of the 1st Int. Conf. on Knowledge Discovery (KDD-95), Montreal, 1995, p. 112-117.

228. Fung P. A pattern matching method for finding noun and proper noun translations from noisy parallel corpora. 33rd Annual Meeting of the Association for Computational Linguistics, 1995.

229. Fuzzy Arithmetic. Prentice Hall, 1995.

230. Graven M., Shavlik J. Using neural networks for Data Mining, future generation computer systems. Special issue on Data Mining, 1997.

231. Grigoriev V. The quality evaluation of Magion-2 Russian-language text automatic summary system. ELSNET goes East and IMACS workshop on integration of language and speech. Proc., Moscow, 1996, p. 36-45.

232. Hajicova E., Panevova J., Sgall P. Language Resources Need Annotations to Make Them Really Reusable: The Prague Dependency Treebank. // Proceedings of the First International Conference on Language Resources & Evaluation, 1998, pp. 713 718.

233. Hayes P.J., Weinstein S.P. Construe/TIS: A System for Content-based Indexing of a Database of News Stories. // In Innovative Applications of Artificial Intelligence 2, pp. 49 64. The AAAI Press/ The MIT Press, Cambridge, MA, 1991.

234. Heyn M. Integrating Machine Translation into Translation Memory Systems. European Association for Machine Translation. Workshop Proc., ISSCO, Geneva, p. 111-123, 1996.

235. Johnson D.S., Pieper K.F. The intelligent tutoring system as a trainingintervention: Implementing ITSs in industry. Cybernetics and systems, 1995, vol. 26. №6, p. 681-685.

236. Jung Han-Min et al. A domain identifier using domain keywords from balanced web documents. First Int. Conf. on Language Resources & Evaluation, Granada, 1998.

237. Kacprzyk J., Zadrozny S. Fuzzy querying using the "query-by-example" option in windows-based DBMS. EUFIT95, Aachen, 1995, vol. 2, p.733-736.

238. Kaski S., Lagus K., Honkela K., Kohonen T. Statistical aspects of the

239. WEBSOM system in organizing document collections. Computing Science and Statistics, (Scott, D.W., ed.), Interface Foundation of North America, Inc., Fairfax Station, VA, p. 281-290, 1998.

240. Keh-Jiann Chen, Chi-Ching Luo et al. The CKIP Chinese treebank. In Journals ATALA sur les Corpus pour la syntaxe, Talana, Paris VII, 1999.

241. Kohonen T. Self-organization of very large document collections: state of the art. Proc. of ICANN-98, the 8th Int. Conf. on Artificial Neural Networks, vol. 1, Springer, London, p. 65-74, 1998.

242. Kosko B. Fuzzy thinking. Hyperion, 1993.

243. Mahesh k. Ontology development for MT: Ideology and Methodology. NMSU CRL Technical Report. MCCS-96-292.

244. Marcus Mitchell P., Santorini Beatrice, Marcinkiewicz Mary Ann. Building a Large Annotated Corpus of English: The Penn Treebank. Computational Linguistics, 1993, Vol. 19, № 2.

245. Martynenko G. Statistical consistency of keywords dictionary parameters. In Proc. of the Int. Conf. RIAO'2000, Paris, vol. 2, p.1541-1547, 2000.

246. Mil ler G. and Beebe-Center J.G. Some Psychological Methods for Evaluating the Quality of Translation. In: "Mechanical Translation", III, 1956, pp. 7380.

247. Miram G. Translation algorithms. Kiev, Twin inter, 1998, 175 p.

248. McNeill, Daniel and Freiberger Paul. Fuzzy Logic. Touchstone Rockefeller Center, 1993.

249. Min Zhang and Key-Sun Choi. Attribute-knowledge classification andstatistical decision-making in Chinese parsing. In Proc. of the 5th Natural Language Processing Pacific Rim Symposium, Beijing, 1999.

250. Minsky M.A. Framework for representing knowledge. Massachusetts institute of technology, Camridge, 1974.

251. Nagao M., Tsujii J., Nakamura J. The Japanese government project for machine translation, 1989, p. 141-186.

252. Narin'yani A.S. Intelligent software technology for the new decade. Communications of the ACM, vol. 34, 1991, № 6, p. 60-67.

253. Needham R.M. Applications of the theory of clumps. // Mechanical Translation/ 1965. V.8-N3-4.

254. Nirenburg S., Raskin V. et al. Apologiae Ontologia. MT Sammit., 1994.

255. Nubel, R. End-to-end evaluation in Verbmobil I. MT-Summit'97, San Diego, 1997

256. Ong K., Wang Q.H. An object-oriented approach to the semantic interpretation of medical text. Expert systems applications, 1995, vol.9, № 3, p. 333-345.

257. Orlov A.I. Interval computations. 1992, № 1(3), p. 44-52.

258. Orlov A.I. Journal of soviet mathematics. 1991, vol. 56, N 3, p. 2434-2438.

259. Oettinger. A.G. Automatic Language Translation. Cambridge (Mass.), 1960, p. 114.

260. Partee B. Possible Worlds in Model-Theoretic Semantics: A Linguistic Perspective. In S. Allen (ed.), Possible Worlds in Humanities, Arts and Science. // Proceedings of Nobel Symposium 65. Berlin and New York: Waiter de Gruyter, 1989, pp. 93 123.

261. Raskin V., Nirenburg S. Lexical Semantics of Ajectives, Recent Papers from the Mikrocosmos and Corelli Projects, Vol 2, New Mexico State University, 1996.

262. RIAO'2000. Proc. of the Int. Conf. RIAO'2000 "Content-Based Multimedia Information Access", vol. 1-2, Paris, 2000.

263. Schetinin V., Kostunin A. Self-organization of neuron collective of optimal complexity. Proc. of Int. Symposium NOLTA'96, Kochi, Japan, p. 245-248, 1996.

264. Schulbach C. Evaluation of existing and proposed computer architectures for. future ground-based systems. AIAA Paper, 1985, № 85, p. 3018.

265. Shavlik J., Eliassi-Rad T. Building Intelligent Agents for Web-based tasks: a theory-refinement approach. Proc. of the CONALD Workshop on Learning from Text and the Web, 1998.

266. Somers H.L. (ed.) Computers and translation: a handbook for translators, John Benjamins, 2000.

267. Somers H.L. "New Paradigms" in MT: The state of play now that the dust has settled. ESSLLI'98 Machine Translation Workshop, Saarbrucken, 1998. .

268. Spark Jones K. Index Term Weighting.// ISR. 1973

269. Srinivasan R., Kinser J. et al. Optical syntactic pattern recognition by fuzzy scoring. Optics letters, 1996, vol. 21, II, p. 815-817.

270. Stiles H.E. The Association factor in information retrieval//JACM. 1961, N8

271. Streiter O. Linguistic modelling for multilingual Machine Translation. Berichte aus der Informatik Series. Shaker Verlag, Aachen, 1996.

272. Streiter O. A semantic description language for multilingual NLP. Papers presented at the Tuscan Word Centre. Institut fur Deutsche Sprache Workshop on Multilingual Lexical Semantics, 1998.

273. Streiter O. Parsing Chinese with randomly generalized examples. In NLPRS'99 Workshop on Multilingual Information Processing and Asian Language Processing, 1999.

274. Streiter O. Reliability in Example-based parsing. TAG Int. Workshop on Tree-adjoining grammars and related formalisms, Paris, 2000.

275. Streiter O., Pei-Yun Hsueh. A case-study on example-based parsing. In ICCLC'2000, Int. Conf. on Chinese Language Computing, 2000.

276. Streiter O., Iomdin L., Munpyo Hong, Ute Hauck. Learning, forgetting and remembering: Statistical support for rule-based MT. In TMI'99, 1999.

277. Streiter O., Carl M., Iomdin L. A Virtual translation machine for hybrid Machine Translation. Dialogue-2000: Computational Linguistics and its Applications, Int. Workshop, Protvino, 2000.

278. TEI Publication Guidelines for the Encoding and Interchange of Machine-Readable Texts. TEI Publication, May 1994. URL: http://www.tei-c.org

279. Temperley D., Lafferty J., Sleator D. 1995. Link Grammar Parser. http:Avww.link.cs/cmu.edu/link

280. Tsang E. Foundation of Constraint Satisfaction. Academic Press, London.

281. Wal 1 R.E, Jr. Translation Quality and Its Measurement, In: "Linguistic and Engineering Studies in Automatic Translation of Scientific Russian into English", vol. I, Univ. of Washington Press, 1958.

282. Wiener E. et al. A neural network approach to topic spotting. In Symposium on Document Analysis and Information Retrieval, Las Vegas, Nevada, 1995. p. 317-332.

283. Wu Chen Q., Yachida M. A fuzzy-theory-based face detector. Proc. of I APR Int. Conf. on Pattern Recognition, Vienna, 1996. vol. 3, p. 406.

284. Yuejie Zhang et al. Realizing source language analysis based on similarity estimate. In Proc. of the 5th Natural Language Processing Pacific Rim Symposium, Beijing, 1999.

285. Zadeh L. Fuzzy sets. Information and Control, 8(3), 1965, p. 338-353.

286. Zadeh L. Outline of a new approach to the analysis of complex systems and decision processes. IEEE Transactions on Systems, Man and Cybernetics, SMC-3(1), 1973, p. 28-44.

287. Zemankova-Leech M., Kandel A. Fuzzy relational data bases: a key to expert systems. Cologne, Verlag TUV Rheinland, 1984.

288. Zilahy S. Quality in Translation. In: "Quality of Translation", N. Y., 1963.