Теоретическое и экспериментальное исследование проблемы семантического анализа естественно-языковых высказываний (в 2-х томах). тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Терзиян, Ваган Яковлевич

• Терзиян, Ваган Яковлевич
• кандидат технических наук
• 1984

Оглавление диссертации кандидат технических наук Терзиян, Ваган Яковлевич

ВВЕДШИЕ.

1. Проблема анализа естественно-языковых высказываний

1.1. Задачи анализа естественно-языковых высказываний

1.1.1. Обзор существующих моделей и систем анализа естественного языка

1.1.2. Постановка задачи исследования

1.2. Организация семантических знаний в системе

1.2.1. Синтактико-семантические отношения

1.2.2. Семантико-прагматические отношения

1.2.3. Организация хранения знаний системы в

С-структуре.

1.3. Шводы по разделу.

2. Анализ естественно-языковых высказываний с помощью аппарата валентностей

2.1. Организация анализа естественно-языковых высказываний .

2.2. Формальное описание аппарата валентностей

2.2.1. Некоторые обозначения

2.2.2. Определение валентностей

2.2.3. Анализ естественно-языковых высказываний с помощью аппарата валентностей

2.2.4. Определение допустимой для согласования окрестности словоформы

2.3. Минимизация морфолого-синтаксической информации словоформ в процессе анализа

-32.4. Операция "свертки"для фрагментов естественноязыкового высказывания.

2.5. Выводы по разделу.

3. Понимание естественно-языковых высказываний и вывод.

3.1. Постановка задачи раздела .

3.2. Формальное описание аппарата метавалентностей

3.2.1. Общий вид семантико-прагматического отношения

3.2.2. Определение метавалентностей

3.2.3. Описание семантико-прагматического графа базы знаний системы.^

3.2.4. Определение открывающего возбуждения . ^

3.2.5. Свойства операций с именами открывающих возбуждений .^

3.3. Система правил для получения результатов операций с именами открывающих возбуждений

3.3.1. Получение системы правил на основании базы знаний.

3.3.2. Представление правил в форме семантикопрагматических метаотношении

3.3.3. Определение гипервалентности

3.3.4. Алгоритм выполнения операции конъюнктивного наложения.

3.3.5. Алгоритм выполнения операции усиления

3.4. Процесс понимания естественно-языковых высказываний и вывод

3.4.1. Определение семантической связи естественноязыковых конструкций в семантико-прагматическом графе базы знаний системы.

-43.4.2. Процедуры и метапроцедуры вывода

3.4.3. Ситуации, требующие прекращения вывода

3.4.4. Понимание естественно-языковых высказываний . ЮЗ

3.5. Множество семантико-прагматических отношений системы.НО

3.5.1. Равенство семантико-прагматических отношений по смыслу.

3.5.2. Требования к "идеальному" множеству семантико-прагматических отношений в системе . Ш

3.5.3. Идеализация множества семантико-прагматических отношений в процессе работы системы

3.6. Шводы по разделу.И?

4. Проверка семантической правильности и выбор необходимой реакции системы на входное естественноязыковое высказывание.

4.1. Работа с обобщающими конструкциями

4.1.1. Коэффициенты обобщения и разрешения.

4.1.2. Примеры работы с обобщающими конструкциями

4.2. Анализ противоречивости естественно-языковых высказываний

4.2.1. Противоречивые синтактико-семантические отношения .

4.2.2. Противоречивые семантико-прагматические отношения.

4.3. Анализ семантической эквивалентности естественно-языковых высказываний

4.3.1. Эквивалентность синтактико-семантических отношений . —

4.3.2. Эквивалентность семантико-прагматических отношений.

4.4. Анализ семантической правильности и прагматической ценности входных естественно-языковых высказываний

4.4.1. Анализ соответствия семантической структуры входного естественно-языкового высказывания семантико-прагматическому графу базы знаний системы.^

4.4.2. Анализ противоречивости входного естественноязыкового высказывания и базы знаний.

4.4.3. Анализ прагматической ценности входного естественно-языкового высказывания для системы

4.5. Формирование умозаключений в процессе понимания ^

4.5.1. Умозаключения, использующие валентности словоформ.

4.5.2. Умозаключения, использующие метавалентности

4.5.3. Умозаключения, использующие гипервалентности

4.6. Применение процедур формирования утло заключений, вывода и метавывода для решения специфических задач анализа связных текстов . —

4.6.1. Разрешение местоимений в текстах

4.6.2. Обработка эллиптических конструкций в тексте

4.6.3. Определение временной последовательности фактов в тексте.

4.6.4. Восстановление причинно-следственной связи между фактами текста.

4.7. Виды реакции системы на входные естественноязыковые высказывания.

4.7.1. Коррекция знаний

4.7.2. Уточнение или игнорирование входного естественно-языкового высказывания

4.7.3. Формирование ответов на вопросы

4.7.4. Подключение требуемого программного модуля . . 163 4.8. 1±шоды по разделу.

5.Программная реализация и экспериментальное исследование процедур семантического анализа естественноязыковых высказываний и текстов.

5.1. Программная реализация подсистемы формирования синтактико-семантических отношений по валентности . ^^

5.1.1. Описание функциональной схемы подсистемы . ~~

5.1.2. Описание подсистемы формирования синтактико-семантических отношений с использованием морфолого-синтаксической валентности

5.2. Программная реализация подсистемы анализа естественно-языковых текстов . Х({

5.2.1. Функциональная схема подсистемы . ~

5.2.2. Описание блока восстановления эллиптических конструкций и формирования умозаключений в рамках кратковременной памяти.

5.2.3. Описание блока разрешения местоимений в тексте.-^

5.3. Экспериментальное исследование процедур семантического анализа

5.3.1. Основные возможности процедур семантического анализа.

5.3.2. Ограничения, накладываемые на входной язык для разработанных подсистем.

5.4. Шводы по разделу.

Введение диссертации (часть автореферата) на тему «Теоретическое и экспериментальное исследование проблемы семантического анализа естественно-языковых высказываний (в 2-х томах).»

условиях одной из самых многочисленных категорий пользователей ЭШ являются непрограммирующие профессионалы, основным требованием которых является работа в терминах и операциях, присущих тленно их проблемной области и их задачам. Однако в настоящее время общение с ЭШ могут осуществлять только специально подготовленные люди - программисты. В условиях бурного роста средств вычислительной техники потребность в программистах непрерывно растет. Например в США спрос на программистов возрастает на 20% ежегодно, и к 2000 году для удовлетворения потребности в программистах надо будет обучить программированию всех жителей США. /25/. Шходом из положения является не увеличение числа программистов, а приближение языка общения с современными ЭШ к естественному. Для непрограммирующего пользователя идеальным было бы общение на обычном естественном языке без каких-либо ограничений. Актуальность проблемы подтверждается огромными затратами на программирование, растущими год от года. Расходы на программирование (на примере США) составляли в 1980 году около 80% бюджета пользователей или около 60 млрд. долларов. Отсюда большой интерес специалистов в области искусственного интеллекта к проблеме построения интеллектуального интерфейса между непрограммирующими пользователями и ЭШ, обеспечивающего естественно-языковое (ЕН) общение .

В связи с непрерывным ростом удельного веса Ш информации в задачах управления на входе ЭШ по сравнению с числовой информацией для решения счетных задач, актуальной становится проблема перестройки структуры современных ЭШ для решения ЕЯ задач. В создаваемом пятом поколении ЭВМ аппаратно предусмотрена возможность работы со структурами баз знаний ЕЯ систем, что существенно улучшит количественные и качественные характеристики этих систем.

К настоящему времени накоплен определенный опыт построения систем, понимающих естественный язык, а также разработки лингвистических моделей естественного языка. Однако до сих пор не существует общей теории вопросно-ответных систем, понимающих естественный язык, так же как и лингвистика не располагает еще достаточно глубоко разработанной моделью, которая охватила бы и синтаксис и семантику естественного языка.

Выделим основные подпроблемы, успешное решение которых определяет (или должно определять) решение проблемы понимания естественного языка искусственными системами.

1. Шбор внешнего языка описания знаний.

2. Выбор внутреннего языка представления знаний о внешнем мире, организация хранения, пополнения и коррекции знаний.

3. Использование режима активного обучения для формирования знаний.

4. Организация оптимального взаимодействия различных процедур понимания, направленного на получение ответной реакции системы на входные высказывания.

5. Получение внутреннего формального представления для входных высказываний.

6. Сопоставление формального представления со знаниями системы с использованием процедур вывода.

7. Реализация способности системы перестраиваться на новую предметную область без изменения программного обеспечения.

8. Использование знаний для формирования умозаключений.

9. Анализ связных текстов.

10. Определение необходимой реакции системы на входные высказывания.

11. Расширение функциональных возможностей систем по мере накопления опыта общения с пользователями.

На сегодняшний день не существует полных и удовлетворительных ответов на эти вопросы, так же как и попыток решить всю проблему в целом. В связи с этим можно рассматривать подходы, модели и системы, направленные на решение некоторых из перечисленных задач. Сравнительный анализ существующих моделей и систем позволяет сделать ряд выводов общего характера, из которых выделим следующие:

1. Конечная цель анализа в существующих системах сводится к выражению смысла входного сообщения в терминах внутреннего представления.

2. Анализ входных высказываний рассматривается как независимый этап процесса работы диалоговой системы.

3. Организация анализа предполагает последовательное выполнение основных этапов: морфологический, синтаксический, семантический анализ и т.д.

4. Возникновение неоднозначностей на каком-либо этапе анализа ведет к нескольким вариантам представления сообщения на данном этапе, что существенно увеличивает время анализа на последующих этапах.

5. Знания систем формируются априори на недоступных или труднодоступных для пользователя языках. Затруднены или вообще невозможны процессы пополнения и коррекции знаний пользователями.

6. Системы способны анализировать сообщения, относящиеся к одной или, в крайнем случае, нескольким предметным областям, характеризуемым небольшим количеством терминов. Для перенастройки систем на новую предметную область потребуются изменения в их программном обеспечении или переформирование базы знаний на языках недоступных для пользователя.

7. Способности систем к анализу, выводу, умозаключениям не зависят от накопленного ими опыта общения с пользователями, а определяются степенью полноты априорного задания соответствующих лингвистических знаний, правил вывода, жестко встроенных типов умозаключений и т.п.

8. Отсутствуют возможности вести контекстный диалог с пользователями, а также анализировать связный текст, в связи с отсутствием приемлемых методов разрешения анафорических ссылок, восстановления эллипсиса, установления пространственно-временных, причинно-следственных связей и т.п.

Б» связи с отсутствием в современных моделях и системах единого способа представления и использования семантических знаний, способностей к обучению в процессе работы, самообучению и в связи с вышеуказанными недостатками моделей и систем, молено сделать вывод, что в настоящее время не существует общей и удовлетворительной теории семантического анализа в ЕЯ системах.

Основная цель данного исследования заключалась в разработке теоретических положений решения проблемы семантического анализа естественно-языковых высказываний в диалоговых системах и построении действующей подсистемы семантического анализа для естественно-языковой системы с целью проверки этих положений. Более конкретные проблемы, которые необходимо было решить в процессе работы, состояли в следующем:

I. Разработка и экспериментальное исследование процедур семантиче ского анализа:

- способных подключаться к работе на всех этапах анализа входных высказываний;

- построенных на базе семантических знаний, которые формируются, пополняются,корректируются при помощи Ш конструкций в процессе общения с пользователем;

- направленных на определение необходимой реакции системы на входные сообщения, которая может быть однозначно определена раньше, чем завершится процесс анализа всего сообщения в целом;

- управляющих всем процессом анализа в системе;

- способных решать специфические задачи анализа связных текстов;

- способных извлекать информацию, в явном виде не содержащуюся в базе знаний системы и во входных высказываниях (осуществлять вывод и формировать умозаключения);

- не зависящих от предметной области;

- подготавливающих всю необходимую информацию для синтеза ответной реакции системы на входное сообщение;

2. Разработка формального аппарата, описывающего процесс понимания системой входных высказываний, применимого в системах с различным способом представления и хранения входных высказываний.

3. Создание на базе разработанных процедур и формального аппарата действующей подсистемы семантического анализа для диалоговой естественно-языковой системы ДЁСТА и испытание ее как на экспериментальных, так и на реальных проблемных средах.

Предложенный в работе подход к проблеме семантического анализа отличают от существующих теоретических разработок следующие положения:

1) системность подхода, охватывающая решение всего комплекса задач семантического анализа;

2) независимость программного и информационного обеспечения подсистемы семантического анализа, которая позволяет пополнять и корректировать знания, переходить от одной предметной области к другой без изменения программного обеспечения;

3) язык формирования семантических знаний выведен на уровень естественного языка и не отличается от языка общения с системой;

4) использование при анализе входных высказыванийпгипотезы простоты", согласно которой система привлекает более глубинные уровни анализа только в случае невозможности решить конечную задачу более простыми средствами;

5) использование в процессе семантического анализа валентностей, метавалентностей и гипервалентностей, которые создаются, пополняются и корректируются системой автоматически в процессе общения с пользователями;

6) использование семантико-прагматических метаотношений, которые автоматически извлекаются из базы знаний-на основе имеющихся в ней в результате анализа входных высказываний семантико-прагматических отношений;

7) создание на базе гипервалентностей и метаотношений особых метапроцедур вывода, которые позволяют системе понимать входные высказывания на любую глубину и совершенствуются по мере накопления системой опыта общения с пользователями;

8) параллельность работы различных подсистем анализа, направленная на быстрейшее решение конечной задачи анализа;

9) совершенствование способностей системы к анализу, выводу, умозаключениям по мере накопления системой опыта общения;

10) возможность использования процедур семантического анализа в системах с различным способом представления семантических (конкретных и обобщенных) знаний;

11) возможность формирования самой системой в процессе общения оптимального для работы процедур семантического анализа набора семантических отношений;

12) проверка теоретических положений путем их реализации на ЭШ и проведения экспериментальных исследований.

Основные результаты диссертационной работы докладывались и обсуждались:

- на Городском семинаре : "Принципы построения систем с искусственным интеллектом", 1980г., 1983г., Харьков ;

- на Всесоюзном семинаре: "Эргономическое обеспечение сложных человеко-машинных систем", Харьков, 1981;

- на Республиканской школе-семинаре по проблемам ситуационного управления и искусственного интеллекта, Одесса, 1981;

- на Республиканском семинаре: "Интерактивные системы анализа ситуаций и поиска решений", Киев, 1981;

- на Республиканском семинаре: "Лингвистические проблемы проектирования ИПС", Киев, 1982;

- на Всесоюзной конференции: "Семантические проблемы искусственного интеллекта, Киев, 1982;

- на 3, 4 и 5 школах-семинарах: "Интерактивные системы", Боржоми, 1980, Сухуми, 1982, Кутаиси, 1983;

- на Республиканском семинаре: "Проблемно-ориентированные диалоговые комплексы", Кишинев, 1983;

- на Всесоюзной научно-технической конференции: "Автоматизация научных исследований эргономического проектирования и испытаний сложных человеко-машинных систем", Ленинград, 1983;

- на III Всесоюзной конференции: "Диалог-83", Протвино,1983.

- на III Симпозиуме по лингвистическим проблемам искусственного интеллекта, Ленинград, 1984;

- на Республиканской научно-технической конференции: "Одиннадцатой пятилетке - ударный труд, знания, инициативу и творчество молодых", Харьков, 1983;

- на Всесоюзной конференции: "Проблемы создания и применения диалоговых информационных систем в автоматизированных системах организационного управления", Таллин, 1984.

По теме диссертации опубликовано 10 работ, из них 5 - без соавторов.

Результаты проведенных исследований, воплощенных в действующую подсистему, были внедрены: система ДЕСТА использовалась в качестве ЕЯ интерфейса между оператором ЭВМ и задачами АСУП, а также для патентного поиска. Система была передана для опытной эксплуатации в ряд научно-исследовательских институтов.

Диссертация состоит из введения, пяти разделов, заключения, перечня использованой литературы, тома приложений.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Терзиян, Ваган Яковлевич

5.4. Выводы по разделу

В данном разделе были описаны результаты программной реализации и экспериментального исследования процедур GA ШВ и ШТ.

1. В плане данной работы были программно реализованы подсистемы: а) формирования ССО с использованием МСВ; б) разрешения местоимений в текстах; в) обработки эллиптических конструкций; г) формирования пространственно-временных и причинно-следственных умозаключений , а также умозаключений по валентности.

2. Разработанные подсистемы вошли в состав действующей диалоговой Ш системы ДЕСТА. В рамках данной системы разработанные процедуры СА прошли экспериментальное исследование на конкретных ШВ и ШТ, принадлежащих различным предметным областям.

3. Результаты экспериментального исследования показали, что теоретические положения, изложенные в данной работе, на которые опирается программная реализация процедур СА, позволяют системе эффективно: а) формировать ССО (получать внутреннее представление для входных ШВ и ШТ); б) формировать умозаключения (извлекать неявную информацию из входных ШВ и ШТ); в)разрешать местоимения; г) восстанавливать эллипсис и т.д. и при этом: а) совершенствоваться по мере накопления опыта общения; б) быть независимой от предметной области, использовать знания, формируемые на естественном языке в процессе функционирования системы; в) использовать контекст анализируемого текста на всю его глубину и т.д

4. В данной работе программно реализована только небольшая часть процедур, разработанных в рамках теоретической модели процесса СА, изложенной в предыдущих разделах. Предстоит программно реализовать способности использования валентностей высокого уровня, метавалентностей и гипервалентностей для решения задач анализа и понимания с использованием теории ИОВ (см. раздел 3). Основная сложность здесь - это реализация параллельных процессов в СПГ, ССПГ и МСПГ на последовательной ЭВМ.

ЗАКШОЧЕНИЕ

Данная работа была посвящена теоретическому и экспериментальному исследованию проблемы СА ЕНВ и ШТ. Подход к проблеме СА в данной работе использует основные принципы бионического подхода к построению диалоговой Ш системы ДЕСТА /15 ,16 /. Разработка процедур СА в рамках данного подхода предполагала выполнение следующих основных требований: а) использование семантических знаний, формируемых и корректируемых на естественном языке непрограммирующим пользователем; б) взаимодействие подсистем Ей системы в процессе анализа (параллельность работы различных процедур); в) совершенствование работы процедур СА (быстроты и качества решаемых ЕЯ задач) по мере накопления системой опыта общения с пользователем; независимость процедур СА от предметной области, в которой предстоит работать системе; г) возможность использования процедур СА в системах с различным способом представления семантических (конкретных и обобщенных)знаний (универсальность); д)направленность процедур СА на определение необходимой реакции системы на входные ЕйВ и ШТ и т.д. Способ организации СА в данной работе предполагает возможность формирования самой системой в процессе общения с пользователем оптимального для работы процедур СА набора семантических отношений.

Вследствие проведенного теоретического и экспериментального исследования проблемы СА получены следующие основные результаты:

I. Разработаны процедуры СА, удовлетворяющие следующим основным требованиям: а) способны подключаться к работе на всех этапах анализа входных ЕЯВ и ЕЯТ; б) построены на базе семантических знаний, которые формируются, пополняются, корректируются при помощи ЕЯК и способ представления которых не отличается от способа представления других типов информации, хранимых в базе знаний диалоговой системы; в) направлены на определение необходимой реакции системы на входные сообщения; г) управляют всем процессом анализа в системе; д) способны решать специфические задачи анализа связных текстов; е) способны извлекать информацию, в явном виде не содержащуюся в базе знаний системы и во входных ЕЯВ (осуществлять вывод и формировать умозаключения).

2. На базе разработанных процедур СА и действующей Ш системы ДЕСТА создана теоретическая модель диалоговой ЕЯ системы, процесс анализа в которой удовлетворяет следующим требованиям: а) ко' нечным результатом анализа является определение необходимой реакции системы на входное ЕЯВ. При этом, если необходимая реакция определена раньше, чем завершено выражение смысла входного ЖВ в терминах внутреннего представления, анализ на этом завершается; б) анализ опирается на знания системы о внешнем мире и представляет собой единый процесс получения внутреннего представления для входного ШВ с параллельным сопоставлением данного представления с указанными знаниями; в) организация анализа предполагает взаимодействие процессов морфологии, синтаксиса и семантики, позволяющее немедленно разрешать возникающие неоднозначности в процессе анализа; г) знания системы, используемые при анализе, формируются : на естественном языке, а также корректируются и пополняются в процессе общения с пользователями; д) процедуры анализа, вывода, утло заключений настроены на работу в рамках любой предметной области; е) способности системы к анализу, выводу, умозаключениям совершенствуются по мере накопления системой опыта общения с пользователем; ж) в процессе анализа устанавливается семантическая правильность и прагматическая ценность входной информации; з) система имеет средства, позволяющие анализировать связный текст: разрешение анафорических ссылок; восстановление эллиптических конструкций; установление пространственно-временных и причинноследственных связей между фактами текста; контекстные умозаключения; и) организация анализа предполагает попытку извлечь максимум информации для решения конечной задачи анализа, находясь на более низком уровне анализа, и только после этого переходить к более высокому уровню; способ разбиения всего процесса анализа на этапы обеспечивает максимально быстрое решение конечной задачи анализа и возможное его досрочное завершение; к) анализ подготавливает всю необходимую информацию для синтеза выходного сообщения или программного действия.

3. Разработан формальный аппарат на базе валентностей, мета-, валентностей и гипервалентностей для работы процедур формирования внутреннего представления для входных ШВ, процедур вывода и метапроцедур вывода с графическими структурами базы знаний системы.

С помощью данного формального аппарата описаны все процедуры СА, рассмотренные в работе. Изложенный формальный аппарат применим в различных Ш системах, так как не зависит от формы представления семантических знаний в них, а также применим в различных проблемных средах. Валентности, метавалентности и гипервалентности, на базе которых разработан формальный аппарат формируются в процессе анализа системой входных ШВ и расширяются по мере накопления знаний, что обеспечивает расширение функциональных возможностей работающих с ними процедур по мере накопления системой опыта общения с пользователем. Данный формальный аппарат сводит задачи понимания входных ШВ к процессам распространения возбуждений по цепочкам графических структур базы знаний Ш системы, предполагая параллельность обработки входной информации.

4. На базе рассмотренной теоретической модели, изложенного формального аппарата, используемого программного обеспечения системы ДЕСТА разработана, программно реализована и экспериментально исследована на примерах различных проблемных сред подсистема СА для диалоговой Ей системы ДЕСТА. Данная подсистема способна решать следующие задачи СА: а) формирование внутреннего представления в форме ССО для входных ШВ с использованием валентностей словоформ входных ШВ; б) определение в процессе формирования ССО допустимой для согласования окрестности словоформ (проблема границ) в целях ускорения сходимости процесса; минимизация МСИ словоформ с этой же целью; в) разрешение личных и притяжательных местоимений в текстах (проблема обработки анафоры) с использованием контекста анализируемого текста на всю его глубину; г) обработка эллиптических конструкций в текстах; д) формирование умозаключений для фактов текста: пространственно-временные умозаключения, причинно-следственные утло заключения, умозаключения по валентности^) получение внутреннего представления для текстов. Экспериментальное исследование процедур СА разработанной подсистемы проводилось на конкретных ШВ и ШТ, принадлежащих различным предметным областям, путем распечатки и анализа содержимого базы знаний до и после анализа входных ШВ и ШТ и путем получения ответов системы на вопросы по входным ШВ и ШТ с использованием процедур вывода. Результаты экспериментального исследования, приведенные в приложении, подтверждают указанные возможности разработанной подсистемы СА.

По результатам теоретического и экспериментального исследования были сделаны следующие основные выводы:

I. Основными причинами недостатков организации анализа в традиционных Ш системах являются: а) разделение процесса анализа на независимые этапы и разработка изолированных подсистем для реализации тех или иных функций анализа; б) априорное формирование знаний на недоступных для пользователя языках в процессе генерации системы, независимость процедур анализа от опыта общения с пользователем, отсутствие обучения и самообучения, узкая проблемная ориентация; в) отсутствие удовлетворительной теории СА; г) направленность процедур анализа на получение в той или иной форме смысла входного ШВ, а не на достижение необходимой реакции системы на входное ШВ. В связи с этим, существенным при разработке диалоговых систем в настоящий момент, на наш взгляд, является не усовершенствование имеющихся алгоритмов анализа, а коренной пересмотр взглядов на его организацию, на место и роль СА в этой организации, на способы задания, представления, хранения, коррекции и использования знаний системы. Подход, предложенный в данной работе, предполагает: а) делать упор в процессе анализа на определение необходимой реакции системы на входное ШВ; б) использовать семантические знания, которые задаются системе на естественном языке и которые пользователь может корректировать в процессе функционирования системы; в) анализировать входные ШВ и ШТ, принадлежащие любой предметной области; г) организовать взаимодействие всех подсистем анализа в целях немедленного разрешения возникающих неоднозначностей; д) совершенствовать способности к анализу, выводу, утло заключениям по мере накопления системой опыта общения с пользователем;создать формальный аппарат для описания процесса СА, применимый в различных Ш системах и т.д. Описанный в данной работе способ представления знаний в форме ССО и СПО с помощью ШК, хранения знаний в С-структуре удовлетворяет вышеуказанным требованиям к организации семантических знаний системы. Организация представления знаний (ССО) и организация их хранения (с-структура) различаются именно в связи с необходимостью задавать знания на естественном языке (ССО являются аналогом того языка, на котором в традиционных системах задаются знания для их априорного ввода в процессе генерации системы, в то время как в данной работе ССО являются промежуточным этапом автоматического перевода знаний из их Ш описания в С-структуру).

2. Средства, используемые в процессе получения внутреннего представления для входных ШВ (валентности различных уровней) совершенствуются по мере накопления системой опыта общения, что лишает разработчиков необходимости априорного учета и занесения в систему всевозможных и сложных правил согласования. Организация данного процесса предполагает немедленное разрешение возникающих неоднозначностей средствами привлечения валентностей более высоких уровней, в отличии от большинства традиционных систем, где несколько возможных вариантов внутреннего представления подлежат последующей семантической фильтрации. Данный способ анализа предполагает существенную экономию времени и памяти по сравнению с традиционным, поскольку обеспечивает значительное сужение сферы поиска на каждом последующем этапе за счет использования различных семантических средств: а) локализация контекста анализируемого ШВ; б) локализация предметной области; в) решение проблеляы границ согласования для словоформ ШВ; г) минимизация МСИ словоформ с помощью валентностей и т.д. Рассмотренная организация получения внутреннего представления обеспечивает семантически однозначный синтез выходных ШВ.

3. Рассмотренные в работе алгоритмы понимания и вывода применимы в системах с различными способами представления семантических знаний. Различаются лишь процедуры извлечения из базы знаний валентностей, метавалентностей, гипервалентностей, процедуры же использования этих знаний, предложенные в работе, являются универсальными и позволяют работать с графическими структурами в любых системах (не только Ш), процессы решения задач в которых заключаются в распространении возбуждений по цепочкам графов для достижения результирующих элементов. Рассмотренные алгоритмы понимания универсальны также и в том смысле, что они могут использоваться для любой предметной области и для любого естественного языка. Они могут обеспечивать при необходимости любую глубину понимания входных ШВ. Они могут работать с любым набором введенных отношений, определяющих семантическую связь между ШК базы знаний системы, который может автоматически пополняться и корректироваться в процессе анализа входных ШВ. Введенные понятия метаотноше-ний, метапроцедур, гипервалентностей, алгоритмы работы с ними и возможность автоматически извлекать их из базы знаний, пополнять и корректировать в процессе анализа входных ШВ определяют способности системы обрабатывать сложные комбинации семантических отношений, возникающие при решении задач понимания. Решив ту или иную задачу в процессе понимания (например, выполнение сложных операций с ИОВ), система обобщает полученный результат и сохраняет его в базе знаний. Повторное решение системой аналогичной задачи произойдет практически мгновенно. Организация процесса понимания предполагает возможность параллелизации процессов формирования и понимания ССО, что означает существенную локализацию поиска при переходе к каждому последующему этапу анализа. Предусмотрены ситуации, требующие прекращения вывода. Процессы пополнения и коррекции тлеющегося множества СПО в системе при анализе входных ШВ направлены на получение оптимального, с точки зрения работы процедур вывода, множества СПО.

4. Рассмотренные в работе алгоритмы работы с обобщающими конструкциями, проверки семантической правильности, формирования умозаключений, анализа прагматической - ценности, выбора необходимой реакции системы базируются на процедурах работы с ССПГ, СПГ и МСПГ (процедурах и метапроцедурах вывода), что подтверждает универсальность данных процедур для решения задач ЕЯ общения. Эти алгоритмы совершенствуются по мере накопления системой опыта общения с пользователем, подготавливают всю необходимую информацию для синтеза ответной реакции системы, функционируют параллельно с процессом понимания системой входного ЕЯВ, используют результаты последнего и могут выдавать результаты раньше, чем завершится процесс анализа всего ЕЯВ в целом. Работа с обобщающими конструкциями, рассмотренными в работе, по существу аналогична работе с фреймами во многих ЕЯ системах с той существенной разницей, что в данной работе обобщающие конструкции предполагается формировать, корректировать, пополнять на естественном языке в процессе общения системы с пользователем, в то время как фреймы формируются разработчиками априори на специальных языках, зачастую содержат избыточную информацию и не могут корректироваться в процессе общения с пользователем. Анализ прагматической ценности осуществляется с целью отбора полезной информации для занесения в память и направлен на совершенствование способностей системы к анализу последующих ШВ. Результаты формирования умозаключений и вывода при формировании ответов на вопросы пополняют базу знаний системы новыми фактами и СПО, что означает сокращение времени на вывод и формирование аналогичных умозаключений. Процедуры работы с СПГ позволяют установить причинно-следственные связи между отдельными фактами, находить цепочку действий, приводящих к определенной цели. Формирование умозаключений в рассматриваемой системе определяется наличием семантической неправильности входного ШВ и направлено на устранение этой неправильности, в отличии от традиционных систем, где необходимость формирования всех возможных умозаключений не всегда обоснована. Показано, что специфические задачи анализа связных текстов решаются с помощью механизмов формирования умозаключений для отдельных ШВ с той лишь разницей, что контекстом для их формирования является анализируемый текст. Возможности механизмов понимания и формирования умозаключений полностью переносятся на механизмы анализа связных текстов (совершенствование по мере накопления опыта, использование любого уровня валентностей и метавалентностей, любой глубины контекста, универсальность и т. д.).

5. Результаты экспериментального исследования показали, что теоретические положения, изложенные в данной работе, на которые опирается программная реализация процедур СА, позволяют системе эффективно: а) формировать ССО (получать внутреннее представление для входных ЖВ и ШТ); б) формировать умозаключения (извлекать неявную информацию из входных ШВ и ШТ); в) разрешать местоимения; г) восстанавливать эллипсис и т.д. и при этом: а) совершенствоваться по мере накопления опыта общения; б) быть независимой от предметной области; в) использовать знания, формируемые на естественном языке в процессе функционирования системы; г) использовать контекст анализируемого текста на всю его глубину и т.д. Программное обеспечение было испытано на конкретных ШБ и ШТ в рамках действующей Ш системы ДЕСТА. Результаты проведенных экспериментов подтверждают теоретические возможности разработанных на базе предлагаемого подхода процедур СА.

Перспективой дальнейшей разработки является полная программная реализация процедур СА, снятие имеющихся ограничений на входной язык системы ДЕСТА, разработка программного обеспечения, позволяющего использовать систему в качестве лингвистического препроцессора к другим разработанным системам, входной язык которых затрудняет их широкое применение, разработка организации функционирования системы ДЕСТА на основе декларативно сформированных целей и т.д.

Список литературы диссертационного исследования кандидат технических наук Терзиян, Ваган Яковлевич, 1984 год

1. Основные направления экономического и социального развития ССОР на 1981 - 1985 годы и на период до 1990 года.-lvl.: Политиздат, 1981.

2. Апресян Д.Ю. К формальной модели семантики: правила взаимодействия значений.-В кн.: Представление знаний и моделирование процессов понимания.-Новосибирск: ВЦ СО АН СССР, 1980, с. 47-78.

3. Бахтин М.М. Проблема речевых жанров.-В кн.: Эстетика словестного творчества.-М.: Искусство, 1979, с. 237-280.

4. Брябрин В.М. Диалоговая информационно-логическая система. -Международная конференция по искусственному интеллекту.-Репино: АН СССР, Препринт, 1977.

5. Виноград Т. Программа, понимающая естественный язык.-М.: Мир, 1976, 294 с.

6. Гвида Дж., Сомальвико М. Общение с системами искусственного интеллекта на естественном языке (проект D0NAU).-B кн.: Лингвистические процессоры и представление знаний.-Новосибирск: ВЦ СО АН СССР,198I, с. 41-65.

7. Гладкий А.В. Идеи М.М. Бахтина о высказывании и диалоге и их значение для формальной семантики естественного языка.-В кн.: Интерактивные системы: Доклады и тезисы докладов и сообщений третьей школы-семинара.-Тбилиси: Мецниереба, 1981, т. I, с. 33-43.

8. Головина Е.А., 1й>лмычек К.Н., Терзиян В.Н. Принципы проверки семантической правильности естественно-языковых высказываний. -В кн. : Проблемы бионики.-Харьков: ХГУ, 1984, вып. 32 f с. 64 72 .

9. Головина Е.А., Терзиян В.Я. Экспресс-анализ естественноязыковых высказываний.-В кн.: Интерактивные системы: Материалы пятой школы-семинара.-Тбилиси: Мецниереба, 1983, с. 385-388.

10. Грин К. Доказательство теорем с использованием правила резолюции как основа для построения вопросно-ответной системы.-В кн.: Слейгл Дж. Искусственный интеллект.-М.: Мир, 1973, с. 275-309.

11. Гришин А.В., Никольский Н.М. Системный анализ и диалог с ЭВМ в исследовании международных отношений.-М.: Международные отношения, 1982, 319 с.

12. Кайоль М., Фаррени А., Прад А. Усовершенствованный метод поиска по образцу, учитывающий неточность смысла.-В кн.: Представление знаний и моделирование процесса понимания.-Новосибирск: ВЦ СО АН СССР, 1980, с. 135-147.

13. Иомаркова И.В., Терзиян В.Я. Алгоритм разрешения местоимений в системах машинного анализа текстов.-В кн.: Проблемы бионики.-Харьков: ХГУ, 1984, вып. 33 , с. 42 48 .

14. Коэн Ф., Милопулос Дж., Борджида А. Некоторые аспекты представления знаний.-Труды 1У Международной объединенной конференции по искусственному интеллекту, 1975, т. 2, с. 42-62.

15. Ловицкий В.А. Диалоговая естественно-языковая система принятия решений.-Харьков: ХПИ, 1981, 110 с.

16. Ловицкий В.А. Обучаемая диалоговая естественно-языковая система.-В кн.: Техническая кибернетика: Известия Академии наук СССР.-М.: АН СССР, 1983, вып. 5, с. 114-127.

17. Ловицкий В.А. Принципы построения и использования системы формирования понятий в системах искусственного интеллекта.-Харьков: ХШ, 1980, 103 с.

18. Ловицкий В.А., Терзиян В.Я. Кодирование слов в ТВ-струк-туре.-Вкн.: Проблемы бионики.-Харьков: ХГУ, 1981, вып. 26, с. 60-68.

19. Ловицкий В.А., Терзиян В.Я. Семантический анализ в системе ДЕСТА.-В кн.: Интерактивные системы: Доклады и тезисы докладов и сообщений третьей школы-семинара.-Тбилиси: Мецниереба, 1980, т. 3, с. 80-83.

20. Луганский A.M. Диалоговая система идентификации программных модулей по естественно-языковому запросу.-В кн.: Проблемно-ориентированные диалоговые комплексы: Тезисы докладов республиканского семинара.-Кишинев: Реклама, 1983, с. 88-89.

21. Мельчук: И.А. Опыт теории лингвистических моделей "Смысл-Текст".-М.: Наука, 1974.

22. Моделирование в процессах управления народным хозяйством. Под ред. Федоренко Н.П., Петракова Н.Я.-М.: Наука, 1984, 320 с.

23. Попов Э.В. Общение с ЭВМ на естественном языке.-М.: Наука, 1982, 360 с.

24. Попов Э.В. Принципы построения системы общения пользователей с базами данных.-В кн.: Лингвистические процессоры и представление знаний.-Новосибирск: Щ СО АН СССР, 1981 с. 66-78.

25. Попов Э.В. Система взаимодействия с ЭВМ на ограниченном русском языке.-Программирование, 1978, №4, с. 66-76.

26. Поспелов Д.А. О серии "Проблемы искусственного интеллекта".-В кн.: Попов Э.В. Общение с ЭВМ на естественном языке.-М.: Наука, 1982, с. 5-10.-20429. Рафаэль Б. Делающий компьютер.-М.: ГЛир, 1979, 407 с.

27. Робинсон Дж. Машинно-ориентированная логика, основанная на принципе резолюции.-Кибернетический сборник, 1970, вып. 7.

28. Скороходько д.Ф. Семантические сети и автоматическая обработка текста.-Киев: Наукова думка, 1983, 216 с.

29. Слейгл Дж. Искусственный интеллект.-М.: Мир, 1973, 319 с.

30. Терзиян В.Я. Анализ, семантическая нормализация и идентификация естественно-языковых текстов.-В кн.: Интерактивные системы: Тезисы докладов и сообщений четвертой школы-семинара.-Тбилиси: Мецниереба, 1932, с. 219-221.

31. Терзиян В.Я. Еквод умозаключений из естественно-языковых высказываний.-В кн.: Проблемно-ориентированные диалоговые комплексы: Тезисы докладов республиканского семинара.-1£ишинев: Реклама, 1983, с. 102-104.

32. Терзиян В.Я. Семантический анализ в диалоговой системе.-В кн.: Автоматизация научных исследований, эргономического проектирования и испытаний сложных человеко-машинных систем: Тезисы докладов Всесоюзной конференции.-Ленинград: 1983, т. I, с. 19-20.

33. Терзиян В.Я. Этапы и уровни анализа естественно-языковых высказываний.-В кн.: Интерактивные системы: Материалы пятой школы-семинара.-Тбилиси: Мецниереба, 1983, с. 400-402.

34. Фирдман Дгк., Моран Д.В., Уоррен Д.С. Вычисление смыслов английских предложений в логической модели: процессуальная версия грамматики Монтегю.-В кн.: Формальное описание структуры естественного языка.-Новосибирск: ВЦ СО АН СССР, 1980, с. 3-19.

35. Хельбиг Г. Семантическое представление знаний в вопросно-ответной системе PAS-80.-B кн.: Представление знаний и моделирование процесса понимания.-Новосибирск: ВЦ СО АН СССР, 1980, с. 97-123.

36. Шенк Р. Обработка концептуальной информации.-М.: Энергия, 1980, 358 с.

37. Berry-Rogghe G.L., Wuls H. An Overview of PLIDIS. A Problem Solving Information System With German as Query Language. In book: Natural Language Communication with Computers. - Berlin, G.Goos, J.Harmanis (ed.), Springer-verlag, 1978 , pp.87-132.

38. Bobrow D.G. Natural Language Input for a Computer Problem Solving System. In book: Semantic Information Processing. - Cambridge, M.Minsky (ed), MIT Press, Mass., 1968, pp.123-157.

39. Bobrow D.G. et al. G-US A Frame-Driven Dialog System. -In journal: Artificial Intelligence, 1977, v.8, № 2.

40. Brown J.S., Burton R.R. A Paradigmatik Example of an Artificially Intelligent Instructional System. In journal: International Journal of Man-Machine Studies, 1978, № 10,pp.323-339.

41. Bullwincle C. Levels of Comlexity in Discourse for Anaphora Disambigation and Speech Act Interpretation. -Proceedings of the 5-th International Joint Conference on Artificial Intelligence, Goston: MIT, 1977, pp.43-49.

42. Charniak E. On the Use of drammed Knowledgein Language Comprehension. In journal: Artificial Intelligence, 1978, № 11, pp.225-265.

43. Codd E.P. et al. RENDEZVOUS Vertion 1: An Experimental English-Language Query Formation System for Casial User. -Report RJ2144(29407). San Jose, Calif.: IBM Research laboratory, 1978 , p. 173.

44. Colby K.M., Parkinson M. Pattern-Matching Rules for the Recognition of Natural Language Dialogue Expressions. -In journal: American Journal of Computational Linguistics,1974, v.l, № 1, pp.47-62.

45. Coles L.S. An On-line Question-Answering System with Natural Language and Pictorial Input. Proc. 23-rd. ACM Nat. Conf., 19 63.

46. Craig J., Berezner S., Carney H., Loveyear C.

47. G-uida G. Ideas About Design of Natural Language Interfaces to Query Systems. In: Proc. Workshop on Natural Language for Interaction with Data Bases, Laxenburg, Austria.-IIASA, January, 1977, pp.256-279.

48. Guida G., Somalvico M. A Two Level Modular System for Natural Language Understanding. In: Proc. 6-th Int. Joint Conf. Artificial Intelligence, Tok±o:,MIT, August, 1979, pp.345-347.

49. Harris L.R. Experience with ROBOT in Commersial Natural Language Data Base Query Applications. In:Proc. 6-th Int. Joint Conf. Artificial Intelligence, Tokio, August, 1979, pp.365-368.

50. Harris L.R. User Qriental Data Base Query System. -In journal: International Journal of Man-Machine Studies, 1977, № 9 , pp.697-713.

51. Harris L.R. Using a Data Base as a Semantic Component to Aid in the Parsing of Natural Language Data Base Querries.-In: Journal of Cybernetics, January-March, 1980, v.10, № 1-3,рр.77-96.

52. Hobbs J. 38 Examples of Ellusive Anticedents from Published Texts. Research report 77-2, City University of New York, August, 1977, p.57.

53. Lovitsky V.A. A liionic Approach to the Realization of Analytic and Synthetic Grammars in Computational Structures. In: Symposium on Grammars of Analysis and Synthesis, Tallin, 1973, pp.58-60.

54. Lie Skimmin J., Minker J. The Use of a Semantik ITetv/ork in a Deductive Question-Answering System. In: Proc. 5-th1.t.Joint Conf. Artificial Intelligence. J3oston:MIT, 1977, pp.50-58 .

55. Minslcy M. A Framework for Representation Knowledge.-In book: The Psychology of Computer Vision. New York: P.H.Winston, Mo Graw-Hill(ed), 1975, pp.211-297.

56. Montague R. The Proper Treatment of Quantification in Ordinary English (PTQ). In book: Formal Philosophy: Selected Papers of Richard Montague. New Haven: Yale University Press, 1974, pp.247-270.

57. Raphael В.A. Computer Program for Semantic Information Retrieval. Semantic Information Processing. Cambridge: MIT Press, 1968, pp.33-134.

58. Schank R.C. Identification of Conceptualizations Understanding Natural Language. Computer Models of Thought and Language. San Francisco: Schank R., Colby C. (ed), 1973.

59. Schank R.C., Abelson R.P. Scripts, Planes, Goals and Understanding. Hillsdale: Lawrence Erlbaum Press, 1977, 246p.

60. Schank R.C. Riesbeck Ch. Inside Computer Understanding.Pive Programs Plus Mimiatures. Hillsdale: Lawrence Erlbaum Press, 1981, 386p.

61. Schwarz R., Burger J., Simmons R. A Deductive Question Answere for Natural Language Inference. Communication of the ACM, 1970, 13, pp.167-180.

62. Simmons R., Burger J., Long R. An Approach Toward Answering English Qestions from Text. Proc. Pall Joint Сотр. Conf. New York, 1966, pp .357-363.

63. Walts D.L. et al. The PLANES System: Natural Language Acces to a Large Data Base. Technical Report T-34. Urbana: University of Illinois, Coordinated Science Laboratory, 1976, 189p.

64. Wilensky R. Understanding Goal-Based Stories. -New York: Garlang Publishers, 198 0, 317p.

65. Wilks J. Grammar, Meaning and the Machine Analysis of Language. London: Routledge and Kegan Paul, 1972, pp.90100.

66. Wilks J. Preference Semantics. Stanford Artificial Intelligence Laboratory. Memo AIM-206, Memo AIM-211. -Stanford: SRI, 1973.