Методы и алгоритмы смыслового описания контента в системах тестирования тема диссертации и автореферата по ВАК РФ 10.02.21, кандидат филологических наук Бидуля, Юлия Владимировна

• Бидуля, Юлия Владимировна
• кандидат филологических наук
• 2011

Оглавление диссертации кандидат филологических наук Бидуля, Юлия Владимировна

Содержание.

Введение.

Глава 1. Лингвистические предпосылки смыслового анализа.

1.1. Модели представления смысла текста.

1.2. Подходы к реализации поиска в семантических сетях.

1.3. Программная реализация смыслового анализа текста.

1.4. Программная реализация проверки открытой формы тестирования.

Выводы по главе.

Глава 2. Построение модели смыслового описания контента.

2.1. Формализация синтаксической структуры предложения.

2.2. Смысловое описание контента.

2.3. Алгоритм построения семантической сети контента.

2.4. Сравнение смысловых описаний контента и ответа на тестовое задание

2.5. Поиск в семантической сети текста без учета синонимии.

Выводы по главе.

Глава 3. Информационная система «Семантик-тест».

3.1. Общая концепция системы.

3.2. Структура и состав программного комплекса.

Выводы по главе.

Глава 4. Апробация программного комплекса «Семантик-тест».

4.1. Постановка задачи эксперимента.

4.2. Решение задач эксперимента.

4.3 Пример оценки степени смыслового соответствия.

Выводы по главе.

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы смыслового описания контента в системах тестирования»

Актуальность работы. Развитие глобальных сетей, а также технологий создания интеллектуальных систем обуславливает значительный интерес к исследованиям, направленным на автоматическую обработку данных, и прежде всего различным видам семантического анализа текста, позволяющего извлекать информацию о фактах, ключевых понятиях и их взаимосвязях, с последующим представлением материала в виде определенным образом структурированного, смыслового описания.

Понятие смысл текста не имеет однозначного формального определения. Мы будем использовать данный термин в трактовке И.А.Мельчука: «смысл -это инвариант всех синонимических преобразований, т.е. то общее, что имеется в равнозначных текстах» [Мельчук 1995: 10].

Построение смыслового описания текста может решать многие практические задачи, в том числе: семантический поиск: выявление фактов, в которых принимают участие конкретные ключевые понятия; обработка текста на естественном языке в системах управления контентом; проверка ответов учащихся в системах контроля знаний при использовании открытой формы тестирования. Такого рода задачи характеризуются необходимостью сравнения двух текстов друг с другом на смысловое соответствие с учетом предикативных отношений в тексте.

Как известно, тестовые задания для контроля знаний обычно составляются на основе учебного материала - текста лекции, учебного пособия, методических указаний и т.п. Под контентом (от англ. content - «содержимое») мы понимаем собирательный термин для текстовой составляющей информационного наполнения электронного ресурса (лекции, электронной версии учебного пособия, web-страницы, тестового задания). В данном исследовании рассматривается учебный контент, используемый для формирования тестовых заданий в системе тестирования.

Для проверки открытой формы теста необходимо производить сопоставление смыслов текста ответа и учебного контента, на основе которого было сформулировано тестовое задание. В современных системах тестирования автоматизированная проверка открытой формы реализуется при условии ввода ответа на ограниченном естественном языке. Для проверки ответа на неограниченном естественном языке необходимо предусматривать возможность использования синонимов и различных вариантов построения фразы без ограничений на членимость текста по предложениям, что дает возможность испытуемому выразить мысль в произвольной форме.

Традиционные подходы к описанию естественного языка рассматривают текст на нескольких уровнях. Применительно к проблеме семантики текста разделение на уровни следующее: фонетический, фонологический, лексико-морфологический, синтаксический, уровень смысла текста (И.А. Мельчук). Предикативные отношения выявляются на синтаксическом уровне в рамках одного предложения. Что касается смыслового описания текста в целом, то во многих задачах (к примеру, в информационном поиске) оно реализуется с применением частотного анализа и вероятностно-статистических методов. При этом смысловая структура текста не может дать представления о предикативных отношениях между ключевыми понятиями. Следовательно, для решения перечисленных выше практических задач необходимо разработать методы и алгоритмы, использующие синтаксический анализ предложений в качестве основы для построения смыслового описания всего текста, а также сформировать количественные критерии оценки соответствия смыслов текстов.

Цель работы - разработка методов и алгоритмов определения смыслового соответствия ответа на тестовое задание контенту, по которому составлен тест.

Для достижения поставленной цели в работе решались следующие задачи:

1. Исследовать существующие подходы к автоматизации смыслового анализа текстов на естественном языке;

2. Формализовать описание синтаксической структуры предложений учебного контента;

3. Построить математическую модель смыслового описания контента;

4. Разработать алгоритм перехода от синтаксической структуры предложений к семантической сети контента, отображающей предикативные отношения между объектами-понятиями.

5. Сформулировать критерии оценки сходства смыслового содержания контентов и построить алгоритм сопоставления.

6. Разработать инструментальный программный комплекс для формирования тестовых заданий открытой формы на основе смыслового описания учебно-методического материала и автоматической проверки результатов тестирования.

Объект исследования: модели и алгоритмы установления смыслового соответствия контентов в системе тестирования в процессе проверки тестовых заданий открытой формы.

Предмет исследования: условия и средства получения смыслового описания учебного контента на базе синтаксической структуры предложений с учетом предикативных отношений между понятиями контента.

Методы исследования.

Лингвистические методы: .метод многоуровневого семантического анализа, включающий синтаксический анализ (синтаксический уровень); формальный, функциональный, категориальный анализ (лексико-морфологический уровень); метод семантических сетей (уровень текста).

Математические методы: методы теории множеств; методы теории графов; методы построения и анализа алгоритмов.

В качестве теоретических предпосылок используются: работы, посвященные теории «Смысл-Текст» (И.А. Мельчук, Л.Л. Иомдин, Ю.Д. Апресян, И.М. Богуславский, А.К. Жолковский) работы по изучению синтактико-семантических отношений в структуре предложения (Ч. Филмор, И.М. Богуславский, Н. Хомски, A.B. Гладкий, Н.Д. Арутюнова и др.) работы по применению частотно-вероятностных методов лингвистического анализа (Г.Г. Белоногов, A.A. Хорошилов и др.) работы отечественных и зарубежных ученых по созданию прикладных систем автоматической обработки текста (Р.Г. Пиотровский, H.H. Леонтьева, В.Ш. Рубашкин, Э.В. Попов, А.Е. Ермаков, A.B. Гаврилов, Р.К. Крое, Ж.К. Гардэн, Ф. Леви, С.А. Шумский).

Материалом для исследования послужили:

- тексты лекций учебно-методических комплексов по дисциплинам «Интеллектуальные информационные системы», «Системы электронной коммерции», «Технологии мультимедиа» общим объемом 110 тыс. словоформ;

- тексты ответов на тестовые задания открытой формы, полученных в процессе итогового контроля знаний студентов 3-го и 4-го курсов специальности 080801.65 «Прикладная информатика в экономике» Тюменского госуниверситета, общим объемом 36 тыс. словоформ.

Положения, выносимые на защиту:

1. Предложена новая математическая модель представления смыслов учебного контента в виде семантической сети, узлами которой являются именные группы, обозначающие понятия, а дуги отражают предикативные отношения, характеризуемые глагольными группами. Для учета синонимии слов и выражений лексический материал контента необходимо расширить при помощи тезауруса и толково-комбинаторного словаря.

2. В основу метода построения семантической сети контента положен следующий принцип: на основе синтаксических отношений предложений выявляются а) именные группы, представляющие имена понятий контента, б) предикативные отношения, связывающие эти понятия, в) глаголы и глагольные группы, выражающие предикацию, г) отношения кореференции именных групп, выраженные в форме буквального повтора или местоименной замены слов.

3. Разработанные методы и алгоритмы позволяют произвести количественную оценку степени смыслового соответствия текстов, выраженную в двух аспектах: содержательном и структурном. Содержательный аспект отвечает за лексический состав именных групп и предикатов контентов. Структурный аспект характеризует взаимное расположение связей сравниваемых семантических сетей.

4. Сравнение смыслов контентов при автоматизированной проверке результатов тестирования в открытой форме позволяет адекватно оценить знания испытуемых, что подтверждается численными экспериментами на разработанном нами программном комплексе «Семантик Тест».

Научная новизна исследования:

1. Разработана новая математическая модель смыслового описания учебного контента, описывающая предикативные отношения между понятиями.

2. Предложен метод и построен алгоритм перехода от синтаксического описания предложений к смысловому описанию всего текста.

3. Предложен метод и разработан алгоритм количественной оценки степени смыслового соответствия двух текстов, основанный на сопоставлении их смысловых описаний, построенных с помощью математической модели;

4. Разработан программный комплекс для формирования тестовых заданий на основе смыслового описания учебного контента, а также автоматической проверки открытой формы тестирования.

Теоретическая значимость работы состоит в разработке методики создания тестирующих программных комплексов с использованием лингвистических методов анализа учебного материала.

Практическая значимость работы заключается в возможности автоматизировать процесс проверки тестовых заданий открытой формы, а также существенно упростить их разработку, что позволяет сократить временные затраты преподавателя.

Апробация работы: материалы диссертации докладывались на следующих конференциях и семинарах:

1. Международная научная конференция «Модернизация образования в условиях глобализации», Тюмень, 2005;

2. Межрегиональная научно-практическая конференция «Информационные технологии и телекоммуникации в образовании, экономике и управлении регионом», Тюмень, 2006;

3. Ш-я Международная научно-практическая конференция «Актуальные проблемы современных наук: теория и практика», Днепропетровск, 2006;

4. Всероссийская научно-техническая конференция «Приоритетные направления развития науки и технологий», Тула, 2007;

5. VI-я Межвузовская научно-практическая конференция студентов, аспирантов и молодых ученых «Безопасность информационного пространства», Тюмень, 2007;

6. П-я Межрегиональная научно-практическая конференция «Информационные технологии и телекоммуникации в образовании, экономике и управлении регионом», Тюмень, 2008.

7. Современные проблемы математического и информационного моделирования. Перспективы разработки и внедрения инновационных 1Т-решений. Третья научно-практическая региональная конференция. Тюмень, 2010.

8. Экономические и экологические проблемы в меняющемся мире: сборник материалов Международной научно-практической конференции, посвященной 80-летию Тюменского государственного университета. Тюмень, 2010.

9. Научно - методические семинары кафедры информационных систем Тюменского государственного университета (2005 - 2011 гг.).

10.Разработанный тестирующий комплекс «Семантик Тест» используется в учебном процессе в Тюменском государственном университете. Имеются свидетельства о государственной регистрации программы для ЭВМ и базы данных.

Публикации. Основное содержание диссертации представлено в 18 печатных работах, из которых 2 - свидетельства о государственной регистрации программ для ЭВМ и 3 статьи, опубликованных в ведущих рецензируемых журналах.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Объем диссертации составляет 119 страниц, включая 12 рисунков и 13 таблиц. В списке литературы указано 116 наименований работ российских и зарубежных авторов.

Заключение диссертации по теме «Прикладная и математическая лингвистика», Бидуля, Юлия Владимировна

Выводы по главе

Предложенная программная реализация модели семантического представления материала апробирована в процессе разработки контрольно-измерительных материалов, а также проведения тестирования среди студентов.

Использование программного комплекса в учебном процессе показало эффективность его применения при подготовке и проведении тестирования открытой формы. Существенно сокращается время подготовки тестовых заданий, а также проверки результатов тестирования открытой формы. Программный комплекс опробован и используется в учебном процессе для итогового контроля знаний студентов специальности 080801.65 «Прикладная информатика в экономике».

ЗАКЛЮЧЕНИЕ в Предложена новая математическая модель смыслового описания контента, отражающая предикативные отношения между именными группами, представляющими понятия контента. Модель включает семантическую сеть, дополненную тезаурусом именных групп и предикатов, толково-комбинаторным словарем и правилами перифразирования для оценки степени синонимии слов и выражений.

• Предложен алгоритм перехода от синтаксической структуры предложений к семантическому графу всего контента, отображающей предикативно-сказуемостные отношения между его понятиями.

• Предложен алгоритм сравнения смыслового содержания двух текстов с учетом использования синонимичных слов и выражений. Введены количественные величины содержательного и структурного показателей степени смыслового соответствия.

• Разработан инструментальный программный комплекс для формирования тестовых заданий на основе смыслового описания учебно-методического материала, а также автоматической проверки открытой формы тестирования. На основе численных экспериментов получена высокая вероятность адекватной оценки смыслового соответствия ответов на тестовые задания исходному контенту (0,94). В настоящее время российских аналогов такой системы не существует.

• Произведена апробация разработанных математических моделей и алгоритмов в процессе проверки тестовых заданий открытой формы. Показана эффективность применения программного комплекса в преподавательской деятельности за счет сокращения временных затрат на 57%.

Список литературы диссертационного исследования кандидат филологических наук Бидуля, Юлия Владимировна, 2011 год

1. Аванесов B.C. Формы тестовых заданий: Учеб. пособие. М.: Исследовательский центр Гособразования СССР, 1991. - 36 с.

2. Аванесов B.C. Научные основы тестового контроля знаний. М.: Иссл. центр, 1994. -135 с.

3. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме: Пособие для высшей школы / Исследовательский центр проблем качества подготовки специалистов, московская государственная текстильная академия имени А.Н.Косыгина. М.: 1995. - 95 с.

4. Аванесов B.C. Композиция тестовых заданий: Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов педвузов. -М.: Адепт, 1998.-217 с.

5. Аванесов B.C., Володин Б.В. Вопросы применения тестов для контроля знаний студентов // Научная организация учебного процесса. М.: МИФИ, 1976. - Вып .3.-4.1,- С. 102-107.

6. Автоматическое индексирование текстов в документальных ИПС // Д.Г.Лахути, Е.Б.Федоров, И.С.Добронравов, В.Ф.Пархоменко // Кибернетическая лингвистика. М.: Наука, 1983. — С.84-95.

7. Ахо А., Ульман Дж. Теория синтаксического анализа, перевода и компиляции: В 2-х томах. Т.1. Синтаксический анализ. М.: Мир, 1978. -612 с.

8. Ахо А. и др. Структуры данных и алгоритмы / А. Ахо, Дж. Хопкрофт, Дж.Ульман / Пер. с англ. М. : Издательский дом "Вильяме", 2003. -384 с.

9. Алексеев В.Е., Таланов В.А. Графы. Модели вычислений. Структуры данных: Учебник. Нижний Новгород: Изд-во ННГУ, 2005. - 307 с.

10. П.Апресян Ю.Д. Избранные труды. В двух томах. Т.1. Лексическая семантика. Синонимические средства языка. М.: Школа «Языки русской культуры», 1995. - 472 с.

11. Апресян Ю.Д. Формальная модель языка и представление лексикографических знаний // Вопросы языкознания. 1990.- №6. - С. 123139.

12. Арутюнова Н.Д. Предложение и его смысл. М.: Наука, 1976. - 384 с.

13. Башмаков А.И. Обобщенная модель представления предметной области. -М.: МЭИ, 1997. -299 с.

14. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. М.: Информационно-издательский дом «Филинъ», 2003. - 616 с.

15. Белоногов Г.Г. и др. Компьютерная лингвистика и перспективные информационные технологии. Теория и практика построения систем автоматической обработки текстовой информации/ Г.Г.Белоногов, Ю.П. Калинин, A.A. Хорошилов. М.: Русский мир, 2004.-246 с.

16. Белоногов Г.Г., Кузнецов Б.А. Языковые средства автоматизированных информационных систем. М.: Наука, 1983. - 287 с.

17. Бидуля Ю.В. Алгоритмизация смыслового описания контента // Вестник ТюмГУ. Тюмень: Изд-во ТюмГУ, 2008. - Вып.6. - С. 195-198.

18. Бидуля Ю.В. Использование метаданных для формирования учебно-методических материалов в системах электронного обучения // Математическое и информационное моделирование: сборник научных трудов. Тюмень: "Вектор Бук", 2005. - Вып. 7. - С. 72-77.

19. Бидуля Ю.В. Объектный подход в описании контента // Математическое и информационное моделирование: сборник научных трудов. Тюмень: "Вектор Бук", 2007. - Вып. 9. - С. 11-15.

20. Бидуля Ю.В. Реферирование текста как подготовительный этап построения семантической сети // Математическое и информационное моделирование: сборник научных трудов. Тюмень: Издательство "Вектор Бук", 2006. - Вып. 8. - С. 46-50.

21. Бидуля Ю.В. Учет синонимии в модели смыслового описания контента // Математическое и информационное моделирование: сборник научных трудов. Тюмень: "Вектор Бук", 2011. - Вып. 13. - С. 42-50.

22. Бидуля Ю.В., Ивашко А.Г. Алгоритм построения семантической сети // Математическое и информационное моделирование: сборник научных трудов. Тюмень: "Вектор Бук", 2009. - Вып. И. - С. 42-50.

23. Бидуля Ю.В., Губина Т.И., Губин М.В. Свидетельство о государственной регистрации программы для ЭВМ №2008615239 «Система смыслового анализа материалов и контроля знаний Семантик-тест» от 31.10.2008.

24. Бидуля Ю.В., Губина Т.И., Губин М.В. Свидетельство о государственной регистрации базы данных №2009620064 «Семантик-тест» от 29.01.2009.

25. Валгина Н.С. Синтаксис современного русского языка: Учебник. М.: Агар, 2000.-416 с.

26. Вендров A.M. CASE-технологии. Современные методы и средства проектирования информационных систем. М.: Финансы и статистика, 2003. - 352 с.

27. Вентцель Е.С., Овчаров JI.A. Теория вероятностей. М.: Наука, 1969. -368 с.

28. Гаврилов A.B. Гибридные интеллектуальные системы: Монография -Новосибирск: Изд-во НГТУ, 2002. 142 с.

29. Герасимова И.А. Формальная грамматика и интенсиональная логика. М: ИФРАН, 2000. - 156 с.

30. Гладкий A.B. Формальные грамматики и языки. М.: Глав.ред. Физ.-мат. лит., 1973.- 368 с.

31. Гладкий A.B., Мельчук И.А. Грамматики деревьев I. Опыт формализации преобразований синтаксических структур естественного языка // Информационные вопросы семиотики, лингвистики и автоматического перевода. М.: Наука, 1971. - Вып. 1. - С. 16-41.

32. Гладкий A.B., Мельчук И.А. Грамматики деревьев II. К построению дельта-грамматики для русского языка// Информационные вопросы семиотики, лингвистики и автоматического перевода. М.: Наука, 1974. -Вып. 4. - С. 4-29.

33. Гладкий A.B.О значении союза ЕСЛИ // Семиотика и информатика. -1982.-Вып. 18.-С. 43-75.

34. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс, 1976. - 495 с.

35. Дорофеев Г.В., Мартемьянов Ю.С. Логический вывод и выявление связей между предложениями в тексте // В кн. Машинный перевод и прикладная лингвистика,- М.: МГПИИЯ им. М. Тореза , 1969.-Вып.12.-С.36-59.

36. Ермаков А.Е. Эксплицирование элементов смысла текста средствами синтаксического анализа-синтеза. // Компьютерная лингвистика и интеллектуальные технологии: труды Международной конференции Диалог'2003. М.: Наука, 2003. - С. 136-140.

37. Ермаков А.Е., Плешко В.В. Семантическая сеть текста в задачах аналитика. Информатизация и информационная безопасность правоохранительных органов: XI Международная научная конференция. Сб. трудов - М.: Наука, 2002. - С.343-347.

38. Ермаков А.Е., Плешко В.В. Синтаксический разбор в системах статистического анализа текста. // Информационные технологии. 2002. -№7. - С. 30-34.

39. Зализняк A.A. О понятии «факт» в лингвистической семантике. В: Н.Д.Арутюнова (ред.). Противоречивость и аномальность текста. М.: Наука, 1990. -С.21-33.

40. Ивашко А.Г., Бидуля Ю.В. Алгоритмы оценки семантического соответствия контентов // Вестник ТюмГУ. Тюмень: Изд-во ТюмГУ, 2010. - Вып.6. - С.168-173.

41. Ивашко А.Г., Бидуля Ю.В. Моделирование смыслового описания контента // Вестник ТюмГУ. Тюмень: Изд-во ТюмГУ, 2007. - Вып.5. -С.80-86.

42. Иомдин JI.JI. Симметричные предикаты в русском языке. Проблемы структурной лингвистики 1979.-М.: Наука, 1981.-С.89-105.

43. Искусственный интеллект: В 3 кн. Кн.1 Системы общения и экспертные системы: Справочник / Под ред. Э.В. Попова — М.: Радио и связь, 1990. -464 с.

44. Клайн П. Справочное руководство по конструированию тестов. Киев: ПАН ЛТД, 1994.-283 с.

45. Лагутина H.H. Тест как инструмент измерения уровня знаний // Химия в школе. 1998. -№3.-С. 41-45.

46. Левин Д.Я., Нариньяни A.C. Экспериментальный минипроцессор. Семантически ориентированный анализ // Взаимодействие с ЭВМ на естественном языке. Новосибирск: ВЦСО АН СССР, 1978. - С. 223-233.

47. Леонтьева H.H. Автоматическое понимание текстов: системы, модели, ресурсы: учеб. пособие для студ. лингв, фак. вузов/Нина Николаевна Леонтьева. М.: Издательский центр «Академия», 2006. - 304 с.

48. Леонтьева H.H. Система французско-русского автоматического перевода (ФРАП): лингвистические решения, состав, реализация // МП и ПЛ. Проблемы создания системы автом. перевода: Сб. научн. трудов МГПИИЯ им. М. Тореза. М.,1987. - Вып. 271. - С. 6-25.

49. Леонтьева H.H. Русский общесемантический словарь (РОСС): структура, наполнение. //Научно-техническая информация. Сер. 2. 1997. -N 12. - С.5-20.

50. Леонтьева H.H. К теории автоматического понимания естественных текстов. Ч.З: Семантический компонент. Локальный семантический анализ. М.: Изд-во МГУ, 2002. - 49 с.

51. Лингвистический процессор для сложных информационных систем / Ю.Д. Апресян, И.М. Богуславский, Л.Л. Иомдин и др. М.: Наука, 1992. -256 с.

52. Мазаев A.A. И др. Методика разработки обучающих программ для автоматизированных обучающих систем/А.А.Мазаев, О.Е.Монахова, А.Б.Токарев. М.: МЭИ, 1985. - 48 с.

53. Маслов Б.А. Проблемы лингвистического анализа связного текста. (Надфразовый уровень): Учеб. пособие к спецкурсу.- Таллин: ТПИ, 1975.- 104 с.

54. Мельчук И.А. Курс общей морфологии. Том I: Пер. с фр. / Предисл.

55. A.Е.Кибрика. Общ. Редакция Н.В.Перцова. Москва-Вена: «Языки русской культуры», Венский славистический альманах, Издательская группа «Прогресс», 1997. - 416 с.

56. Мельчук И.А. Курс общей морфологии. Том II: Пер. с фр. / Общ. Редакция Н.В.Перцова и Е.Н.Саввиной. Москва - Вена: «Языки русской культуры», Венский славистический альманах, Издательская группа «Прогресс», 1998. - 544 с.

57. Мельчук И.А. Опыт теории лингвистических моделей «смысл-текст» : Семантика, синтаксис / И.А. Мельчук. Переизд.. // М.:Школа «Языки русской культуры», 1999. - 345 с.

58. Мельчук И.А. Русский язык в модели «смысл-текст». — Москва — Вена: Школа «Языки русской культуры», Венский славистический альманах, 1995.-682 с.

59. Мельчук И.А., Жолковский А.К. Толково-комбинаторный словарь современного русского языка,- Вена: Wiener Slavistischer Almanach, 1984.- 992 с.

60. Методы автоматического анализа и синтеза текста /РГ. Пиотровский,

61. B.Н. Билан, М.Н. Боркун, А.К. Бобков. Минск: Высш. шк., 1985.- 224 с.

62. Нгуен Ба Нгок, А.Ф. Тузовский. Обзор подходов семантического поиска // Управление, вычислительная техника и информатика. Доклады ТУСУРа, декабрь 2010№ 2 (22). Томск, 2010. - 4.2. - С.234-237.

63. Некоторые проблемы фактографического поиска (специфика, состояние, тенденции) / Б.В. Кристальный, Г.Н. Радковский, A.A. Раскина и др. // Вопр. информ. теории и практики. 1983. - № 49. - С. 5-33.

64. Нейман Ю.М., Хлебников В.М. Введение в теорию моделирования и параметризацию педагогических тестов. М.: Центр тестирования МО РФ, 2000. - 168 с.

65. Непейвода H.H. Прикладная логика. Ижевск: Издательство Удмуртского университета, 1997.- 385 с.

66. Одинцев Н.В. Обобщенные модели управления. Синтаксический анализатор на основе обобщенных моделей управления. // Компьютерная лингвистика и интеллектуальные технологии. Труды международного семинара Диалог'2002. -М.:Наука, 2002. Т.2. - С. 401-406.

67. Осипов Г.С. Построение моделей предметных областей. 4.1. Неоднородные семантические сети // Известия РАН. Техническая кибернетика. -М.:Наука, 1990. №5. - С.32-45.

68. Осуга С. Обработка знаний. М.: Мир, 1989. - 293 с.

69. Падучева Е.В. Коммуникативное выделение на уровне синтаксиса и семантики // Семиотика и информация. М.: Языки русской культуры, 1998. - Вып. 36. - С. 82-107.

70. Перцова H.H., Перцов Н.В. О проекте лингвистического процессора для обработки информации из сети Интернет.// Компьютерная лингвистика и интеллектуальные технологии. Труды международного семинара Диалог'2002. -М.:Наука, 2002. Т.1. - С.339-342.

71. Плешко В.В. и др. RCO на РОМИП 2004/В.В.Плешко, А.Е. Ермаков, В.П.Голенков // Труды второго российского семинара РОМИП'2004. (Пущино, 1 октября 2004 г.). Санкт-Петербург: НИИ Химии СПбГУ. -2004. - С. 43-61.

72. Попов Э.В. Общение с ЭВМ на естественном языке. М.: Наука, 1982. -360 с.

73. Поспелов Н. С. Сложное синтаксическое целое и основные особенности его структуры // Доклады и сообщения Ин-та русского языка АН СССР. -М.: Институт русского языка, 1948. Вып. 2. - С. 43-68.

74. Представление и использование знаний/Х.Уэно, Т. Кояма , Т. Окамото и др. / Пер. с япон. М.: Мир, 1989. - 220 с.

75. Приобретение и формализация знаний / А. В. Аверкин, А.Ф.Блишун, Г.С.Гаврилова, Г.С.Осипов // Искусственный интеллект / Под ред. Д.А.Поспелова. М.: Радио и связь, 1990. - Т.2. Модели данных. -С. 65-75.

76. Рубашкин В. Ш. О методах анализа связного текста // Вопросы информационной теории и практики. Вып. 49. - М.: ВИНИТИ. - 1983. -С. 58-73.

77. Рубашкин В. Ш. Представление и анализ смысла в интеллектуальных информационных системах. М.: Наука, 1989. - 190 с.

78. Сабуров C.B. Языки программирования С и С++. М.: Бук Пресс, 2006. -647 с.

79. Севбо И.П. Структура связного текста и автоматизация реферирования. -М.: Наука, 1969. 135 с.

80. СИНТОЛ // Сборник переводов по вопросам информационной теории и практики, № 10. М.: ВИНИТИ, 1968,- 177 с.

81. Супрун А.Е. Лексическая система и методы ее изучения / А.Е. Супрун // Методы изучения лексики/ Под ред. А.Е.Супруна. Минск, Изд-во БГУ, 1975. - С. 5-22.

82. Ульман Д. Введение в системы баз данных. М.: Лори, 2000. - 376 с.

83. Файн B.C. Распознавание образов и машинное понимание естественного языка. М.-Наука, 1987. - 422 с.

84. Фигуровский И.А. От синтаксиса отдельного предложения к синтаксису целого текста. - М.: Русский язык в школе, 1948. - № 3. - С. 21-31.

85. Хомский Н. Язык и мышление / Пер. с англ. М.: Изд. Моск. ун-та, 1972. - 122 с.

86. Хомский Н., Миллер Дж. Введение в формальный анализ естественных языков,- М.: Едиториал УРСС, 2003. 64 с.

87. Хопкрофт Дж. и др. Введение в теорию автоматов, языков и вычислений / Дж. Хопкрофт, Р. Мотвани, Дж. Ульман . М.: Издательский дом «Вильяме», 2002. - 528 с.

88. Цейтин Г.С. Программирование на ассоциативных сетях. // ЭВМ в проектировании и производстве/Под ред. Г.В. Орловского. -Л.: Машиностроение, 1985. Вып. 2. - С. 16-48.

89. Шемакин Ю.И. Начала компьютерной лингвистики. М.: Издательство МГОУ, А/О "Росвузнаука", 1992. - 220 с.

90. Шемакин Ю.И. Тезаурус в автоматизированных системах управления и обработки информации. М.: Воениздат, 1974. - 192 с.

91. Шемакин Ю.И., Романов А.А. Компьютерная семантика. М.: Научно-образовательный центр «Школа Китайгородской», 1995. - 343 с.

92. Шенк Р. Обработка концептуальной информации. М.: Энергия, 1980. - 344 с.

93. Шумский С.А. Самоорганизующиеся нейронные сети // Научная сессия МИФИ-2001. III Всероссийская научно-техническая конференция «Нейроинформатика-2001»: Лекции по нейроинформатике. М.: МИФИ, 2001,- С.182-212.

94. Якобсон P.O. Избранные работы. М.: Прогресс, 1985. - 460 с.

95. Якобсон P.O. Шифтеры, глагольные категории и русский глагол // Принципы типологического анализа языков различного строя. М.: Наука, 1972. - С. 246.

96. Berners-Lee Т., Hendler J., Lassila О. The Semantic Web // Scientific American, May 17, 2001. P. 28-37.

97. Fillmore Ch. J. The case for case // Universals in linguistic theory. /Ed. By E.Bach and B.Halms, N.Y.: Holt, Rinehart and Winston, 1968. P1-88.

98. Lin D. Using syntactic dependency as local context to resolve word sense ambiguity // Proceedings of the 35th annual meeting on Association for Computational Linguistics. Madrid, Spain, 1997. P. 64-71.

99. Quillian M.R. Semantic memory // In Semantic Information Processing. M.I.T. Press, Cambridge, Mass., 1968. - P. 227-268.1. Электронные ресурсы

100. Система тестирования «INDIGO» Электронный ресурс. // URL: http://indigotech.ru (дата обращения: 22.11.2011).

101. Russion Context Optimizer: Технологии анализа и поиска текстовой информации Электронный ресурс. // URL: http://www.rco.ru (дата обращения: 23.11.2011).

102. Text Analist Электронный ресурс. // URL: http://www.analyst.ru (дата обращения: 20.11.2011).

103. TrueKnowledge: The Internet Answer Engine Электронный ресурс. // URL: http://www.trueknowledge.com (дата обращения: 10.11.2011).