Система обработки данных для автоматизации технологических процессов мониторинга дорожной сети тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Куприянов, Юрий Михайлович

• Куприянов, Юрий Михайлович
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Куприянов, Юрий Михайлович

ВВЕДЕНИЕ.

1. АНАЛИЗ МЕТОДОВ И ПОДХОДОВ ДИАГНОСТИКИ ЭКСПЛУАТАЦИОННЫХ ХАРАКТЕРИСТИК АВТОМОБИЛЬНЫХ ДОРОГ.

1.1. Задачи автоматизации технологического процесса мониторинга дорожной сети.

1.2. Обзор существующих методов диагностики с использованием цифровых технологий.

1.3. Описание технических возможностей применяемой технологии видео компьютерного сканирования для сбора и обработки информации

1.4. Дешифрация визуальных данных о состоянии улично-дорожной сети города, собранных с использованием технологии видео компьютерного сканирования.

2. РАЗРАБОТКА НЕЙРОСЕТЕВОЙ МОДЕЛИ ДЛЯ АВТОМАТИЗИРОВАННОГО РАСПОЗНАВАНИЯ ЭЛЕМЕНТОВ АВТОМОБИЛЬНЫХ ДОРОГ.

2.1. Формализованное описание элементов автомобильных дорог.

2.2. Выявление характерных визуальных признаков элементов.

2.3. Основные компоненты нейронной сети, применяемой для дешифрации визуальных данных.

2.4. Обучение применяемой нейронной сети с использованием метода обратного распространения ошибки.

3. РАЗРАБОТКА ИНФОРМАЦИОННОГО И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ МОНИТОРИНГА ДОРОЖНОЙ СЕТИ.

3.1. Разработка структурной схемы и информационного обеспечения автоматизированной системы мониторинга дорожной сети.

3.2. Реализация и использование нейронной сети для распознавания элементов и дефектов автомобильных дорог.

3.3. Разработка алгоритмов обучения для автоматизированной системы мониторинга дорожной сети.

3.4. Повышение производительности алгоритмов распознавания образов.

4. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ РАЗРАБОТАННЫХ МЕТОДОВ И АЛГОРИТМОВ И ВНЕДРЕНИЕ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ МОНИТОРИНГА ДОРОЖНОЙ СЕТИ.

4.1. Принципы построения, состав и характеристики программного и аппаратного обеспечения.

4.2. Архитектура автоматизированной системы мониторинга дорожной сети.

4.3. Экспериментальные исследования разработанных методов и алгоритмов.

4.4. Результаты внедрения автоматизированной системы для мониторинга автомобильных дорог.

Введение диссертации (часть автореферата) на тему «Система обработки данных для автоматизации технологических процессов мониторинга дорожной сети»

Актуальность темы. Поддержание на должном эксплуатационном уровне автомобильной дорожной сети является важной задачей, от решения которой зависит безопасность движения и, в конечном этапе, жизнь участников дорожного движения. Основной задачей системы обработки данных для автоматизации технологических процессов мониторинга дорожной сети является сбор и систематизация данных об элементах автодорожной сети, обработка собранных данных с целью установления их соответствия имеющимся классификационным нормам, оказание влияния на принимаемые решения на уровне подготовки проектной документации и производства работ. Информация, полученная в результате работы автоматизированной системы обработки данных для мониторинга автомобильных дорог, должна стать основой для планирования производства ремонтных работ, а так же контроля качества.

Основанием для проведения данного исследования послужило значительное расхождение данных в существующих технических схемах и проектах проведения работ с реальным количественно-качественным состоянием объектов автомобильных дорог.

Целями создания автоматизированной системы обработки данных мониторинга являлось:

S уточнение количественно-качественных показателей основных элементов автомобильных дорог; S определение и классификация эксплуатационного состояния на основе действующей нормативно-технической документации; ■S организация систематических наблюдений за объектами мониторинга с регистрацией изменений в эксплуатационном состоянии элементов обустройства, материалов, конструкций, возникших за период между наблюдениями;

S выработка рекомендаций по обоснованному назначению межремонтных сроков и объемов дорожных работ при производстве текущего и капитального ремонта; S контроль качества производимых ремонтных мероприятий.

Приведенное в данной работе решение поставленных выше задач включает в себя следующие основные части:

1. Сравнительный анализ и исследование различных способов сбора визуальной информации о состоянии объектов с целью выбора наиболее оптимального решения, позволяющего провести ее наиболее полную автоматизированную обработку;

2. Разработка и реализация алгоритмов распознавания элементов, принадлежащих объектам автомобильных дорог и элементов обустройства;

3. Разработка классификатора для определения эксплуатационного состояния объекта уличной дорожной сети на основе действующей нормативно-технической базы;

4. Разработка специализированного программного обеспечения, позволяющего регистрировать количественно качественный состав элементов, определять геометрию элементов, а также оценивать текущее эксплуатационное состояние элементов на основе разработанного классификатора дефектов и таблицы решений.

Цель диссертационной работы состоит в автоматизации технологических процессов диагностики и оценки состояния автомобильных дорог и элементов обустройства с целью повышения достоверности проведения обследований и увеличения скорости обработки визуальных данных, а также в практическом применении разработанных аппаратных комплексов для мониторинга дорожной сети с выработкой количественных оценок дефектов и проведенных ремонтных мероприятий с использованием автоматизированной системы мониторинга.

Объект исследования. В качестве объекта в диссертации рассмотрена дорожная сеть, включая элементы обустройства.

Задачи исследования. В результате выполнения диссертационной работы были решены задачи автоматизации технологических процессов диагностики и мониторинга автомобильных дорог (АД), а именно: произведена формализация элементов АД, определены методы решения задачи сегментации элементов АД с применением нейронных сетей, предложен вариант обучения нейронной сети по методу обратного распространения ошибки.

Методы исследования. Результаты диссертационной работы получены на основе комплексного использования теории нейронных сетей, теории баз данных, теории вычислительных сетей, теории вероятности и математической статистики.

Научная новизна диссертации состоит в теоретической и практической реализации методов бесконтактной диагностики и оценки эксплуатационного состояния автомобильных дорог и элементов обустройства: Предложена оригинальная технология сбора визуальных данных и разработан метод их автоматизированной обработки, используя в качестве регистрирующего алгоритма элементы полно связанной нейронной сети;

S Разработана методика проведения работ по диагностике автомобильных дорог с использованием автоматизированной системы видео компьютерного сканирования; S Впервые разработана методика применения нейронных сетей для автоматизации технологических процессов дешифрации визуальных данных о состоянии автомобильных дорог и семейство алгоритмов, обеспечивающих требуемый уровень точности и достоверности; S Разработано и внедрено специальное программное обеспечение сетевой распределенной интегрированной системы обработки данных для автоматизации технологических процессов регистрации элементов автомобильных дорог.

Практическая значимость работы. Полученные в диссертации результаты позволяют производить оперативный контроль эксплуатационного состояния автомобильных дорог и элементов обустройства, планировать сроки и объемы производства ремонтных работ, обеспечивать надзор за выполнением ремонтно-восстановительных работ.

Внедрение результатов. Опытная эксплуатация разработанного математического, информационного и программного обеспечения, полученные с его помощью результаты, подтвердили его высокую эффективность для решения поставленных задач. Разработанное программное обеспечение используется для автоматизации расшифровки визуальных данных о состоянии автомобильных дорог, полученных при помощи технологии видео компьютерного сканирования. Разработанная автоматизированная система мониторинга применятся для ежегодного контроля качества нанесения дорожной разметки и контроля эксплуатационного состояния автомобильных дорог по заказу Департаментов Восточного и Южного административных округов г. Москвы. Так же с использованием АС производится оценка текущего эксплуатационного состояния железобетонного ограждения парапетного типа установленного на Московской кольцевой автомобильной дороге, на Варшавском и Каширском шоссе, Волгоградском проспекте и д.р. Основные результаты работы внедрены в: ГУП «Кольцевые магистрали», ГУП «ДОРИНВЕСТ», ГУП «Центр мониторинга дорог и дорожных технологий».

Апробация результатов. Основные научные положения и результаты диссертации докладывались и обсуждались на конференциях:

• На пленарном заседании межгосударственной Ассоциации исследователей асфальтобетона, МАДИ (ГТУ), 27.01.2000 г.;

• На всероссийской конференции «Проблемы развития информационных телекоммуникационных технологий и систем связи в дорожном хозяйстве России с учетом единой структуры диагностики и автоматизации автомобильных дорог», Саратовский научно-производственный центр "Росдортех", г. Саратов, 2003 г.;

• На всероссийской конференции «Пути решения современных проблем по диагностике, паспортизации автомобильных дорог и искусственных сооружений на основе создания и использования автоматизированных банков данных», Саратовский научно-производственный центр "Росдортех", г. Саратов, 2003г.;

• На научно-методических конференциях МАДИ (ГТУ) (2000-2004гг);

• На заседании кафедры АСУ МАДИ (ГТУ).

На защиту выносятся следующие результаты:

1. Методика автоматизации технологических процессов дешифрации визуальных данных о состоянии автомобильных дорог.

2. Алгоритм нейронной сети, используемый для поиска и регистрации признаков характерных элементов, принадлежащих проезжей части автомобильных дорог и их обустройства.

3. Алгоритм обучения автоматизированной системы распознавания образов, основанный на методе обратного распространения ошибки в нейронной сети.

4. Архитектура сетевой распределенной интегрированной системы обработки данных для автоматизированного процесса регистрации элементов автомобильных дорог.

Публикации. Основное содержание диссертационной работы опубликовано в 6 печатных работах.

В первой главе диссертации рассматриваются и анализируются основные проблемы диагностики автомобильных дорог с применением специализированных дорожных лабораторий. Проведен обзор некоторых из существующих систем диагностики и мониторинга, определены и сформулированы их основные возможности, а так же сформулирована проблематика решаемого вопроса — автоматизации процесса обработки получаемых с помощью дорожных лабораторий визуальных данных. Приведено краткое описание технических возможностей технологии видео компьютерного сканирования, применяемой для сбора и обработки визуальной информации. Перечислены основные проблемы, возникающих в процессе дешифрации получаемых визуальных данных о состоянии элементов автомобильных дорог, определены основные направления и цели исследования.

Во второй главе диссертационной работы описаны основные направления автоматизации технологических процессов диагностики и мониторинга элементов автомобильных дорог на основе дешифрации и обработки визуальных данных, собранных с использованием комплекса видео компьютерного сканирования, формализованы и классифицированы виды элементов и свойственных им дефектов. Проведен детальный анализ элементов, выделены основные сегменты изображения, по которым будет производиться автоматизированная дешифрация визуальных данных. Выполнено теоретическое описание применяемой полно связанной нейронной сети и метода ее управляемого обучения в рамках решаемой задачи. Приведено формализованное описание разработанной модели автоматизированной системы мониторинга автомобильных дорог.

В третьей главе освещаются вопросы реализации последовательности формальных действий, в виде алгоритмов и блок-схем, призванных описать процедуру автоматизированного поиска элементов на предоставляемых визуальных данных. Рассмотрена общая блок-схема основных компонентов системы, приведены алгоритмы работы нейронной сети в прямом (рабочем) режиме и в обратном направлении (этап обучения нейронной сети). Описаны эффективные действия по оптимизации алгоритмов, нацеленные на оптимальное повышение производительности системы в целом.

В четвертой главе рассматриваются принципы построения и состав разработанной автоматизированной системы мониторинга дорожной сети, приводится ее архитектура. Представлено функциональное описание отдельных модулей разработанного программного обеспечения и дана оценка эффективности применения предлагаемой технологии с наглядной демонстрацией достигнутых результатов.

В заключении представлены основные результаты работы.

Приложение содержит документы об использовании результатов диссертации.

Объем диссертации. Диссертационная работа состоит из введения, 4 глав, общих выводов, приложений и списка литературы. Работа изложена на 158 страницах машинописного текста, содержит 19 таблиц и 94 рисунка. Список литературы включает 94 наименования работ отечественных и зарубежных авторов.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Куприянов, Юрий Михайлович

Выводы к разделу IV.

1. Определены принципы построения, состав и характеристики программного и аппаратного обеспечения, необходимые для практической реализации разработанной системы мониторинга автомобильных дорог.

2. Разработана архитектура автоматизированной системы мониторинга дорожной сети, позволяющая в автоматическом режиме регистрировать сегменты изображения, выдвигать предположение о существовании того или иного элемента, и, в случае выполнения всех заданных правил, регистрировать найденный элемент в базе данных. Разработан и реализован алгоритм минимизации времени простоя системы, состоящий в применении параллельной конвейерной обработки пакетов съемок распределенной вычислительной системой.

4. Разработан интерфейс пользователя автоматизированной системы «Мониторинг», который рассчитан на оператора (пользователя), обладающего начальными навыками работы с персональным компьютером.

5. Разработанная в диссертации автоматизированная система была применена для обследования элементов (более 70 тыс. конструктивных деталей) железобетонного ограждения парапетного типа установленного на МКАД. Установлено, что система автоматического поиска регулярных дефектов (сколов, проломов, трещин, обнажения арматуры блока) реализованная в разработанном программном обеспечении, позволяет выдать предварительное заключение о назначении сезонных ремонтных мероприятий уже через 4 дня после проведения съемки всех 218 погонных километров ограждения (две стороны по 109 км). При этом информация, полученная в результате работы, позволяет не только определить степень разрушения блока, но и проконтролировать ход работ по их ремонту и замене.

6. Разработанная в диссертации автоматизированная система была применена для проведения контроля качества дорожной разметки в муниципальных округах г. Москвы (проведено обследование более 500 км автомобильных дорог), а также для контроля эксплуатационного состояния отдельных автомобильных дорог г. Москвы и Московской области с целью количественной оценки дефектов и проведенных ремонтных мероприятий. Экспериментально доказана ее высокая эффективность, позволяющая на основе видео сканирования, провести автоматический поиск элементов (штрихов и линий) дорожной разметки, оценить длины и ширины элементов, наличие повреждений, следов не демаркированной разметки, оценить совпадения штрихов новой и старой разметки. Экспериментально доказано, что автоматизированная система мониторинга на базе ВКС, может показать развитие дефекта покрытия во времени путем многократных наблюдений одного и того же объекта. Высокая скорость и точность системы автоматизированной обработки данных позволяет быстро оценить качество проведенных работ или уточнить их необходимый объем для той или иной улицы.

7. Внедрение системы позволяет освободить специалистов от рутинного труда, повысить качество обработки информации и существенно увеличить ее достоверность. Использование результатов диссертационной работы позволило ускорить процесс принятия решений об эксплуатационном состоянии отдельных элементов автомобильных дорог не менее чем в 2 раза.

Заключение

В итоге выполнения работ, отраженных в данной диссертации, получены следующие основные результаты, определяющие научную новизну и ее практическую значимость:

1. В диссертации обобщены и проанализированы основные проблемы обработки данных мониторинговых исследований, дана оценка существующим методам бесконтактной диагностики автомобильных дорог с применением видео съемки.

2. Сформулированы основные проблемы дешифрации визуальной информации для автоматизации систем обработки данных применительно к элементам автомобильных дорог.

3. Предложен метод автоматизации технологических процессов мониторинга, который позволил существенно повысить скорость анализа информации в рассматриваемой предметной области, состоящий в сборе визуальных данных с применением технологии видео компьютерного сканирования, автоматической сегментации и классификации элементов изображения, определения наличия дефектов, актуализации БД.

4. Впервые для регистрации элементов автомобильных дорог на двумерном цифровом изображении применена полно связанная нейронная сеть, разработана методика ее применения, которая позволила в автоматическом режиме сформировать карту признаков сегментов исследуемых объектов. В качестве алгоритма обучения нейронной сети был использован метод обратного распространения ошибки.

5. Разработано и реализовано семейство алгоритмов обработки карты признаков и контроля достоверности, позволяющие автоматически фиксировать геометрические границы элементов на съемке и регистрировать их параметры в разработанной реляционной базе данных.

6. Разработано и внедрено программное обеспечение, включающее в себя набор фильтров и алгоритмов коррекции изображения, инструменты автоматизированной и ручной обработки данных, систему поиска и хранения информации в созданной базе данных АБДД, которое позволяет в короткие сроки давать оценку эксплуатационному состоянию объекта исследования, формировать дефектные ведомости и акты контроля качества производства работ.

7. Применение разработанных методик позволило получить следующее практические результаты: многократное увеличение скорости обработки информации о состоянии автомобильных дорог (с 57 объектов до 318 объектов в месяц); произвести исследования для 70 тыс. элементов МКАД менее чем за 2 недели, что позволило повысить качество и точность назначения производства работ при ремонте железобетонного ограждения.

Список литературы диссертационного исследования кандидат технических наук Куприянов, Юрий Михайлович, 2004 год

1. Ахаян Р., Горев А., Макашарипов С., Эффективная работа с СУБД. «Питер Пресс», 1997.

2. Вапника В.Н., Алгоритмы и программы восстановления зависимостей. М.:Наука, 1984г.

3. Васильев А.П., Яковлев Ю.М., Правила диагностики и оценки состояния автомобильных дорог (взамен ВСН 6-90). М.: Изд. №634., 2002г. 137с.

4. Васильев Ю.Э. Куприянов Ю.М., Мониторинг городской и магистральной дорожной сети. Журнал «Техника городского хозяйства», М., №2.2004

5. Горелик A.JI., Скрипкин В.А., Методы распознавания. М:Высш. Шк., 1982 - 232с.ил.

6. Дуда Р., Харт П., Распознавание образов и анализ сцен. : Пер. с англ. -М.: «Мир», 1976 г., 502с.

7. Зубков С.В. Assembler для DOS, Windows и UNIX. М.: ДМК Пресс, 2004. - 608с.

8. Игнатьева А. В., Максимцов М. М. ИССЛЕДОВАНИЕ СИСТЕМ УПРАВЛЕНИЯ, Москва, 2000

9. Ищенко И.С. Городской контроль качества дорожно-ремонтных работ в Москве. М.: Стройиздат, 1997. - 160 е.: ил.

10. Каллан Р. Основные концепции нейронных сетей. : Пер. с англ. -М.: «Вильяме», 2001. 286с.

11. Короткое Э.М. Исследование систем управления. — М.: «ДеКА», 2000.

12. Крокет Ф., MFC. Мастерская разработчика., Microsoft Press, 1998

13. Мамаев Е.В. Microsoft SQL Server 7 для профессионалов. СПб: Издательство "ПИТЕР", 2000. 896 с. : ил.

14. Мамаев E.B.Microsoft SQL Server 2000. СПб.: БХВ Петербург,2001. 1280с.: ил.

15. Минами С., Утида Т., Чернышева Ю.Н., Косарева E.JL, Обработка экспериментальных данных с использованием компьютера. М.: Радио и связь. 1999г. 256с.: ил.

16. Николаев А.Б., Куприянов Ю.М., Автоматизированная система поиска и регистрации номерных знаков автотранспорта. М.: МАДИ (ГТУ), 2004 г.

17. Основы Visual С++, Microsoft Press, 1997

18. Патерсон Дж. Теория сетей Петри и моделирование систем. — М.: Мир, 1984.

19. Советов Б. Я., Яковлев С. А. Моделирование систем (2-е изд.). — М.: Высшая школа, 1998.

20. Советов Б. Я. Яковлев С. А. Моделирование систем. — М.: Высшая школа, 1985.

21. Тихомиров Ю.В., SQL Server 6.5. Разработка приложений., БХВ -Санкт-Петербург, 1998.

22. Тихомиров Ю.В., Использование Microsoft SQL Server 7.0. Специальное издание. СПб.: «Вильяме», 1999. - 816 с. : ил.

23. Хансен Г., Хансен Д., Базы данных: разработка и управление. «Издательство БИНОМ», 1999.

24. Шумаков П.В., Фаронов В.В., Delphi 4. Руководство разработчика баз данных. 1999.

25. Юров. В.И. ASSEMBLER практикум. СПб.: Питер, 2004. - 399е.: ил.

26. Ackley D.H., Hinton G.E. and Sejnowski TJ. (1985). A learning algorithm far Boltzmann machines. — Cognitive Science, (9): p. 147— 169.

27. Arbib M.A. (1995). Foreword in R. Sun and L.A. Bookman (eds). Computational Architectures Integrating Neural and Symbolic Processes, A Perspective on the State of the An. Boston: Kluwer Academic Publishers.

28. Barnden J. (1992). Connectionism, generalization, and prepositional attitudes: A catalogue of challenging issues; J. Dinsmore (ed.), The Symbolic and Connectionist Paradigms, Closing the Gap. Hillsdale, NJ: Erlbaum.

29. Baum E.B. and Haussier D. (1989). Wliat size net gives valid generalization'? Neural Computation, (1), p. 153 — 160.

30. Boden M. (1996). A connectionist variation on inheritance. Paper presented to the international Conference on Artificial Neural Networks 96, Bochum, Germany.

31. Broomhead D.S. and Lowe D. (1988). Radial basis functions, multi-variable functional interpolation and adaptive networks. Royal Signals and Radar Establishment, MaHvem. Memorandum 4148.

32. Callan R. and Palmer-Brown D. (1997). An analytical technique for fast and reliable derivation of connectionist symbol structure representations. Connection Science, 9(2), p. 139-159.

33. Carpenter G.A. and Grossberg S. (1987). A massively parallel architecture for a self-organizing neural pattern recognition machine. Computer Vision, Graphics, and Image Processing, 37, p. 54-115.

34. Cawsey A. (1998). The Essence of Artificial Intelligence. Hemel Hempstead: Prentice Hall.

35. Chalmers D. (1990). Syntactic transformations on distributed representations, Connection Science, 2(1/2), p. 53-62.

36. Clark A. (1993). Associative Engines. Connectionism, Concepts, and Representational Change. Cambridge, MA: MIT Press.

37. Cleeremans A. (1993). Mechanisms of Implicit Learning, Connectionist tyodels of Sequence Processing. Cambridge, MA: MIT Press.

38. Copeland J. (1993). Artificial Intelligence, A Philosophical Introduction. Oxford: Blackwell.

39. Dean Т., Alien J. and Aloimonos Y. (1995). Artificial Intelligence, Redwood City, CA: Benjamin/Cummings Publishing Company, Inc.

40. Dinsmore J. (ed.) (1992). The Symbolic and Connectionist Paradigms, Closing the Gap. Hillsdale, NJ: Erlbaum,

41. Dorffner G. (ed.) (1997). Neural Networks and a New Artificial Intelligence. London: International Thomson Computer Press.

42. Dyer M.G. (1994). Grounding language in perception; V. Hoiiavar and L. Uhr (eds), Artificial Intelligence and Neural Networks. Steps toward Principled Integration. London: Academic Press.

43. Elman J. (1990). Finding structure in time. Cognitive Science, 14, p. 179-211.

44. Fausett L. (1994). Fundamentals of Neural Networks. Architectures, Algorithms and Applications. Upper Saddle River, NJ: Prentice-Hall.

45. Fodor J. and Pylyshyn Z. (1988). Connectionism and cognitive architecture: A critical analysis. Cognition, 28, p. 3—71.

46. Geman S. and Hwang C.R. (1986). Diffusions for global optimization. SIAM Journal of Control and Optimization, 24, p. 1031-1043.

47. Harnad S. (1990). The symbol grounding problem. Physica D, 42, p. 335-346.

48. Hamad S. (1993). Symbol grounding is an empirical problem: Neural nets are just a candidate component, Proceedings of the Fiftieth Annual Meeting of the Cognitive Science Society. Hillsdale, NJ: Erlbaum.

49. Haykin S. (1994). Neural Networks, A Comprehensive Foundation. New York: Macmillan College Publishing Company.

50. Hecht-Nielsen R. (1990). Neurocomputing. — Addison-Wesley Publishing Company, Inc.

51. Hinton G.E., Plaut D.C. and Shallice T. (1993). Simulating brain damage. Scientific American, October.

52. Honavar V. and Uhr L. (eds) (1994). Artificial Intelligence and Neural Networks. Steps toward Principled Integration. London: Academic Press.

53. HANSHIN EXPRESSWAY ADMINISTRATION AND TECHNOLOGY CENTER, 4-5-7, Minami-Honmachi, Chuoh-ku, Osaka 541-0054 JAPAN Phone: [phone] http://www.tech-center.or.jp

54. Jordan M.I. (1989). Serial order: A parallel, distributed processing approach, J.L. Elman and D.E. Rumelhart (eds), Advances in

55. Connectionist Theory: Speech. Hillsdale, NJ: Erlbaum.

56. Kohonen T. (1990). The self-organizing map. Proceedings of the IEEE, 78(9), p. 1464-1480.

57. Kosko B. (1988). Bidirectional associative memories. IEEE Transactions on Systems, Man and Cybernetics, 38, p. 49—60.

58. Kremer S.C. (1995). On the computational power of Elman-style recurrent networks. IEEE Transactions on Neural Networks, 6(4), p. 1000-1004.

59. Lee G., Flowers M. and Dyer M. (1990). Learning distributed representations of conceptual knowledge and their application to script-based story processing. Connection Science, 2(4), p. 313-345.

60. Lippmann R.P. (1987). An introduction to computing neural nets. IEEE ASSP Magazine, 4, p, 4^22.

61. Masters T. (1995). Advanced Algorithms For Neural Networks. A С++ Source-book. New York: Wiley.

62. Miikkulainen R. (1993). Subsymbolic Natural Language Processing, An Integrated Model of Scripts, Lexicon, and Memory. Cambridge, MA: MIT Press.

63. Miikkulainen R. (1994). Integrated Connectionist models Building AI systems on subsymbolic foundations, in V. Honavar and L. Uhr (eds), Artificial Intelligence and Neural Networks Steps toward Principled Integration. London: Academic Press.

64. Miikkulainen R. (1995). Subsymbolic parsing of embedded structures, R Sun and L A Bookman (eds), Computational Architectures Integrating Neural and Symbolic Processes, A Perspective on the State of the Art. Boston: Kluwer Academic Publishers.

65. Miikkulainen R. and Dyer M.G. (1991). Natural language processing with modular neural networks and distributed lexicon. Cognitive1. Science, 15, p. 343-399.

66. Nenov V.I. and Dyer M.G. (1994). Perceptually grounded language learning, Part 2. DETE: A neural/procedural model. Connection Science, 6(1).

67. Niklasson L. and Sharkey N.E. (1997). Systematicity and generalization in compositional Connectionist representations; G. Dorffner (ed), Neural Networks and a New Artificial Intelligence. London: International Thomson Computer Press.

68. Noelle D.C. and Cottrell D.C. (1995). Towards instructable Connectionist systems; R. Sun and L.A. Bookman (eds), Computational Architectures Integrating Neural and Symbolic Processes, A Perspective on the State of the Art. Kluwer Academic Publishers.

69. Norris D. (1989). How to build a Connectionist idiot (savant). Cognition, 35, p. 277-291.

70. Pollack J. (1990). Recursive distributed representations. Artificial Intelligence, 46, p. 77-105.

71. Reilly R. (1992). Connectionist technique for on-line parsing. Network, 3, p. 37—45.

72. Reilly R.G. and Sharkey N.E. (eds) (1993). Connectionist Approaches to Natural Language Processing. Erlbaum.

73. Rumelhart D.E., McClelland J.L. and the PDF Research Group (1986b). Parallel Distributed Processing, Explorations in the

74. Microstructure of Cognition. Vol 1, Foundations. Cambridge, MA: MIT Press.

75. Russell S. and Norvig P. (1995). Artificial Intelligence, A Modern Approach. Hemel Hempstead: Prentice Hall.

76. Sharkey N. and Jackson S. (1994). Three horns of the representational trilemma in V. Honavar and L. Uhr (eds), Artificial Intelligence and Neural Networks., Steps toward Principled Integration. London: Academic Press.

77. Sharkey N.E. and Jackson S.A. (1995). An internal report for connectionists, in

78. Sun R. and L.A. Bookman (eds), Computational Architectures Integrating

79. Neural and Symbolic Processes, A Perspective on the State of the Art. Boston: Kluwer Academic Publishers.

80. Specht D.F. (1990). Probabilistic neural networks. Neural Networks, 3, p. 109-118.

81. Sun R. (1995). An introduction On symbolic processing in neural networks, in

82. Sun R. and L.A. Bookman (eds), Computational Architectures Integrating Neural and Symbolic Processes, A Perspective on the State of the Art. Boston: Kluwer Academic Publishers.

83. Sun R. and Bookman L.A. (eds) (1995). Computational Architectures Integrating Neural and Symbolic Processes, A Perspective on the State of the Art. Boston

84. Kluwer Academic Publishers. Werbos P.J. (1990). Backpropagation through time: what it does and how to do it.