Построение алгоритмов реализации человеко-машинных речевых интерфейсов тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат физико-математических наук Коршаков, Алексей Вячеславович

• Коршаков, Алексей Вячеславович
• кандидат физико-математических наук
• 2007

Оглавление диссертации кандидат физико-математических наук Коршаков, Алексей Вячеславович

Введение.

Глава 1. Анализ состояния исследований в области систем обработки речи, текста и человеко-машинных интерфейсов.

1.1. Существующие алгоритмы семантической кластеризации.

1.2. Особенности функционирования современных алгоритмов реализации человеко-машинных речевых интерфейсов.

1.3. Задача кластеризации/классификации на фонетическом ярусе естественного языка, как основная подзадача человеко-машинного речевого интерфейса.

1.4. Общее состояние исследований в области человеко-машинных речевых интерфейсов.

1.5. Выводы.

Глава 2. Теоретическое обоснование предлагаемых алгоритмов построения речевых интерфейсов.

2.1. Естественное упорядочение фонетического алфавита языка.

2.2. Пространство понятий, фонетическое построение.

2.3. Построение карты семантического пространства.

2.4. Нейросетевой алгоритм построения карты семантического пространства.

2.5. Результаты и выводы:.

Глава 3. Результаты функционирования предлагаемых алгоритмов.

3.1. Частоты встречаемости фонетических символов.

3.2. Фонетическое построение пространства понятий.

3.3. Построение карты семантического пространства.

3.4. Нейросетевой алгоритм построения карты семантического пространства.

3.5. Результаты и выводы.

Глава 4. Выводы по проведённому анализу.

Введение диссертации (часть автореферата) на тему «Построение алгоритмов реализации человеко-машинных речевых интерфейсов»

По мере проникновения компьютеров во все слои общества становится очевидным, что многие люди испытывают трудности в общении с персональным компьютером. Ясно, что необходим новый способ общения с компьютером — простой, быстрый, интуитивный.

Преимущества речевого ввода становятся очевидными из следующего простого анализа. Спонтанная речь произносится со средней скоростью 2,5 слова в секунду, профессиональная машинопись - 2 слова в секунду, непрофессиональная -0,4 слова в секунду. Таким образом, даже по производительности в большинстве случаев речевой ввод имел бы значительное превосходство, тем более в случае, отличном от банального «набирания» текста. Кроме того, люди с физическими недостатками могли бы более эффективно пользоваться вычислительной техникой. Также, такая область применения речевых интерфейсов, как системы оперативных информационных услуг, за счёт расширения возможностей аппарата распознавания речи, могли бы значительно улучшить качество своих сервисов. И хотя системы, обладающие, как заявляют, подобными качествами уже существуют, например, в сфере телефонных информационных услуг, качество общения в них оставляет желать лучшего, так как принуждает пользователя к формальному соблюдению строгого протокола «вопрос-ответ», а также, обладает рядом других неприятных недостатков [1].

Все языки могут быть разделены на естественные, искусственные и частично искусственные. Естественные языки складываются стихийно и постепенно. Искусственные языки сознательно создаются людьми для каких-либо специальных целей: языки математики, логики, алгоритмические языки, шифры и т.п. Языки естественных и гуманитарных наук относятся к частично искусственным [2, 3]. Одна из особенностей искусственных языков состоит в строгой определенности их словаря, синтаксиса и семантики, что во многих случаях оказывается несомненным

Введение 5 преимуществом таких языков в сравнении с естественными языками, аморфными со стороны как словаря, так и правил образования предложений и их значений. Искусственные языки вторичны в отношении естественного языка: первые возникают на базе второго и могут функционировать только в связи с ним. Термин «конкретный естественный язык» понимается как реально существующая знаковая система. Суть языка как семиотической системы1 состоит в установлении соответствия между множеством всех возможных смыслов и множеством всех звуковых оболочек высказываний. То есть язык - это локализованный в мозгу человека механизм, который соотносит то, что, мы думаем, с тем, что мы говорим. Необходимым компонентом языка является подразумеваемый смысл производимого кода и его понимание. Эту посылку можно считать ключевой, и в её рамках ведётся всё дальнейшее изложение.

В середине ХХ-го века язык и речь стали исследоваться в теории искусственного интеллекта. Сам язык не дан для исследования в непосредственном наблюдении, поэтому приходится изучать его проявления - речь, а уже по ней пытаться строить модели языка [4, 5] с целью изучения его свойств. Эти исследования были задуманы для того, чтобы автоматизировать некоторые процедуры обработки текста, речи и языка с использованием вычислительной техники. После этого стало очевидно, что речевой интерфейс или вообще некоторая система работы с речью распадается па три составляющие. Это, во-первых, восприятие поступающего речевого сигнала. Во-вторых, встаёт задача «понимания» смысла сказанного, то есть перевода в машинный код информации, предоставляемой компьютеру человеком в речевом коде. Третья задача речевого интерфейса состоит в производстве ответных откликов на поступающие от человека команды. Понимание естественного языка, таким образом, не сводиться к передача слов, и требует знания о целях говорящего, контексте, а также о данной предметной области. Язык описывает взаимосвязи в сложном реальном мире, с

1 Суть языка как системы знаков.

Введение 6 которым должна быть знакома любая система, претендующая на понимание языка. Кроме того, имеет значение структура языка, слова состоят из фонем, и, в свою очередь, составляют предложения, фразы. Порядок следования фонем, слов и предложений не является случайным. Элементарные звуки, из которых состоит речь, не эквивалентны буквам [6]. Фонетическим строем языка занимается специальный раздел лингвистики - фонетика. В классической лингвистике существует ряд школ или направлений, ведущих, каждая, несколько отличающуюся, но схожую в целом систему членения звукового потока языка на фонемы [7]. Несмотря на это надо понимать, что смысловой состав речи, очевидно, мало зависит от способа её членения на звуки с целыо анализа. В подтверждение этого факта оказалось, что членения речи только на фонемы для компьютерного анализа недостаточно в связи с большой вариантностью произношения звуков в языке и коартикуляцией, то есть взаимопроникновением соседних звуков [1]. Значит, речевой сигнал должен состоять не из фонем, а из аллофонов - комбинаций «слипшихся» фонем или «реализаций» фонем в зависимости от условий произнесения [6]. Другие исследователи, напротив, рассматривали идею дробления на еще более короткие кусочки или даже вообще прелагали отказаться от понятия фонемы и «расчленять» речевой сигнал как-то иначе. Так родились фоноиды и еще масса авторских названий элементарных звуков [1, 7, 8 - 11].

Без корректного использования таких компонентов речи, как фонемы, слова и предложения, общение невозможно. И, наконец, если иметь человеко-машинные интерфейсы, то языковые конструкции - это продукт некоторого агента - человека или компьютера. Агенты внедрены в сложную среду и развиваются в направлениях, определяемых их индивидуальностью и социумом. Языковые действия являются целенаправленными.

Помимо хорошего знания предметной области, система понимания языка должна моделировать шаблоны и предложения самого языка. Например, в языковых конструкциях предлоги и прилагательные обычно стоят перед

Введение 7 существительными, а не наоборот [6, 12 - 14]. В частности, мощным средством для такого моделирования является аппарат марковских цепей [15, 16]. Марковские цепи также могут отражать взаимодействия между принципами построения языковых конструкций и реальным миром, для описания которого они предназначены. Однако, для того, чтобы сконструировать подходящую марковскую цепь, отражающую реальное положение вещей достаточно точно, необходимо обладать знаниями о структуре и строении языка. Разработка алгоритмов получения таких данных, а также дополнительной информации, способствующей правильному описанию феномена языка и его составляющих в компьютере, является одной из целей данной работы.

Язык - это очень сложный феномен, понимание которого включает в себя такие разнообразные и сложные процессы, как распознавание звуков и печатных букв, синтаксический разбор, вывод семантик высокого уровня и даже эмоционального контекста, передаваемого с помощью ритма и интонации. Для работы с этой сложной структурой лингвисты определили различные уровни анализа естественного языка:

1. Просодия, к которой относиться анализ ритма и интонации языка. Этот уровень анализа достаточно сложно формализуем, поэтому им зачастую пренебрегают.

2. Фонология - наука о звуках и их комбинациях в языковых структурах. Эта область играет важную роль в компьютерном распознавании и генерации речи.

3. Морфология - анализ компонент (морфем1), из которых состоят слова. К этой области относятся вопросы правил форматирования слов, в том числе использование префиксов, приставок и суффиксов для модификации значения корня слова в предложении, например, времени глагола. Морфема - объединяющее понятие для корня, приставки, суффикса, окончания [6].

Введение 8

4. Синтаксический анализ связан с изучением правил сочетания слов в отдельных фразах и предложениях, а также использованием этих правил для разбора и генерации предложений. Эта область наиболее информативна, и поэтому успешно применяется для автоматизации лингвистического анализа.

5. Семантика изучает значение слов, фраз и предложений, а также способы передачи смысла в выражениях естественного языка.

6. Прагматика - наука о способах использования языка и его воздействия на слушателя.

7. Знания об окружающем мире - это сведения о реальном физическом мире, в котором существуют оба агента, участвующие в общении. Это мир социальных взаимоотношений, а также значений и целей человека в обществе.

Существование этих уровней анализа подтверждаются лингвистикой и нейропсихологией, однако они не дают полного представления о языке. Они тесно связаны между собой и даже низко уровневые изменения интонации и ритма могут полностью изменить значение слова. Примером этому является сарказм. Для синтаксиса и семантики такая взаимосвязь очевидна, хотя между этими понятиями проводиться чёткая разделительная линия. Например, различные предложения можно интерпретировать по-разному в зависимости от контекста. Синтаксис также оказывает сильное влияние на семантику, что подтверждается значимостью структуры словосочетания при интерпретации предложений. Несмотря на то, что природа различия синтаксиса и семантики является предметом ожесточённых споров в лингвистике, эти различия сохраняются и играют важную роль в понимании естественного языка. Просодия и словесная передача информации дополняют друг друга [1]. Об этом можно судить исходя из исследований, связанных с «выборочным зашумлением речи». Просодические характеристики голоса, скрыты в основном в звучании гласных, в то время как смысл и значение произносимых слов закреплено за последовательностью согласных, промежутки между которыми заполняют гласные. И те, и другие фонемы можно искажать произвольным образом, но до определённого предела, смысл речи при этом останется понятным. Особо стоит подчеркнуть, что предел искажения фонем, в частности характеризуемый плотностью передачи информации, различен для гласных и согласных фонем, что может оправдать дробление речи на несколько каналов для целей более эффективного распознавания. Использование различных алгоритмов оптимизации передачи и сжатия информации на линии не позволяет уплотнить информационный поток сильнее, чем до 20 кбод1 [17, 18]. При большем уплотнении происходит необратимая потеря точности передачи деталей голоса, которые предположительно влияют на его узнавание, вследствие серьёзного огрубления низкоэнёргетической части спектра. Как уже было сказано выше, возможности просодического канала исчерпываются немного раньше.

Конкретная структура программ понимания естественного языка варьируется в зависимости от используемой идеологии и целей написания конкретного приложения. Проблема понимания языка может возникнуть при реализации интерфейса с базой данных, системы автоматического перевода и программы интерактивного обучения и пр. Во всех этих системах исходное предложение необходимо привести к внутреннему представлению, отражающему его значение. Этапы этого процесса для простой системы понимания естественного языка можно охарактеризовать следующим образом:

1. Первая стадия - синтаксический разбор или парсинг2 или анализ синтаксической структуры. В процессе синтаксического разбора проверяется, корректно ли составлено предложение, и определяется его лингвистическая структура. За счёт идентификации таких основных лингвистических отношений, как подлежащее - сказуемое,

1 Бод - единица скорости передачи информации по каналу связи.

2 Парсинг - от англ. Parsing - разбирать, анализировать, синтаксический разбор.

Введение 10 сказуемое - дополнение, в процессе синтаксического разбора, строится базис для семантической интерпретации. Результаты зачастую представляются в виде дерева разбора [19]. В синтаксическом анализаторе используются знания синтаксиса языка, морфологии и, частично, семантики.

2. Вторая стадия - семантическая интерпретация, то, что в данной работе названо пониманием языка. В результате выполнения этой стадии анализа формируется представление о содержании теста. «Содержание» обычно представляется в виде концептуальных графов, фреймов, логических представлений. В процессе семантической интерпретации используются знания о значении слов, их лингвистической структуре, о синонимах существительных и глаголов, а также об ограничениях наложенных на употребление слов в языке.

3. Третья стадия - добавление структур из базы знаний к внутреннему представлению предложения для формирования расширенного представления значения предложения. Для полного понимания предложения требуются знания о реальном мире. Окончательная структура представляет собой значение текста и используется программой понимания для дальнейшей его обработки. Например, в случае обслуживания человеко-машинным интерфейсом базы данных, такая структура используется для формирования представления запроса с учётом организации конкретной базы данных. Затем этот запрос может быть переведён на запрос на языке управления базами данных.

Эти стадии присутствуют практически во всех системах, хотя и могут быть по-разному реализованы в виде программных модулей. Например, во многих программах дерево разбора не строится в явном виде. Вместо этого напрямую генерируется внутреннее семантическое представление. Тем не менее, оно не явно

Введение 11 участвует в разборе предложения. Типичный пример - инкрементальный синтаксический разбор («incremental parsing») [19, 20]. В рамках данного метода фрагмент внутреннего представления формируется при разборе каждой существенной части предложения. Объединение таких фрагментов составляет полную структуру предложения, которая зачастую используется для устранения двусмысленности и общего руководства действиями синтаксического анализатора.

Актуальность. Сложность реализации человеко-машинного речевого интерфейса определяется во многом сложностью такой системы кодирования, как человеческий язык. Вместе со стремительным вступлением человека в информационный век и растущей потребностью людей в эффективных средствах взаимодействия с вычислительной техникой, необходимость эффективного посредника между человеком и информационной средой становиться актуальной. Речевые интерфейсы, или, хотя бы, системы, накладывающие ограничения на тот или иной аспект речевого общения, или их приложения, такие как «On Line1 «-системы автоматического речевого и интеллектуального текстового перевода, устройства определения личности человека по голосу, системы автоматических объявлений, «автоответчики» справочных систем, и исследования, связанные с их совершенствованием или созданием новых типов подобных устройств приобретают сегодня всё большую актуальность. Однако, исходя из анализа литературы или изделий, представленных на тематическом рынке программного обеспечения или компьютерного оборудования, а также из анализа программных продуктов, находящихся в бесплатном или условно-бесплатном доступе, следует, что ни одна из подобных систем не лишена принципиальных недостатков, порой ставящих под сомнение целесообразность их использования. Иными словами, необходимого уровня качества общения, свойственного общению двух людей подобные изделия пока достичь не в состоянии. Причём такое положение вещей, по-видимому, связано не с частными недостатками реализации

1 Функционирующие «на лету», то есть без запаздывания относительно «сопровождаемого» процесса.

Введение 12 какой-либо конкретной системы или продукта, а скорее с неким фундаментальным дефектом представлений о закономерностях процесса, образующего общение, ставших уже традиционными. Об этом можно судить, в том числе и по тому факту, что в пределах разброса значений, связанных, в основном, с практической направленностью и спецификой целей, для которых проектируется конкретная система речевого интерфейса, все они обладают приблизительно одинаковым процентом отказов практически в одинаковых условиях работы.

Важными представителями человеко-машинных интерфейсов и систем обработки речевой и/или текстовой информации представленной на естественном человеческом языке, являются системы распознавания речи и текста, в смысле установления взаимнооднозначного соответствия между произнесённым словом или фразой (или напечатанным участком текста) и неким производимым вычислительной машиной действием.

Из всего вышесказанного кажется логичным сосредоточиться на исследовании закономерностей самого языка в самом общем смысле, как переносчика информации в процессе общения, а также структуры, строения и способов применения основных элементов, кодирующих в нём информацию. Причём желательно использовать в таком исследовании подходы и методы, в том числе отличающиеся от традиционных, сложившихся со времён начала экспериментов в области когнитивных наук, традиционного искусственного интеллекта и компьютерной техники. Данные, полученные в подобных исследованиях, помогут по-новому взглянуть на проблему создания человеко-машинных интерфейсов и поднять качество их функционирования на новый уровень, принесут новое в практику создания электронных переводчиков.

Цели и задачи работы. Целью данной работы является получение и разработка математических методов и алгоритмов, обеспечивающих:

1. Получение информации, критической с точки зрения эффективного функционирования некоторого гипотетического речевого процессора

Введение 13 безотносительно к форме конкретной реализации последнего),

2. Получение информации, важной для функционирования высокоуровневой эмуляции тех или иных форм компьютерного речевого интерфейса типа человек-машина,

3. Обработка и формализация нечёткой и трудно-формализуемой лингвистической формы информации, применимых, после некоторой необходимой адаптации к реальным входным данным в реальных человеко-машинных интерфейсах, имеющих, пусть даже малый и/или промежуточный, лингвистический этап в трансляции команд и входных данных,

4. Попытка эмуляции процесса обработки лингвистической информации (разумеется, на примитивном уровне, что связано с поисковым характером обсуждаемых исследований) единственным достоверно эффективно функционирующим устройством обработки такой информации - центральной нервной системой человека.

Научная новизна. Научная новизна проведённой работы состоит в следующем:

1. Рассматривается новый подход к систематизации фонетического яруса лингвистических данных естественного языка, предполагающий кросс-языковый анализ фонетической структуры лексики группы языков,

2. Разработан новый способ систематизации и представления фонетического алфавита языка, связанный с распространённостью элементов алфавита в смыслопередающем корпусе языка,

3. Предложен новый способ представления словарного состава естественного языка (построение пространства понятий) в виде многомерного массива (в свою очередь представимого в виде графического изображения), позволяющий автоматически распознавать естественные языки и различные части из словарного запаса этих языков. Потенциально данный способ представления лингвистической информации позволяет проводить семантическую кластеризацию и/или классификацию внутри фонетически представленных лексем языка;

4. Разработано два новых, взаимодополняющих друг друга в смысле рассматриваемых ими слов-понятий, алгоритма семантической кластеризации лексем естественного языка (построения семантического пространства), использующих в своей работе только информацию о существовании взаимообратных переводов кластеризуемых слов на родственные естественные языки. Несмотря на то, что работа данных алгоритмов не включает в себя анализ статистически значимых показателей встречаемости лексем языка, в каких бы то ни было больших корпусах лингвистической информации, разработанные алгоритмы, как показано в работе, работоспособны и могут выполнять задачу семантической кластеризации на необходимом для практических приложений уровне.

Практическая значимость. Предложенные методы идентификации и обнаружения факта различия двух или более языков, использованных в анализируемом тексте, могут быть с успехом применены в программах интеллектуального перевода, облегчая, таким образом, использование интерфейса таких программ, а также в качестве удобных дополнений к программам-браузерам, применяемым при просмотре информации, содержащейся в глобальной сети Интернет. Проблема определения языка, на котором написан документ в Интернете, решается либо пользователем, который должен для этого ознакомится с содержанием документа, который может не представлять для него ценности, либо автор документа должен указать язык документа явно (в языке разметки гипертекста HTML для этого предусмотрены специальные тэги). С использованием предложенных методов поиск немаркированных по признаку языка документов в Интернете может быть оптимизирован по эффективности.

Методы построения смыслового пространства являются предтечами методов эффективной организации словарей в системах интеллектуального перевода и в системах поиска информации по семантическому признаку. Классическая организация словаря, с распределением словарных единиц в соответствии с алфавитным порядком, не удовлетворяет целому ряду требований к оптимальной работе со словарём и поиска в нём. Реструктуризация словарей в соответствии с категориями семантического пространства поможет построить систему интеллектуального перевода, отличающуюся скоростью и точностью работы, переводящую смысл предъявляемого высказывания, а не его словарный состав. Следствием последнего явления являются ошибоч1[ые переводы, либо вовсе отказ существующих систем электронного перевода.

Кроме того, методы и алгоритмы семантической кластеризации и классификации, являются необходимой частью систем информационного поиска, автоматической рубрикации текстовой информации, а также систем извлечения данных.

Положения работы, выносимые на защиту:

1. Метод естественного упорядочивания фонетического алфавита естественного языка.

2. Фонетическое построение пространства понятий естественного языка.

3. Методы построения семантического пространства естественного языка (метод, использующий решение системы нелинейных алгебраических уравнений, и нейросетевой метод).

Апробация работы. Основные результаты в течение ряда лет докладывались на Всероссийской Научно-Техпической Конференции «Нейроинформатика» (Москва, 2004-2006 годы). О начальных этапах работы и результатах изучения

Введение 16 функционирования алгоритма фонетического построения пространства понятий, можно судить по докладу на седьмой международной конференции «Cognitive Modeling in Linguistics», проходившей в Варне в 2004 году. Кроме того, результаты части работы, связанной с построением смыслового пространства опубликованы в электронном рецензируемом журнале «Нейроинформатика», а также в рецензируемом журнале «Нейрокомпьютеры: разработка, применение». Результаты промежуточных исследований смыслового пространства, также докладывались на Молодёжной школе Курчатовского Института (Москва, РНЦ «Курчатовский институт» 2005).

Часть результатов этой работы была удостоена первой премии Молодёжного Кикоинского конкурса Курчатовского института в 2006 году.

Публикации. По теме диссертации опубликовано восемь работ, три из них в соавторстве. Две статьи опубликованы в материалах международных конференций [21, 22], четыре статьи в сборниках трудов конференций [23 - 26], одна статья в рецензируемом электронном журнале [27], и одна статья в рецензируемом журнале [28].

Достоверность. Представленные в диссертации результаты обоснованы теоретическим анализом, численным моделированием и верифицированы на известных фактах, почерпнутых из лингвистики и нейропсихологии.

Методы исследования. В работе применены следующие методы исследования и теоретические предпосылки: базовые концепции нейропсихологии, элементы математической статистики, элементарная теория многомерных евклидовых пространств, теория и методы вычислительной математики, связанные с решением систем нелинейных уравнений, теория нейронных сетей, численное моделирование, некоторые концепции искусственного интеллекта.

Личный вклад автора. Структурирование и интерпретация полученных результатов. Разработка, реализация, апробация и верификация разработанных методов анализа, формализации и представления в памяти вычислительной

Введение 17 машины структуры информации, изначально представленной на естественном языке. Развитие современных методов представления трудноформализуемой языковой информации с использованием «чётких» численных методов и форм хранения данных в памяти вычислительной машины. В диссертации предложены два метода идентификации и различения человеческого языка и два метода структурирования словарного базиса языка.

Структура и объём работы. Диссертация состоит из введения, четырёх глав и заключения, двух приложений и списка цитируемой литературы, включающего 124 библиографические ссылки. Работа содержит 162 страницы, включает 26 рисунков и 3 таблицы.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Коршаков, Алексей Вячеславович

Основные результаты диссертационной работы состоят в следующем:

1. В работе приведён метод естественного упорядочения фонетического алфавита естественного языка. Показано, что зависимость встречаемости фонетических символов в этом алфавите может быть описана только одним параметром. Показана возможность использования этого параметра для распознавания естественного человеческого языка.

2. Знание фонетических алфавитов и встречаемости фонетических символов, составляющих эти алфавиты, позволяет использовать алгоритм фонетического построения семантического пространства естественного языка. Представленное при помощи этого алгоритма смысловое пространство также может быть использовано для различения языков, по словарному составу рассматриваемого языка.

3. Предложены два взаимодополняющих метода построения семантического пространства естественного языка без использования информации о звучании слов (подход, использующий решение системы нелинейных алгебраических уравнений и нейросетевой подход). Данные методы, по сути, являются методами кластеризации лексем естественного языка по признаку «смыслового родства». Как таковые

Заключение 142 они могут быть использованы в системах, где смысловая кластеризация играет ведущую роль. К таковым относятся системы распознавания и обработки речи (собственно человеко-машинные речевые интерфейсы), информационный «семантический» поиск (например, в глобальной сети Интернет), системы автоматической рубрикации текстовых документов, системы извлечения данных из большого объёма текстовой информации (т.н. «Data Mining»), а также некоторых других областях.

За неоценимую помощь в создании данного труда автору хотелось бы поблагодарить своего научного руководителя - Введенского Виктора Львовича и начальника лаборатории, в которой проводилось данное исследование - Салима Пшеймаховича Наурзакова, а также всех людей, как-либо способствовавших написанию данной работы.

Список литературы диссертационного исследования кандидат физико-математических наук Коршаков, Алексей Вячеславович, 2007 год

1. Р. К. Потапова «Речевое управление роботом: лингвистика и современное автоматизированные системы» Изд. 2-е, перераб. И. доп. М.: КомКнига, 2005.-328 с.

2. А. А. Ильин. «Логика: учебник для гуманитарных факультетов» М: ФАИР-ПРЕСС, 2002http://www.psylib.ukrweb.ne^ooks/ivina01/index.htm

3. Э. Сепир. «Статус лингвистики как науки» Сборник «Языки как образ мира». М.: ООО «Издательство ACT» 2003 568с.

4. Э. Сепир. «Грамматист и его язык» Сборник «Языки как образ мира». М.: ООО «Издательство ACT» 2003, 568с.

5. А. Егорушкин. «У каждого свой язык?» http://www.computerra.ru/offIine/2002/446/18308/.6. 10. С. Маслов. Введение в языкознание. Учебное пособие для вузов. Издание второе, переработанное и дополненное. М. «Высшая школа» 1987, 272 с.

6. С. В. Князев, С. К. Пожарицкая. Современный русский литературный язык. Фонетика, графика, орфография, орфоэпия. Учебное пособие для вузов. Москва Академический проект. 2005, 310 с.8. «Услышь меня, машина» http://art.bdk.com.ru/govor/infastl.htm

7. Д. Давыдов. «Из заметок о синтетическом искусстве: поведение как часть текста». Журнал «Черновик» №19/2004.

8. Джордж Ф. Люгер. «Искусственный интеллект: стратегии и методы решения сложных проблем», 4-е издание.: Пер. с англ. М.: Издательский дом «Вильяме, 2005, 864 с. : ил.

9. Г. Капанадзе. Современные зарубежные системы машинного перевода. М.: ВЦП, 1989, 101с.: схем. (Обзорная информация / ВЦП; Вып. 17. Серия «Машиностроение и автоматизация информационных процессов»)

10. М. Говорун. Машинный перевод в XX веке //Мир Internet.-2001, №2, с. 16-26.

11. Ю. П. Зайченко «Динамическое программирование для Марковских процессов» http://www.ntcnvg.rU/lekcii/l 16.htm

12. Л. М. Местецкий «Математические методы распознавания образов» Курс лекций МГУ, ВМиК, кафедра «Математические методы прогнозирования», 2002-2004, http://www.ccas.ru/frc/papers/mestetskii04course.pdf

13. В. Ю. Бабков, М. А. Вознюк, В. И. Дмитриев. «Системы мобильной связи». СПб.: ГУТ.-СПб, 1999, 331 с.

14. Б. С. Лившиц, А. П. Пшеничников, А. Д. Харкевич. Теория телетрафика. 2-е изд., перераб. и доп. М.: Связь, 1979, 224 е., ил.19.«Искусственный интеллект: современный подход», 2-е издание., Пер. с англ. М.: ООО «И.Д. Вильяме», 2006, 1408 с.: ил.

15. J. Allen Natural Language Understanding. Menlo Park, С A: Benjamin/Cummings, 1987.

16. V.L. Vvedensky, A.V Korshakov., Visualization of the Basic Language Thesaurus. Proc. VII International Conf. «Cognitive Modelling in Linguistics», Varna 2004, pp. 308-313.

17. A.B. Коршаков Память на фонологические примитивы речи в нервной системе человека. 2005, 4-я Международная выставка и конференция «Неразрушающий контроль и техническая диагностика в промышленности» Тез. Докл., с. 24.1. Список литературы 145

18. В. J1. Введенский, А. В. Коршаков: Естественно упорядоченный алфавит индоевропейских языков. Нейроинформатика 2004, VI Всероссийская Научно-Техническая КонфереЕщия, Сборник научных трудов, часть 2, 18-24 е.

19. А.В. Коршаков «Самореплецируемый элемент памяти на фонологические примитивы речи в нервной системе человека.» НейроиЕЕформатика 2005. Труды VI Всероссийской научно-технической конференции, Часть 2, с. 217-277.

20. А.В. Коршаков. «Эмулятор памяти на фонологические примитивы речи в нервной системе человека». Тезисы Молодёжной Школы Курчатовского Института-2005, с. 340-343.

21. А. В.Коршаков. «Процедура построения проетраЕЕСтва понятий как часть системы машинного перевода». Нейроинформатика 2006, VIII Всероссийская Научно-Техническая Конференция, СборЕЕик научных трудов, часть 3, с. 155-162.

22. А. В. Коршаков «Самоорганизация в семантическом пространстве глаголов естествеЕЕНого языка». Электронный рецензируемый журнал «Нейроинформатика» 2-й Еюмер 2006г. http://www.niisi.ru/iont/ni/Journal/N2/ [e-mail]

23. В. JL Введенский, А. В. Коршаков. О двух алгоритмах построения понятийной сети глаголов естественного человеческого языка и результатах их работы. Рецензируемый журнал «Нейрокомпьютеры: разработка, применение» №7 (июль) 2007 г. с. 75-84.

24. G. Erkan, D.R. Radev. LexRank: Graph-based Lexical Centrality as Salience in Text Summarization. Journal of Artificial Intelligence Research 22 (2004) 457-479 Submitted 07/04 Published 12/04.

25. B. Stein, O. Niggemann On the Nature of Structure and its Identification // P. Widmayer, G. Neyer, S. Eidenbenz (eds.). Graph-Theoretic Concepts in Computer Science. LNCS 1665. Springer-Verlag, 1999, p. 122-134.1. Список литературы 146

26. Ф.А. Новиков. «Дискретная математика для программистов» СПб.: Питер, 2003, 304 е., ил.

27. Б. Н. Иванов. «Дискретная математика. Алгоритмы и программы» М.: Лаборатория базовых знаний, 2003, 288с., ил.

28. И. Братько. «Программирование на языке ПРОЛОГ для искусственного интеллекта» /Пер. с англ. М.: Мир, 1990, 560с., ил.

29. Dominic Widdows and Beate Dorow. A Graph Model for Unsupervised Lexical Acquisition. 19th International Conference on Computational Linguistics, Taipei, August 2002, p. 1093-1099.

30. J. A. Hartigan and M. A. Wong, 1978: Algorithm AS 136: A K-means clustering algorithm. Appl. Stat., 28, p. 100-108.

31. S Deerwester, S. T. Dumais, Т. K. Landauer, G. W. Furnas, and R. A. Harshman, (1990), "Indexing by latent semantic analysis." Journal of the Society for Information Science, 41(6), p. 391-407.

32. P. Gamallo, C. Gasperin, A. Augustini, G. P. Lopes Syntactic-Based Methods for Measuring Word Similarity // Text, Speech and Dialogue: Fourth International Conference TSD-2001. LNAI 2166. Springer-Verlag, 2001. p. 116-125.

33. Susana Eyheramendy, Alexander Genkin, Wen-Hua Ju, David D. Lewis, David Madigan. «Sparse Bayesian Classifiers for Text Categorization» http://www.stat.rutgers.edu/~madigan/PAPERS/shortFat-vl3.pdf1. Список литературы 147

34. P. Resnik. Semantic Similarity in a Taxonomy: An Information-Based Measure and its Application to Problems of Ambiguity in Natural Language. Journal of Artificial Intelligence Research 11 (1999) 95-130 Submitted 03/08 Published 7/99

35. Ландэ Д.В. Основы интеграции информационных потоков: Монография. К.: Инжиниринг, 2006. - 240 с.

36. Ландэ Д.В., Фурашев В.Н., Брайчевский С.М., Григорьев А.Н. Основы моделирования и оценки электронных информационных потоков: Монография. К.: Инжиниринг, 2006. - 176 с.

37. Cynthia A. Thompson, Raymond J. Mooney. Acquiring Word-Meaning Mappings for Natural Language Interfaces. Journal of Artificial Intelligence Research 18 (2003) 1-44 Submitted 05/02 Published 1/03

38. B.A. Вудс Сетевые грамматики для анализа естественных языков. // Кибернетический сборник. Новая серия. -М.:Мир, 1978.-вып. 13. с. 120-158.

39. С. Кулагина Исследования по машинному переводу. -М.: Наука, 1979

40. M-J. Nederhoh, Giorgio Satta. IDL-Expressions: A Formalism for Representing and Parsing Finite Languages in Natural Language Processing. Journal of Artificial Intelligence Research 21 (2004) 287-317 Submitted 06/03 Published 03/04

41. D. Sleator and D. Temperley, "Parsing English with a link grammar," Computer Science Dept., Carnegie-Mellon Univ., Pittsburgh, PA, Tech. Rep. CMU-CS-91-196, Oct. 1991.

42. J. D. Lafferty, D. Sleator, and D. Temperley, "Grammatical trigrams: A probabilistic model of link grammar," in Proc. AAAI Fall Symp. Probabilistic Approaches to Natural Language, Cambridge, MA, Oct. 1992.

43. Stefan Wermter, Volker Weber. SCREEN: Learning a Flat Syntactic and Semantic Spoken Language Analysis Using Artificial Neural Networks. Journal of Artificial Intelligence Research 6 (1997) 35-85 Submitted 07/96 Published 01/97.1. Список литературы 148

44. Frolov, A. A. Husek, D. Muraviev, I. P. Polyakov, P. Y. Boolean Factor Analysis by Attractor Neural Network. Neural Networks, IEEE Transactions. Volume: 18, Issue: 3 page(s): 698-707.

45. С. Осовский. «Нейронные сети для обработки информации» М.: «Финансы и статистика» 2002, 344 е., ил.

46. В. А. Головко. «Нейронные сети: обучение, организация и применение». Издательское предприятие журнала «Радиотехника». Москва 2001, 256 с. ил. (Нейрокомпьютеры и их применение).

47. Ah-Hwee Tan, Fon-Lin Lai. «Text Categorazation, Supervised Learning, and Domain Knowledge Integration». http://www.cs.cmu.edu/~dunja/KDDpapers/TanTM.pdf

48. Ji He, Ah-Hwee Tan, Chew-Lim Tan. «А Comprative Studu on Chinese Text Categorization Methods» http://www.jihe.net/downIoads/papers/he00pricai.pdf

49. A.M. Андреев, Д.В. Березкин, B.B. Морозов, К.В. Симаков. «Автоматическая классификация текстовых документов с использованием нейросетевых алгоритмов и семантического анализа» http://company.yandex.ru/grant/2005/08Shelestov103119.pdf

50. Charles X. Ling. Learning the Past Tense of English Verbs: The Symbolic Pattern Associator vs. Connectionist Models. Journal of Artificial Intelligence Research 1 (1994) 209-229 Submitted 11/93 Published 02/94.

51. Национальный корпус русского языка Ьир://га5софога.т/согрога-51гисШге.Мт1

52. Т. McEnery, and A. Wilson,: Corpus Linguistics, Edinburgh: Edinburgh University Press. (1996)1. Список литературы 149

53. А. Климов. «MSAgent графические персонажи для интерфейсов» СПб. Петербург, «БХВ-Петербург», 2005, 352 е.: ил.63.«Нужно ли разговаривать с компьютером?» http://art.bdk.com.ru/govor/infast 10.htm

54. NEC Electronics http://www.necel.com/index.html

55. NEC Electronics http://www.nec.co.jp/

56. Ландэ Д.В. Семантический вэб: воплощение идеи. // "Телеком". 2005. -№ 6. - С. 60-65.

57. Semantic Web Activity webpagehttp://www.w3.org/blog/SW?s=Semantic+Web&sentence=AND&submit=Sear ch

58. С. E. Shannon. «А Mathematical Theory of Communication». The Bell System Technical Journal, Vol. 27, pp. 379-423, 623-656, July, October, 1948.

59. Baeza-Yates and Ribeiro-Neto, Modern Information Retrieval, ACM Press, 1999.74.«Benford's Law and Zipf s Law» http://www.cut-the-knot.org/doyouknow/zipfLaw.shtml

60. A. J. Lotka, «The Frequency Distribution of Scientific Productivity», Journal of the Washington Academy of Sciences, 16(12):317-323, 1926.

61. P. E. Black, ««Benford's law», from Dictionary of Algorithms and Data Structures», P. E. Black, ed., NIST. http://www.nist.gov/dads/HTML^enfordsIaw.html.

62. B. Rousseau, R. Rousseau. «Some ideas concerning the Semantic Web» Library and Information Service, 2002, 8, p. 39-49.

63. H. A. Simon. «On Class of Skew Distribution Functions» Biometrika, Volume 42, Issue 3/4 (Dec., 1955), p. 425-440.

64. G. A. Miller «The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information». The Psychological Review, 1956, vol. 63, pp. 81-97

65. Der Dokumenten-Server der Universitat Leipzig, http://wortschatz.uni-leipzig.de/index.html

66. Foreignword. com, The language site http://www.foreignword.com

67. D. B. Searls. «The language of genes» Nature 420, 211 217 (2002); doi: 10.1038/nature01255 14 November 2002

68. V.L.Vvedensky. «Common model of evolution for living cell and central nervous system» Bioelectrochemistry and Bioenergetics 1999; 48(2), p.343-347.84.«Knowledge as a Living System» http://www.dtic.mil/dtic/annualconf/conf02agenda.html

69. M. H. Chrestiansen, S. Kirby. «Language evolution: consensus and controversies» TRENDS in Cognitive Sciences Vol.7 No. 7 July 2003/

70. A. H. Радченко. «Информационные механизмы памяти модели амнезий» Изд-во СПб.: «Анатолия» 2002, с.298. ил.1. Список литературы 151

71. В. А. Курдюмов. «Курс китайского языка. Теоретическая грамматика.» Москва «Цитадель-трейд», «Лада». 2005, 576 с.

72. А Р Лурия. «К пересмотру учения об амнестической афазии». Проблемы афазии и восстановительного обучения. Под ред. Л. С. Цветковой. М: Изд-во Моск.ун-та, 1975, с. 16-23

73. Е. Zaidel. «Lexical organization in right hemisphere». // Buser R., Rougek P. (eds.). Cerebral correlates of conscious experience. Elsevier, 1978.

74. T. В. Рябова (Ахутина). «Механизм порождения речи по данным афазиологии». Вопросы порождения речи и обучения языку / Под ред. А. А. Леонтьева, Т. В. Рябовой. М.: Изд-во Моек ун-та, 1967. с.76 92.

75. Л. Витгенштейн. «Философские исследования» Сборник «Языки как образ мира». М.: ООО «Издательство ACT» 2003, 568с.

76. Т. В. Ахутина. «К вопросу о механизмах динамической афазии и аграмматизма при эфферентной моторной афазии» Проблемы афазии и восстановительного обучения /Под ред. Л. С. Цветковой. М.: Изд-во Моск. ун-та, 1975, с 81-100.

77. Л. Я. Баллонов, В. Л. Деглин, Т. В. Черниговская. «Функциональная асимметрия мозга в организации речевой деятельности». Сенсорные системы. Сенсорные процессы и асимметрия полушарий / Отв. Ред. Г. В. Гершуни. Л.: Наука, 1985, с. 99-113.

78. Теория функциональной грамматики: Введение, аспектуальность, временная локализованность, таксис. Изд.2. Бондарко А.В. (Ред.) 2001. 348 с.

79. R. Jakobson «Linguistic Types of Aphasia» //Jakobson R/ Selected Writings/ Vol. II (Words and Language). Paris, 1963.

80. Michael W. L. Chee, Edsel W. L. Tan, and Thorsten Thiel. Mandarin and English Single Word Processing Studied with Functional Magnetic Resonance Imaging. The Journal of Neuroscience, April 15, 1999, 19(8):3050-30561. Список литературы 152

81. Giuglea А.-М., Moschitti A. Knowledge Discovering Using FrameNet, VerbNet and PropBank // Proceedings of the Workshop on Ontology and Knowledge Discovering (ECML-2004). Pisa, Italy: 2004, p. 929-936.

82. Chen J., Palmer M. Clustering-based Feature Selection for Verb Sense Disambiguation // Proceedings of the 2005 IEEE International Conference on Natural Language Processing and Knowledge Engineering (IEEE NLP-KE 2005). Wuhan, China: 2005, p. 36-41.

83. В. А. Ильин, Э. Г. Позняк «Аналитическая геометрия» 4-е изд., доп.-М.: Наука. Гл. ред. Физ-мат. Лит., 1988, 224 с. (Курс высшей математики и математической физики /Под ред. А. Н. Тихонова, В. А. Ильина, А. Г. Свешникова).

84. Ушаков А.В., Хабалов В.В., Дударенко Н.А. Математические основы теории систем: элементы теории и практикум./ Под ред. Ушакова А.В. СПб: СПбГУИТМО, 2007.

85. Дж. Голуб, Ч. Ван Лоун. «Матричные вычисления» Перевод с английского Ю. М. Нечепуренко, А. Ю. Романова, А. В. Собянина, Е. Е. Тыртышникова. Под редакцией В. В. Воеводина. Москва «Мир» 1999 г. -549с.

86. В. И. Крылов, В. В. Бобков, П. И. Монастрырский. «Вычислительные методы». Изд. «Наука» Главная редакция Физ.-мат. Лит. М. 1976.-303с.

87. Н. С. Бахвалов, Н. П. Жидков, Г. М. Кобельков. «Численные методы» 4-е издание. М.: БИНОМ. Лаборатория знаний, 2006, 636 е.: ил.

88. В. М. Вержбинский. «Основы численных методов» 2-е изд., перераб. -М.: Высш. шк., 2005, 840 е.: ил.1. Слисок литературы 153

89. А. А. Амосов, Ю. А. Дубинский, Н. В. Копчёнова. «Вычислительные методы для инженеров» /М.: Высш. шк., 1994. 544 е.: ил.

90. В. М. Вержбинский. «Численные методы (линейная алгебра и нелинейные уравнения)» 2-е изд., испр. М.: ООО «Издательский дом «ОНИКС 21 век»», 2005, 432 е.: ил.

91. Саймон Хайкин «Нейронные сети: полный курс», 2-е издание., испр.: Пер. с англ. М. : ООО «И.Д. Вильяме», 2006, 1104 с.: ил.

92. Timothy Masters. Practical Neural Network Recipes in С++. Acadimic Press, Inc. Harcourt Brace Jovanovich, Publishers. Boston, San Diego, New York, London, Sydney, Tokyo, Toronto. 1993, 493 c.

93. И. И. Меламед. «Нейронные сети и комбинаторная оптимизация» -Автоматика и телемеханика, 1994, № 11, с. 3-40.

94. J. Hertz, A. Krogh, R. G. Palmer. «Introduction to the theory of neural computation» Lecture Notes Volume I, Addison-Wesley Publishing Company. 1990 327 c.

95. Amit D.J. Modeling Brain Function: The world of Attractor Neural Networks, New York: Cambridge University Press, 1989

96. Hopfield J.J. "Neural networks and physical systems with emergent collective computational abilities", Proceedings of the National Acadamy of Sciences, USA, 1982, vol.79, p. 2554-2558.

97. Ch. M. Bishop «Neural networks for pattern recognition» Clarendon press, Oxford. 1996, 482 c.

98. Дж. Пирс, «Символы, сигналы, шумы». Мир, Москва, 1967, 336с.1. Список литературы 154

99. В. И. Циркин, С. И, Трухина. «Физиологические основы психической деятельности и поведения человека». М.: Медицинская книга, Н. Новгород: Изд-во НГМА, 2001, 524 с.

100. Б. Шнайер. «Прикладная криптография. Протоколы, алгоритмы, исходные тексты на языке Си». М.: Издательство ТРИУМФ, 2003, 816 с.: ил.

101. S. Thiebaux, Ch. Gretton, J. Slaney, D. Price, F. Kabanza «Decision-Theoretic Planning with non-Markovian Rewards» Journal of

102. Artificial Intelligence Research 25 (2006) 17-74. Submitted 12/04; published 01/06

103. P. Бейтс., M. Мак-Доннел «Восстановление и реконструкция изображений» Пер. с англ. М.: Мир, 1989, 336 е., ил.

104. С. Малла «Вейвлеты в обработке сигналов» Пер. с англ. М.: Мир, 2005,671 е., ил.

105. В. J1. Введенский Сеть корней глаголов русского языка. Нейроинформатика 2006, VIII Всероссийская Научно-Техническая Конференция, Сборник научных трудов, часть 3, с. 236-243.