Анализ и оценка эффективности современных систем машинного перевода тема диссертации и автореферата по ВАК РФ 10.02.21, кандидат филологических наук Хроменков, Павел Николаевич

• Хроменков, Павел Николаевич
• кандидат филологических наук
• 2000

Оглавление диссертации кандидат филологических наук Хроменков, Павел Николаевич

Введение з

Глава 1 Современное состояние разработки систем машинного перевода

1.1 Роль и место СМП среди других лингвистических процессоров

1.2 Типология современных систем МП

1.3 Системы прямого перевода

1.4 Трансферные СМП

1.5 СМП семантического типа

1.6 Выводы к главе

Глава 2 Современная методология оценки эффективности систем машинного перевода

2.1 Современные методы оценки СМП

2.2 Типология ошибок при работе МП

2.3 Выводы к главе

Глава 3 Оценка эффективности основных действующих систем машинного перевода

3.1 Краткая характеристика систем МП: PROMT 98, Systran Pro 2.0, СПРИНТ-5, Сократ 2.0, Langenscheidt Т1 Standard 3.0, Personal Translator Plus 2.0, Power Translator Deluxe

3.2 Оценка эффективности современных СМП: PROMT 98, Systran Pro 2.0, СПРИНТ-5, Сократ 2.0, Langenscheidt T1 Standard 3.0, Personal Translator Plus 2.0, Power Translator Deluxe

3.3 Выводы к главе.

Введение диссертации (часть автореферата) на тему «Анализ и оценка эффективности современных систем машинного перевода»

Мы живем в мире информационных технологий, которые прочно вошли в нашу жизнь. На работе и дома мы пользуемся современными средствами связи; компьютер превратился в неотъемлемый элемент нашей жизни не только на рабочем месте, но и в обыденной жизни. Бурное развитие новых информационных технологий свидетельствует о всевозрастающей роли вычислительной техники в мировом информационном пространстве, о постепенной дигитализа-ции все новых и новых отраслей нашей жизни. С каждым годом увеличивается число пользователей Интернета — Всемирной паутины, которая претендует на роль единого информационного пространства в планетарном масштабе. Несмотря на противоречивость нашего мира, наличие вооруженных конфликтов и разногласий между странами, Сеть становится "виртуальной реальностью" особого типа, позволяющей осуществлять такую интеграцию между народами, которая в реальной жизни остается все еще несбыточной мечтой. Сеть Интернет - это мир без границ, где в течение нескольких секунд можно оказаться на другой части земного шара. Единственной преградой, которая незримо присутствует во всей Сети, является языковой барьер. Эта проблема, общая как для реального, так и для "виртуального" мира сети Интернет, до настоящего момента так и не нашла своего кардинального решения. Попытки внедрения универсального языка типа Эсперанто или какого-либо другого языка не привели к их массовому использованию, и единственным способом преодоления языкового несоответствия является перевод, известный еще с древнейших времен, когда этим делом занимались толмачи.

Но нынешний век, где информация изменяется 24 часа в сутки и применяются электронные средства связи, диктует свои условия. В такой ситуации классический подход к осуществлению перевода не всегда оправдывает себя, т.к. требует больших капиталовложений и временных затрат. По сравнению с прошлыми веками объем информации, предназначенной для перевода, значительно увеличился. В некоторых случаях более целесообразным представляется использование машинного или автоматического перевода и систем машинного перевода (СМП). Развитие таких систем позволит оперативно осуществлять перевод информации и обрабатывать большие массивы документов в предельно сжатые сроки, т.е. удовлетворять основному требованию сегодняшней жизни: оперативной обработке огромных массивов информации при минимальных затратах.

Выбор данной темы исследования обусловлен в первую очередь ее новизной, недостаточной степенью исследованности и актуальностью рассматриваемых задач. Проблема эффективности машинного перевода является одним из ключевых факторов, определяющих перспективность развития данной области науки. В настоящее время не существует единой системы оценки эффективности работы существующих СМП. В данной работе предпринимается попытка проведения сравнительного анализа эффективности современных коммерческих СМП. В исследовании участвовали системы, осуществляющие перевод с русского языка на английский и обратно, и системы перевода с английского языка на немецкий и обратно. Для определения степени влияния языковой интерференции на качество перевода в эксперимент были включены англонемецкая и немецко-английская языковые пары.

Целью настоящей работы является сопоставительное исследование эффективности современных СМП. В основу качественного показателя результатов перевода и эффективности систем были положены не только лингвистические, но и экстралингвистические критерии оценки СМП.

Для достижения поставленной цели потребовалось разрешение следующих задач: выявление современных СМП, нашедших свое промышленное и коммерческое применение и являющихся уже не исследовательскими прототипами, а реально действующими системами, обладающими свойствами готового продукта; типологическое описание современных СМП и выявление доминирующего типа СМП; выделение основных критериев оценки эффективности машинного перевода (МП); проведение сравнительного исследования результатов переводов, выполненных современными СМП; анализ и типология ошибок при работе с СМП; апробация методов оценки на действующих системах МП и оценка их эффективности.

Теоретический аспект данной работы заключается в лингвистической разработке методов оценки. Системы рассматриваются, изучаются и оцениваются по принципу "черного ящика", который подразумевает отсутствие полной информации об алгоритмах работы системы, и на входном этапе мы априорно не знаем, с какой системой работаем. В результате исследования лингвистической компоненты систем МП создается теоретическое обоснование для определения типа системы и ее лингвистического обеспечения. Теоретическая значимость данного исследования заключается в возможности определения, дальнейшего моделирования и совершенствования лингвистической составляющей не только в СМП, но и в целом в системах искусственного интеллекта (ИИ), неотъемлемой частью которых собственно и является МП. В рамках исследования предлагается расширить типологию переводных соответствий, предложенную МарчукомЮ.Н. (Марчук, 1983).

Практические исследования направлены на подтверждение правильности выработанных критериев и методов оценки СМП, возможности их использования в качестве тестового массива не только для рассматриваемых в данной работе СМП, но и в целом для оценки эффективности существующих СМП, которые работают с указанными языковыми парами. Практическая ценность данной работы заключается в том, что потенциальный пользователь СМП при выборе программы машинного перевода может воспользоваться приводимыми в данной работе тестами для проведения первичной оценки СМП. На основе результатов такого теста можно будет принять окончательное решение о целесообразности применения СМП в тех или иных отраслях промышленности и получить начальное представление о качестве машинного перевода и имеющихся на сегодняшний день недостатках в этой области. Такие предварительные исследования, основанные на материалах, приводимых в данной работе, позволят сэкономить капиталовложения, избежать последующих финансовых потерь и разочарований вследствие завышенных требований к СМП.

Материалом исследования послужили более 300 текстов на русском, английском и немецком языках. Источником языкового материала послужила сеть Интернет, наиболее динамично реагирующая на языковые преобразования современности.

Методами исследования послужили принцип "черного ящика", метод тестовых групп конечных пользователей, типологическое, лингвистическое и экстралингвистическое сопоставительное описание.

На защиту выносятся следующие положения: 1. Доминирующим типом современных СМП являются СМП трансферного типа, получившие достаточно широкое промышленное и коммерческое распространение. Таким образом, системы трансферного типа представляют собой единственный класс СМП, который может быть подвержен сравнительно-сопоставительному исследованию с целью выявления эффективности сож JTTT временных систем МП.

2. Функционирование, развитие и совершенствование систем машинного перевода в настоящее время происходит в сети Интернет, которая является источником материалов не только для тестирования систем, но и служит рабочим пространством для такого рода систем в планетарном масштабе. Дальнейшая эксплуатация и разработка новейших СМП будет осуществляться посредством Интернета.

3. При типологическом исследовании ошибок при работе систем МП следует придерживаться комплексного подхода, базирующегося на учете этапов функционирования системы. Следует выделять ошибки автоматического анализа и синтеза, которые в свою очередь подразделяются на более конкретные подклассы, отражающие работу алгоритмического аппарата системы.

4. Подавляющее большинство современных СМП основано на принципе переводных соответствий. В результате типологического исследования модели переводных соответствий возникла необходимость создания расширенной классификации переводных соответствий. Предложенная типология переводных соответствий на основе лингвистического обеспечения СМП позволяет более широко рассматривать проблему ошибок при работе систем МП и может быть использована при создании новых систем, основанных на применении принципа параллельных текстов.

5. Практическая классификация современных СМП, основанная на учете экстралингвистических факторов и качества переводов, выполненных данными системами, позволяет составить впечатление об эффективности и функциональных возможностях каждой системы. Указанная градация СМП представляет практическую ценность при выборе конкретной системы МП.

Результаты работы обсуждались на научной конференции "Коммуникативные стратегии на пороге XXI века" (Москва, МГУ, январь 1999 года), на конференции "Теория и практика речевых исследований (АРСО-99)" (Москва, МГУ, сентябрь 1999 года) и были представлены в виде тезисов на Десятую сессию Российского акустического общества (Москва, Акустический институт им. акад. Н.Н. Андреева, май 2000 года). Основное содержание диссертационного исследования отражено в 5 публикациях.

Заключение диссертации по теме «Прикладная и математическая лингвистика», Хроменков, Павел Николаевич

3.3 Выводы к главе

В результате исследования эффективности современных СМП были выявлены системы, показавшие наилучшие результаты в ходе проведенного тестирования. Следует отметить, что за исключением некоторых систем практически все рассмотренные СМП показывают одинаковый базовый уровень перевода и обладают основными сервисными функциями.

Проведенное нами исследование и деление отражают эффективность лингвистического обеспечения и качество перевода для каждой отдельной программы. В результате исследования было выявлено, что все без исключения системы нуждаются в настройке на предметную область, в которой они будут использоваться. Без проведения такой отладки трудно говорить об успешном использовании СМП. Результаты данного исследования представляют практическую ценность при выборе той или иной СМП, т.к. системы, занявшие первые места в нашей классификации, обладают хорошим качеством перевода и значительными сервисными возможностями.

Тестирование СМП с английским и немецким языками показало, что перевод, вследствие близости данных языков, выполняется с меньшим числом ошибок, нежели в случае с русским языком. Однако такие явления, которые присущи только одному языку из рассматриваемой пары (например, рамочная конструкция в немецком языке), переводятся не всегда корректно и требуют вмешательства редактора. На основании полученных результатов можно сделать вывод, что языковая интерференция способствует повышению качества перевода и сокращает количество ошибок, т.к. все преобразования происходят на уровне эквивалентных и вариантных соответствий. Проведенный анализ результатов перевода позволяет также выдвинуть гипотезу об универсальном характере переводческих трудностей при работе систем МП. Гипотеза требует дальнейшей проверки и развития.

Данные исследования, полученные эмпирическим путем, позволяют сделать вывод, что лучшей СМП, осуществляющей перевод с русского и на русский язык, является СМП PROMT 98. Среди зарубежных систем, работающих с английским и немецким языками, следует выделить СМП SYSTRAN PRO 2.0, которая показала наилучшие результаты перевода. Указанные системы являются лидерами не только среди традиционных СМП, но и в области таких новых информационных технологий, как Интернет, предоставляя услуги бесплатного перевода в режиме реального времени. Мы полагаем, что сфера информационных технологий станет играть ключевую роль в развитии СМП.

Заключение

В результате типологического и сравнительно-сопоставительного исследования современных СМП по принципу "черного ящика" и на основе случайной выборки текстов можно сделать следующие выводы.

СМП гармонично сочетаются с другими текстовыми и речевыми процессорами, образуя самодостаточный конгломерат, который может быть использован в системах искусственного интеллекта (ИИ) и прочих информационных системах. Современные СМП активно используются и интегрируются в сеть Интернет. Дальнейшее развитие СМП будет происходить с помощью Всемирной паутины, неотъемлемой частью которой станут современные системы машинного перевода, работающие в режиме реального времени. Наблюдается тенденция к увеличению номенклатуры рабочих языков и созданию систем, работающих с редкими языками,

СМП трансферного типа являются единственными программами МП, получившими свое промышленное и коммерческое распространение, и занимают доминирующее положение. В основу функционирования современных систем типа ЕВМТ, МЕМТ и других положен принцип переводных соответствий на основе модели "текст-текст". СМП семантического типа находятся на этапе исследовательских прототипов и не в состоянии конкурировать на рынке с системами трансферного типа. Несмотря на попытки создания новой универсальной теории представления и формализации экстралингвистических знаний, данная проблема по-прежнему не решена.

Несмотря на многообразие методик оценки эффективности систем МП, в настоящее время превалируют эмпирические методы тестирования СМП. Наибольшее распространение получили статистические методы, принцип "черного ящика", учет семантической полноты и точности, а также принцип понятности и адекватности. Широко используется метод привлечения конечных пользователей для оценки выходного текста. Отсутствие единого стандарта оценки современных систем МП свидетельствует о недостаточной исследованности данной отрасли науки и наличии неразрешенных проблем и разногласий между исследователями. В нашем исследовании применяется принцип "черного ящика" с последующей классификацией ошибок, допущенных системой в процессе перевода, привлечением оценки, полученной в тестовых группах, и окончательным ранжированием СМП по пятибалльной оценочной шкале.

В результате исследования была выявлена необходимость расширенной трактовки модели переводных соответствий. Имеющаяся типология переводных соответствий не охватывает всего спектра межъязыковых отношений. Таким образом, была предложена новая, более развернутая классификация переводных соответствий по лингвистическому обеспечению, отвечающая задачам описания анализа и синтеза современных СМП. Данная классификация позволяет описывать все языковые уровни и служит прекрасным инструментарием для создания и разработки систем МП, основанных на использовании примеров (ЕВМТ).

Типологическое исследование ошибок машинного перевода целесообразно проводить не на основе грамматических явлений, а с учетом этапов работы системы. В этой связи нам представляется уместным выделять ошибки автоматического анализа и синтеза, которые в свою очередь делятся на ряд классов, соответствующих конкретным этапам работы алгоритмов системы. Основываясь на результатах исследования, мы считаем целесообразным применение системного подхода к проблеме оценки качества современных систем МП. Причины возникновения переводческих ошибок настолько взаимосвязаны, что исправление одной ошибки без учета общей ситуации может привести к снижению эффективности системы в целом.

Проблема оценки современных СМП должна решаться комплексно с учетом не только лингвистических, но и экстралингвистических факторов функционирования программы. Данная методика позволяет оценивать рассматриваемые системы не только с точки зрения лингвистических факторов, но и с учетом экспертного заключения от тестовых групп и привлечением экстралингвистических факторов. Предложенная градация систем МП по эффективности их работы позволяет потенциальному пользователю более четко ориентироваться в возможностях систем и необходимых затратах на их содержание. Результаты нашего исследования могут быть использованы при принятии решения о приобретении той или иной СМП.

Рассмотренный в данной работе круг проблем не является исчерпывающим и требует продолжения исследований в данной области. Отдельного развернутого исследования требует проблема типологии переводных соответствий. На основе переводных соответствий нового типа, описанных в данной работе, возможно построение универсальной системы оценки эффективности СМП, которая, возможно, будет находиться в корреляционной зависимости с предложенным тезисом об универсальном характере переводческих трудностей при работе СМП. Предложенная гипотеза требует отдельного изучения и проверки, т.к. в рамках данной работы была осуществлена лишь постановка проблемы и определены основные направления исследования.

Список литературы диссертационного исследования кандидат филологических наук Хроменков, Павел Николаевич, 2000 год

1. Андреев Н. Д. Основные направления работы экспериментальной лаборатории машинного перевода. В кн.: Hutchins W.J. Machine Translation: Past, Present, Future — New York, 1986. — 382 p.

2. Апресян Ю.Д. Идеи и методы современной структурной лингвистики. М.: Просвещение., 1966. — 302 с.

3. Бакулов А.Д., Леонтьева Н.Н., Шаляпина З.М. Отечественные системы машинного перевода. В кн.: ИИ-90: Искусственный интеллект/ Справочник/ Книга 1. Системы общения и экспертные системы. М.: Радио и связь. -1990. Стр. 248-261.

4. Боброва В .Я. Системы машинного перевода. Итоги науки и техники. Сер. Информатика. М.: ВИНИТИ. -1990. - Т.14. - Стр. 149-178.

5. Ванников Ю.В. Виды адекватности и типология перевода.— В кн.: Совершенствование перевода научно-технической литературы и документов: Тез. докл. всесоюзн. конф. М. — 1982.

6. Ванников Ю.В. Понятие адекватности текста и типы адекватности перевода.— В кн.: Уровни текста и методы его лингвистического анализа. М., 1982а.

7. Вардуль И.Ф. Об изучении семантического аспекта языка. Вопросы языкознания № 6/73. — Стр. 9-21.

8. Вольф М. Европа "проспала" интернет-торговлю? PCWeek/RE, 2 сентября 1998 г.

9. Грязнухина Т.А., Дарчук Н.П., Клименко Н.Ф. и др. Использование ЭВМ в лингвистических исследованиях. Киев: Наукова Думка. - 1990. - 266 с.

10. Искусственный интеллект/ Справочник/ Книга 1. Системы общения и экспертные системы. М.: Радио и связь. - 1990. - 458 с.

11. Капанадзе О.Г. Современные зарубежные системы машинного перевода. -М.: ВЦП.- 1989.- 102 с.

12. Каничев М. Встреча компьютерных толмачей. Мир ПК, №8 1998. — Стр. 100-102.

13. Ким Т. В 2005 году население Интернета перевалит за полмиллиарда. ZDNet UK, 18 декабря 1998 г.

14. Киселев А.Н. Элементы теории и практики переводных соответствий // НТИ / ВИНИТИ. Сер. 2, Информ. процессы и системы. М., 1993. - N 8. — Стр. 1621.

15. Комиссаров В.Н. Слово о переводе. М.: ИНО, 1973. — Стр. 237.23 .Королев Э.И. Промышленные системы машинного перевода — М.: ВЦП, 1991. — 100 с.

16. Котов Р.Г., Марчук Ю.Н., Нелюбин JI.JI. Машинный перевод в начале 80-х годов// ВЯ. 1983. - N1. - Стр. 31-38.

17. Кулагина О.С. Исследования по машинному переводу. М.: Наука. - 1979. -320 с.

18. Кулагина О.С. Машинный перевод: современное состояние // Семиотика и информатика. М., 1989. - Вып. 29. — Стр. 5-33.

19. Кулагина О.С. О семантическом анализе на основе предпочтений. Препринт Института прикладной математики АН СССР. Москва №3/90. — Стр. 1-20.

20. Кюннап Э. Автоматическое распознавание речи. Таллинн: Ин-т кибернетики АН Эстонии - 1989. - 108 с.

21. Леонтьева Н.Н. База знаний и автоматический перевод (проект многоязычной информационно-справочной системы)// Междунар. семин. по машин, переводу "ЭВМ И ПЕРЕВОД 89"/ Тбилиси, 27.11.-02.12. 1989 г./ Тезисы докладов. М.- 1989. —Стр. 178-181.

22. Леонтьева Н.Н., Шаляпина З.М. Современное состояние машинного перевода. В кн.: ИИ-90: Искусственный интеллект/ Справочник/ Книга 1. Системы общения и экспертные системы. М.: Радио и связь. 1990. — Стр.216.248.

23. ЛЭС: Лингвистический энциклопедический словарь. — М.: Советская энциклопедия, 1990. — 685 с.

24. Мартемьянов Ю. С. Эквивалентность в порождающей грамматике.— В кн.: Теория перевода и научные основы подготовки переводчиков: Тез. всесоюзн. конф. М., 1975. —Ч. II.

25. Марчук Ю.Н, Об автоматизации составления схем перевода многозначных слов. Научно-техническая информация, ВИНИТИ АН СССР, № 9, 1964. — Стр. 35-38.

26. Марчук Ю.Н., Моторин Ю.А. Основные принципы автоматизации перевода с английского языка на русский. Вопросы радиоэлектроники, серия ЭВТ, вып. 7, 1970. —Стр. 11-19.

27. Марчук Ю.Н. Синтактико-семантический анализ в системе машинного перевода АМПАР. В кн.: Международный семинар по машинному переводу (под ред. Марчука Ю.Н.). Тезисы докладов, М.: ВЦП, 1979. — Стр. 8-9.

28. Марчук Ю.Н. Проблемы машинного перевода. М.: Наука. - 1983. — 201 с.

29. Марчук Ю.Н. Методы моделирования перевода. — М,: Наука. 1985. — 233с.

30. Марчук Ю.Н. Математические методы в языкознании/ Обзор материалов конференции COLING-88. М.: ИНИОН. - 1990. - 46 с.

31. Марчук Ю.Н. Проблемы компьютерной лингвистики; Модель "текст-текст" и переводные соответствия в теории машинного перевода. Сборник научных статей. Минск 1997. — Стр. 21-29

32. Марчук Ю.Н. Основы компьютерной лингвистики. М.; Народный учитель. -2000. — 227 с.41 .Международный семинар по машинному переводу (под ред. Марчука Ю.Н.). Тезисы докладов, М.: ВЦП, 1979. — 196 с.

33. Мельчук И.А. Опыт теории лингвистических моделей "СМЫСЛ-ТЕКСТ". -М.: Наука. 1974.-314 с.

34. Мельчук И.А. Русский язык в модели "смысл-текст". Москва-Вена-Школа "Языки русской культуры", 1995. — 682 с.

35. Митин В. ПРОМТ владеет французским на 30% лучше, чем конкуренты. PC Week: 12 ноября 1999 г.

36. Молдокулова Н.В., Трунин-Донской В.Н. Лингво-акустические проблемы создания системы распознавания слитной речи на ЗВМ. Фрунзе: Илим. -1989.- 136 с.

37. Моторин Ю.А., Марчук Ю.Н. Реализация автоматического перевода на современных серийных ЭВМ общего назначения. Вопросы радиоэлектроники, серия ЭВТ, вып. 7, 1970.— Стр. 20-29.

38. Моуд Д. Машинный перевод: новое поколение технологий. Новые продукты помогают переводить основной смысл содержания глобальных интрасетей. PC Week.

39. МСМП-89: ЭВМ и перевод/ Международный семинар по машинному переводу/ Тбилиси, 27.11.-02,12. 1989 г./ Тезисы докладов. М.: ВЦП. - 1989. - Стр. 348.

40. Нелюбин Л.Л. Перевод и прикладная лингвистика. М.: Высшая школа., 1983. —207 с.

41. Методическое пособие). М.; Всесоюзный центр переводов, 1991. — 152 с.

42. Нелюбин Jl.JI., Хухуни Г.Т. История и теория зарубежного перевода. Учебник, М.: МПУ, Издательство Сигнал, 1999. — 144 с.

43. Нелюбин Л.Л., Хухуни Г.Т. История и теория перевода в России. Учебник, М.: МПУ, Издательство Сигнал, 1999а. — 151 с.

44. Новиков А. И. Применение денотатной структуры текста для перевода научно-технической литературы.— В кн.: Психолингвистические аспекты грамматики. М. — 1979.

45. Перминов С. Купля-продажа в сети Интернет. "Московская правда" №11 (23584) от 20 января 1999 г.

46. Пиотровский Р.Г. Машинный перевод в группе "Статистика речи": результаты и перспективы. В кн.: Международный семинар по машинному переводу (под ред. Марчука Ю.Н.). Тезисы докладов, М.: ВЦП, 1979. — Стр. 5-7.

47. Пиотровский Р.Г. На путях создания интеллектуальных систем обработки текста/о лингвистическом автомате/ ЭВМ и перевод. М.: ВЦП, 1991.

48. Попов Э.В. Экспертные системы. Решение неформализованных задач в диалоге с ЭВМ. М.: Наука, 1987. — 288 с.

49. Потапова Р.К. Речевое управление роботом. М.: Радио и связь. - 1989 - 248 с.

50. Потапова Р.К. Тайны современного кентавра. М.: Радио и связь. 1992 -248с.

51. Потапова Р.К. Речь: коммуникация, информация, кибернетика. — М.: Радио и связь, 1996. —1500 с.

52. Рецкер Я.И. О закономерных соответствиях при переводе на родной язык. Теория и методика учебного перевода. М.: 1950.

53. Рябцева Н.К. Информационные процессы и машинный перевод: Лингвист, аспект / Отв. ред. Котов Р.Г.; АН СССР. Ин-т языкознания. М.: Наука, 1986.- 167 с.

54. Рябцева Н.К. Текст как объект содержательного анализа и проблемы формализации перевода // Текст и перевод. М., 1988. — Стр. 101-113.

55. Суханова М. Кто лучше переводит. Мир ПК, № 1/97.

56. Суханова М. Страна Советов. Мир ПК, № 6/98. — Стр. 95.

57. Федоров А.В. Основы общей теории перевода. -М.: Высшая школа, 1983.

58. Хауорт Р. Веб-устройства заговорили. ZDNet, 28 мая 2000 г.

59. Шаляпина З.М. К проблеме построения формальной модели процесса перевода. — В кн.: Теория перевода и научные основы подготовки переводчиков: Тез. докл. всесоюзн. конф. М., 1975. Ч. II.

60. Alshawi H. The Core Language Engine. MIT Press, Cambridge, MA, 1992.

61. Alshawi H., Carter D. Training and Scaling Preference Functions for Disambiguation. Computational Linguistics. 20(4), 1994. —pp. 635-648.

62. Arnold D., Balkan L., Humphreys R.L., Meijer S., Sadler L. Machine Translation: An Introductory Guide. Oxford: NCC and Oxford Blackwell, 1994.

63. Barnett M. E-commerce standard should enable "one-click" shopping. June 15, The Industry Standard, 1999.

64. Batori I., Weber H.J. Neue Ansatze in Maschineller Sprachubersetzung:

65. Wissensprasentation und Textbezug, Niemeyer, Tubingen, 1986.

66. Batori I. Paradigmen der Maschinellen Sprachubersetzung, In Baton I., Weber H.J. Neue Ansatze in Maschineller Sprachubersetzung: Wissensprasentation und Textbezug. Niemeyer, Tubingen, 1986, pp. 3-27.

67. Boitet K. Twelve Problems for Machine Translation // International Conference on Current Issues in Computational Linguistics University Sains Malaysia, Penang, Malaysia, 1991 Proceedings, pp. 45-47.

68. Borchers D., Huskes R. Web-TV undNetPC, c't 8/97. — S. 14-15.

69. Bowman L.M. Open your eyes, get some cash, ZDNN, 03. 09. 1998.

70. BroersmaM. Israel set to double its Net population. ZDNetNews, 06. 07. 1998.

71. Brown R. Example-Based Machine Translation in the Pangloss System. In Proceedings of the 16th International Conference on Computational Linguistics (COLING'96), 1996.

72. Bub Т., Wahlster W., Waibel A. Verbmobil: The Combination of Deep and Shallow Processing for Spontaneous Speech Translation. In Proceedings of ICASSP-97, Munich, Germany, 1997.

73. Buschbeck-Wolf B. Resolution on Demand. Verbmobil Report 196, IMS, Universitat Stuttgart, Germany, 1997.

74. Buschbeck-Wolf В., Dorna M. Quality and Robustness in MT — A Balancing Act, in Lecture Notes in Artificial Intelligence 1529, Berlin, Heidelberg, New York: Springer-Verlag, 1998: pp. 62-72.

75. BYTE: BYTE, 1993, January, —pp. 153-186.

76. Collins В., Cunningham P. Adaptation-guided retrieval: Approaching EBMT with caution. In Proceedings of TMI-97, Santa Fe, New Mexico, 1997, pp. 119-126.

77. Das Stillworterbuch der deutschen Sprache, Bd.2 Duden, Mannheim Leipzig -Wien - Zurich: Dudenverlag, 1988, 864 p.

78. Dorna M. The ADT-Package for the Verbmobil Interface Term. Verbmobil Report 104, IMS, Universitat Stuttgart, Germany, 1996.

79. Dorr В.J. Machine Translation: A View from the Lexicon. Cambridge, MA, MIT, 1993,432р.91 .Dorr B.J. Machine Translation divergences. A formal description and proposed solution. Computational linguistics 20(4), 1994, pp. 597-633.

80. EAGLES Evaluation Group Workshop Evaluation in Natural Language Engineering: Standards and Sharing. Brussels, November 26th and 27th, 1997.

81. EAGLES and Current Evaluation Practices, Workshop ETI, University of Geneva, September 8-9,1998.

82. EAI: Encyclopedia of Artificial Intelligence. — New York: A Wiley Interscience Publication, 1990, 1200 p.

83. ELL: Encyclopedia of Language and Linguistics. — Oxford — New York — Seoul — Tokyo: 1994, 5644 p.

84. Engler T. Der Vermobil-Forschungsprototyp Report, Maschinelle Ubersetzung, DFKI, Kiinstliche Intelligent BMBF, c't 7/97, S. 108.

85. Fourchin A.J., Harland G., Barry W. et al, eds. Speech Input and Output Assessment: Multilingual Methods and Standards. Chichester, England: Ellis Horwood. - 1989, 290 p.

86. Frederking R., Nirenburg S. Three Heads are Better than One. In Proceedings of ANLP'94, Stuttgart, Germany, 1994.

87. Frederking R. et al. Integrating Translations from Multiple Sources with the Pangloss Mark III Machine Translation System. In Proceedings of the First Conference for Machine Translation in Americas (AMTA), Columbia, Maryland, October 1994.

88. Furuse O., Iida H. Constituent boundary parsing for example-based machine translation. In Proceedings of COLING'94, Kyoto, 1994, pp. 105-111.

89. Gerwen R.P. Automatic Text-to-Speech Conversion for Spanish. -Nijmegen -1991, 115 p.

90. Goodman K., Nirenburg S. The KBMT Project: A Case Study in Knowledge-Based Machine Translation. San Mateo, CA, Morgan Kaufmann, 1991.

91. Hakkani D.Z., Tur G., Oflazer K., Mitamura Т., Nyberg E.H. An English-to-Turkish Interlingual MT System. In Lecture Notes in Artificial Intelligence 1529, Berlin, Heidelberg, New York: Springer -Verlag, 1998, p. 83

92. Harper K. Soviet research in machine translation, 1961. In: Hutchins W.J. Machine Translation: Past, Present, Future — New York, 1986, 382 p.

93. Hauenschild C., Heizmann S. Machine Translation and translation theory. Berlin; New York; Mounton de Gruyter, 1997,263 p.

94. Heizmann S. SCS-Studie: Maschinelle Ubersetzung SCS Informationstechnik

95. Hovy E., Gerber L. MT at the paragraph level: Improving English Synthesis in SYSTRAN. In Proceedings of TMI-97, Santa Fe, 1997, pp. 47-54.113 .Hutchins W.J. Machine Translation: Past, Present, Future — New York, 1986, 382 p.

96. Hutchins W.J. Recent Developments in Machine Translation. A Review of the Last Five Years. New Directions in Machine Translation/ Conference Proceedings. Budapest. - 1988, pp. 7-62.

97. Hutchins W.J. Out of the Shadows. A Retrospect of Machine Translation in the Eighties// ЭВМ и перевод. M.: ВЦП. - 1991.

98. Jordan P.W., Dorr B.J., Benoit J.W. A first-pass approach for evaluating machine translation systems. Machine Translation 8(1), Special Issue on Evaluation, 1993, pp. 49-58.

99. Kasper W., Bos J., Schiehlen M., Thielen C. Definition of Abstract Semantic Classes. Verbmobil Technical Report 61, DFKI GmbH, Saarbrucken, Germany and Universitat des Saarlandes, Saarbrucken, Germany and IMS, Universitat Stuttgart, Germany, 1997.

100. Kay M., Gawron M., Norvig P. Verbmobil: A Translation System for Face-to-Face Dialog. Number 33 in Lecture Notes, Standford, CA: CSLI, 1994.

101. King M., Falkedal К. Using test suites in evaluation of machine translation systems. In Proceedings of the 13th COLING'90, Helsinki, Finland, 1990, pp. 211-216.

102. King M. Evaluation of MT systems Panel discussion. In Proceedings of MT Summit III, Washington, DC, 1991, pp. 141-146.

103. King M., Evaluating natural language processing systems. Communications of the ACM 39(1), 1996, pp. 73-79.

104. King M. Evaluating translation. In Machine Translation and translation theory / ed. By Christa Hauenschild, Susanne Heizmann -Berlin; New York; Mounton de Gruyter, 1997, pp. 251-263.

105. Klostermeier J. Preparations for 'Internet Strike' in Germany running full steam ahead. ZDNet Germany, ZDNN, 29.09.1998.

106. Knowles A. Compaq readies fingerprint ID security for PCs. PC Week Online, 07.07.1998.

107. Kogure K., Kume M., Iida H. Illocutionary Act Based Translation of Dialogue. In Proceedings of the TMI-90, Austin, 1990.

108. Kroner H.J., Schwinn J. Fallbasierte Ubersetzung. DFKI GmbH, Kaiserslautern, Germany, Undocumented Software, 1997.

109. Kulagina O.S., Martynova A.I., Nikolaeva T.M. Mechanical translation at the Academy of Sciences of the USSR. 1961. In: Hutchins W.J. Machine Translation: Past, Present, Future — New York, 1986, 382 p.

110. Kulagina O.S. History and present state of machine translation. Cybernetics 6, pp. 937-944., 1976. In: Hutchins W.J. Machine Translation: Past, Present, Future — New York, 1986,382 р.

111. Laurie G., Yang J. SYSTRAN MT Dictionary Development. Machine Translation: Past, Present and Future: Proceedings of the Machine Translation Summit VI, 1997, pp. 211 -218.

112. Lawson V. A Translator's Map of Machine Translation// ЭВМ и перевод. M.: ВЦП. - 1991.

113. Leckebusch J. Sprachwandler Ubersetzungshilfen Englisch-Deutsch Priifstand, Maschinelle Ubersetzung, Tl, Systran, Personal Translator, PT, Web-Translator, Easy Translator, c't 8/97, S. 258.

114. Lehrberger J., Bourbeau L. Machine Translation linguistic characteristics of MT systems and general methodology of evaluation. Studies in French and general Linguistics. Amsterdam, John Benjamins, 1988, 240 p.

115. Levin В., Pinker S. Lexical and conceptual Semantics. Cognition Special Issues. Cambridge, MA, Blackwell, 1992.

116. Levitt J.R. KANT Mapper Specification. Carnegie Mellon University, Center for Machine Translation, 1993.

117. Loritz D. Voice Recognition Technology for Machine Translation// ЭВМ и перевод. M.: ВЦП. - 1991.

118. Luckhardt H.D. SUSY: capabilities and range of application. Multilingua 1(4), 1982, pp. 213-219.

119. Maas H.D. Das Saarbriicker Uebersetzungssystem SUSY. Sprache und Datenverarbeitung 2(1), 1978, pp. 43-61.

120. Maas H. D. SUSY I und SUSY II: verschiedene Analysestrategien in der Machinellen Uebersetzung. Sprache und Datenverarbeitung 5(1/2), 1981, pp. 915.

121. Madden J. Study: IT spending by small business reached $ 138B in '97 PC Week Online, 1997.

122. Maier E. et al. Dialogue Processing in Spoken Language Systems, Volume 1236 of Lecture Notes in Artificial Intelligence, Berlin: Springer-Verlag, 1996.

123. Maxwell D., Schubert K., Witkan T. New Directions in Machine Translation. Number 4 in Distributed Language Translation. Dordrecht, The Netherlands, Foris, 1988,318 р.

124. Mayfield L., Gavalda M., Seo Y.H., Suhm В., Ward W., Waibel A. Parsing Real Input in Janus: A Concept Based Approach. In Proceedings of TMI-95,1995.

125. McTait K., Trujillo A. A language neutral sparse-data algorithm for extracting translation patterns. In Proceedings of TMI-99, Chester, UK, 1999.

126. Meli S. Informationsmarkt der Maschinellen Ubersetzung: Linguistischer Hintergrund, Typologie, Systeme, Ubersetzungshilfen, Projekte und Ubersetzungsdienste// Terminologie et Traduction. 1989. - N3., pp. 63-107.

127. Minnis S. Constructive machine translation evaluation. Machine Translation, 8, 1993, pp. 67-75.

128. Morimoto Т., Suzuki M., Takeazawa Т., Kikui G., Nagata M., Tomokiyo M. A Spoken Language Translation System: SLTRANS2E. In Actes du quinzieme colloque international en linguistque informatique, COLING'92, Nantes, 1992, pp. 1048-1052.

129. MT Summit-87: Machine Translation Summit. Hakone - 1989, 215 p.

130. Nagao M. A Framework for a mechanical translation between Japanese and English by analog principle. In Elithorn A. and Manerji R. (eds): Artificial and Human Intelligence. B.V. NATO Elsevier Publishers, 1984.

131. Nagao M., Tsujii J., Nakamura J. The Japanese government project for machinetranslation, 1988, pp. 141-186.

132. Niccolai J. AltaVista Offers Slicker Translations. June 15, 2000, IDG News Service.

133. Nirenburg S., ed. Machine Translation: Theoretical and Methodological Issues. -Cambridge, Mass. 1987, 350 p.

134. Nirenburg S., Carbonell J., Tomita M., Goodman K. Machine Translation: A Knowledge based Approach. San Mateo, CA, Morgan Kaufmann, 1992.

135. Nyberg E.H., Mitamura T. The KANT System; Fast, Accurate, High-Quality Translation in Practical Domains. In Proceedings of COLING'92, Nantes, France, July 1992.

136. Nyberg E.H., Mitamura Т., Carbonell J.G. Evaluation Metrics for Knowledge-Based Machine Translation. In Proceedings of COLING'94, 1994.158.0nyshkevich В., Nirenburg S. A lexicon for knowledge-based MT. Machine Translation 10(1/2), 1995, pp. 5-57.

137. Piggot I.M, Systemes operationnels en traduction automatique//Terminologie et Traduction. 1989. - N3., - pp. 47-53.

138. Pulman S.G. A Computational Theory of Context Dependence. In Proceedings of the Tilburg Workshop on Computational Semantics, 1994.

139. Rayner M., Bouillon P. Hybrid Transfer in an English-French Spoken Language Translator. In Proceedings of IA'95, Montpellier, 1995.

140. Reithinger N., Klesen M. Dialogue Act Classification Using Language Models. In Proceedings of EuroSpeech-97, Rhodes, Greece, 1997, pp. 2235-2238.

141. Sato S., Nagao M. Towards memory based translation. In Proceedings of COLING'90, Helsinki, Finland, 1990.

142. Sato S. MBT2: a method for combining fragments of examples in example-based translation. Artificial Intelligence 75(1), 1995, pp. 31-49.

143. Seminerio M. Survey says 21 percent of U.S. adults are online. ZDNN, 1998.

144. Schauble P., Sheridan P. Cross-Language Information Retrieval (CLIR) Track Overview. In Proceedings of the Sixth Text Retrieval Conference (TREC6). 1998.

145. Schubert K. The architecture of DLT-Interlingual or double direct. In Maxwell D., Schubert K., Witkan T. New Directions in Machine Translation. Number 4 in Distributed Language Translation. Dordrecht, The Netherlands, Foris, 1988, pp. 131-144.

146. Schmitz B. Pragmatikbasiertes Maschinelles Dolmetschen. Heidelberg: Groos, 1998, 159 p.

147. Seewald U. Markttibersicht: Kommerzielle Systeme und Werkzeuge Antibabylonisch (Systran), iX 12/95, S. 88.

148. Sinaiko H.W., Klare G.R. Further experiments in language translation: readability of computer translations. ITL (Review of Institute of Applied Linguistics, Louvain) 15, 1972, pp. 1-29.

149. Slocum J. Machine Translation Systems. Studies in Natural Language Processing. Cambridge, UK: Cambridge University Press, 1988.

150. Smith P.D. An Introduction to Text Processing. Cambridge, MA: The MIT Press. - 1990. - 300 p.

151. Sparck J.K., Galliers J.R. Evaluating Natural Language Processing Systems: An Analysis and Review, Berlin, Springer, 1995.

152. Stone MX. Web embraces language translation. ZDNN, 21.07.1998

153. Sumita E., Iida H., Experiments and prospects of example-based machine translation. In Proceedings of the 29th Annual Conference of the ACL, Berkley, CA, 1991.

154. TEMAAD16 Final Report, October 1997.

155. Thompson H. Linguistic Corpora for the Language Industry: A European Community Public Utility// Terminologie et Traduction. 1989. - N3., - pp. 55-61.181 .Toma P. SYSTRAN as a Multilingual MT System// OLB. 1977. - Vol. 1 „ -pp.569-581.

156. Trujillo A. Translation engines: Techniques for Machine Translation, Springer, 1999, 303 p.

157. Tucker A.B., Nirenburg S. Machine Translation: a contemporary view. Annual Review of Information Science and Technology 19, 1984, pp. 129-160.

158. Vasconcellous M. Machine translation at the Pan American Health Organisation. British Computer Society, Natural Language Translation Specialist Group Newsletter 14, 1984, pp. 17-34.

159. Viegas E., Mahesh K., Nirenburg S. Semantics in Action. In P. Saint-Dizier (Ed.), Forms in Natural Language and in Lexical Knowledge Bases, Kluwer Academic Press, 1999.

160. Waibel A. Interactive Translation of Conversation Speech. Computer, 29(7), 1997, pp. 41-48.

161. Watanabe H. A method for distinguishing exceptional and general examples in example-based transfer systems. In Proceedings of the 15th International Conference on Computational Linguistics COLING'94, Kyoto, 1994, pp. 39-44.

162. Whitelock P., Kilby K. Linguistic and Computational Techniques in Machine Translation Systems. Design, London, UCL Press, 1995.